代码编织梦想

mac电脑安装flink其他版本(历史版本)简单有效_彪悍程序员的博客-爱代码爱编程

1.安装brew这里不介绍安装方式 2.安装最新版本的flink(brew默认就会直接安装最新版的软件) brew install apache-flink 3.安装成功后检查版本信息 fink --version 4.如果这个版本太新,而想安装历史版本,看下面的套路 5.查看scala版本 brew info apache-flink

逝世五年——你必须认识的这位数据库之父_偶数科技的博客-爱代码爱编程

五年前,也就是 2017 年 7 月 13 日,“数据库之父”查尔斯·巴赫曼 (Charles Bachman) 逝世。 上学时,我们的很多课本上都提到了三层体系结构、数据库管理系统概念、DDL、DML 等等这些概念,但都没提到这些概念背后的创造者——查尔斯·巴赫曼。 作为网状数据库之父、DBTG (Data Base Task Group)

大数据实时分析_偶数科技的博客-爱代码爱编程

随着线上业务迅猛发展,摸着“数据”过河,小步快跑推动了企业“实时”需求的升级。在很多线上场景中,实时性成为了提升企业竞争力的核心手段。但是目前的湖、仓、或者湖仓分体都是基于 T+1 设计的,面对 T+0 的实时按需分析,即便引入流处理引擎实现了部分固定模式的实时分析,仍无达到 T+0 全实时水平。(大数据实时分析) Kappa 架构实际落地困难,Lamb

二次开发seatunnel/waterdrop实现在filter中正则替换所有列-爱代码爱编程

1.背景 我在使用seatunnel实现从mysql导入到hive的时候,遇到mysql中存在回车换行符“\n\r”时,到hive中会出现在换行符处切分,导致换行前的一条记录后面的列都是空,而换行后的一条记录的前面的列都是空,严重干扰了结果的准确性,所以需要解决这个问题。 本身seatunnel的filter是有将列里面的内容通过使用正则的方式进行替换

Docker编译安装Doris集群-爱代码爱编程

1.拉取官方的安装环境 因为这个官网给的镜像对Doris有良好的兼容,所以我们最好使用Doris 官网所提供的Docker镜像,在这个镜像里面进行编译安装 docker pull apachedoris/doris-dev:build-env 2.下载官方的源代码 https://github.com/baidu-doris/incubator-

为基于Docker的Doris安装mysql的ODBC驱动CentOS-爱代码爱编程

1.下载5.3版本的MySQL的odbc驱动 因为最新版本的MySQL-ODBC驱动对Doris的兼容并不太好 所以准备了一个5.3版本的驱动 链接: https://pan.baidu.com/s/1hcRVIGH3rGbIqJBGIpVSYQ  密码: 4mfq   2.安装unixODBC 因为mysql-odbc依赖unixodbc

基于docker的doris集群的扩容-爱代码爱编程

一、FE节点的扩容 ①创建使用已有的fe节点制作镜像 先将一台doris的fe 节点做成镜像 docker commit doris-node1 doris-node1:v2 ②根据创建好的镜像生成新的fe所需的docker节点 创建fe节点,原来有4个节点,按名称顺序,就叫doris-node5 docker run -it -d --

基于docker的doris集群升级-爱代码爱编程

1.下载新版本的Doris安装包 访问如下链接 https://cloud.baidu.com/doc/PALO/s/Ikivhcwb5 找到想使用的版本,然后下载,可以下载编译好的版本,也可以下载源码再次编译,如果下载的是编译好的版本,可以不参考编译过程,我下载0.13.15版本的 2.将下载好的源码分发到每台docker节点上。

Docker搭建Doris集群监控grafana+prometheus-爱代码爱编程

说明:Doris 使用 Prometheus 和 Grafana 进项监控项的采集和展示。 来看一下这俩东西都是什么: 具体的架构形式是这样的 一、Docker安装Prometheus 说明:网上有跟多博客,可以教我们在Docker容器上安装Prometheus的,但是步骤比较复杂,我就不喜欢这么复杂的安装方式,所以我是使用Ubuntu16

大数据处理框架: flume + redis4.0.11 集群_李大瑞瑞儿的博客-爱代码爱编程

上一篇文章关于Storm kafka Zookeeper 集群、本次加入Flume Redis 的集群 Apache Flume是一个分布式,可靠且可用的系统,用于高效地收集,汇总和将来自多个不同源的大量日志数据移动到集中

大数据druid部署、push数据摄入实例_李大瑞瑞儿的博客-爱代码爱编程_大数据tranquility

Druid 单机部署 有很多文章都介绍了Druid,大数据实时分析,在此我就不多说了。本文主要描述如何部署Druid的环境,Imply提供了一套完整的部署方式,包括依赖库,Druid,图形化的数据展示页面,SQL查询组件等

storm核心组件运行机制_iteye_1564的博客-爱代码爱编程

      1. storm集群启动后,nimbus进程、supervisor进程,分别向zookeeper进行注册 nimbus做为服务方,往zookeeper对应目录写job配置信息文件supervisor做为客户端,监控zookeeper对应的目录   2. 通过strom client客户端提交job到nimbus,其中包括

大数据都学什么?(初学者)_it_laobai的博客-爱代码爱编程_大数据学习什么

一、学习大数据需要的基础    java SE,EE(SSM)         90%的大数据框架都是java写的     MySQL         SQL on Hadoop     Linux         大数据的框架安装在Linux操作系统上 二、需要学什么     第一方面:大数据离线分析        一般处理T+1数据