代码编织梦想

下表为规划的集群组件分配

域名starrocks1starrocks2starrocks3
组件mysql、FE(follower)、BE1、datax-executor、datax FE(leader)BE2、datax-executor、dataxFE(follower)、BE3、datax-admin、datax-executor、datax

1. 服务器配置

1.1 设置主机名

hostnamectl set-hostname starrocks1

hostnamectl set-hostname starrocks2

hostnamectl set-hostname starrocks3

1.2 创建用户和组

groupadd starrocks

useradd -g starrocks starrocks

passwd starrocks

1.3 ssh-keygen

starrocks1/ starrocks2/ starrocks3 都得配置

1.4 配置 hosts

1.5 ssh-copy-id

1.6 禁止 Selinux

1.7 关闭透明大页面

1.8 设置 swappiness

1.9 设置文件描述符

echo "* soft nofile 65535" >> /etc/security/limits.conf
echo "* hard nofile 65535" >> /etc/security/limits.conf
ulimit -n 65535

1.10 安装 ntp

1.11 安装 JDK


2. 安装 mysql

2.1 查询并卸载系统自带的Mariadb

rpm -qa | grep mariadb

rpm -e --nodeps 文件名

2.2 安装实施

建立用户,为了方便数据库管理,对于安装的MySQL数据库,生产上我们都会建立一个mysql用户和mysql用户组:

# 添加mysql用户组
groupadd mysql
# 添加mysql用户
useradd -g mysql mysql -d /home/mysql
# 修改mysql用户的登陆密码
passwd mysql

2.3上传至服务器

上传 mysql-5.7.40-linux-glibc2.12-x86_64.tar 安装包到 /usr/local 目录下

# 解压缩

tar -zxvf mysql-5.7.40-linux-glibc2.12-x86_64.tar.gz

# 建立软链接,便于以后版本升级

ln -s mysql-5.7.40-linux-glibc2.12-x86_64 mysql

# 修改mysql文件夹下所有文件的用户和用户组

chown -R mysql:mysql /home/mysql/

2.4 创建配置文件

# 创建配置文件

  cd /etc

# 在my.cnf文件中添加对应的配置项,文章末尾会提供一个默认的 my.cnf 配置【然后填入下面配置】

注意设置 secureCRT 的编码格式为 UTF-8

  vi my.cnf
[client] # 客户端设置,即客户端默认的连接参数

port = 3306 # 默认连接端口

socket = /home/mysql/3306/tmp/mysql.sock # 用于本地连接的socket套接字,mysqld守护进程生成了这个文件

[mysqld] # 服务端基本设置

# 基础设置

server-id = 1 # Mysql服务的唯一编号 每个mysql服务Id需唯一

port = 3306 # MySQL监听端口

basedir = /usr/local/mysql # MySQL安装根目录

datadir = /home/mysql/3306/data # MySQL数据文件所在位置

tmpdir = /home/mysql/3306/tmp # 临时目录,比如load data infile会用到

socket = /home/mysql/3306/tmp/mysql.sock # 为MySQL客户端程序和服务器之间的本地通讯指定一个套接字文件

pid-file = /home/mysql/3306/log/mysql.pid # pid文件所在目录

skip_name_resolve = 1 # 只能用IP地址检查客户端的登录,不用主机名

character-set-server = utf8mb4 # 数据库默认字符集,主流字符集支持一些特殊表情符号(特殊表情符占用4个字节)

transaction_isolation = READ-COMMITTED # 事务隔离级别,默认为可重复读,MySQL默认可重复读级别

collation-server = utf8mb4_general_ci # 数据库字符集对应一些排序等规则,注意要和character-set-server对应

init_connect='SET NAMES utf8mb4' # 设置client连接mysql时的字符集,防止乱码

lower_case_table_names = 1 # 是否对sql语句大小写敏感,1表示不敏感

max_connections = 400 # 最大连接数

max_connect_errors = 1000 # 最大错误连接数

explicit_defaults_for_timestamp = true # TIMESTAMP如果没有显示声明NOT NULL,允许NULL值

max_allowed_packet = 128M # SQL数据包发送的大小,如果有BLOB对象建议修改成1G

interactive_timeout = 1800 # MySQL连接闲置超过一定时间后(单位:秒)将会被强行关闭

wait_timeout = 1800 # MySQL默认的wait_timeout值为8个小时, interactive_timeout参数需要同时配置才能生效

tmp_table_size = 16M # 内部内存临时表的最大值 ,设置成128M;比如大数据量的group by ,order by时可能用到临时表;超过了这个值将写入磁盘,系统IO压力增大

max_heap_table_size = 128M # 定义了用户可以创建的内存表(memory table)的大小

query_cache_size = 0 # 禁用mysql的缓存查询结果集功能;后期根据业务情况测试决定是否开启;大部分情况下关闭下面两项

query_cache_type = 0

# 用户进程分配到的内存设置,每个session将会分配参数设置的内存大小

read_buffer_size = 2M # MySQL读入缓冲区大小。对表进行顺序扫描的请求将分配一个读入缓冲区,MySQL会为它分配一段内存缓冲区。

read_rnd_buffer_size = 8M # MySQL的随机读缓冲区大小

sort_buffer_size = 8M # MySQL执行排序使用的缓冲大小

binlog_cache_size = 1M # 一个事务,在没有提交的时候,产生的日志,记录到Cache中;等到事务提交需要提交的时候,则把日志持久化到磁盘。默认binlog_cache_size大小32K

back_log = 130 # 在MySQL暂时停止响应新请求之前的短时间内多少个请求可以被存在堆栈中;官方建议back_log = 50 + (max_connections / 5),封顶数为900

# 日志设置

log_error = /home/mysql/3306/log/error.log # 数据库错误日志文件

slow_query_log = 1 # 慢查询sql日志设置

long_query_time = 1 # 慢查询时间;超过1秒则为慢查询

slow_query_log_file = /home/mysql/3306/log/slow.log # 慢查询日志文件

log_queries_not_using_indexes = 1 # 检查未使用到索引的sql

log_throttle_queries_not_using_indexes = 5 # 用来表示每分钟允许记录到slow log的且未使用索引的SQL语句次数。该值默认为0,表示没有限制

min_examined_row_limit = 100 # 检索的行数必须达到此值才可被记为慢查询,查询检查返回少于该参数指定行的SQL不被记录到慢查询日志

expire_logs_days = 5 # MySQL binlog日志文件保存的过期时间,过期后自动删除

# 主从复制设置

log-bin = mysql-bin # 开启mysql binlog功能

binlog_format = ROW # binlog记录内容的方式,记录被操作的每一行

binlog_row_image = minimal # 对于binlog_format = ROW模式时,减少记录日志的内容,只记录受影响的列

# Innodb设置

innodb_open_files = 500 # 限制Innodb能打开的表的数据,如果库里的表特别多的情况,请增加这个。这个值默认是300

innodb_buffer_pool_size = 64M # InnoDB使用一个缓冲池来保存索引和原始数据,一般设置物理存储的60% ~ 70%;这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少

innodb_log_buffer_size = 2M # 此参数确定写日志文件所用的内存大小,以M为单位。缓冲区更大能提高性能,但意外的故障将会丢失数据。MySQL开发人员建议设置为1-8M之间

innodb_flush_method = O_DIRECT # O_DIRECT减少操作系统级别VFS的缓存和Innodb本身的buffer缓存之间的冲突

innodb_write_io_threads = 4 # CPU多核处理能力设置,根据读,写比例进行调整

innodb_read_io_threads = 4

innodb_lock_wait_timeout = 120 # InnoDB事务在被回滚之前可以等待一个锁定的超时秒数。InnoDB在它自己的锁定表中自动检测事务死锁并且回滚事务。InnoDB用LOCK TABLES语句注意到锁定设置。默认值是50秒

innodb_log_file_size = 32M # 此参数确定数据日志文件的大小,更大的设置可以提高性能,但也会增加恢复故障数据库所需的时间
# 创建目录

mkdir -p /home/mysql/3306/data
mkdir -p /home/mysql/3306/tmp
mkdir -p /home/mysql/3306/log
chown -R mysql:mysql /home/mysql/

2.5 安装数据库

cd /usr/local/mysql/bin


# 初始化数据库,并指定启动mysql的用户

./mysqld --initialize --user=mysql
# 这里最好指定启动mysql的用户名,否则就会在启动MySQL时出现权限不足的问题
# 安装完成后,在my.cnf中配置的datadir目录下生成一个 /home/mysql/3306/log/error.log 文件,里面记录了root用户的随机密码。
cat /home/mysql/3306/log/error.log | grep pass

2.6 设置开机自启动服务

# 复制启动脚本到资源目录

cp /usr/local/mysql-5.7.40-linux-glibc2.12-x86_64/support-files/mysql.server /etc/rc.d/init.d/mysqld 

# 增加mysqld服务控制脚本执行权限 

chmod +x /etc/rc.d/init.d/mysqld 

# 将mysqld服务加入到系统服务 

chkconfig --add mysqld  

# 检查mysqld服务是否已经生效 

chkconfig --list mysqld  

# 切换至mysql用户,启动|停止|重启|状态

service mysqld start|stop|restart|status

2.7 配置环境变量

为了更好的操作mysql,配置环境变量

# 切换至mysql用户

su - mysql

# 修改配置文件

vi .bash_profile

MYSQL_HOME=/usr/local/mysql

PATH=$MYSQL_HOME/bin

# 立即生效

source .bash_profile

使用 root 用户 mysql -uroot -proot 进行登录即可

2.8 登陆,修改密码

# 登陆mysql

mysql -u root -p

# 修改root用户密码

set password for root@localhost=password("1qaz@WSX");
设置允许所有IP访问

GRANT ALL ON *.* to root@'%' IDENTIFIED BY '1qaz@WSX';

FLUSH PRIVILEGES;

3. 安装 StarRocks

3.1上传并解压安装包

上传 StarRocks 并解压二进制安装包。

tar -xzvf StarRocks-x.x.x.tar.gz

注意:将以上文件名修改为下载的二进制安装包名。上传完成后,将安装包分发至各节点。

3.2部署 FE 节点

本小节介绍如何配置部署 Frontend (FE) 节点。FE 是 StarRocks 的前端节点,负责管理元数据,管理客户端连接,进行查询规划,查询调度等工作。

3.2.1 配置 FE 节点

# 进入 StarRocks-x.x.x/fe 路径。
cd /opt/starrocks/fe

# 修改 FE 配置文件 conf/fe.conf。
LOG_DIR = /var/log/starrocks/fe
meta_dir = /hdisk1/starrocks/fe/meta
priority_networks = 192.168.10.21/24
sys_log_dir = /var/log/starrocks/fe
audit_log_dir = /var/log/starrocks/fe

注意: JAVA_HOME = 将这个路径修改为 Java 所在的本地路径。

3.2.2创建元数据路径

创建 FE 节点中的元数据路径 meta。

mkdir -p meta

注意:该路径需要与 conf/fe.conf 文件中配置路径保持一致。

tar -zxvf StarRocks-2.4.2.tar.gz -C /opt/

cd /opt

ln -s StarRocks-2.4.2/ starrocks

chown -R starrocks:starrocks /opt/

chmod -R 755 /opt/



 mkdir -p /hdisk1/starrocks/fe/meta
 mkdir -p /var/log/starrocks/fe
 mkdir -p /hdisk1/starrocks/be/storage
 mkdir -p /hdisk2/starrocks/be/storage
 mkdir -p /hdisk3/starrocks/be/storage
 mkdir -p /var/log/starrocks/be
 chown -R starrocks:starrocks /hdisk1/starrocks
 chown -R starrocks:starrocks /hdisk2/starrocks
 chown -R starrocks:starrocks /hdisk3/starrocks
 chown -R starrocks:starrocks /var/log/starrocks
 chmod -R 755 /hdisk1/starrocks
 chmod -R 755 /hdisk2/starrocks
 chmod -R 755 /hdisk3/starrocks
 chmod -R 755 /var/log/starrocks
chown -R starrocks:starrocks /var/log

3.2.3启动 FE 节点

运行以下命令启动 FE 节点。

bin/start_fe.sh --daemon

3.2.4确认 FE 启动成功

通过以下方式验证 FE 节点是否启动成功:

  • 通过查看日志 log/fe.log 确认 FE 是否启动成功。
2020-03-16 20:32:14,686 INFO 1 [FeServer.start():46] thrift server started.  // FE 节点启动成功。
2020-03-16 20:32:14,696 INFO 1 [NMysqlServer.start():71] Open mysql server success on 9030  // 可以使用 MySQL 客户端通过 `9030` 端口连接 FE。
2020-03-16 20:32:14,696 INFO 1 [QeService.start():60] QE service start.
2020-03-16 20:32:14,825 INFO 76 [HttpServer$HttpServerThread.run():210] HttpServer started with port 8030
  • 通过运行 jps 命令查看 Java 进程,确认 StarRocksFE 进程是否存在。
  • 通过在浏览器访问 FE ip:http_port(默认 http_port 为 8030),进入 StarRocks 的 WebUI,用户名为 root,密码为空。

说明:如果由于端口被占用导致 FE 启动失败,可修改配置文件 conf/fe.conf 中的端口号 http_port。

3.2.5添加 FE 节点

您可通过 MySQL 客户端连接 StarRocks 以添加 FE 节点。
在 FE 进程启动后,使用 MySQL 客户端连接 FE 实例。

mysql -h 127.0.0.1 -P9030 -uroot

说明:root 为 StarRocks 默认内置 user,密码为空,端口为 fe/conf/fe.conf 中的 query_port 配置项,默认值为 9030。

修改root 密码

set password=PASSWORD('1qaz@WSX');

查看 FE 状态

SHOW PROC '/frontends'\G

示例:

MySQL [(none)]> SHOW PROC '/frontends'\G

*************************** 1. row ***************************
             Name: 172.26.xxx.xx_9010_1652926508967
               IP: 172.26.xxx.xx
         HostName: iZ8vb61k11tstgnvrmrdfdZ
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: LEADER
        ClusterId: 1160043595
             Join: true
            Alive: true
ReplayedJournalId: 1303
    LastHeartbeat: 2022-10-19 11:27:16
         IsHelper: true
           ErrMsg:
        StartTime: 2022-10-19 10:15:21
          Version: 2.4.0-c0fa2bb
1 row in set (0.02 sec)

• 当 Role 为 LEADER 时,当前 FE 节点为选主出的主节点。
• 当 Role 为 FOLLOWER 时,当前节点是一个能参与选主的 FE 节点。
如果 MySQL 客户端连接失败,可以通过查看 log/fe.warn.log 日志文件发现问题。
如果在初次部署时遇到任何意外问题,可以在删除并重新创建 FE 的元数据目录后,重新开始部署。

3.2.6部署 FE 节点的高可用集群

StarRocks 的 FE 节点支持 HA 模型部署,以保证集群的高可用。

3.2.7 添加新 FE 节点

使用 MySQL 客户端连接已有 FE 节点,添加新 FE 节点的信息,包括角色、IP 地址、以及 Port。

注意一定先添加再启动

• 添加 Follower FE 节点。

ALTER SYSTEM ADD FOLLOWER "host:port";

• 添加 Observer FE 节点。

ALTER SYSTEM ADD OBSERVER "host:port";

参数:
• host:机器的 IP 地址。如果机器存在多个 IP 地址,则该项为 priority_networks 设置项下设定的唯一通信 IP 地址。
• port:edit_log_port 设置项下设定的端口,默认为 9010。

出于安全考虑,StarRocks 的 FE 节点和 BE 节点只会监听一个 IP 地址进行通信。如果一台机器有多块网卡,StarRocks 有可能无法自动找到正确的 IP 地址。例如,通过 ifconfig 命令查看到 eth0 IP 地址为 192.168.1.1,docker0 IP 地址为 172.17.0.1,您可以设置 192.168.1.0/24 子网以指定使用 eth0 作为通信 IP。此处采用 CIDR 的表示方法来指定 IP 所在子网范围,以便在所有的 BE 及 FE 节点上使用相同的配置。

如出现错误,您可以通过命令删除相应 FE 节点。

• 删除 Follower FE 节点。

ALTER SYSTEM DROP FOLLOWER "host:port";

• 删除 Observer FE 节点。

ALTER SYSTEM drop OBSERVER "host:port";

3.2.8连接 FE 节点

FE 节点需两两之间建立通信连接方可实现复制协议选主,投票,日志提交和复制等功能。当新的FE节点首次被添加到已有集群并启动时,您需要指定集群中现有的一个节点作为 helper 节点,并从该节点获得集群的所有 FE 节点的配置信息,才能建立通信连接。因此,在首次启动新 FE 节点时候,您需要通过命令行指定 --helper 参数。

./bin/start_fe.sh --helper host:port --daemon

参数:
• host:机器的IP 地址。如果机器存在多个 IP 地址,则该项为 priority_networks 设置项下设定的唯一通信 IP 地址。
• port:edit_log_port 设置项下设定的端口,默认为 9010。

例如:

/opt/starrocks/fe/bin/start_fe.sh --helper 192.168.10.22:9010 --daemon

3.2.9 确认 FE 集群部署成功

查看集群状态,确认部署成功。

mysql> SHOW PROC '/frontends'\G
*************************** 1. row ***************************
             Name: 192.168.10.21_9010_1672903151744
               IP: 192.168.10.21
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
        ClusterId: 114599321
             Join: true
            Alive: true
ReplayedJournalId: 443
    LastHeartbeat: 2023-01-05 15:26:42
         IsHelper: true
           ErrMsg: 
        StartTime: 2023-01-05 15:23:56
          Version: 2.4.2-3994421
*************************** 2. row ***************************
             Name: 192.168.10.23_9010_1672903157548
               IP: 192.168.10.23
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
        ClusterId: 114599321
             Join: true
            Alive: true
ReplayedJournalId: 443
    LastHeartbeat: 2023-01-05 15:26:42
         IsHelper: true
           ErrMsg: 
        StartTime: 2023-01-05 15:26:21
          Version: 2.4.2-3994421
*************************** 3. row ***************************
             Name: 192.168.10.22_9010_1672902152503
               IP: 192.168.10.22
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: LEADER
        ClusterId: 114599321
             Join: true
            Alive: true
ReplayedJournalId: 444
    LastHeartbeat: 2023-01-05 15:26:41
         IsHelper: true
           ErrMsg: 
        StartTime: 2023-01-05 15:02:44
          Version: 2.4.2-3994421
3 rows in set (0.10 sec)

节点的 Alive 项为 true 时,添加节点成功。

3.3部署 BE 节点

本小节介绍如何配置部署 Backend (BE) 节点。BE 是 StarRocks 的后端节点,负责数据存储以及 SQL 执行等工作。以下例子仅部署一个 BE 节点。您可以通过重复以下步骤添加多个 BE 节点。

3.3.1配置 BE 节点

进入 StarRocks-x.x.x/be 路径。

cd /opt/starrocks/be/

修改 BE 节点配置文件 conf/be.conf。因默认配置即可启动集群,以下示例并未修改 BE 节点配置。
注意
当一台机器拥有多个 IP 地址时,需要在 BE 配置文件 conf/be.conf 中设置 priority_networks,为该节点设定唯一 IP。

priority_networks = 192.168.10.21/24
storage_root_path = /hdisk1/starrocks/be/storage;/hdisk2/starrocks/be/storage;/hdisk3/starrocks/be/storage
sys_log_dir = /var/log/starrocks/be

3.3.2添加 BE 节点

通过 MySQL 客户端将 BE 节点添加至 StarRocks 集群。

mysql> ALTER SYSTEM ADD BACKEND "host:port";

例如:

ALTER SYSTEM ADD BACKEND "192.168.10.21:9050";
ALTER SYSTEM ADD BACKEND "192.168.10.22:9050";
ALTER SYSTEM ADD BACKEND "192.168.10.23:9050";

注意:host 需要与 priority_networks 相匹配,port 需要与 be.conf 文件中的设置的 heartbeat_service_port 相同,默认为 9050。

如添加过程出现错误,需要通过以下命令将该 BE 节点从集群移除。

mysql> ALTER SYSTEM decommission BACKEND "host:port";

说明:host 和 port 与添加的 BE 节点一致。

3.3.3 启动 BE 节点

运行以下命令启动 BE 节点。

bin/start_be.sh --daemon

3.3.4确认 BE 启动成功

通过 MySQL 客户端确认 BE 节点是否启动成功。

SHOW PROC '/backends'\G

示例:

MySQL [(none)]> SHOW PROC '/backends'\G

*************************** 1. row ***************************
            BackendId: 10003
              Cluster: default_cluster
                   IP: 172.26.xxx.xx
             HostName: sandbox-pdtw02
        HeartbeatPort: 9050
               BePort: 9060
             HttpPort: 8040
             BrpcPort: 8060
        LastStartTime: 2022-05-19 11:15:00
        LastHeartbeat: 2022-05-19 11:27:36
                Alive: true
 SystemDecommissioned: false
ClusterDecommissioned: false
            TabletNum: 10
     DataUsedCapacity: .000
        AvailCapacity: 1.865 TB
        TotalCapacity: 1.968 TB
              UsedPct: 5.23 %
       MaxDiskUsedPct: 5.23 %
               ErrMsg:
              Version: 2.2.0-RC02-2ab1482
               Status: {"lastSuccessReportTabletsTime":"2022-05-19 11:27:01"}
    DataTotalCapacity: 1.865 TB
          DataUsedPct: 0.00 %
1 row in set (0.01 sec)

当 Alive 为 true 时,当前 BE 节点正常接入集群。
如果 BE 节点没有正常接入集群,可以通过查看 log/be.WARNING 日志文件排查问题。
如果日志中出现类似以下的信息,说明 priority_networks 的配置存在问题。

W0708 17:16:27.308156 11473 heartbeat_server.cpp:82\] backend ip saved in master does not equal to backend local ip127.0.0.1 vs. 172.16.xxx.xx

如遇到以上问题,可以通过 DROP 错误的 BE 节点,然后重新以正确的 IP 添加 BE 节点的方式来解决。

ALTER SYSTEM DROP BACKEND "172.16.xxx.xx:9050";

如果在初次部署时遇到任何意外问题,可以在删除并重新创建 BE 的数据路径后,重新开始部署。

3.4查看页面

http://192.168.10.22:8030

后面的操作是为了方便StarRocks数据迁移的。

4. 安装 DataX 和 datax-web

4.1上传并解压

上传 2 个安装包

在 starrocks 用户下执行

tar -zxvf datax.tar.gz -C /opt/

tar -zxvf datax-web-2.1.2.tar.gz -C /opt/

4.2生成目录

执行 datax-web 的 install.sh

注意选择 yynn

只生成目录不安装

4.3 修改配置文件

修改 /opt/datax-web-2.1.2/modules/datax-admin/conf/ bootstrap.properties

DB_HOST=192.168.10.21
DB_PORT=3306
DB_USERNAME=root
DB_PASSWORD=1qaz@WSX
DB_DATABASE=dataxweb

修改 datax-executor 的 application.yml 文件:

# web port
server:
  port: ${server.port}
  #port: 8081

# log config
logging:
  config: classpath:logback.xml
  path: ${data.path}/applogs/executor/jobhandler
  #path: ./data/applogs/executor/jobhandler

datax:
  job:
    admin:
      ### datax admin address list, such as "http://address" or "http://address01,http://address02"
      #addresses: http://127.0.0.1:8080
      addresses: http://192.168.10.23:${datax.admin.port}
    executor:
      appname: datax-executor
      ip: 192.168.10.23
      #port: 9999
      port: ${executor.port:9999}
      ### job log path
      #logpath: ./data/applogs/executor/jobhandler
      logpath: ${data.path}/applogs/executor/jobhandler
      ### job log retention days
      logretentiondays: 30
    ### job, access token
    accessToken:

  executor:
    #jsonpath: D:\\temp\\executor\\json\\
    jsonpath: ${json.path}

  #pypath: F:\tools\datax\bin\datax.py
  pypath: ${python.path}

4.4 同步

cd /opt

scp -r datax starrocks1:/opt/

scp -r datax starrocks2:/opt/

scp -r datax-web-2.1.2/ starrocks1:/opt/

scp -r datax-web-2.1.2/ starrocks2:/opt/

4.5创建数据库并安装

同时需要通过 navicat 连接 starrocks1 上面的mysql,执行下面的sql

create database dataxweb;

执行 datax-web 的 install.sh

注意选择 nnyy

只安装

注意如果安装失败则需要通过 navicat 连接 starrocks1 上面的mysql,手动执行 datax-web.sql 文件中的 SQL。

4.6 配置 DATAX_HOME

修改 .bash_profile 文件

DATAX_HOME=/opt/datax
export PATH DATAX_HOME
source .bash_profile

4.7 修改日志配置

修改 admin 的 logback.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false" scan="true" scanPeriod="1 seconds">

    <contextName>admin</contextName>
    <property name="LOG_PATH"
              value="/var/log/datax-web"/>

    <!--控制台日志, 控制台输出 -->
    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <!--格式化输出:%d表示日期,%thread表示线程名,%-5level:级别从左显示5个字符宽度,%msg:日志消息,%n是换行符-->
            <pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{5} - %msg%n</pattern>
        </encoder>
    </appender>

    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOG_PATH}/datax-admin.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${LOG_PATH}.%d{yyyy-MM-dd}.zip</fileNamePattern>
        </rollingPolicy>
        <encoder>
            <pattern>%date %level [%thread] %logger{36} [%file : %line] %msg%n
            </pattern>
        </encoder>
    </appender>

    <!--mybatis log configure-->
    <logger name="com.apache.ibatis" level="TRACE"/>
    <logger name="java.sql.Connection" level="DEBUG"/>
    <logger name="java.sql.Statement" level="DEBUG"/>
    <logger name="java.sql.PreparedStatement" level="DEBUG"/>

    <root level="info">
        <appender-ref ref="console"/>
        <appender-ref ref="file"/>
    </root>

</configuration>
scp logback.xml starrocks1:/opt/datax-web-2.1.2/modules/datax-admin/conf/

scp logback.xml starrocks2:/opt/datax-web-2.1.2/modules/datax-admin/conf/

修改 executor 的 logback.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration debug="false" scan="true" scanPeriod="1 seconds">

    <contextName>exe</contextName>
    <property name="LOG_PATH"
              value="/var/log/datax-web" />

    <appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} %contextName [%thread] %-5level %logger{10} - %msg%n</pattern>
        </encoder>
    </appender>

    <appender name="file" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOG_PATH}/datax-executor.log</file>
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>${LOG_PATH}.%d{yyyy-MM-dd}.zip</fileNamePattern>
        </rollingPolicy>
        <encoder>
            <pattern>%date %level [%thread] %logger{20} [%file : %line] %msg%n
            </pattern>
        </encoder>
    </appender>

    <root level="info">
        <appender-ref ref="console"/>
        <appender-ref ref="file"/>
    </root>

</configuration>
scp logback.xml starrocks1:/opt/datax-web-2.1.2/modules/datax-executor/conf/

scp logback.xml starrocks2:/opt/datax-web-2.1.2/modules/datax-executor/conf/

4.8 启动

su - starrocks

starrocks3 执行 ./start-all.sh

starrocks1 和 2 执行 ./start.sh -m datax-executor

4.9 通过页面查看结果

http://192.168.10.23:9527/index.html#/dashboard

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/Shockang/article/details/128750919

使用StarRocks遇到的问题汇总 FAQ-爱代码爱编程

日常记录 不断更新 导入 insert into 问题: insert的时候报这个错: sql:ssb-flat_insert.flat insert error. Msg: (1064, ‘index channel has intoleralbe failure’) 问题截图: 解决方式: streaming_load_rpc_max_aliv

StarRocks系列(01)--StarRocks是什么-爱代码爱编程

文章目录 前言StarRocks特性架构精简全面向量化引擎智能查询优化联邦查询高效更新智能物化视图标准SQL流批一体高可用易扩展StarRocks适合什么场景 本文来源参考: https://docs.starrocks.com/zh-cn/main/introduction/StarRocks_intro 前言 本文是本系列第一篇文章,

StarRocks启动报错 wait catalog to be ready. FE type: UNKNOWN. is ready: false的另一个可能情况-爱代码爱编程

原文: 前情提要:工作需要调研StarRocks,单机部署StarRocks-1.18.2后(部署参考 StarRocks手动部署),启动正常。 但重新启动服务后,发现无法启动。报错:wait catalog to be ready. FE type: UNKNOWN. is ready: false 经过多方查阅资料,发现无法启动原因为: 因为有多

第4.4章:StarRocks备份还原--Backup&Restore-爱代码爱编程

Backup是StarRocks目前提供的唯一一种可将数据与元数据一并导出的导出方式。Backup操作也需要Broker组件,通过Broker将数据备份到远端存储系统中,例如HDFS、OSS、COS或S3等。 基于Backup的特性,这种方式通常用于对数据进行定期的快照备份,或者用于在不同集群间进行数据迁移。 与Backup对应的命令是Restore,

CloudCanal x StarRocks 在医疗大健康实时数仓领域的落地与实践-爱代码爱编程

简述 本案例为国内某大健康领域头部公司真实案例(因用户保密要求,暂不透露用户相关信息)。希望文章内容对各位读者使用 CloudCanal 构建实时数仓带来一些帮助。 业务背景 大健康背景下,用户对报表和数据大屏的实时性能要求越来越高。以核酸检测为例,检测结果需要实时统计分析,并在决策大屏中进行可视化展现。数据的及时性直接关系到区域疫情防控的精准布施从

第6.2章:StarRocks集群管理工具starrocks-controller(分享篇)-爱代码爱编程

starrocks-controller是鼎石科技工程师[ID:wangtianyi2004]为StarRocks社区版打造的便携式集群管理工具。通过9M不到的starrocks-controller,我们几乎可以像使用企业版一样,非常方便的对多套集群进行一键服务部署和集群服务启停。controller工具使用go语言编写,在数月前已经低调的在github

第3.8章:StarRocks数据导入--Spark Load-爱代码爱编程

Spark Load是通过外部的Spark资源实现对导入数据的预处理,进而提高StarRocks大数据量的导入性能,同时也可以节省StarRocks集群的计算资源。Spark Load的操作本身不复杂,但涉及的技术栈比较多,架构相对较重,所以主要用于初次迁移、大数据量导入等场景(数据量可到TB级别)。 Spark Load的特点在于其引入了外部Spark

第4.3章:StarRocks数据导出--Spark Connector-爱代码爱编程

通过Spark Connector,我们可以使用Spark来快速读取StarRocks中存储的数据。Spark Connector在使用上和咱们之前介绍的Flink Connector Source类似,二者都具备并行读取StarRocks的BE节点数据的能力,相对于jdbc的方式大大提高了数据读取效率。 Spark Connector目前只能用来读取数

Starrocks集群部署-爱代码爱编程

背景:最近几年OLAP数据库可谓是百家争鸣,许多产品都陆陆续续的展现出来,不过最近据说StarRocks的综合能力比较好,对比于Clickhouse这种强大的竞品也毫不逊色! 下方是官方给出的一些资料介绍,我这里截取了几张比较重要的图(官方文档传送门:StarRocks @ StarRocks_intro @ StarRocks DocsStarRock

使用StarRocks内置工具Routine Load同步Mysql/TiDB/PG等增量更新数据到StarRocks-爱代码爱编程

什么是StarRocks? StarRocks是新一代极速统一的olap新型mpp分析型数据库,全面向量化引擎,全新的CBO优化器,性能强悍,单表查询媲美业界最强悍的clickhouse,支持多表join,支持数据秒级更新; 且同时支持高并发,架构极简,方便运维扩展,完全国产,安全可控,在国内外各行各业已经得到了广泛使用。 StarRocks提供了丰

starrocks broker load 同步hdfs数据_第一次看海的博客-爱代码爱编程

之前安装的starRocks没有同步hdfs的数据,所以一直也没有安装Broker 服务,现记录一下部署broker 后将数据load进starRocks 表的过程,我目前部署的是 StarRocks-2.1.4 还没有升级,后续记录一次升级 1,部署Boker 参考地址 https://docs.starrocks.com/zh-cn/2.1/qui

猿创征文|国产数据库[starrocks]实战学习-爱代码爱编程

目录 一、概述 1、StarRocks简介 1.1、StarRocks适合什么场景 1.2、StarRocks基本概念 1.3、StarRocks系统架构 1.4、数据管理 2、StarRocks安装部署 3、SQL语句 3.1、导入数据 4、StarRocks 表设计 4.1、列式存储 4.2、索引 4.3、Bitmap 索引