代码编织梦想

Doris Docker 部署-爱代码爱编程

Posted on2022-05-11 分类: 容器 大数据 docker doris

1 . doris编译：参照官网docker编译，编译完成后在output下会编译后的软件。

(base)  ~/incubator-doris :ls output 
apache_hdfs_broker be                 fe                 udf
  1. 创建Doris安装目录，并将编译好的文件复制到安装目录。
mkidr docker
cp -r incubator-doris/output/fe docker/doris/
ls docker/doris/
cp -r incubator-doris/output/be docker/doris/be-01
cp -r incubator-doris/output/be docker/doris/be-02
cp -r incubator-doris/output/be docker/doris/be-03

3.启动FE Docker

docker run -it -p 8030:8030 -p 9030:9030 -d --name=doris-fe -v /your_parh/doris/docker/doris/fe:/opt/doris/fe -v /Users/wangleigis163.com/Documents/alex/dev/evn/doris/docker/doris-meta:/opt/doris/doris-meta apache/incubator-doris:build-env-ldb-toolchain-latest
  1. 进入FE-Docker以及安装组件
#进入fe-docker
docker exec -ti doris-fe /bin/bash
# 安装net-tools用于查看IP
yum install net-tools -y
  1. 修改FE配置
# 查看fe-docker的IPv4地址
ifconfig
# 修改配置文件
vim /opt/doris/fe/conf/fe.conf
# 取消priority_networks的注解，并根据Docker的网段进行配置
priority_networks = 172.17.0.0/16 #这里要根据你Docker的IP确定
  1. 配置JDK：由于最新版本（1.0.1_r3）Doris容器换编译默认是JDK11的因此需要将JDK设置为11
alternatives --set java java-11-openjdk.x86_64
alternatives --set javac java-11-openjdk.x86_64
export JAVA_HOME=/usr/lib/jvm/java-11
  1. 配置FE-Docker的环境变量
# 配置环境变量
vim /etc/profile.d/doris.sh
export DORIS_HOME=/opt/doris/fe/
export PATH=$PATH:$DORIS_HOME/bin
# 保存并source
source /etc/profile.d/doris.sh
  1. 启动Doris-FE
start_fe.sh --daemon
  1. 启动验证
    在浏览器输入：http://127.0.0.1:8030/home，看到如下界面说明启动成功。
    在这里插入图片描述
  2. 启动BE Docker

docker run -it -p 9061:9060 -d --name=doris-be-01 -v /your_path/doris/docker/doris/be-01:/opt/doris/be apache/incubator-doris:build-env-ldb-toolchain-latest
docker run -it -p 9062:9060 -d --name=doris-be-02 -v /your_path/doris/docker/doris/be-02:/opt/doris/be apache/incubator-doris:build-env-ldb-toolchain-latest
docker run -it -p 9063:9060 -d --name=doris-be-03 -v /your_path/docker/doris/be-03:/opt/doris/be apache/incubator-doris:build-env-ldb-toolchain-latest
  1. 进入每个BE-Docker以及安装网络组件，这里示例为进入第一个容器。
# 进入fe-docker,以01为例
docker exec -ti doris-be-01 /bin/bash
# 安装net-tools用于查看IP
yum install net-tools -y
  1. 修改BE配置
# 查看fe-docker的IPv4地址
ifconfig
# 修改配置文件
vim /opt/doris/be/conf/be.conf
# 取消priority_networks的注解，并根据Docker的网段进行配置
priority_networks = 172.17.0.0/16 #这里要根据你Docker的IP确定
  1. 配置BE-Docker的环境变量
# 配置环境变量
vim /etc/profile.d/doris.sh
export DORIS_HOME=/opt/doris/be/
export PATH=$PATH:$DORIS_HOME/bin
# 保存并source
source /etc/profile.d/doris.sh
  1. 启动Doris-BE
start_be.sh --daemon

15 MySQL 登录

mysql -h 127.0.0.1 -P9030 -uroot
  1. 添加BE节点。
#这里172.17.0.4等为我的容器私网ip，9050为be 默认heartbeat_service_port
ALTER SYSTEM ADD BACKEND "172.17.0.4:9050";
ALTER SYSTEM ADD BACKEND "172.17.0.5:9050";
ALTER SYSTEM ADD BACKEND "172.17.0.6:9050";
  1. 节点查询。
show PROC '/backends'
    -> ;
+-----------+-----------------+------------+------------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+---------------+-------------------------------------------------------------------------------------------------------------------------------+
| BackendId | Cluster         | IP         | HostName   | HeartbeatPort | BePort | HttpPort | BrpcPort | LastStartTime       | LastHeartbeat       | Alive | SystemDecommissioned | ClusterDecommissioned | TabletNum | DataUsedCapacity | AvailCapacity | TotalCapacity | UsedPct | MaxDiskUsedPct | Tag                      | ErrMsg | Version       | Status                                                                                                                        |
+-----------+-----------------+------------+------------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+---------------+-------------------------------------------------------------------------------------------------------------------------------+
| 10002     | default_cluster | 172.17.0.4 | 172.17.0.4 | 9050          | 9060   | 8040     | 8060     | 2022-05-11 03:56:17 | 2022-05-11 04:09:58 | true  | false                | false                 | 0         | 0.000            | 118.799 GB    | 465.627 GB    | 74.49 % | 74.49 %        | {"location" : "default"} |        | trunk-eec1dfd | {"lastSuccessReportTabletsTime":"2022-05-11 04:09:57","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false} |
| 10003     | default_cluster | 172.17.0.5 | 172.17.0.5 | 9050          | 9060   | 8040     | 8060     | 2022-05-11 03:56:31 | 2022-05-11 04:09:58 | true  | false                | false                 | 0         | 0.000            | 118.799 GB    | 465.627 GB    | 74.49 % | 74.49 %        | {"location" : "default"} |        | trunk-eec1dfd | {"lastSuccessReportTabletsTime":"2022-05-11 04:09:58","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false} |
| 10004     | default_cluster | 172.17.0.6 | 172.17.0.6 | 9050          | 9060   | 8040     | 8060     | 2022-05-11 03:56:32 | 2022-05-11 04:09:58 | true  | false                | false                 | 0         | 0.000            | 118.799 GB    | 465.627 GB    | 74.49 % | 74.49 %        | {"location" : "default"} |        | trunk-eec1dfd | {"lastSuccessReportTabletsTime":"2022-05-11 04:09:57","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false} |
+-----------+-----------------+------------+------------+---------------+--------+----------+----------+---------------------+---------------------+-------+----------------------+-----------------------+-----------+------------------+---------------+---------------+---------+----------------+--------------------------+--------+---------------+-------------------------------------------------------------------------------------------------------------------------------+
3 rows in set (0.62 sec)
  1. 建库建表。
create database mongo_doris;
use mongo_doris;

CREATE TABLE data_sync_test_simple
 (
         _id VARCHAR(32) DEFAULT '',
         id VARCHAR(32) DEFAULT '',
         user_name VARCHAR(32) DEFAULT '',
         member_list VARCHAR(32) DEFAULT ''
 )
 DUPLICATE KEY(_id)
 DISTRIBUTED BY HASH(_id) BUCKETS 10
 PROPERTIES("replication_num" = "1");

19 数据插入和查询

INSERT INTO data_sync_test_simple VALUES ('1','1','alex','123');

mysql> select * from data_sync_test_simple;
+------+------+-----------+-------------+
| _id  | id   | user_name | member_list |
+------+------+-----------+-------------+
| 1    | 1    | alex      | 123         |
+------+------+-----------+-------------+
1 row in set (0.97 sec)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangleigiser/article/details/124706433

doris 部署总结-爱代码爱编程

2020-04-14 分类: doris

最近调研doris 吧一些安装和部署的细节做一下记录吧 以后可以用： 首先是安装 建议用docker 11的版本在Linus安装一直都有问题 在docker就可以成功安装： 具体步骤：1. pull doris dev docker image sudo docker pull apachedoris/doris-dev:build-env-1.1

Continue Reading

Docker安装部署Doris集群-爱代码爱编程

2020-05-22 分类: uncategorized

参考Doris的开源站点，有不懂的赶紧查 https://github.com/apache/incubator-doris 准备好装有Docker的虚拟机，这里我们部署Doris的最低配置的集群方式部署 按照官方所说，4台机器效果还可以，而且扩容也不难 1.下载doris的容器镜像 docker pull apachedoris/doris

Continue Reading

使用Docker快速搭建Doris集群-爱代码爱编程

2021-01-20 分类: 大数据 doris

好的，坏的，回头看都是对的，你要相信一切都是最好的安排 想深入交流doris的私聊我加微信 xiaolm1213 以DORIS-0.12.21-release为例，如果想自己编译也可以，去下载docker镜像进行编译，把编译好fe、be、fs的拷出来 获取资源 wget https://palo-cloud-repo-bd.bd.bcebos.co

Continue Reading

Doris12版安装编译部署(docker编译)-爱代码爱编程

2021-07-05 分类: linux docker centos doris

Doris安装编译部署(docker编译) java8以上的前提下 docker安装命令如下： curl -fsSL https://get.docker.com | bash -s docker --mirror aliyun **安装所需的软件包。**yum-utils 提供了 yum-config-manager ，并且 device map

Continue Reading

Doris14版本编译部署(docker编译)-爱代码爱编程

2021-07-05 分类: linux 数据库 docker centos doris

第一步: 准备Java11的环境 安装好docker curl -fsSL https://get.docker.com | bash -s docker --mirror aliyun sudo yum install -y yum-utils device-mapper-persistent-data lvm2 使用以下命令来设置稳定的仓库。 s

Continue Reading

Apache Doris 环境安装部署-爱代码爱编程

2021-09-16 分类: docker maven doris

  Apache Doris 代码仓库地址：apache/incubator-doris 欢迎大家关注加星   这里以百度的Doris发行版 Palo-0.14.13版本为例进行演示编译安装部署 1. Doris编译 1.1 docker 镜像下载 这里我们使用的最新镜像 Apache doris 0.14.0及百度发布的Palo-0.14.

Continue Reading

Docker部署SkyWalking，单节点本地版。-爱代码爱编程

2021-12-07 分类: 框架 docker skywalking

Docker部署SkyWalking，单节点本地版 最近学习GoLang，然后需要本地搭建一个SkyWalking用于链路追踪。本人Macbook，所以docker搭建很简单，这里不在赘述，百度一下一大堆安装教程，不需要开启K8S。 根据官方文档，我们首先需要从github上clone一下官方的项目，然后进入到项目里面。 git clone http

Continue Reading

Doris系列2-Doris编译和安装-爱代码爱编程

2021-12-28 分类: docker # doris 大数据和数据仓库 doris安装 doris配置

文章目录 一.编译前准备1.1 环境准备1.2 安装Docker1.2.1 卸载旧版本1.2.2 安装需要的软件包1.2.3 设置yum源1.2.4 查看docker版本1.2.5 安装docker1.2.6 启动并加入开机启动1.2.7 验证安装是否成功1.2.8 迁移docker1.2.9 退出后重新进入docker二. 编译2.1 下载 Do

Continue Reading

docker集群部署doris-爱代码爱编程

2022-01-14 分类: 大数据

1. 前言 这篇文章主要讲述如何在 docker 环境下搭建 doris 集群，以及一些注意事项。开始前请参考下必备技能表 技能槽    熟练度 docker    熟悉 dockerfile    熟悉 docker-compose    熟悉 linux    熟悉 ctrl + c , ctrl + v    精通 如果已经具备以上技能，并满足对

Continue Reading

Docker上编译部署Doris0.15-爱代码爱编程

2022-02-18 分类: 容器 大数据 docker big data

一、拉取编译环境 根据自己的情况选择对应的环境，我这里按照0.15为例 docker pull apache/incubator-doris:build-env-for-0.15.0 二、运行镜像         方式一：提前下载好源码，挂载到镜像中 docker run -it -v /your/local/.m2:/r

Continue Reading

部署Apache Doris-爱代码爱编程

2022-02-23 分类: Java linux mysql 大数据 hadoop

官方文档：https://doris.apache.org/zh-CN/installing/compilation.html 一、编译 使用 Docker 开发镜像编译(推荐) 1.拉取镜像 #下载 Docker 最新主干版本代码，会随主干版本不断更新。 $ docker pull

Continue Reading

博文推荐｜Apache Doris 单节点 Docker 集群制作教程-爱代码爱编程

2022-03-10 分类: 数据库 大数据 docker hadoop centos

前言 Apache Doris 是当下非常流行的 MPP 架构 OLAP 数据库，很多同学想自学/测试 Doris 的使用和能力，但是又苦于没有环境或者畏惧冗长的编译+搭建过程，整个过程极大的劝退了很多有些尝试意愿、但又由于各种客观因素无法承担过高学习成本导致尝试失败的同学，故此我们向社区贡献了三个不

Continue Reading

Rainbond结合NeuVector实践容器安全管理-爱代码爱编程

2022-05-10 分类: 安全 kubernetes docker

前言 Rainbond 是一个云原生应用管理平台，使用简单，不需要懂容器、Kubernetes和底层复杂技术，支持管理多个Kubernetes集群，和管理企业应用全生命周期。但是随着云原生时代的一点点进步，层出不穷的网络容器安全事件的出现，也是让大家对于容器安全，网络安全的重要性，有了更进一步的想法，Rainbond 为了保证用户在使用的过程中不出现类似

Continue Reading

doris镜像构建及容器编排_doris docke_pony lee的博客-爱代码爱编程

2023-05-11 分类: docker 容器化

Doris镜像构建 以构建完成的 doris镜像 ponylee/doris，starrocks镜像 ponylee/starrocks。 entrypoint.sh 脚本文件 #!/bin/bash set -e

Continue Reading

doris浅略介绍 +部署+使用_doris部署-爱代码爱编程

2022-03-24 分类: 数据库 大数据 doris

Doris 学习日常记录 （记录学习过程和遇到的坑，仅是个人学习使用） Doris浅略介绍 DORIS 组成 安装Doris步骤 由于IP地址变换，导致的 d

Continue Reading