Apache Doris——安装部署

作者: 小波同学 | 来源:发表于2022-11-14 00:06 被阅读0次

前言

这里介绍如何通过二进制安装包方式，手动的一步步安装Apache Doris。

如果你需要从源码编译安装部署，参考 docker 编译。

下面我们以部署一台 FE 节点和一台 BE节点为例来演示部署，正常情况 Doris 集群下我们建议至少要部署一个 FE 节点及三个 BE 节点。

注意：

重要：doris支持单机部署和集群部署，集群部署时至少设置三副本
说明：doris单机部署时，将BE和FE均在一台机器上设置即可

一、环境准备

在安装部署之前，我们要确保安装 Doris 的环境满足一下要求：

硬件要求

我们建议集群至少拥有两台物理机或者虚拟机。
FE 节点CPU 建议 8 核及以上，内存 16G 及以上。
BE 节点CPU 建议 16 核及以上，内存 64G 及以上。
BE 节点 CPU 要支持 avx2 指令集，你可以通过 cat /proc/cpuinfo | grep avx2 命令查看，如果有返回结果表明 CPU 支持 avx2 指令集，如果没有说明不支持，如果 CPU 不支持 avx2 请下载 X64 ( no avx2 ) 版本。
各节点间建议万兆网络连通。

软件及操作系统要求

所有节点操作系统需要时 CentOS 7.x 版本或者 Ubuntu 16.04及以上版本
在 FE 节点需安装 JDK1.8 或者 JDK11（根据你下载的安装包对应的 JDK 或者你编译的时候使用的 JDK 版本选择）。
安装 MySQL 客户端，建议 5.5 以上版本。
所有节点之间要做时钟同步
设置系统最大打开文件句柄数
关闭 Linux 交换分区，避免交换内存到虚拟内存时对性能造成的影响

echo "0" > /proc/sys/vm/swappiness
echo "0" > /proc/sys/vm/overcommit_memory
sysctl -p

二、开始部署

2.1 部署 FE 节点

这里开始介绍如何安装部署 FE。Doris FE 主要负责元数据管理、负责客户端连接管理、SQL查询规划、调度等工作。

修改可打开文件数

ulimit -n 65535

上述方式在重启系统后失效

永久生效：修改配置文件: /etc/security/limits.conf 添加

* soft nofile 65535 
* hard nofile 65535 
* soft nproc 65535 
* hard nproc 65535

这种方法需要重启机器才能生效（所有BE节点都需要进行配置），否则启动不成功, 日志报错。

2.1.1 下载安装包

直接下载编译好的二进制文件，进行解压。
https://doris.apache.org/zh-CN/download

[root@dev workspace]# wget  https://mirrors.tuna.tsinghua.edu.cn/apache/doris/1.1/1.1.4-rc01/apache-doris-be-1.1.4-bin-x86_64-noavx2.tar.gz

root@dev workspace]# tar -zxvf apache-doris-be-1.1.4-bin-x86_64-noavx2.tar.gz

2.1.2 配置 FE

1、配置环境变量

vim /etc/profile

#DORIS_HOME
export DORIS_HOME=/usr/local/apache-doris-be-1.1.4
export PATH=:$DORIS_HOME/bin:$PATH

重新加载环境变量：source /etc/profile

进入到 apache-doris-x.x.x/fe 目录

cd /usr/local/apache-doris-be-1.1.4/fe

修改 FE 配置文件 conf/fe.conf ，这里我们主要修改两个参数：priority_networks 及 meta_dir ，如果你需要更多优化配置，请参考 FE 参数配置说明，进行调整。

2、添加 priority_networks 参数

修改ip绑定（可选）如果机器有多个ip, 比如内网外网, 虚拟机docker等, 需要进行ip绑定, 以便在配置集群时可以正确识别

priority_networks=192.168.10.0/24

注意：
这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 FE 指定唯一的IP地址。

3、添加元数据目录自定义目录
- 创建doris-mate
  其中注意：meta_dir：元数据存放位置。默认在 fe/doris-meta/ 下。需手动创建该目录

meta_dir=/usr/local/apache-doris-be-1.1.4/fe/doris-meta

注意：
这里你可以不配置，默认是在你的Doris FE 安装目录下的 doris-meta，
如果你有 SSD 硬盘，建议这里目录配置到 SSD 上，会获取更好的性能
单独配置元数据目录，需要你提前创建好你指定的目录

4、修改fe.conf中的JAVA_OPTS
fe.conf 中 JAVA_OPTS 默认 java 最大堆内存为 4GB，建议生产环境调整至 8G 以上。
5、将安装目录分发到另外两台节点

scp -r /usr/local/apache-doris-be-1.1.4/ node2:/usr/local/
scp -r /usr/local/apache-doris-be-1.1.4/ node3:/usr/local/

2.1.3 启动FE

三台机器分别启动

sh /usr/local/apache-doris-be-1.1.4/fe/bin/start_fe.sh --daemon

或

./bin/start_fe.sh --daemon

日志默认存放在 fe/log/ 目录下

1、查看 FE 运行状态
FE 启动成功之后，我们通过从 MySQL 客户端连接 FE 查看 FE 的运行状态，后续我们向集群中添加其他 FE 节点和 BE 节点也是通过这个操作完成。

mysql -uroot -P9030 -h127.0.0.1

注意：

这里使用的 root 用户是 doris 内置的默认用户，也是超级管理员用户，具体的用户权限查看权限管理

-P ：这里是我们连接 Doris 的查询端口，默认端口是 9030，对应的是fe.conf里的 query_port

-h ：这里是我们连接的 FE IP地址，如果你的客户端和 FE 安装在同一个节点可以使用127.0.0.1，这种也是 Doris 提供的如果你忘记 root 密码，可以通过这种方式不需要密码直接连接登录，进行对 root 密码进行重置

2、执行下面的命令查看 FE 运行状态

show frontends\G;

然后你可以看到类似下面的结果：

mysql> show frontends\G;
*************************** 1. row ***************************
             Name: 192.168.10.10_9010_1660549353220
               IP: 192.168.10.10
      EditLogPort: 9010
         HttpPort: 8030
        QueryPort: 9030
          RpcPort: 9020
             Role: FOLLOWER
         IsMaster: true
        ClusterId: 1685821635
             Join: true
            Alive: true
ReplayedJournalId: 49292
    LastHeartbeat: 2022-08-17 13:00:45
         IsHelper: true
           ErrMsg:
          Version: 1.1.2-rc03-ca55ac2
 CurrentConnected: Yes
1 row in set (0.03 sec)

Role : 表示你的节点角色，如果你只有一个 FE 的时候，当前节点角色是 Follower，
IsMaster：该值为true，说明这个节点是 FE 的主节点
alive ：该值为 true 说明该节点运行正常

注意：

FE 分为 Leader，Follower 和 Observer 三种角色

默认一个集群，只能有一个 Leader，可以有多个 Follower 和 Observer。

Leader 和 Follower 组成一个 Paxos 选举组，如果 Leader 宕机，则剩下的 Follower 会自动选出新的 Leader，保证写入高可用。

Observer 同步 Leader 的数据，但是不参加选举。如果只部署一个 FE，则 FE 默认就是 Leader。

第一个启动的 FE 自动成为 Leader，上面输出可以看到IsMaster: true。在此基础上，可以添加若干 Follower 和 Observer。

如果 MySQL 客户端连接失败，可以通过查看 log/fe.log 日志来查看发现问题。

如果第一次部署遇到任何意外的问题，都可以通过清空元数据目录，然后重新启动来重试。

验证 FE 启动是否成功
可以通过一下三种方式验证 Doris FE 是否启动成功：

1、通过查看 fe/log/fe.out 文件，看到一下内容表示启动成功
2、通过 jps 命令，我们可以看一个 PaloFe 进程表示启动成功，否是失败
我们也可以通过 Doris 提供的Web UI 来验证是否启动成功，在浏览器里输入 FE 的 IP 地址及端口（默认8030，这个参数在 fe.conf 里的 http_port）,可以看到登录界面，使用默认用户 root 或者 admin 登录，默认密码都是空。

FE 高可用部署

Doris FE 节点支持高可用（HA）部署，来保证实际使用中服务的高可用，具体可以参照 FE 弹性伸缩，通过添加 FE 节点的方式来完成。

虽然我们部署了多个 FE 来完成高可用，但是对于前端使用怎么做到无感知及 FE 的负载均衡，这块可以具体参考 Doris FE 负载均衡。

停止 FE 节点

Doris FE 的停止可以通过下面的命令完成

./bin/stop_fe.sh

2.2 配置BE

这里开始介绍如何安装部署 BE。Doris BE 主要负责 Doris 的数据存储及 SQL 执行计算工作，在一个服务器节点只能部署一个 BE 节点。

下载二进制安装包和FE一样

2.2.1 配置 BE

进入到 apache-doris-be-1.1.4/be 目录

cd /usr/local/apache-doris-be-1.1.4/be

修改 FE 配置文件 conf/be.conf ，这里我们主要修改两个参数：priority_networks' 及 storage_root ，如果你需要更多优化配置，请参考 BE 参数配置说明，进行调整。

1、添加 priority_networks 参数

priority_networks=192.168.10.0/24

注意：
这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 BE 指定唯一的IP地址。

storage_root_path=/usr/local/apache-doris-be-1.1.4/be/doris-data-dir

注意：

这里你可以不配置，默认是在你的Doris BE 安装目录下的 storage，

如果是多个磁盘，使用英文分号隔开

存储目录在启动 BE 之前要创建好，否则启动失败。

SSD 和 HDD 混合使用情况

如果是 SSD 磁盘要在目录后面加上.SSD,HDD磁盘在目录后面加.HDD
示例storage_root_path=/home/disk1/doris.HDD;/home/disk2/doris.SSD;/home/disk2/doris

/home/disk1/doris.HDD 表示 HDD磁盘 ;

/home/disk2/doris.SSD 表示 SSD 磁盘；

/home/disk2/doris 默认为HDD

不论HDD磁盘目录还是SSD磁盘目录，都无需添加后缀，storage_root_path参数里指定medium即可。（示例：storage_root_path=/home/disk1/doris,medium:hdd;/home/disk2/doris,medium:ssd

/home/disk1/doris,medium:hdd 表示存储介质是HDD;

/home/disk2/doris,medium:ssd 表示存储介质是SSD;

2.2.2 启动 BE

在 BE 安装目录下执行下面的命令，来完成 BE 的启动。

sh /usr/local/apache-doris-be-1.1.4/be/bin/start_be.sh --daemon

./bin/start_be.sh --daemon

2.2.3 添加 BE 节点到集群

1、通过 MySQL 客户端将 BE 节点添加到集群中

ALTER SYSTEM ADD BACKEND "be_host_ip:heartbeat_service_port";

1、be_host_ip：这里是你 BE 的 IP 地址，和你在 be.conf 里的 priority_networks 匹配
2、heartbeat_service_port：这里是你 BE 的心跳上报端口，和你在 be.conf 里的 heartbeat_service_port 匹配，默认是 9050
2、如果添加过程中出现错误，你可以通过下面的命令，将该 BE 节点从集群中移除

ALTER SYSTEM DECOMMISSION BACKEND "be_host_ip:heartbeat_service_port";

3、也可以通过下面的命令进行快速删除（仅限新加加点，生产慎用）

ALTER SYSTEM DROPP BACKEND "be_host_ip:heartbeat_service_port";

4、查看 BE 节点运行状态
你可以在 MySQL 命令行下执行下面的命令查看 BE 的运行状态。

SHOW BACKENDS\G；

示例：

mysql> SHOW BACKENDS\G;
*************************** 1. row ***************************
            BackendId: 10003
              Cluster: default_cluster
                   IP: 192.168.10.10
        HeartbeatPort: 9050
               BePort: 9060
             HttpPort: 8040
             BrpcPort: 8060
        LastStartTime: 2022-08-16 15:31:37
        LastHeartbeat: 2022-08-17 13:33:17
                Alive: true
 SystemDecommissioned: false
ClusterDecommissioned: false
            TabletNum: 170
     DataUsedCapacity: 985.787 KB
        AvailCapacity: 782.729 GB
        TotalCapacity: 984.180 GB
              UsedPct: 20.47 %
       MaxDiskUsedPct: 20.47 %
                  Tag: {"location" : "default"}
               ErrMsg:
              Version: 1.1.2-rc03-ca55ac2
               Status: {"lastSuccessReportTabletsTime":"2022-08-17 13:33:05","lastStreamLoadTime":-1,"isQueryDisabled":false,"isLoadDisabled":false}
1 row in set (0.01 sec)

Alive : true表示节点运行正常
SystemDecommissioned： false 表示节点没有执行下线，如果执行下线操作，这里显示的是true

如果 BE 节点没有正常加入到集群，请查看 BE 的 log/be.WARNING 日志获取更多信息排查问题。

如果出现下面的信息。

W0817 12:37:01.090358 11126 task_worker_pool.cpp:1598] report TASK failed. status: 0, master host: 127.0.0.1, port:9020

说明 priority_networks 这个配置有问题，请检查后重新配置，然后执行下面命令将 BE 节点从集群中删除

ALTER SYSTEM DROPP BACKEND "be_host_ip:heartbeat_service_port";

然后配置好之后，清楚 BE 配置的存储目录下的所有数据，重新启动。在按照上面添加 BE节点到集群的部分将 BE 节点重新添加到集群中

2.2.4 停止 BE 节点

运行以下命令可以停止 BE 节点

./bin/stop_be.sh

三、FS_Broker 部署(可选)

Broker 以插件的形式，独立于 Doris 部署。如果需要从第三方存储系统导入数据，需要部署相应的 Broker，默认提供了读取 HDFS 、百度云 BOS 及 Amazon S3 的 fs_broker。fs_broker 是无状态的，建议每一个 FE 和 BE 节点都部署一个 Broker。

拷贝二进制文件源码 fs_broker 的 output 目录下的相应 Broker 目录到需要部署的所有节点上。建议和 BE 或者 FE 目录保持同级。
修改相应 Broker 配置
在相应 broker/conf/ 目录下对应的配置文件中，可以修改相应配置。
启动 Broker

sh bin/start_broker.sh --daemon

添加 Broker
要让 Doris 的 FE 和 BE 知道 Broker 在哪些节点上，通过 sql 命令添加 Broker 节点列表。
使用 mysql-client 连接启动的 FE，执行以下命令：

ALTER SYSTEM ADD BROKER broker_name "host1:port1","host2:port2",...;

其中 host 为 Broker 所在节点 ip；port 为 Broker 配置文件中的 broker_ipc_port。

查看 Broker 状态
使用 mysql-client 连接任一已启动的 FE，执行以下命令查看 Broker 状态：

SHOW PROC "/brokers";

在命令行中使用MySQL客户端加入并查看：


[root@bigdata1 apache_hdfs_broker]# mysql -hbigdata1 -P9030 -uroot -p123456
mysql: [Warning] Using a password on the command line interface can be insecure.
Welcome to the MySQL monitor.  Commands end with ; or \g.
Your MySQL connection id is 1
Server version: 5.1.0 Doris version 0.15.0-rc04-Unknown
 
Copyright (c) 2000, 2021, Oracle and/or its affiliates.
 
Oracle is a registered trademark of Oracle Corporation and/or its
affiliates. Other names may be trademarks of their respective
owners.
 
Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
 
mysql> ALTER SYSTEM ADD BROKER broker_name "bigdata1:8000","bigdata2:8000","bigdata3:8000";
Query OK, 0 rows affected (0.03 sec)
 
mysql> SHOW PROC "/brokers";
+-------------+----------------+----------+------+-------+---------------------+---------------------+--------+
| Name        | IP             | HostName | Port | Alive | LastStartTime       | LastUpdateTime      | ErrMsg |
+-------------+----------------+----------+------+-------+---------------------+---------------------+--------+
| broker_name | 192.168.12.131 | bigdata1 | 8000 | true  | 2022-01-28 17:35:20 | 2022-01-28 17:35:20 |        |
| broker_name | 192.168.12.132 | bigdata2 | 8000 | true  | 2022-01-28 17:35:20 | 2022-01-28 17:35:20 |        |
| broker_name | 192.168.12.133 | bigdata3 | 8000 | true  | 2022-01-28 17:35:20 | 2022-01-28 17:35:20 |        |
+-------------+----------------+----------+------+-------+---------------------+---------------------+--------+
3 rows in set (0.00 sec)

注意

在生产环境中，所有实例都应使用守护进程启动，以保证进程退出后，会被自动拉起，如 Supervisor (opens new window)。如需使用守护进程启动，在 0.9.0 及之前版本中，需要修改各个 start_xx.sh 脚本，去掉最后的 & 符号。从 0.10.0 版本开始，直接调用 sh start_xx.sh 启动即可。

参考：
https://doris.apache.org/zh-CN/docs/summary/basic-summary

https://blog.csdn.net/hf200012/article/details/126618042

https://www.cnblogs.com/syw20170419/p/16704763.html

https://blog.csdn.net/yang_shibiao/article/details/122734347