CDH使用cloudera-manager-installer.bin安装时默认安装了postgresql用来存储cloudera manager运行所需要的状态，但是一般生产环境使用外部数据库，这里介绍以下如何在cdh中使用MySQL
配置Mysql数据库
为Cloudera Manager配置外部的数据库需要对此外部数据库进行一些配置
1） 需要配置Mysql的搜索引擎为InnoDB
2） Mysql安装好以后默认分配的缓冲区和内存比较小，ClouderaManager会非常频繁地连接Mysql需要配置一下,具体根据你集群的大小配置最大连接数
3） 二进制日志对于ClouderaManager不是必须的，但是对Mysql有好处，这个你随意
然后官网在下面给了一个my.cnf配置的例子,然后说只要你的大数据集群在50个节点以内都可以使用下面的这个配置
# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html
[mysqld]
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M
validate_password = off
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
key_buffer_size = 32M
max_allowed_packet = 32M
thread_stack = 256K
thread_cache_size = 64
query_cache_limit = 8M
query_cache_size = 64M
query_cache_type = 1
max_connections = 550
#expire_logs_days = 10
#max_binlog_size = 100M
read_buffer_size = 2M
read_rnd_buffer_size = 16M
sort_buffer_size = 8M
join_buffer_size = 8M
# InnoDB settings
innodb_file_per_table = 1
innodb_flush_log_at_trx_commit = 2
innodb_log_buffer_size = 64M
innodb_buffer_pool_size = 4G
innodb_thread_concurrency = 8
innodb_flush_method = O_DIRECT
innodb_log_file_size = 512M
[mysqld_safe]
log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
sql_mode=STRICT_ALL_TABLES
安装MySQL，将原来的/etc/my.cnf备份，新建/etc/my.cnf并将上面的内容进行复制。
下载MySQL驱动包，上传到主节点的/usr/share/java目录，该目录需要手动进行创建，下载的驱动包的版本不要太高，以免出现连接错误，我下载的版本是5.1.35，下载完成之后，重命名，上传到创建的/usr/share/java目录
mv mysql-connector-java-5.1.35.jar mysql-connector-java.jar
安装CDH过程中，执行cloudera-manager-installer.bin可执行文件后，先不要进入浏览器端，等待cloudera-scm-server启动完成之后，按照下面的命令依次停止cloudera-scm-server-db和cloudera-scm-server进程
service cloudera-scm-server-db stop
service cloudera-scm-server stop
配置 CM Server 的数据库（主节点）
cd /usr/share/cmf/schema
./scm_prepare_database.sh mysql -hmaster -ucyclone -p123456 --scm-host master scm scm scm
这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指：
mysql：数据库用的是mysql，如果安装过程中用的oracle，那么该参数就应该改为oracle。
-hmaster:数据库建立在master主机上面
-ucyclone:数据库用户名为cyclone
-p123456:数据库的密码为123456
--scm-host：CM server的主机，一般是和mysql安装的主机是在同一个主机上。
最后三个参数是：数据库名，数据库用户名，数据库密码。
初始化完成之后，启动cloudera-scm-server服务即可
service cloudera-scm-server start
另外一个是内置的数据库服务，就不需要启动了，启动完成就可以在网页端进行登陆，进行节点分配和服务安装，如果网页上没有警告说使用了内置的数据库，就说明配置成功。
网友评论