一、Zookeeper的安装和配置
1.解压文件
2.进入解压目录，配置相关文件
2.1 修改conf文件夹下的zoo_sample.cfg，重命名为zoo.cfg
打开进入，修改Datadir，并添加如下语句
dataDir=/usr/share/zookeeper-3.5.0-alpha/data
dataLogDir=/usr/share/zookeeper-3.5.0-alpha/logs
server.0=Master:2888:3888
server.1=Slave1:2888:3888
server.2=Slave2:2888:3888
记得”3888”后不要有空格！然后我们创建设置的文件夹
最后再在data下创建myid文件，值设为0
最后把主节点的zookeeper复制到从节点，并修改myid分别为1, 2
2.2 启动zookeeper集群
移动到解压目录下的bin文件夹
在三个节点上执行./zkServer.sh start
最后用./zkServer.sh status命令查看
三个节点查看后，一共两个follower，一个leader，配置成功。（leader不一定是在master上，因为它有自己的选举机制）
二、Hbase的安装与配置
Hbase是一种非关系型数据库，NoSQL，但其实是有两种解释的：not sql 和 not only sql，怎么说呢，应该是介于两者之间的。NoSQL的特点是使用键值对存储数据和分布式，并且读写性能很高，适合我们大数据下的工作。接下来是具体的配置过程。
1.解压文件
2.为.bashrc文件添加环境变量
然后source一下
1.进入解压目录下的conf文件，配置相关信息
3.1 编辑hbase-site.xml,添加如下信息
其中hbase.rootdir端口必须与你的Hadoop集群的core-site.xml文件配置保持完全一致
（这里的Mastre打错了，应该是Master）
3.2 编辑hbase-env.sh，在末尾添加如下
因为hbase运行在zookeeper的基础之上，这个东西就是告诉它我们配置了zookeeper，你用我们配置的，而不是你自带的。
3.3 编辑regionservers，添加从节点
4.通过scp命令把hbase发送到从节点上，并为从节点配置环境变量
5.先启动hadoop，然后再启动zookeeper集群
6.进入hbase文件bin目录下，执行 ./start-hbase.sh
再用jps命令分别查看主节点和从节点，启动成功。
三、Hive的安装与配置
Hbase是一种数据库，而Hive则是一种数据仓库，建立在Hadoop的基础上，提供了一系列工具可供数据的提取转化和加载，这是一种的存储、查询、分析存储在Hadoop中的大规模数据的机制。
具体安装流程如下：
1.解压，设置环境变量并随手source一下
2.进入hadoop目录下，修改etc下的配置文件hadoop-env.sh,添加如下
3.进入解压目录的conf文件夹下
3.1 把hive-default.xml.template重名命为hive-site.xml
3.2 把hive-env.sh.template重命名为hive-env.sh，并添加如下内容
4.进入解压目录的bin文件夹下，修改hive-config.sh文件
4.接下来是和MySQL的连接（之前已经安装好了）
5.1先从官网上下载驱动包
将mysql-connector-java-5.1.43-bin.jar包解压到hive目录下的lib文件夹中
5.2修改 conf文件夹下的hive-site.xml文件，只需修改如下四个点
这一个value值为你root下MySQL的真实密码
*5.3 有些可能还需要修改另三个属性hive.exec.scratchdir，hive.exec.local.scratchdir，hive.downloaded.resources.dir，把他们的值设置为绝对路径，否则后面启动会出错
6.通过mysql给hive权限，登录mysql
5.1执行
GRANT ALL PRIBILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '**your password**' WITH GRANT OPTION;
flush privileges;
select user,host from mysql.user;
6.2修改/etc/mysql/mysql.conf.d/mysqld.cnf 文件，注释掉如下这一行
6.3 重启mysql服务sudo /etc/init.d/mysql restart
7.启动hadoop，再进入hive进行操作
执行hive
执行CREATE TABLE test2(id int,name string); 创建一个新表
执行SHOW TABLES; 可以看到我们创建的表已经在里面了
四、Sqoop 1.99.7的安装与配置
Sqoop是一个转换工具，用于在关系型数据库与HDFS之间进行数据转换。
1.解压，设置环境变量并随手source一下
2.进入解压目录下的conf文件夹下
2.1 配置sqoop.properties
org.apache.sqoop.submission.engine.mapreduce.configuration.directory=/home/ubuntu17/hadoop-3.0.0-alpha4/etc/hadoop
org.apache.sqoop.security.authentication.type=SIMPLE
org.apache.sqoop.security.authentication.handler=org.apache.sqoop.security.authentication.SimpleAuthenticationHandler
org.apache.sqoop.security.authentication.anonymous=true
3.配置Hadoop代理访问
找到Hadoop的core-site.xml配置文件
这里的ubuntu17是指你用什么用户在访问，如果你使用root的话，就把ubuntu17修改为root
4.配置驱动文件
一般我们使用的数据库驱动包都没有随着Sqoop一起释出，多半是因版权问题，所以将这些包放置在这个第三方组件下。再在配置一个SQOOP_SERVER_EXTRA_LIB系统变量即可，指定路径为$SQOOP_HOME/extra，最后把mysql的驱动jar文件复制到这个目录下。
5.启动sqoop服务
在解压目录的bin文件夹下执行
./sqoop2-tool upgrade
./sqoop2-tool verify
./sqoop2-server start
出现了SqoopJettyServer则成功。
6.执行
sqoop2-tool upgrade 初始化
sqoop2-tool verify 检查是否配置正确
sqoop2-shell 进入shell操作界面
至此结束，如果有错误的话欢迎指出(～￣▽￣)～
网友评论