Windows环境下
-
CentOS 6.5 64位安装介质下载，即，
介质名称：CentOS-6.5-x86_64-minimal
下载链接：http://pan.baidu.com/s/1mi1hhP2
下载密码：fjuj -
jdk1.7.80下载，即，
名称：jdk-7u80-linux-x64.rpm
链接：http://pan.baidu.com/s/1qYqjITu
密码：w4a8 -
VMware-workstation-full-14.0.0
名称：VMware-workstation-full-14.0.0.24051
链接：http://pan.baidu.com/s/1gfCgE0z 密码：7t9r -
zookeeper
名称：zookeeper-3.4.10.tar.gz
链接：http://pan.baidu.com/s/1gfCgE4b 密码：gf7c -
hadoop
名称：hadoop-2.5.2.tar.gz
链接：http://pan.baidu.com/s/1qYwVvEs 密码：v675
-
SSH免密码登陆的配置，即，
31D0C07ABACF2A308AC9DEF6DC8DD0FB.png
============================SSH免密码登陆===========================
1、生成公钥/私钥对
$ssh-keygen -t rsa
-》-t代表指定加密类型
-》rsa代表加密类型中的一种
-》可以直接ssh-keygen
-》因为系统默认的就是rsa类型
在$HOME/.ssh/目录下，会新生成两个文件：id_rsa.pub和id_rsa。前者是你的公钥，后者是你的私钥发送
拷贝公钥至authorized_keys文件
$ssh-copy-id hadoop-cluster01
3、一般不建议使用start-all.sh脚本
4、Linux中的用户主目录权限一般为700或者是755
5、.ssh一般权限为700或者755
6、不要随意更改用户主目录的权限和.ssh目录权限的公钥和密钥文件的权限，随意更改会直接导致免密码登陆设置的失败
-
本地仓库在maven的配置文件的路径，即，
969D2F37821E7AC57246879540A299B6.png
-
阿里云的私服路径，即，
C7EE7F760C78FDE2934188078BB459CF.png
-
hadoop的伪分布式的配置文件，在hadoop-2.5.2/etc/hadoop目录下，即，
1、hadoop-env.sh
2、core-site.xml
3、hdfs-site.xml
4、mapred-env.sh
5、mapred-site.xml -
4D93B8C25F0422CA611279D947063949.png
-
Flume方面的相关文件和jar包
-
MapReduce的模板：MapReduceModule.java
-
PV统计的WebPvMapReduce.java
-
依赖包的pom.xml文件
-
jdk1.7或者1.8
-
后面的分别是
1、apache版的apache-hive-0.13.1-bin.tar.gz；
2、CDH版的hive：hive-0.13.1-cdh5.3.6.tar.gz
3、hive连接mysql的驱动包：mysql-connector-java-5.1.27-bin.jar
4、mysql-5.7.19.tar.gz的安装tar包，即
-
但安装mysql5.7需要boost,即，
-
HBase的Web界面，即，
64EF78BABA5AC986A38A8B4106E86F0C.png
-
访问方式为http://节点名称：端口
端口为60010
1094277262EB0703B872D7473B5B623D.png
-
HBase所需要的lib下的jar包，分别是hadoop的和zookeeper的
0B738F66902F4313FC81D0D005BD3D54.png
-
压缩成一个了，即
-
修改hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_79
由于hbase自带了zk的jar包，所以使用自定义的zk，则设置为false
export HBASE_MANAGES_ZK=false -
修改相应的配置文件为：
hbase-env.sh
hbase-site.xml
安装
本次安装在阿里云的ECS上，系统为Ubuntu 14
- 连接阿里云服务器
- 安装jdk
javac //验证
apt-get install openjdk-7-jdk//安装
//以上命令如果失败，则需要更新库
apt-get update//更新，更新后再使用上一条命令
安装后，需要配置环境变量
vim /etc/profile
在以下添加如下，具体地址在之前安装时出现过，自行修改
image
修改完毕后，更新
source /etc/profile
可以使用以下命令以验证
echo $JAVA_HOME
echo $PATH
javac
- 命令行下载hadoop
wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.0/hadoop-2.9.0.tar.gz
网友评论