运维培训 in 西安
1.机架感知：
要将hadoop机架感知的功能启用，配置非常简单，在namenode所在机器的hadoop-site.xml配置文件中配置一个选项：
topology.script.file.name
/path/to/RackAware.py
这个配置选项的value指定为一个可执行程序，通常为一个脚本，该脚本接受一个参数，输出一个值。接受的参数通常为某台datanode机器的ip地
址，而输出的值通常为该ip地址对应的datanode所在的rack，例如”/rack1”。Namenode启动时，会判断该配置选项是否为空，如果
非空，则表示已经用机架感知的配置，此时namenode会根据配置寻找该脚本，并在接收到每一个datanode的heartbeat时，将该
datanode的ip地址作为参数传给该脚本运行，并将得到的输出作为该datanode所属的机架，保存到内存的一个map中。
2.zookeeper jn 的数量为奇数台 3.5.7.9.。。。等
nn active 为两台
3.map的数量为5000以内 reduce的数量为几百到几千
4.hadoop 配置：
a.操作系统
b.JDK
c.zookeeper
d.hdfs
core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml
开：启动zk----启动jn----格式化----启动dfs-----启动yarn
关：反着来
5.hadooop dfsadmin -report
-safemode enter/leave/get/wait
-setBalanceBandwidth 1048576 /*带宽*/ 1M
hadoop dfsadmin -setBalancerBandwidth 10485760 10M 带宽
hive-env.sh
export HIVE_CNOF_DIR=/home/hive
6. 启动zookpeeper: $HADOOP_HOME/bin/zkServer.sh start
启动journalnode: $HADOOP_HOME/sbin/hadoop-daemon.sh start journalnode
启动namenode: $HADOOP_HOME/sbin/hadoop-daemon.sh start namenode
启动datanode: $HADOOP_HOME/sbin/hadoop-daemon.sh start datanode
启动zkfc: $HADOOP_HOME/sbin/hadoop-daemon.sh start zkfc
启动yarn : $HADOOP_HOME/sbin/start-yarn.sh
先停备的，
先启动zookeeper,最后启动yarn
先停yarn，最后听zookeeper
7.系统监控
系统没问题：磁盘空间？网络负载、cpu负载、内存情况
client连接？ 日志告警与异常、安全控制（sentry）、集群相关日志
8.垃圾回收站
a。开启垃圾回收站功能：fs.trash.interval （ 默认为0 表示禁止） ，10800=3x60X60
b. 大部分设置24小时，但hdfs 保留24X2=48小时
9.zk架构
一个leader 多个server
zk问题：
连接数问题 增大连接数
内存分配不足
磁盘I/o 写问题 相应时间
其他
10.app 表示任务
11.看了西安的运维培训资料，感觉有些知识突然顿悟了
，但是还是表达不出来，为什么呢 hive spark mapreduce 等等 感觉自己看了很多东西，但是就是表达不出来
为什么呢 找个时间，把自己脑子里面的东西理顺，如果别人问，自己能说的清楚，多看看视频，实践，有自己的感悟，不能
光看一眼就忘掉了，要把学过的知识能够串起来，能给别人讲出来。这样才算弄清弄懂了。
感觉耳濡目染的作用还是比较大的，每天听
他们说，感觉自己也增长了很多见识，这样是积月累，慢慢就会有自己的感受了 。
网友评论