hadoop 小问题环境设置

---

title: hadoop 小问题环境设置
tags: 大数据,环境配置, 小问题
grammar_cjkRuby: true

---

1 linux修改系统日期与时间

 date -s  "2012-11-03 10:25:25"

2 windows下 hadoop 8088 端口不能看log的问题

进入C:\Windows\System32\drivers\etc 目录下编辑hosts目录
同一个地址可以起两个别名，但是不能写两个同样的IP地址
配置成功后可以在cmd中直接ping master...

192.168.137.121 master master
192.168.137.122 slaver1 slaver1
192.168.137.123 slaver2 slaver2
192.168.137.127 slaver3  slaver3

3 windows下 hadoop 8088 端口不能看history日志文件的问题

[root@master sbin]# pwd
/usr/hadoop-2.6.4/sbin
[root@master sbin]# mr-jobhistory-daemon.sh  start historyserver
[root@master sbin]# jps
3849 NameNode
4172 ResourceManager
4029 SecondaryNameNode
5427 Jps
5357 JobHistoryServer

4 windows下 ping命令不是内部命令,系统环境变量Path需添加

C:\windows\system32\

5 开机自启动或者关闭服务(开机关闭防火墙)

chkconfig iptables off

6 查看系统服务命令

 ls -a /etc/init.d/ 

7 杀掉进程,hiveserver2 启动两次会导致beenline

jps
kill -9 6829
kill -l

8 hive2.1.1版本或者之上需要使用jdk1.8或之上的版本进行兼容，否则会造成运行hql是经常报outofmemory错误

9 hbase 查操作命令

启动hbase：hbase shell

help 'create'
help 'put'
help 'get'
help 'alter'

10 安装phoneix 运行sqlline.py master,slaver1,slave2:2181 报错 ： No module named argparse

Traceback (most recent call last):
  File "/usr/tools/apache-phoenix-4.11.0-HBase-1.2-bin/bin/sqlline.py", line 27, in <module>
    import argparse
ImportError: No module named argparse

这是因为安装新版本的phoenix自带sqlline需要argparse模块，我们centos6.5 中的python不包括这个模块。需要额外安装，我们使用easy_install 工具安装argparse模块比较简洁，类似npm

#wget --no-check-certificate https://bootstrap.pypa.io/ez_setup.py
#python ez_setup.py
#easy_install argparse

11 scala project with maven

Creating Your First scala Project with maven
如下图 add aracheType Choose net.alchim31.maven:scala-archetype-simple version:1.5
填好gav自动下载

enter description here

修改scala版本号

 <properties>
    <maven.compiler.source>1.6</maven.compiler.source>
    <maven.compiler.target>1.6</maven.compiler.target>
    <encoding>UTF-8</encoding>
    <scala.tools.version>2.11</scala.tools.version>
    <scala.version>2.11.11</scala.version>
  </properties>

删除不用的单元测试依赖

    <dependency>
      <groupId>org.specs2</groupId>
      <artifactId>specs2_${scala.tools.version}</artifactId>
      <version>1.13</version>
      <scope>test</scope>
    </dependency>
    <dependency>
      <groupId>org.scalatest</groupId>
      <artifactId>scalatest_${scala.tools.version}</artifactId>
      <version>2.0.M6-SNAP8</version>
      <scope>test</scope>
    </dependency>

删除插件编译参数

<arg>-make:transitive</arg>

enter description here

12 spark-shell 的使用

spark-shell 是一个命令行交互工具（需要安装好spark环境），在里面可以快速查看处理结果，下面有一个需求就查询ID为10的同学的信息

  
[root@master Desktop]# cat student.txt 
01      赵小六  1990-09-01 03:18:03.0   男
02      钱钟书  1916-12-21 00:00:00.0   男
03      孙菲菲  1990-05-20 00:00:00.0   男
04      李彦伟  1990-08-06 00:00:00.0   男
05      周佛海  1900-12-01 00:00:00.0   女
06      吴天    1992-03-01 00:00:00.0   女
07      郑板桥  1989-07-01 00:00:00.0   女
08      王菊    1990-01-20 00:00:00.0   女
09      张凯    1983-08-01 20:10:21.0   男
10      李云    1989-05-19 11:07:30.0   男
11      张凯    1997-06-12 11:47:23.0   男
12      张凯    1997-06-16 11:47:23.0   女
13      张海洋  1989-05-14 11:07:30.0   男

进入环境

[root@master ~]# spark-shell

生成rdd

scala> val sturdd =sc.textFile("file:///root/Desktop/student.txt")

过滤

scala> sturdd.filter(x=>x.split("\t")(0).toString.equals("10")).foreach(println)
10      李云    1989-05-19 11:07:30.0   男