去年8月份，我拿到了数据挖掘工程师的offer。很多人告诉我，数据挖掘工程师就是每天分析分析数据，再拍一下脑袋，想出几个新特征，或者调调参数，他们还有个外号叫『调参工程师』。

今年8月份，我已经正式入职一个月了，那么我的第一个月工作是什么呢？

1、阅读我们组负责的核心代码，并做一次汇报。大部分代码都是用python或shell脚本编写，很容易看懂每一行代码的含义。虽然能够轻易认识每一行代码，但要弄懂整套代码的流程和细节就不那么容易了。『1+1>2』，『虽然每个字都听得懂，但就是不知道他在说啥』……这类情况与我现在碰到的问题也是大同小异的。除了编程语言，我们还需要了解hadoop的基础知识，因为公司的数据量都相当大，单机一般跑不动数据。另外，我们需要预先知道机器学习应用的常见套路：解析输入数据，提取一级特征，提取二级特征，……用分类器进行训练，预测，获得一个分数，然后和其他分数进行整合，输出结果。

2、学习开发工具和开发流程。读书的时候，我一直用C++在Windows上进行内核开发。现在需要学习基本的linux命令，hadoop命令，SVN的使用，vim的使用，怎么提交代码并将代码上线。

3、接手师兄的部分工作，协助师兄完成一些任务。工作可以分为两类。第一类，接手的项目。这一块非常重要，因为你未来的几个月都要和它纠缠在一起。认认真真看代码，在师兄的指导下完成与该项目相关的小任务，能够跑通这个项目，知道怎么修改代码。以后数据或别人告诉你，你的项目出问题了，你要能及时跟踪问题，定位问题，解决问题。第二类，接手的事务性工作。这部门工作主要是为了服务他人和团队。我目前有三个小小的事务性工作，比如接到我负责的数据源的报警信息后，需要追查报警原因。

——————————干货分享—————————

干货四篇：SVN，Linux，Hadoop，策略

SVN篇

SVN代码提交步骤

1、从SVN上下载代码：svn co 代码地址

2、修改代码

3、在本地自测

4、发起code review

5、评审人进行code review

6、一般情况下需要进行QA评测，如果改动较少，也可以免测

7、提交代码，分五步

查看本地代码与最新代码的差异：svn diff

没改动的的代码与svn的最新版本同步：svn up

将新增的文件加入svn版本控制中（若只是改动原文件，可以跳过这一步）：svn add 新增文件名

将修改后的文件提交到版本库：svn ci -m "注释内容"

SVN的其他常用命令

查看所有版本的文件修改信息：svn log -v > svn_log.txt

查看指定的两个版本的差异：svn diff -r 第一个版本号:第二个版本号

更新至指定的版本：svn up -r 某一个版本号

Linux篇

文件传输

首先安装SecureCRT

从linux服务器传输文件到本地电脑：sz -be 文件名

从本地电脑传输文件到linux服务器：rz -be

从其他机器上拷贝文件到当前机器：wget -r ftp://机器名//文件夹的绝对路径

Linux的常用命令

按内容提取文件中的某些行：grep，例grep -aP ^Hello part-00000 > hello.txt

按行号提取文件中的连续行：sed，例sed -n '19,19p' text.txt >> result.txt

查看两个文件的不同：diff old.txt new.txt > diff.txt

查看文件夹中文件个数：ls | wc -l

后台执行：nohup 命令 &

解压：gunzip FileName.gz

解压缩：tar -xzvf FileName.tar.gz

建立压缩文件：tar -cvf 压缩后的文件名.tar 待压缩的目录

查看指定命令的进程ID: ps -ef |grep cmd命令

杀死进程：kill -9 [PID]

杀死含指定关键字的进程：ps -ef | grep 关键字 | grep -v grep | cut -c 9-15 | xargs kill -9

文件和目录名称自动补全：文件和目录名称前缀+tab键

跳到命令行的头部位置：Ctrl + a

跳到命令行的尾部位置：Ctrl + e

Vim的常用命令

退出编辑，不保存：q!，回车

退出编辑，保存：wq，回车

查询指定字符串：/查询字符串，回车，n向后查找，N向前查找

直接跳到指定行：:行号，回车

插入，删除，修改文件内容：i进入插入模式，esc退出模式

Hadoop篇

Hadoop常用命令

hadoop命令与linux命令非常相似，通常以hadoop fs开头

从集群上复制文件到当前文件夹：hadoop fs -get 集群上的文件存放路径（带文件名）./

将集群上同一个文件夹下的所有文件合并成一个文件，放在当前文件夹中：hadoop fs -getmerge 集群上的文件存放路径（不带文件名） 合并后的文件名

运行时根据JobID修改map.capacity：例 hadoop job -set-map-capacity JobID 3000

查找指定key所在的输出文件编号：KeyFieldBasedPartitioner key 总文件个数，例如输出文件有1000个，依次为part-00000.gz，part-00001.gz，……part-00998.gz，part-00999.gz，想知道key =『大米』的记录在哪个文件，可以采用命令『KeyFieldBasedPartitioner 大米 1000』，若返回66，则表示key =『大米』的记录全在part-00066.gz文件中。

Hadoop作业的参数设置

hadoop作业模板

job_name                =  作业名称

mapper                   =  python map文件名.py 

reducer                   =  python reduce文件名.py

input                  =  输入路径

output                =  输出路径 

mapred.map.tasks        =  3000

mapred.reduce.tasks        =  10000

mapred.job.map.capacity    =  10000

mapred.job.reduce.capacity  =  5000

# "file =" 将本地文件分发到集群上的每个计算节点

file        =  程序运行时所需要的可执行文件、脚本或者配置文件

策略篇

评估一个特征的修改对其他特征造成的影响

特征按纯度可以划分为基础特征和组合特征。顾名思义，组合特征是将多个特征通过函数变换组合起来。基础特征的变动，可能导致相应组合特征的变动。

如何评估一个特征的修改对其他特征造成的影响呢？常用方法是做对比实验。在同一个数据集上，分别运行修改特征前和修改特征后的代码，然后观察特征值的变化情况，并对变化作出解释。

正式上线的代码需要处理超大规模的数据，而我们自己测试时，可以只抽取少量数据，节省时间。

评估新增的功能有没有生效

基本方法也是做对比实验。重要的事情要重复说才会印象深刻。特别强调一点，和评估特征修改的影响面类似，新增的功能导致输出结果的变化要符合预期，即只改变你预期中它该变化的地方，不改变预期中它不应该变化的地方。