Moloch网络回溯分析系统

Moloch 是一个由AOL开源的，能够大规模的捕获IPv4数据包(PCAP)、索引和数据库系统，由以下三个部分组成：

• capture ：绑定interface运行的单线程C语言应用
• viewer ：运行在capture主机上的node.js web应用
• elasticsearch : moloch的数据检索驱动

Moloch git地址 git主页上README有较为详细的安装说明，以下是参照官方说明，我的安装记录，本章只为了快速搭建Moloch，都是使用RPM包安装。

---

系统要求和环境搭建

• 存储数据包对机器的性能要求moloch提供了评估页面 Moloch Estimators
• 本次安装，找了一台陈旧的机器，4G 1333内存，i3CPU，150 interl SSD，一块500GB HDD，这个配置相对简陋，并且我把所有组件都安装在了一台机器上面，如果有条件的话，请把Capture Machines和Elasticsearch Machines组件分开来安装，由于elasticsearch相当吃内存，2G内存的机器基本带不起来。

image.png

• Linux 系统(官方支持Centos、ubuntu、OS x)
• JDK (elasticsearch依赖，推荐8u65)
• python(nodejs 运行依赖，一般系统都自带v2.7满足需求)
• nodejs(当前的moloch版本支持node)
• Moloch is no longer supported on 32 bit machines
• 内核4.X有助于抓包性能提升

---

安装elasticsearch

• ES可以选择在moloch安装时安装，也可以单独安装，我这边选择单独安装，从elasticsearch官网下载rpm包，下载地址,最新的elasticsearch版本是v6.2.0，由于moloch支持较低版本，下载ealsticsearch-5.6.6版本的RPM包
• 下载JDK

yum install -y wget curl perl-JSON  perl-libwww-perl libyaml-devel   ##依赖组件
wget http://iso.epoint.com.cn/JDK/jdk-8u65-linux-x64.rpm ##下载jdk
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.6.rpm  ##下载elasticsearch
rpm -ivh jdk-8u65-linux-x64.rpm  ##安装jdk
rpm -ivh elasticsearch-5.6.6.rpm  ##安装elasticsearch
systemctl daemon-reload  ##重载修改过的配置文件
systemctl enable elasticsearch.service ##开机启动elasticsearch
systemctl start  elasticsearch.service  ##启动elasticsearch

---

安装Moloch

先去官网下载安装包Downloads，我下载的是Nightly版本，获取最新特性

下载地址

wget https://files.molo.ch/builds/centos-7/moloch-nightly.x86_64.rpm ##下载moloch
rpm -ivh moloch-nightly.x86_64.rpm ##安装moloch

---

配置Moloch

/data/moloch/bin/Configure  ##moloch基本配置
Found interfaces: lo;ens160
Semicolon ';' seperated list of interfaces to monitor [eth1] ens160 ##选择监听网卡，多个网卡用;隔开
Install Elasticsearch server locally for demo, must have at least 3G of memory, NOT recommended for production use (yes or no) [no] no  ##本机寻找elasticsearch
Elasticsearch server URL [http://localhost:9200] http://localhost:9200 ##本机的elasticsearch的URL
Password to encrypt S2S and other things [no-default] moloch  ##配置密码
Moloch - Creating configuration files
Not overwriting /data/moloch-nightly/etc/config.ini, delete and run again if update required (usually not), or edit by hand
Installing systemd start files, use systemctl
Moloch - Downloading GEO files
2018-02-07 19:29:06 URL:http://www.maxmind.com/download/geoip/database/asnum/GeoIPASNum.dat.gz [2513493/2513493] -> "GeoIPASNum.dat.gz" [1]
2018-02-07 19:29:16 URL:http://download.maxmind.com/download/geoip/database/asnum/GeoIPASNumv6.dat.gz [2896577/2896577] -> "GeoIPASNumv6.dat.gz" [1]
2018-02-07 19:29:22 URL:http://www.maxmind.com/download/geoip/database/GeoLiteCountry/GeoIP.dat.gz [700469/700469] -> "GeoIP.dat.gz" [1]
2018-02-07 19:29:28 URL:http://geolite.maxmind.com/download/geoip/database/GeoIPv6.dat.gz [1110013/1110013] -> "GeoIPv6.dat.gz" [1]

初始化、升级 Elasticsearch Moloch配置

/data/moloch-nightly/db/db.pl  http://localhost:9200  init    ##第一次安装初始化、或者想删除所有数据
/data/moloch-nightly/db/db.pl  http://localhost:9200 upgrade  ##升级moloch 数据包

添加admin账户

/data/moloch-nightly/bin/moloch_add_user.sh admin "Admin User" moloch --admin  ##新增admin账户，密码是moloch

开启所有服务

systemctl enable molochcapture.service ##开机启动Capture
systemctl start molochcapture.service  ##启动Capture
systemctl enable molochviewer.service  ##开机启动Viewer
systemctl start molochviewer.service   ##启动Viewer

日志查看

tail -f /data/moloch-nightly/log/capture.log
tail -f /data/moloch-nightly/log/viewer.log

数据清理

ES的数据增长根据流量大小决定，如果不定期清理ES数据，总有一天空间会写满，所以要定期清理ES数据

cd /data/moloch-nightly/db
vim daily.sh
#ES服务端口
ESHOSTPORT=127.0.0.1:9200
#保留ES日志七天
RETAINNUMDAYS=7
crontab -e 
0 1 * * *  sh /data/moloch-nightly/db/daily.sh >> /var/log/moloch/daily.log 2>&1

登入Moloch系统

访问http://molochhost:8005
user : admin
password : moloch

moloch

FAQ

• Capture服务抓取的数据包文件存储在/data/moloch-nightly/raw/ 目录下，如果流量大的化可以mount大一点的硬盘
• Elasticsearch由于是通过rpm包默认安装，数据文件存在路径/var/lib/elasticsearch/nodes/0/indices,可以修改elasticsearch.yml配置文件path to data,path to logs,重启服务生效
• 镜像网卡开启混杂模式 ifconfig eth0 promisc
• freeSpaceG = 5%存放PCAP文件的空间重复使用的临界空间值
• 插入手动添加的PCAP文件 ${moloch_dir}/bin/moloch-capture -c [config_file] -r [pcap_file]
• 无法启动molochcapture.service, ERROR - pcap open failed - Couldn't open file: '/data/moloch-nightly/raw/localhost-180207-00000038.pcap' with Permission denied (13). 原因是用户问题，chown nobody:root raw/ ,设置nobody用户就可以了
• path.data path.logs设置了指定路径后，无法启动elasticsearch服务，原因是指定的路径权限是root，需要修改成elasticsearch用户和组