一.背景
一个互联网企业少不了对自身业务的数据访问量的监控和分析。统计行业，如今CNZZ和百度作为两大巨头，是第一优先选择。
但是这两方的覆盖面积太广，难免有时候会有些“疏漏”：
- CNZZ和百度统计经常数据不一致
- 经常出现数据缺失（比如对于站点根目录的PV,UV访问）
作为企业肯定是对于自身业务的数据是第一关注点，那么数据准确率和迭代速度就成为了优先选择。
二.统计系统v1.0.0
1.数据统计前端规则
这里主要是说日志收集和处理方向，统计规则我说了，反正就是围绕cookies和localStorage再添加各种限制展开。有兴趣的可以看我的repo=> Pure_statistics ，这里讲述了对PV和UV的收集规则。
2.日志收集和处理
- 用静态资源作为“载体”
- rsyslog解析并推送到MySQL
这就是统计系统的雏形
不过久而久之就出现了瓶颈，rsyslog不灵活，迭代过程十分痛苦。
三.取其精华，去其糟粕
保留Nginx处理静态资源访问的优势，用对字符串十分友好的Node来处理日志，解析字段。
虽然Nginx和Node都是基于事件驱动的服务模型，但是不得不承认Nginx对于静态访问的处理是优于Node的。
像普遍情况专门有一台NodeServer，在拓展业务上可以用Nginx做一个反向代理，实现动静分离，发挥其各自的优势。
进一步优化
nginx.conf
其实我们在处理日志的时候只需要去处理我们“载体”相关的日志，那么我们就得将统计日志和普通日志分离。
这里我介绍一种配置路由的方式来分离日志
- 将你的载体放在某一个目录下，比如/tongji/
- 利用location的普通字符匹配规则去匹配载体访问
- 匹配后修改日志路径
location ^~ /tongji/ {
if ($time_iso8601 ~ "(\d{4})-(\d{2})-(\d{2})") {
set $time $1$2$3;
}
access_log 路径马赛克/$time-access.log static;
# static 规则按需配置.
}
这样在解析日志的时候可以避免冗余日志，节约是美德呀~~~
当然你还可以做很多事，比如匹配站点，避免非自己业务的访问干扰数据精确度等等
当然，如果你司足够壕，当我没说。
Node处理程序
剩下来的事情就是用Node去读日志了
createReadStream创建一个可读流交给 readline 逐行读取处理就行了，剩下的这就是JavaScript开发者的拿手戏了 => 字符串解析
请注意，node在处理大文件或者未知内存文件大小的时候千万不要使用readFile，会突破V8内存限制。
推荐使用stream + pipe去处理，其不受V8限制，如果不设计字符串的操作还可以纯粹用buffer去操作，当然此时便是受物理内存的限制了。
const fs = require('fs');
const url = require('url');
const readline = require('readline');
console.time('cost-time');
const rl = readline.createInterface({
input: fs.createReadStream('路径马赛克/20200221-access.log')
});
let arr = [];
rl.on('line', (line) => {
//你自己的业务逻辑
});
rl.on('close', () => {
console.timeEnd('cost-time'); //假吧意思看个耗时
});
网友评论