----------------测试定时任务的瓶颈----------------------------------
先关js文件:
project_datarule.js
customerdataclean.js
cronTask.js 后台任务执行
cron 定时任务
controltable.js 控制表
scheduletask 的执行过程。
- 任务管理--> 项目管理 ---> 数据规则:设置数据规则。(设置那个项目删除对应项目下的客户数据)。
- 执行: NODE_ENV=test node ./server/daemons/customerdataclean.js。
- customerdataclean.js 调用 scheduletask方法。
- project_datarule.js 里面定义了scheduletask()方法。
删除数据量:project_datarule.json
数据总条数:120472条
打包客户数据
//模式从数据仓导入数据
_data_storage 库名
var bulk = db.campaigns_temp .initializeOrderedBulkOp();
for(var i=0;i<50000;i++){
bulk.insert({
city:"天津",
project_id:"58afa2554e6b565b30997032",
area:"",
phone:(parseInt("13652135689")+i)+"",
mark:NumberInt(0),
level:"2",
bigdata_label:"测试标签",
bigdata_batch_no:"2018136549911",
create_time:"2017-07-22 14:10:26",
expired_time:"2018-09-30",
update_time:"2017-07-22 14:10:26",
unique:true
})
}
bulk.execute();
网友评论