美文网首页
爬虫神器:SSDB。代替Redis做数据filter

爬虫神器:SSDB。代替Redis做数据filter

作者: 领悟悟悟 | 来源:发表于2018-09-15 00:01 被阅读0次

    推荐原因:便宜,便宜,便宜,4核8G+100G SSD就够了。
    由于项目大,单机Redis内存太小,使用codis做集群。codis用key做数据分区,我存的是set不满足需求,自己手动写Redis简单集群按value做分区,后面计算一下基础班云服务器(一核两G)需要六七十个。

    爬虫神器:SSDB。代替Redis做数据filter

    测试机器:
    i5 7500 四核
    16G
    7200转。
    数据量15亿。

    数据插入(hashmap hset命令) QPS: 爬虫神器:SSDB。代替Redis做数据filter

    安装时可能错误:
    ERROR!autoconfrequired!installautoconffirst
    Makefile:4:build_config.mk:没有那个文件或目录
    make:***Noruletomaketarget'build_config.mk'。停止。
    这是autoconf不能实现自动编译,于是安装autoconf:
    sudoapt-getupdate
    sudoapt-getinstallautoconf

    爬虫神器:SSDB。代替Redis做数据filter 每百万次插入耗时 爬虫神器:SSDB。代替Redis做数据filter

    相关文章

      网友评论

          本文标题:爬虫神器:SSDB。代替Redis做数据filter

          本文链接:https://www.haomeiwen.com/subject/ccxzgftx.html