crawler

作者: Zihowe | 来源:发表于2017-08-10 16:53 被阅读10次

    有效地存储(json, jl, relational database数据库应该怎样安排)
    有效地判重(visiting the same page multiple times)
    有效地信息抽取 (regex, css slector)

    及时更新(预测这个网页多久会更新一次)

    相关文章

      网友评论

          本文标题:crawler

          本文链接:https://www.haomeiwen.com/subject/nmskzttx.html