美文网首页Python 爬虫爬虫python
Python爬虫总结和资源

Python爬虫总结和资源

作者: 抬头挺胸才算活着 | 来源:发表于2017-09-30 18:30 被阅读430次
  • request:上面库的加强版,推荐使用这个而不是上面那个
    爬虫入门系列(二):优雅的HTTP库requests
    可能真的要找个时间对各个库进行好好的研究,像知乎登陆的文章写的东西就用requests.Session模块写的,不熟悉这些完全不知道怎么写

涉及到大规模爬虫,还需要了解分布式的概念、消息队列、常用的数据结构和算法、缓存,甚至还包括机器学习的应用,大规模的系统背后都是靠很多技术来支撑的。爬虫只是为了获取数据,分析、挖掘这些数据才是价值,因此它还可以延伸到数据分析、数据挖掘等领域,给企业做决策,所以作为一名爬虫工程师,是大有可为的。

相关文章

网友评论

    本文标题:Python爬虫总结和资源

    本文链接:https://www.haomeiwen.com/subject/jgcwextx.html