美文网首页python从入门到精通python 实战实验室
python分布式爬虫搜索引擎实战-0-目录索引

python分布式爬虫搜索引擎实战-0-目录索引

作者: 天涯明月笙 | 来源:发表于2017-03-26 17:29 被阅读602次

目录：

技术选型

scrapy 可以加入requests和beautifulsoup
scrapy基于twisted，性能好
方便扩展,有很多内置功能
内置的css和xpath selector很方便，速度快

网页分类

  1. 静态网页
  1. 动态页面
  2. webservice(restapi)

爬虫能做什么？

  1. 搜索引擎：百度 垂直领域搜索引擎(只爬某领域)
  1. 推荐引擎：今日头条
  2. 机器学习的数据样本
  3. 数据分析(金融数据分析) 舆情分析

相关文章

网友评论

    本文标题：python分布式爬虫搜索引擎实战-0-目录索引

    本文链接：https://www.haomeiwen.com/subject/tlukottx.html

    延伸阅读

    深度阅读

    • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

    栏目导航

    热点阅读

    python从入门到精通

    python 实战实验室

    关于我们|服务条款|联系我们|python分布式爬虫搜索引擎实战-0-目录索引|投稿指南|网站地图|RSS订阅|排版工具|手机版

    提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

    Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

    备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

    本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

    所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！