Python爬虫学习（一）概述

学习了一段时间的Python和爬虫知识后，想把一些经验总结系统地记录下来，欢迎大家一起分享！

首先，不得不谈的一个问题就是，什么是爬虫？

什么是爬虫

简单地说，爬虫就是一个替代手动复制粘贴网页信息的一个工具。

假如你有一项工作，就是把上图的日期和标题等内容采集下来，记录到比如说一个文本文档（.txt)中，你可以选择的一种方式是不断的复制粘贴。上图只有四项，假如有成千上万项，该怎么办呢？一个可能的答案是——爬虫。

我们可以编写爬虫程序，完成上述的任务，甚至更多其他的工作。

如果说的严谨点，

网络爬虫是一种按照一定规则，自动抓取万维网信息的程序或者脚本

准备知识

Python

既然是学习Python爬虫，首先我们得学习一下Python语言的语法，下面就分享一些不错的Python学习资源。

简明Python教程

Python教程 - 廖雪峰的官方网站

你是如何自学 Python 的？(知乎)

如何系统地自学 Python？(知乎)

等等，大家可以自己去搜索，肯定可以找到最适合自己的学习资源。

HTML&CSS

同样有很多优秀的学习材料，这里只给一个网站：http://www.w3school.com.cn/h.asp

W3school

以上的准备知识，只要有个概念就好，随着时间的投入，以及使用的频率增加，自然会有更深刻的了解。

学习内容

这系列文章，应该会涉及到：

• urilib库
• re库
• requests库
• Beautiful Soup
• Xpath语法
• MongoDB
• Redis
• Flask
• Django
• pyquery库
• selenium
• phantomjs
  还有就是一些爬虫框架了：
  比如说：
• PySpider
• Scrapy
  等等。

我会尽力做到每日一更，文章尽力写得清晰易读。

最后希望大家能够一起分享。

以上。