python爬虫系列（1）- 概述

事由

之前间断地写过一些python爬虫的一些文章，如：

工具分享 | 在线小说一键下载

Python帮你定制批量获取智联招聘的信息

Python帮你定制批量获取你想要的信息

用python定制网页跟踪神器，有信息更新第一时间通知你（附视频演示）

把python网页跟踪神器部署到云上，彻底解放你的电脑

个人认为学习python语言的话，爬虫是一个非常适合入门的方向。

为了把学习到的知识比较系统整理一下，永恒君打算写一个系列的文章，把爬虫涉及到的基础知识整理出来，同时把涉及到的一些实例样板也一并整理一下。这样一方面知识比较系统、方便查找，另外一方面也分享给大家，欢迎一块交流学习。

下面是我整理的一个整体图

python 爬虫 常见流程.jpg

简单来说，爬虫的流程就是：

请求网页 - 解析网页 - 提取网页数据 - 保存数据

简单实例

下面就是一个简单的例子，实现的效果是访问http://www.yhjbox.com网站，提取网站的标题，保存在title.txt文件中。

import requests
from lxml import etree

url = 'http://www.yhjbox.com'
data = requests.get(url) #请求网页

html = etree.HTML(data.text)#解析网页
title = html.xpath('/html/head/title/text()') #提取网页数据

print(title)#打印title的内容

with open('title.txt','a') as f: #保存数据到txt文件中
    f.write(title[0])

程序运行结果.png

简单吧，只有区区9行代码。

后续永恒君会按照上面流程图的内容，把我认为爬虫过程中比较常见、重要的环节内容整理分享出来，同时也尽可能的把样板代码也附上。

欢迎各位的交流和宝贵意见！