最近开始学python，看了廖雪峰老师的入门教程后，就在知乎上找了些入门项目来练手。由于比较感兴趣的是爬虫，于是跟着一些大神的文章敲代码。现在把自己跟着敲的代码和自己的一些理解注释，还有运行过程中出现的一些问题，都一并记录上传到简书上来，一来是自己整理笔记，二来是和大家分享学习过程的一些问题和见解。（刚刚入门python，笔记中难免出错，若有高手看到，还望批评指正，感谢！）
-
爬虫入门练习1 ：抓取厦大王亚南经济研究院老师信息：名字+个人主页链接--（来自知乎用户@iGuo）
本练习的要点：学会使用requests模块请求网页和使用BeautifulSoup模块解析网页，获取信息。
# conding=utf-8 # 声明utf-8编码方式
-------------------------------------------------------------------------------------------------
# 第一步: 利用request模块，请求网页
import requests # 导入requests模块 （requests模块用于请求网页）
r=requests.get('http://www.wise.xmu.edu.cn/people/faculty') # 调用get函数请求获得网页信息（函数内参数是目标网站）
html=r.content #采用 r.content方法，以二进制方式获取网页源代码
-------------------------------------------------------------------------------------------------
# 第二步，利用bs4解析库的BeautifulSoup模块，解析网页 ，并从网页源代码中找到我们需要的信息提取出来
from bs4 import BeautifulSoup # 从bs4库中导入Beautifulsoup模块
soup = BeautifulSoup ( html,'html.parser' ) # 解析网页：html是要解析的对象（第一步取得的html），html.parser是自己指定的解析器
div_people_list = soup.find ('div',attrs = {'class':'people_list'}) # 利用find方法，找到'div'标签且参数包含“class='people-list'的代码并返回（这里需要打开浏览器的审查元素，查看目标信息所在的位置对应的标签是什么，标签的属性是什么）
a_s = div_people_list.find_all ('a',attrs = { 'target': '_blank'}) # 利用find_all方法取出所有标签为'a'且参数包含的代码"target='_blank"的代码，返回的是一个列表。
for a in a_s: # for循环，a遍历a_s中的每个元素
url = a['href'] # 类似字典的索引取值，取出href对应的值
name = a.get_text() # 用get_text的方法把标签中的文本提取出来
print name,url # 打印名字：个人主页链接
-----------------------------------------------------------------------------------------------
详细的教程见知乎用户@iGuo 的文章：Python爬虫|Python爬虫入门（一）：爬虫基本结构&简单实例
-
爬虫入门练习2 ：抓取巨潮资讯网首页上市公司代码，名称，详细信息链接，并存入本地的csv文件--（来自知乎用户@iGuo）
本练习的要点：学会将抓取的数据以csv方式保存在本地电脑，并注意网页编码方式，python解释器编码方式，excel编码方式的不同。网页编码方式可以在设置中查看，Python解释器是默ASCII编码，excel是ASNI编码。
# -*- coding: utf-8 -*-
import requests # 导入requests模块
def getHTML(url): # 构造一个网页请求函数
r=requests.get(url) # requests请求后的网页内容赋给 r
return r.content # r.content表示二进制方式提取r 中的内容（还有r.text以文本方式提取）
# 上面的网页请求函数得到的网页源代码，即html，是下面网页解析函数的解析原材料
--------------------------------------------------------------------------------------------
from bs4 import BeautifulSoup # 从bs4库导入解析模块
def parseHTML(html): # 构造一个网页解析函数
soup=BeautifulSoup(html,'html.parser') # html代表要解析的文件，后面的参数指定了解析器，解析后的内容赋给soup
body=soup.body # 采用遍历方法，定位到 body标签（需打开浏览器点击审查元素，找到目标信息所在的标签）
company_middle=body.find('div',attrs={'class':'middle'}) # 采用find方法缩小范围，定位到标签div且属性为class="middle"的地方
company_list_ct=company_middle.find('div',attrs={'class':'list-ct'}) # 进一步缩小范围，定位到div且属性为class="list-ct"的地方
company_list=[] #将company_list 指向一个列表（构造一个空列表，等待后面添加进目标信息）
for company_ul in company_list_ct.find_all('ul',attrs={'class':'company-list'}): # 采用find_all定位到目标信息，返回的是列表形式的。for循环遍历此列表
for company_li in company_ul.find_all('li'): # find_all搜索定位到li标签所在位置，for遍历该标签信息
company_url=company_li.a['href'] # 用类似字典索引法，取标签值 , a是标签，href类似字典的键值
company_info=company_li.get_text() # 用get-text()方法获取标签中文本内容
company_list.append([company_info.encode('utf-8'),company_url.encode('utf-8')]) # encode 是对其进行utf-8 编码；此代码是将抓取的公司信息添加进前面建立的空列表
return company_list # 该解析函数返回一个列表，下面准备写入csv文件
-----------------------------------------------------------------------------------------
import codecs # 导入codecs模块, 用于转换编码
import csv # 导入csv模块，用于创建csv文件并写入数据
def writeCSV(file_name,date_list): # 构造写入函数，两个参数：文件名和数据列表
with codecs.open(file_name,'wb') as f: # 这里的codecs.open只传入两个参数（文件名和写入方式），第三个参数（编码方式）没传
writer=csv.writer(f) #
for data in data_list: # data遍历data_list列表中的数据
writer.writerow(data) # 逐行 将data写入文件
-------------------------------------------------------------------------------------------
# 以上是函数定义过程，下面是调用函数
URL='http://www.cninfo.com.cn/cninfo-new/information/companylist' #目标网站：巨潮资讯网
html=getHTML(URL) # 请求获得网页内容
data_list=parseHTML(html) # 对网页内容进行解析，提取数据，存入列表，赋值给data_list
writeCSV('test.csv',data_list) # 将抓取的数据写入csv文件
-------------------------------------------------------------------------------------------------
## 个人附注：
1，原作者在文章中说，在与代码同目录的文件夹找到数据文件，实际上我没找到，而是在notepad++的C盘安装文件夹里找到，可能个人原因。
2，运行过程有出现过报错：connection error，原因在于网址url输入错误导致无法访问目标网站。
3，运行过程出现了csv文件中只打印第一个公司：平安银行；原因在于：解析函数的return位置放在了for下，return对应的应该是解析函数，而不是for函数。
4，生成的csv文件先用记事本打开，另存为的时候选择编码ASNI，再用excel 打开就不会乱码了。
5，可在excel中对数据进行分列整理。
详细的教程见知乎用户@iGuo 的文章：Python爬虫|Python爬虫入门（三）：解析和Python爬虫|Python爬虫入门（四）：储存
-
爬虫入门练习3 ：抓取妹子图网的美女图片并保存至本地文件夹
本练习的要点：学会使用requests请求网页，学会使用lxml库的html模块解析网页，并使用xpath语法选取所需要的信息。学会如何将抓取的图片下载到本地，包括文件夹命名，创建文件夹，写入文件。另外还有一个就是学会打印显示程序运行的状态。
# coding:utf-8 # 声明utf-8编码
import requests # 导入requests模块，用于请求网页
from lxml import html # 从lxml库导入html模块，用于解析网页
import os # 导入os模块，用于创建目录（文件夹）
import time # 导入time模块，暂停执行用（还不理解为何）
-------------------------------------------------------------------------------------------------
def getPage(pageNum): # 本函数目的：获取主页各图集的链接，为抓取图集的图片准备
baseUrl = 'http://www.mzitu.com/page/{}'.format(pageNum) # 考虑到主页的分页，构造链接，可翻页，输入第几页就爬第几页的链接
selector = html.fromstring(requests.get(baseUrl).content) # html直接解析requests请求到的网页信息
urls = [] # 构造空列表，用于添加抓取到的图集链接
for i in selector.xpath('//ul[@id="pins"]/li/a/@href'): # 使用xpath语法选取目标信息：图集链接（需了解xpath的语法才能理解）
urls.append(i) # 将图集链接添加进列表
return urls # 返回图集链接的列表
-----------------------------------------------------------------------------------------------
def getPiclink(url): # 本函数针对每一图集的链接，抓取其中的标题和其中的图片。url是详情页链接
sel = html.fromstring(requests.get(url).content) # 解析请求到的图集链接
total = sel.xpath('//div[@class="pagenavi"]/a[last()-1]/span/text()')[0] # xpath选取图集的页码数字
title = sel.xpath('//h2[@class="main-title"]/text()')[0] # xpath选取图集的标题
jpgList = [] # 构造列表用于添加图片jpg文件链接
for i in range(int(total)): # 本函数用于：构造图集里每一张图片的链接
link = '{}/{}'.format(url, i+1) # format函数用于格式化字符串，构造图集里的图片链接
s = html.fromstring(requests.get(link).content) # 直接解析图集的图片链接
jpg = s.xpath('//div[@class="main-image"]/p/a/img/@src')[0] # xpath选取到具体每一张图片的文件链接
jpgList.append(jpg) # 图片文件链接添加进列表
return title, jpgList #函数返回：图集标题，图片文件链接列表
# 注意，在详情页抓取下来的是，图片的链接，不是图片文件jpg。即某一图集的所有图片文件链接
-------------------------------------------------------------------------------------------------
def downloadPic((title, piclist)): # 本函数用于下载图片。传入函数是（标题，图片文件链接），元组的形式。
k = 1
count = len(piclist) # 计数;计算传进来的图片链接列表里的数量（实际上就是每一图集的数量）
dirName = u"【%sP】%s" % (str(count), title) # 文件夹名字（格式化字符串 ）
os.mkdir(dirName) # 创建目录（文件夹）
for i in piclist: # 遍历图片链接列表里的图片链接
filename = '%s/%s/%s.jpg' % (os.path.abspath('.'), dirName, k) # 文件的绝对路径所在（文件写入的名称：当前路径／文件夹／文件名）
print u'开始下载图片:%s 第%s张' % (dirName, k) # 打印下载进度信息
with open(filename, "wb") as jpg: # 打开目标文件，准备写入
jpg.write(requests.get(i).content) # 请求获得图片文件链接，将图片写入文件
time.sleep(0.5) # 暂停运行0.5秒（不理解）
k += 1
if __name__ == '__main__': # 本代码的含义：若直接运行本代码，则执行下面的代码，若以导入形式执行，则不执行下面的代码。
pageNum = input('请输入页码：') # 想要抓取主页哪一页的图片链接（仅那一页）
for link in getPage(pageNum): # 遍历图片链接
downloadPic(getPiclink(link)) # 抓取图片文件链接，下载至本地
------------------------------------------------------------------------------------------------
## 个人附注：
1，经运行,发现，抓取的图片显示：勿盗链。。。可能遇到反爬虫。
2，出现过报错：windows error 183，原因：之前试运行创建了文件夹，文件夹已存在，故创建出错。
3，本代码可改进地方：本代码运行一次只抓取主页某一页的图集图片，假如要抓取1-10页的图片，需运行10次。或许可以改进成抓取第几页到第几页的图集图片。
详细的教程见知乎用户@yonggege的文章：Python爬虫（实战篇）：妹子图爬虫，上车吧！
网友评论