大部分小程序都是基于py2.7的，我于是便想直接出一个py3.4最新版本的教程。大致看一下第一篇了解一下的一些概念性的东西以及bs4第三方库的使用。请参考文末。
我们的第一个小程序的相关要求：
目标：抓取一个网站的两千张搞笑图片。（本文先下载一张，多张的处理在这个过程中会出现一些麻烦，所以以后再说）
需要的工具：chrome浏览器，python3,第三方库BS4。Notepad++。至于安装方法，请移步到这里。
当然，实现一个非常牛逼的爬虫的理想是远大的，但是我们在跑之前，先要自己好好的修炼一下基本功——先从获取一张图片开始。
我们发现这个网站比较符合我的要求。
http://www.76xh.com/tupian/1174.html
我们打开一个网页，按下f12，研究一番以后，发现如下规律。
- 每一个网页有一张图片。其图片质量不算高。
- 由于是一个网址对应一个图片地址，
而且网址链接有这样子的规律。
http://www.76xh.com/tupian/1174.html
。。。
http://www.76xh.com/tupian/3111.html
也就是我们可以从上面的链接中下载相关的html文件，进而我们从html这个文件中提取出相关图片的链接。接着把相关的图片内部数据下载到内存中，接着写成相关文件放在硬盘中。
由此看来，我们的获取一张图片的步骤分成这样的几步。
S1.发起含有图片链接的html。（urllib.request）
S2.解析出图片地址（通过bs4这个强大的html解析工具）
S3.发起图片数据的请求（urllib.request）
S4.把图片保存下来。（os）
我们从这个链接开始讲起。打开IDLE，调整成shell模式，逐行输入
from bs4 import BeautifulSoup
import os,urllib.request
pageUrl = 'http://www.76xh.com/tupian/1111.html'
htmlDoc = urllib.request.urlopen(pageUrl).read()
这条命令将链接的请求内容返回到htmlDoc
我们可以用print(htmlDoc)不过强力不推荐这种方法输出，太慢了.强烈建议另一种BeautifulSoup的prettify方法
打印出来的东西依稀可以看出这东西的确是html文件的具体内容。
当然，我们要这一堆垃圾是没有用的，我们要从中解析出所需的图片。用chrome浏览器打开相关网页，然后看到图片右击点击审查元素。我们在这里可以看出我们的具体链接位置。
这里采用的是相对地址，
<img src="/d/file/middle/c/483368.jpg" data-bd-imgshare-binded="1">
身在远程的我们只能通过绝对地址来访问。
http://www.76xh.com/d/file/middle/c/483368.jpg
而这个相对链接
/d/file/middle/c/483368.jpg则是藏在深深地html角落里，怎么获取？我勒个去，我总不能使用查找字符串的方式来查找这东西吧。正则表达式完全不懂啊有木有！
好吧，我们既然暂时没有办法使用正则表达式。那么我们猜想一下，会不会有这么一个第三方库之类的东西是专门用来操作这个html文件，进而提取其中的数据呢的呢？
有的，BeautifulSoup4.安装以及介绍方法请移步。
输入
Soup = BeautifulSoup(htmlDoc)
将htmlDoc的所有内容转换成BeautifulSoup对象，
我们这个时候可以输入
Print(soup.prettify())
查看格式化的html文件。
输入
soup.find_all("div",class_="pic_text")
我们便可以将我们需要的图片链接大致范围确定下来了。
Find_all返回一个list。
接着我们使用下面两行代码
divHtml = soup.find_all("div",class_="pic_text")
imgUrl = 'http://www.76xh.com' + divHtml[0].img.attrs['src']
输入以上代码便可以提取出我们需要的图片链接。可以print看一下内容
这时候我们发现了一件事情。就是html文档的标题可以用来做文件名。
于是请求，保存下来。
data = urllib.request.urlopen(imgUrl).read()
fileName = soup.title.contents[0] + '.jpg'
filePath = os.path.join('C:/img',fileName)
image = open(filePath,'wb')
image.write(data)
image.close()
所有有效代码如下。
【自写小脚本-抓取【www.76xh.com】V0.1.py】-只能抓取一张图片
pageUrl = 'http://www.76xh.com/tupian/1111.html'
htmlDoc = urllib.request.urlopen(pageUrl).read()
soup = BeautifulSoup(htmlDoc)
#print (soup.prettify())
#print ("正在下载第(%d)"%(i))
divHtml = soup.find_all("div",class_="pic_text")
imgUrl = 'http://www.76xh.com' + divHtml[0].img.attrs['src']
data = urllib.request.urlopen(imgUrl).read()
fileName = soup.title.contents[0] + '.jpg'
filePath = os.path.join('C:/img',fileName)
image = open(filePath,'wb')
image.write(data)
image.close()
网友评论