一、关于urllib库
网上urllib库的教程文章非常多而且详细具体，我就不过多叙述和重复了，个人更加倾向于将精力放在实战上，而不是反反复复拷贝教程（其实是因为我懒），来几篇干货参考。
python2:
python3:
3.python爬虫从入门到放弃（三）之 Urllib库的基本使用
正则表达式re:
1.菜鸟教程--python正则表达式
二、思路：
以爬取www.ygdy8.com这个电影下载网站为例子。
1.打开浏览器，搜狗或者chrome都可以，访问该网站，以爬取最新电影这个栏目的电影为例，我们可以找到这个板块首页的url为：
http://www.ygdy8.com/html/gndy/dyzz/index.html，
再点击下一页，会发现页码的url为
http://www.ygdy8.com/html/gndy/dyzz/list_23_2.html，
由此可知，每一页的url为：
http://www.ygdy8.com/html/gndy/dyzz/list_23_+页数.html
image.png
2.在将鼠标移动到电影名字上右键，审查元素，这里易会发现电影详情页的链接为<a href="/html/gndy/dyzz/20171112/55519.html">
image.png
将鼠标移动到末页字眼右键，审查元素，这里会发现总共有167页。
image.png
3.根据上面的分析查找，基本可以按照这样的思路进行爬取了。
1.先请求index最新电影板块首页，获取到最大的页数。
2.循环构造页码链接，请求获取所有的带有电影列表的页面。
3.在获取到页面基础上，获得电影列表的所有电影详情页链接，为下一步提取电影的标题，迅雷链接做准备。
三、开始动手
1、构造一个urllib请求页面的opener，尽量模仿浏览器，减少被禁的风险。
# -*- coding:utf-8 -*-
#!/usr/bin python
import urllib.request
import re
import time
import random
from decorator import fun_timer
#构建一个模仿浏览器的opener
base_url = 'http://www.ygdy8.com'
#浏览器请求头，这里用的是搜狗浏览器
user_agents=[('User-Agent','Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8;
en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50'), ]
Headers = [ random.choice(user_agents),
("Connection","keep-alive") ]
#构建opener
opener = urllib.request.build_opener()
#添加请求头
opener.addheaders=Headers
2、构造请求首页，获取最大页码数的方法。
# 1、获取最大的页码数
# 2、你可以到页面查看最大页码数，但是页码数是会不断增加的，
#如果你要自动化反复去爬取，就需要进行页码数的自动获取。
def get_pageNum():
url = "http://www.ygdy8.com/html/gndy/dyzz/index.html"
data = opener.open(url).read()
#上面的分析已经知道页码的链接是以 list_23_页数.html结尾的，可以匹配正则表达式来查找。
res = re.findall(r'list\_23\_[0-9]*', str(data))
if res:
page_num = res[-1].split("_")[-1]
print('获取到页码数%s'%page_num)
return int(page_num)
3、知道页数后，就可以循环构造链接进行爬取了。
#根据页数爬取每页的电影列表
def find_by_page(page = 1):
if page%10==0:
#每隔10页进行延时，防止ip被禁
time.sleep(random.randint(1,3))
url = "http://www.ygdy8.com/html/gndy/dyzz/list_23_%s.html" % (str(page))
data = opener.open(url).read()
# 正则表达式获取链接
#因为页面的左侧会有其他类别电影板块的外链，所以要先定位到class为co_content8的目标板块，
#再获取板块里的所有链接。
res = re.findall(r'class\=\"co\_content8\"[\s\S]*\<\/ul\>', str(data))[0]
res = re.findall(r'\/html\/gndy[/a-z]+[0-9/]{1,}\.html', str(res))
urls = [base_url + url for url in res]
print('爬取第%s页: '%page+str(urls))
return urls
#汇总所有的列表，上面的函数是每页返回一个电影详情页链接列表
def get_urls(pages=1):
all_url = []
for page in range(1,pages+1):
for r in find_by_page(page):
all_url.append(r)
#去重
all_url= set(all_url)
print('获取到%s条链接'%len(all_url))
return all_url
4、最后开始爬取并输出到TXT文件上。
if __name__ == "__main__":
out = ''
for url in get_urls(get_pageNum()):
url = str(url)+'\n'
out= out+url
with open('all_urls.txt','w') as f:
f.write(out)
image.png
四、总结
其实总结起来，简单小规模的爬虫无非就是分析页面---请求页面--获取目标元素--保存等若干步骤，但是真正动起手来，就会遇到各种问题，解决问题也是一个进步的过程。
解决ip被禁有很多种途径，例如使用代理ip，模拟登陆，随机延时请求，本次我是简单粗暴地每隔10页进行随机的延时。
这样我们获取到所有目标电影的详情页链接，下一步就是进行详情页的分析爬取了，这涉及到动态加载页面的爬取，将放到后面几篇分享哈，下一篇，将介绍使用第三方库requests库和xpath匹配爬取详情页链接哟。
201711042223224161.jpg
网友评论