一、关于urllib库

网上urllib库的教程文章非常多而且详细具体，我就不过多叙述和重复了，个人更加倾向于将精力放在实战上，而不是反反复复拷贝教程（其实是因为我懒），来几篇干货参考。

python2:

1. Python爬虫入门三之Urllib库的基本使用

http://cuiqingcai.com/947.html

2. Python爬虫入门四之Urllib库的高级用法

http://cuiqingcai.com/954.html

python3:
3.python爬虫从入门到放弃（三）之 Urllib库的基本使用

http://www.cnblogs.com/zhaof/p/6910871.html

正则表达式re:
1.菜鸟教程--python正则表达式

http://www.runoob.com/python3/python3-reg-expressions.html

2.python爬虫从入门到放弃（五）之 正则的基本使用

http://www.cnblogs.com/zhaof/p/6925674.html

二、思路：

以爬取www.ygdy8.com这个电影下载网站为例子。

1.打开浏览器，搜狗或者chrome都可以，访问该网站，以爬取最新电影这个栏目的电影为例，我们可以找到这个板块首页的url为：
http://www.ygdy8.com/html/gndy/dyzz/index.html，
再点击下一页，会发现页码的url为
http://www.ygdy8.com/html/gndy/dyzz/list_23_2.html，
由此可知，每一页的url为：
http://www.ygdy8.com/html/gndy/dyzz/list_23_+页数.html

image.png

2.在将鼠标移动到电影名字上右键，审查元素，这里易会发现电影详情页的链接为<a href="/html/gndy/dyzz/20171112/55519.html">

image.png
将鼠标移动到末页字眼右键，审查元素，这里会发现总共有167页。
image.png

3.根据上面的分析查找，基本可以按照这样的思路进行爬取了。

1.先请求index最新电影板块首页，获取到最大的页数。
2.循环构造页码链接，请求获取所有的带有电影列表的页面。
3.在获取到页面基础上，获得电影列表的所有电影详情页链接，为下一步提取电影的标题，迅雷链接做准备。

三、开始动手

1、构造一个urllib请求页面的opener，尽量模仿浏览器，减少被禁的风险。

# -*- coding:utf-8 -*-
#!/usr/bin  python
import urllib.request
import re
import time
import random
from decorator import fun_timer

#构建一个模仿浏览器的opener
base_url = 'http://www.ygdy8.com'
#浏览器请求头，这里用的是搜狗浏览器
user_agents=[('User-Agent','Mozilla/5.0(Macintosh;U;IntelMacOSX10_6_8;
  en-us)AppleWebKit/534.50(KHTML,likeGecko)Version/5.1Safari/534.50'), ]
    Headers = [ random.choice(user_agents),
            ("Connection","keep-alive") ]
    #构建opener
opener = urllib.request.build_opener()
    #添加请求头
opener.addheaders=Headers

2、构造请求首页，获取最大页码数的方法。

# 1、获取最大的页码数
# 2、你可以到页面查看最大页码数，但是页码数是会不断增加的，
      #如果你要自动化反复去爬取，就需要进行页码数的自动获取。

def get_pageNum():
    url = "http://www.ygdy8.com/html/gndy/dyzz/index.html"
    data = opener.open(url).read()
   #上面的分析已经知道页码的链接是以 list_23_页数.html结尾的，可以匹配正则表达式来查找。
    res = re.findall(r'list\_23\_[0-9]*', str(data))
    if res:
        page_num = res[-1].split("_")[-1]
        print('获取到页码数%s'%page_num)
        return int(page_num)

3、知道页数后，就可以循环构造链接进行爬取了。

#根据页数爬取每页的电影列表
def find_by_page(page = 1):
    if page%10==0:
       #每隔10页进行延时，防止ip被禁
        time.sleep(random.randint(1,3))
    url = "http://www.ygdy8.com/html/gndy/dyzz/list_23_%s.html" % (str(page))
    data = opener.open(url).read()

# 正则表达式获取链接
#因为页面的左侧会有其他类别电影板块的外链，所以要先定位到class为co_content8的目标板块，
       #再获取板块里的所有链接。

    res = re.findall(r'class\=\"co\_content8\"[\s\S]*\<\/ul\>', str(data))[0]
    res = re.findall(r'\/html\/gndy[/a-z]+[0-9/]{1,}\.html', str(res))
    urls = [base_url + url for url in res]
    print('爬取第%s页: '%page+str(urls))
    return urls


#汇总所有的列表，上面的函数是每页返回一个电影详情页链接列表

def get_urls(pages=1):
    all_url = []
    for page in range(1,pages+1):
         for r in find_by_page(page):
                 all_url.append(r)
    #去重
    all_url= set(all_url)
    print('获取到%s条链接'%len(all_url))
    return all_url

4、最后开始爬取并输出到TXT文件上。

if __name__ == "__main__":
    out = ''
    for url in get_urls(get_pageNum()):
        url = str(url)+'\n'
        out= out+url
    with open('all_urls.txt','w') as f:
        f.write(out)

image.png

四、总结

其实总结起来，简单小规模的爬虫无非就是分析页面---请求页面--获取目标元素--保存等若干步骤，但是真正动起手来，就会遇到各种问题，解决问题也是一个进步的过程。
解决ip被禁有很多种途径，例如使用代理ip，模拟登陆，随机延时请求，本次我是简单粗暴地每隔10页进行随机的延时。
这样我们获取到所有目标电影的详情页链接，下一步就是进行详情页的分析爬取了，这涉及到动态加载页面的爬取，将放到后面几篇分享哈，下一篇，将介绍使用第三方库requests库和xpath匹配爬取详情页链接哟。

201711042223224161.jpg