每天一个小Demo-Python爬虫网页连接的抓取

今天的Demo假设我们想把一个网页中所有的链接地址提取出来。

比如，要获取"https://www.jianshu.com/"网页上的所有链接，我们可以通过如下程序实现：

import re

import urllib.request

import urllib.error

def get_link(url):

    #伪装成浏览器,在浏览器调试模式下可得到信息，例子为QQ浏览器

    headers = ("User-Agent", "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4882.400 QQBrowser/9.7.13059.400")

    #创建opener对象

    opener = urllib.request.build_opener()

    #加入头部信息

    opener.addheaders = [headers]

    #将opener安装为全局变量

    urllib.request.install_opener(opener)

    #打开网页并读取信息

    html_info = urllib.request.urlopen(url).read()

    #转换为字符串

    html_info = str(html_info)

    #根据需求构建好链接表达式，过滤所需的网址信息

    pat = '(https?://[^\s)";]+\.(\w|/)*)'

    link = re.compile(pat).findall(html_info)

    # 去除重复元素

    link = list(set(link))

    return link

#要爬取的网页链接

url = "https://www.jianshu.com/"

#获取对应网页中包含的链接地址

link_list = get_link(url)

#通过for循环分别遍历输出获取到的链接地址到屏幕上

for link in link_list:

    #link为一个元组

    print(link)

    #提取link的第一个元素

    print(link[0])

其实连接和图片的抓取原理都是相同的，只不过在于信息的提取，正则表达式的编写。