网络连接和爬虫步骤

网页构造

1、HTML:什么是HTML（超文本标记语言 Hyper Text Markup Language），HTML 是用来描述网页的一种语言。
2、CSS(层叠样式表 Cascading Style Sheets),样式定义如何显示 HTML 元素，语法为：selector {property：value} (选择符 {属性：值})
3、JavaScript是一种脚本语言，其源代码在发往客户端运行之前不需经过编译，而是将文本格式的字符代码发送给浏览器由浏览器解释运行
如同房子一样，房子的结构（几室几厅或者毛坯房）就是HTML，里面的装饰就是CSS，一些电力系统，水电系统就是JS。对于一个网页，HTML定义网页的结构，CSS描述网页的样子，JavaScript设置一个很经典的例子是说HTML就像 一个人的骨骼、器官，而CSS就是人的皮肤，有了这两样也就构成了一个植物人了，加上javascript这个植物人就可以对外界刺激做出反应，可以思 考、运动、可以给自己整容化妆（改变CSS）等等，成为一个活生生的人。

网络连接

image.png

爬虫步骤

image.png

正则爬虫

requests使用

get请求
状态码
请求头
网页源代码

正则和re模块

正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。
(.*?)
findall方法
sub方法
re.S修饰符

综合案例

利用猫眼电影（http://maoyan.com/board/4）爬取TOP100的电影名，主演，上映时间和网络评分。

import re
import time
import  csv

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}

def get_info(url):
    res = requests.get(url,headers=headers)
    names = re.findall('<a href="/films/.*?" title="(.*?)" class="image-link"',res.text)
    stars = re.findall('<p class="star">(.*?)</p>',res.text,re.S)
    release_times = re.findall('<p class="releasetime">上映时间：(.*?)</p>',res.text)
    scores = re.findall('<p class="score"><i class="integer">(.*?)</i><i class="fraction">(.*?)</i></p>',res.text)
    for name,star,release_time,score in zip(names,stars,release_times,scores):
        print(name,star.strip(),release_time,score[0]+score[1])

if __name__ == '__main__':

    urls = ['http://maoyan.com/board/4?offset={}'.format(str(i)) for i in range(0, 100, 10)]
    for url in urls:
        get_info(url)
        time.sleep(5)

此时我们已经爬取出了top100的电影名，主演，上映时间和网络评分。但是这些数据我们要用一些表格显示出来。这样我们在原代码上添加读写功能。改进如下：

import requests
import re
import time
import csv

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36'
}

def get_info(url):
    res = requests.get(url,headers=headers)
    names = re.findall('<a href="/films/.*?" title="(.*?)" class="image-link"',res.text)
    stars = re.findall('<p class="star">(.*?)</p>',res.text,re.S)
    release_times = re.findall('<p class="releasetime">上映时间：(.*?)</p>',res.text)
    scores = re.findall('<p class="score"><i class="integer">(.*?)</i><i class="fraction">(.*?)</i></p>',res.text)
    for name,star,release_time,score in zip(names,stars,release_times,scores):
        print(name,star.strip(),release_time,score[0]+score[1])
        writer.writerow([name, star.strip(), release_time, score[0]+score[1]])

if __name__ == '__main__':
    fp = open('C:/Users/limin/Desktop/maoyan.csv', 'w', encoding='utf-8', newline='')#在自己的桌面建立一个猫眼电影.csv文件
    writer = csv.writer(fp)
    writer.writerow(['name', 'star','time','score'])
    urls = ['http://maoyan.com/board/4?offset={}'.format(str(i)) for i in range(0, 100, 10)]
    for url in urls:
        get_info(url)

这时候桌面会有一个猫眼.csv文件，我们选择用Excell打开。打开后发现一堆乱码，可以更改格式重新打开，我们利用记事本功能，发现记事本打开格式正常。原因是编码语言的原因，我们选择另存为，把文件格式改为uft-8,替换原文件就可以了。