1.什么是网络爬虫？

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

换言之，如果我们把互联网比作一张大的蜘蛛网，数据便是存放于蜘蛛网的各个节点，而爬虫就是一只小蜘蛛，沿着网络抓取自己的猎物（数据）爬虫指的是：向网站发起请求，获取资源后分析并提取有用数据的程序；从技术层面来说就是通过程序模拟浏览器请求站点的行为，把站点返回的HTML代码/JSON数据/二进制数据（图片、视频）爬到本地，进而提取自己需要的数据，存放起来使用。

2.软件环境

Anaconda Navigator软件

此软件区分32位和64位（本机为64位）

2.网络爬虫怎么使用？

使用网络爬虫爬取国防科技大学本科招生信息网中2016年录取分数

1）爬取国防科技大学本科招生信息网

import urllib.request as req

url = 'http://www.gotonudt.cn/site/gfkdbkzsxxw/lqfs/info/2017/717.html' webpage = req.urlopen(url) # 根据超链访问链接的网页

data = webpage.read() # 读取超链网页数据

data = data.decode('utf-8') # byte类型解码为字符串

print(data)

这一份代码所爬取的是网页所有信息

运行结果为：

可以很明显的看到我们爬取网页的所有信息

2）根据我们需要的信息寻找关键词

我们所需要的只是其中的2016年录取分数线统计，所以我们需要进行剪裁

打开网页按f12键查看网页代码，找到所需列表的代码行然后寻找代码的关键词，最后进行剪裁

提取信息的正规表达式为：

'<table.*?>(.*?)</table>'

代码为：

table = re.findall(r'<table(.*?)</table>', data, re.S)

firsttable = table[0]

# 数据清洗，将表中的&nbsp，\u3000，和空格号去掉

firsttable = firsttable.replace(' ', '')

firsttable = firsttable.replace('\u3000', '')

firsttable = firsttable.replace(' ', '')

print(table[0])

经过一次剪裁之后可以明显的看到我们需要的信息

但是其中信息还是太斑驳了，所以我们需要再进行剪裁，一步一步的提取信息

3）再次剪裁直到得到需要的精简信息

def step3():

  score = []

# 1.按tr标签对获取表格中所有行，保存在列表rows中：

   rows = re.findall(r'<tr(.*?)</tr>', firsttable, re.S)

# 2.迭代rows中的所有元素，获取每一行的td标签内的数据，并把数据组成item列表，将每一个item添加到scorelist列表：

  scorelist = []

  for row in rows:

      items = []

      tds = re.findall(r'<td.*?>(.*?)</td>', row, re.S)

      for td in tds:

          rightindex = td.find('</span>') # 返回-1表示没有找到

          leftindex = td[:rightindex].rfind('>')

          items.append(td[leftindex+1:rightindex])

      scorelist.append(items)

# 3.将由省份，分数组成的8元列表（分数不存在的用/代替）作为元素保存到新列表score中，不要保存多余信息

      for record in scorelist[3:]:

          record.pop()

          score.append(record)

      return score

print (step3())