Python爬虫入门级项目

项目简介

由于最近调研文献需要，想查看KDD2017年的论文是否有相关的论文。但是KDD accept的论文有200+，要一篇篇去看太浪费时间了。于是想写个爬虫，爬取论文的abstract，然后Ctrl+F看下是否包含相关的keyword。 本来也想爬取每篇论文的keywords，但是提供的网页中没有这个内容，所以这里没有爬取。最后爬取的内容格式为：
<title, author, abstract, link>，其中link是论文在acm library中的网址。

注：建议先学习网易云课堂一个python网络爬虫的教程，免费，而且很短，里面涉及很多知识，对小白很有帮助。我使用的方法大多都是其中的。 链接：http://study.163.com/course/courseLearn.htm?courseId=1003285002#/learn/video?lessonId=1046324611&courseId=1003285002

用到的工具

Python 3.6（Anaconda虚拟环境）
requests、BeautifulSoup、pandas、re包
 Chrome插件：selectorgadget

具体步骤

首先，进入kdd2017的网址，发现accepted paper在 http://www.kdd.org/kdd2017/accepted-papers中，且该网址使用'GET'方法，所以利用requests包打开该网址。代码如下：

import requests
url = 'http://www.kdd.org/kdd2017/accepted-papers'
res = requests.get(url)
res.encoding = 'utf-8'  ##设置编码

然后观察我们需要的论文的CCS属性，利用selectorgadget可以方便的得到所有论文的CCS属性为"#fitvid0 , .table-bordered a"，所以我们可以用BeautifulSoup去定位到这些论文，并把结果存在papers变量中。

from bs4 import BeautifulSoup
soup = BeautifulSoup(res.text, 'html.parser')
papers = soup.select('#fitvid0 , .table-bordered a')

我们输出papers中第一个元素看一下，#注释的部分为输出结果:

print(papers[0])
#<a href="http://www.kdd.org/kdd2017/papers/view/randomization-or-condensation-linear-cost-matrix-sketching-via-cascaded-com">Randomization or Condensation?: Linear-Cost Matrix Sketching Via Cascaded Compression Sampling</a>

我们发现结果中包含'href'属性，这是论文的详细描述。之前http://www.kdd.org/kdd2017/accepted-papers中只包含论文的title和author。所以为了爬取具体的abstract，我们需要分别进入每一篇论文的描述页中。 使用如下代码： papers[i]['href'],i为具体第i篇论文，我们使用for循环可以遍历每一篇论文。

解析论文描述页内容

首先我们随便找一篇论文，查看网页中包含哪些内容：

image.png

网页中包含 title, author, Abstract，以及一个支持下载的按钮。 其中该下载按钮中包含一个url跳转到具体的下载的acm library页面。所以我们接下来就对每个内容进行爬取。

Title

image.png

title内容的爬取非常简单，我们利用Chrome自带开发者模式中元素审查发现它存在于<h3></h3>中，所以我们直接定位到该标签位置即可

title = soup.select('h3').text

Author

image.png

author内容在<strong></strong>之中，所以我们可以使用如下代码提取作者信息。

author = soup.strong.text

注意：soup.strong会找出网页中第一个strong标签的内容，因为这里author的strong标签是第一个出现的，所以没有关系。

Abstract

image.png

从图中我们看到Abstract内容在<p></p>中，但是，网页中有很多的<p></p>标签，我们尝试定位并输出看一下：

image.png

爬取Abstract的难点主要有3点：
1.我们发现输出的结果中除了Abstract还有其他很多没用的信息
2.Abstract的<p></p>不是第一个出现，无法使用类似于author的方法。
3.有些论文的Abstract有2段，有些论文的Abstract只有1段。
在这里，我们通过观察每个论文的<p></p>的内容的规律，发现内容中：
第一个内容，以及最后两个内容不是我们要的Abstract，其他中间的内容就是Abstract。所以我们可以利用list的分片方法取出中间的内容。

abstract = []
    for a in soup.select('p')[1:-2]:
        abstract.append(a.text)
abstracts = ' '.join(abstract)##把多段的内容合并成一段

Link

Link的提取是本项目最难的地方。我们直接审查元素无法定位到具体的url，而真正的url存在于<a></a>中

image.png

当我们定位<a></a>标签时，会出现下面的情况。

image.png

我们发现会把网页中所有链接的url都输出了。我们需要从中选出真正指向acm library的url。在这里我们使用正则表达式进行筛选。 因为acm library的网址的开头一定是‘dl.acm.org’，所以我们利用如下的方法对每个url进行正则匹配，选择出匹配的结果。

import re
link = []
for ele in soup.find_all("a"):
    m = re.search('.*dl.acm.org/.*', ele['href'])
    if m:
       link.append(m.group(0)) ##group(0)表示完整的匹配结果

我们尝试对例子网页进行爬取，发现成功提取除了url。

image.png
By the way：细心的朋友发现我这里link初始化成list，在后面if语句中使用append添加元素。而不是直接用link = m.group(0)、这是因为在kdd2017 accepted 论文中有一篇论文不提供 download full paper的按钮，所以对那篇论文进行操作时，m对象实际上不存在。如果不先初始化link为list，则会导致程序出错。

构造解析函数

我们把上面四个内容的爬取写进一个函数中，函数的参数为论文的描述页url。

def paperDetail(url):
    detail = {}
    res = requests.get(url)
    res.encoding = 'UTF-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    title = soup.h3.text
    author = soup.strong.text
    link = []
    for ele in soup.find_all("a"):
        m = re.search('.*dl.acm.org/.*', ele['href'])
        if m:
            link.append(m.group(0))
    abstract = []
    for a in soup.select('p')[1:-2]:
        abstract.append(a.text)
    abstracts = ' '.join(abstract)

    exp = lambda x: x[0] if len(x) > 0 else ''
    detail['link'] = exp(link)
    detail['author'] = author
    detail['title'] = title
    detail['abstract'] = abstracts
    return detail

循环解析所有论文

import pandas as pd
total_paper = []
    for i in range(len(papers)):
        print(i)
        one_paper = paperDetail(papers[i]['href'])
        total_paper.append(one_paper)

result = pd.DataFrame(total_paper)
result = result[['title','author','abstract','link']]
result.head()
result.to_csv('paper.csv')

至此，项目结束。

总结

这是属于最基本、最简单的python爬虫项目，只对静态页面进行爬取，也没有遇到发爬虫的困难。（本来还想进入每篇论文的link爬取论文的doi,但是acm有反爬虫机制，导致无法爬取，之后会研究如何反-反爬虫）。
有大神对我其中任何一个步骤有建议的欢迎评论，有问题也可留言。

致谢

感谢提供帮助的同学们：swy, cx, lck

完整代码

import pandas as pd
from bs4 import BeautifulSoup
import requests
import re


def paperDetail(url):
    detail = {}
    res = requests.get(url)
    res.encoding = 'UTF-8'
    soup = BeautifulSoup(res.text, 'html.parser')
    title = soup.h3.text
    author = soup.strong.text
    link = []
    for ele in soup.find_all("a"):
        m = re.search('.*dl.acm.org/.*', ele['href'])
        if m:
            link.append(m.group(0))
    abstract = []
    for a in soup.select('p')[1:-2]:
        abstract.append(a.text)
    abstracts = ' '.join(abstract)

    exp = lambda x: x[0] if len(x) > 0 else ''
    detail['link'] = exp(link)
    detail['author'] = author
    detail['title'] = title
    detail['abstract'] = abstracts
    return detail

def parse():
    url = 'http://www.kdd.org/kdd2017/accepted-papers'
    res = requests.get(url)
    res.encoding = 'utf-8'  ##设置编码
    soup = BeautifulSoup(res.text, 'html.parser')
    papers = soup.select('#fitvid0 , .table-bordered a')
    total_paper = []
    for i in range(len(papers)):
        print(i)
        one_paper = paperDetail(papers[i]['href'])
        total_paper.append(one_paper)

    result = pd.DataFrame(total_paper)
    result = result[['title','author','abstract','link']]
    result.head()
    result.to_csv('paper.csv')
    return result
if __name__ == '__main__':
    parse()