咨询公司眼中的中国（一）

作者: ytsyy | 来源:发表于2016-02-18 11:13 被阅读89次

前言

与其说这是对咨询公司观点的总结，不如说这是一篇爬虫技术和文本挖掘技术的展示。我们试图抓取数家咨询公司发布关于中国的报告，并使用文本挖掘技术分析其观点。我们不仅将尽可能详细地解释本文使用的代码，还将讲解写作代码的过程。我们不假设读者有python的经验，但如果有一定的编程经验会很有帮助。本文不讲解python的安装过程。

本文是如何运行Python程序的

如果您不是程序员，那么您的编程经验或许是这样：打开一个软件，比如MATLAB或者RStudio，在某个用于编辑代码窗口输入代码，然后点击运行按钮，最后查看某个结果窗口。这样的软件通常被称作IDE (integrated development environment)。Python也有对应的IDE，但我们不建议使用。相反，我们建议使用Notepad++来写程序。一个简单的程序如下：

在C盘建立一个名为test.py的文件
用Notepad++打开该文件，插入如下代码
打开cmd，移动到当前地址，例如此处则输入cd C:\Work
输入python test.py，即得到如下结果

Paste_Image.png

获取研究报告

我们认为尽量准确的、不神秘的用语总是有益的。当我们说“抓取报告”时，我们希望做的事情大致如下：

打开一篇报告所在的网页
打开该网页的html源代码
观察网页结构，找出自己想要的内容的位置
抓取想要的内容
打开下一个网页

没有什么比例子更好的讲解了。让我们看如下例子。

获取麦肯锡公司的报告

在开始前，我们在脚本的最顶端加入如下代码：

import io 
import sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')

这三行代码与抓取文章无关，这是为了保证cmd能够显示某些特定字符。
下面我们打开一篇报告的网址：http://www.mckinseychina.com/who-is-winning-the-war-for-talent-in-china/
其内容如下

我们感兴趣的内容有文章的标题，发布时间和内容本身。现在我们开始讲解抓取的过程。

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

这三行代码是为了加载我们所需要的工具。urlopen的作用是打开一个网页，而BeautifulSoup则是一个非常强大的提取html信息的工具。我们也需要re来处理正则表达式（后文将介绍）。我们将在下文看到它们的用法。
值得一提的是，python有两种加载的方式。下文可以看出，使用from ... import时，我们可以直接使用函数，例如html = urlopen(url)。使用import 我们则需要加上包的名称，例如x = re.compile("...")
本文代码的第一个函数getMcKArticle(url)的作用是输入一篇文章的网址后，提取这篇文章的标题、发布时间、简介和内容，并且存储在一个txt文档中。

html = urlopen(url)
soup = BeautifulSoup(html.read())

我们使用urlopen读取文章的网址，将结果储存在html这一变量中。这时html变量就是网页的源代码。之后我们再使用BeautifulSoup，为提取信息做准备。
让我们打开网页的源代码，如下图所示。

Paste_Image.png
我们想要的信息便藏在这混沌中。对于这混沌的html，我们只需要，既其大部分内容都符合如下形式

<tag attribute="value">*some stuff here*</tag>

这里，tag是标签的名称，attribute是标签的属性，some stuff here是标签内容。
我们可以尝试ctrl+f搜索类似time, date, description, content等来看看有没有标签包含了我们想要的信息，经过几次尝试，我们可以找到如下内容：

<meta property="og:title" content="Who is Winning the War for Talent........此处省略" />
<meta property="og:description" content="Despite the trend toward automation, job........此处省略." />
<meta property="article:published_time" content="2016-02-15T13:06:42+00:00" />
<div class="post-content"><p>While much has been made of China’........此处省略.......

以上便是我们想要的内容。要抓取上文的内容，我们需要先学习一下BeautifulSoup的一些功能。一个例子胜过千言万语。以下例子来自BeautifulSoup的官方文档。

<html><head><title>The Dormouse's story</title></head>
<body>
<p class="title"><b>The Dormouse's story</b></p>
<p class="story">Once upon a time there were three little sisters; and their names were
<a href="http:  //example.com/elsie" class="sister" id="link1">Elsie</a>,
<a href="http://example.com/lacie" class="sister" id="link2">Lacie</a> and
<a href="http://example.com/tillie" class="sister" id="link3">Tillie</a>;
and they lived at the bottom of a well.</p>
<p class="story">...</p>

我们将以上html存储在一个叫soup的BeautifulSoup对象中，那么：

soup.title 输出 
       <title>The Dormouse's story</title>
soup.findAll('a') 输出 
      [<a class="sister" href="http://example.com/elsie" id="link1">Elsie</a>,
       <a class="sister" href="http://example.com/lacie" id="link2">Lacie</a>,
       <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>]
soup.find(id="link3") 或者 soup.find({"id": "link3"}) 输出 
       <a class="sister" href="http://example.com/tillie" id="link3">Tillie</a>

大致来说，findAll输出所有符合条件的结果。find输出符合条件的第一个结果。这两个函数既可以用来按标签名称查找，也可以按标签属性查找。请读者自行体会。
于是，我们使用

try:
    articleTitle = soup.find("meta",{'property':"og:title"})['content'].strip()
except:
    articleTitle = "This article has no title"

来提取文章的标题。['content']的作用是提取出content这一属性。.strip()用于将结果左右的空格删除。注意我们使用了try: ... except:...，这是为了防止有的文章不能用这样的方式找到标题导致程序报错，这样处理后，如果没有标题，那么我们便指出它没有标题。文章的发布时间和描述同理。
对于文章的正文，我们有

try:
    TarticlePara = soup.find("div", {"class":"post-content"}).findAll({"p","h1","h2","h3","h4","h5","h6"})
except:
    return None

我们观察到，文章的正文在<div class="post-content">这一大标签的<p>, <h2>, <h3> 小标签下，为了保险起见，我们将<p>,<h1>,...<h6>全部都找出来。这样我们就获取了文章的正文了。注意，有的文章不能靠这种方法找到正文，但这样的文章我们就选择忽略了，于是我们使用return none来跳出函数剩下的部分。
本函数剩余部分的作用是把结果输出成为一个txt文件。我们用

with open('C:/Work/Scrapers/ConsultingReports/McKinsey/'+articleTitle[0:30]+'.txt','w+', encoding="utf8") as file:

来创建一个标题是文章标题的前30个字符的txt文件。

file.write('ThisIsTile:'+articleTitle+'\n')
file.write('ThisIsDate:'+articleTime+'\n')
file.write('ThisIsDesc:'+articleDescription+'\n\n')
for para in TarticlePara:
    file.write(para.get_text())

我们分别在文件中写入文章的标题、时间和描述。\n的作用是换到下一行。之后我们写入文章的正文。为什么我们这里要写一个for循环呢？因为和标题时间描述不同，文章的正文是按段落存储的，TarticlePara变量是这些段落的集合，所以不能直接写入到文件里，我们只能逐个段落地写入。
上文函数的作用是在我们找到一篇文章的网址后，获取该文章的信息。我们需要第二个函数，用以找到这些文章的网址，这便是getArticleLinks(motherUrl)。我们将一个起始网址输入到该函数中，输出文章网址的集合。这个函数的思路如下：
我们先打开一个起始网页(mother)，提取出该网页包含的所有链接，选取那些指向文章的链接并存储起来。之后我们跳到一篇文章的网页(child 1)，选取文章链接并存储。然后跳到下一篇文章(child 2)，以此类推。
我们需要注意到一个问题，即我们不可避免的会遇到很多重复的文章链接，怎么保证我们最后输出的文章网址集合没有重复呢？所幸的是，python的set()可以实现这一功能。当我们向一个set输入重复的值时，它只会保留一个记录。我们将获取的所有文章链接都输入到一个set后，最后的结果就是没有重复的文章链接集合了。
我们先使用BeautifulSoup来存储起始网址，然后调用一个全局变量articlePages。我们的目的是将所有文章链接都存储在这个变量里，而且我们需要重复地使用这个函数。如果我们选择在这个函数的内部建立一个新变量并存储网址的话，那么每次重新调用这个函数时，这个变量便会被清空，这显然不是我们想要的。所以我们在函数外部创建一个集合articlePages = set()，然后再在函数中调用。
接下来我们提取所有文章的网址。观察源代码，我们发现包含网址的标签结构如下：

<a style="display:inline-block;" class="icon link-icon" href="[http://www.mckinseychina.com/how-china-count....此处省略]">

标签名是a，而我们想要的信息存储在href这一属性中。我们运用findAll函数来提取所有的网址。注意到这个令人生畏的怪物：

href=re.compile("http://www.mckinseychina.com/([A-Za-z0-9]+-){3,}[A-Za-z0-9]+/")

这里我们使用了正则表达式。我们提出一种模式，然后搜寻能够匹配该模式的字符串。因篇幅所限，我们没有办法对正则表达式做一个哪怕浅显的介绍，但我们可以仔细看看这里这个例子。
首先我们观察文章网址都有什么共同点，请看这三个网址：

http://www.mckinseychina.com/who-is-winning-the-war-for-talent-in-china/
http://www.mckinseychina.com/what-might-happen-in-china-in-2016/
http://www.mckinseychina.com/which-china-headline-do-you-prefer/

我们发现，这些网址的共同点如下：

它们都以http://www.mckinseychina.com作为开头
它们后接的都是文章的标题，每一个单词或数字用-隔开

现在我们可以开始写正则表达式来匹配了这一模式了

http://www.mckinseychina.com/: 到这里，我们规定网址的开头
([A-Za-z0-9]+-): [A-Za-z0-9]的作用是，匹配任意一个大写字母、小写字母或者数字。我们在后边跟上+，则表示我们匹配任意次数。之后我们跟上-，则表示我们匹配链接符号-。我们用(...)表示这是一个整体。
{3,}: 这表示我们匹配上一步中的部分3次或以上。为什么要这样规定呢？因为观察网页，我们发现，有这样的网址

http://www.mckinseychina.com/contact-us

以上网页显示的是联系信息，而这显然不是我们想要的。而这样的网址都很短，因此我们匹配3次以上用以忽略这样的网址。

[A-Za-z0-9]+/: 网址的最后以单词或数字加上/结束，并且没有-，因此我们如此操作。
很显然，以上仅仅是一种匹配的方法，读者大可以自行观察其它的匹配方法。
细心的读者可能已经发现了，我们使用了一种很取巧的方法，即我们只在文章之间跳转。我们没有进入类似于

http://www.mckinseychina.com/insights
http://www.mckinseychina.com/insights/innovation/

这类的网页。读者在掌握了本文的技巧后，可以自行修改代码以让我们的文章爬取更完善。
值得一提的是，正则表达式是一个很反人类的工具，很容易出错，一个很好的写正则表达式的辅助工具是http://regexpal.isbadguy.com/。
接下来，我们开始抓取和存储这些链接了。

for link in links:
        newArticlePage = link.attrs['href']
        articlePages.add(newArticlePage)
        print(str(len(articlePages)) + " preys slayed")

我们提取出这些网址，用.add()方法来把这些网址加入到articlePages这个集合里。我们用print(str(len(articlePages)) + " preys slayed")来显示集合里已经存储了多少篇文章，用以观察进度。

if len(articlePages)>=20:
        print("Hunting complete")
else:
        getArticleLinks(newArticlePage)
return articlePages

如果我们找到了20个以上的文章就满足了，如果还没有达到这个数字，我们就选择该网页中最后一篇文章作为新的起始网页，重复以上行为。最后我们输出文章集合。
有了上述两个函数，我们可以真正开始抓取文章了。

motherUrl = "http://www.mckinseychina.com"
articlePages = set()
articlePages = getArticleLinks(motherUrl)
summonCounter = 1
for page in list(articlePages):
        getMcKArticle(page)
        print(str(summonCounter) + ' out of ' + str(len(articlePages)) + " nightmares slayed")
        summonCounter += 1
print("Farewell good hunter. May you find worth in the waking world")

选择起始网页
创建文章集合
用getArticleLinks()填充文章集合
对文章集合中的每个网址，用getMcKArticle()下载其内容
注意我们用了summonCounter来监督抓取进度。
这样我们就完成了文章的下载。print一句您喜欢的话来表扬下自己吧！

附录

获取麦肯锡公司报告的完整代码

import io 
import sys
sys.stdout = io.TextIOWrapper(sys.stdout.buffer,encoding='utf8')

from urllib.request import urlopen
from bs4 import BeautifulSoup
import re

def getMcKArticle(url):
    html = urlopen(url)
    soup = BeautifulSoup(html.read())
    
    try:
        articleTitle = soup.find("meta",{'property':"og:title"})['content'].strip()
    except:
        articleTitle = "This article has no title"
    
    try:
        articleTime = soup.find("meta", {"property":"article:published_time"})['content'].strip()
    except: 
        articleTime = "This article has no date"
    
    try:
        articleDescription = soup.find("meta",{'property':"og:description"})['content'].strip()
    except: 
        articleDescription = "This article has no description"
    
    try:
        TarticlePara = soup.find("div", {"class":"post-content"}).findAll({"p","h1","h2","h3","h4","h5","h6"})
    except:
        return None
    
    with open('C:/Work/Scrapers/ConsultingReports/McKinsey/'+articleTitle[0:30]+'.txt','w+', encoding="utf8") as file:
        file.write('ThisIsTile:'+articleTitle+'\n')
        file.write('ThisIsDate:'+articleTime+'\n')
        file.write('ThisIsDesc:'+articleDescription+'\n\n')
        for para in TarticlePara:
            file.write(para.get_text())

        
def getArticleLinks(motherUrl):
    html = urlopen(motherUrl)
    soup = BeautifulSoup(html)
    global articlePages
    
    links = soup.findAll("a", href=re.compile("http://www.mckinseychina.com/*([A-Za-z0-9]+-){3,}[A-Za-z0-9]+/"))

    for link in links:
        newArticlePage = link.attrs['href']
        articlePages.add(newArticlePage)
        print(str(len(articlePages)) + " preys slayed")
        
    if len(articlePages)>=20:
        print("Hunting complete")
    else:
        getArticleLinks(newArticlePage)

    return articlePages



motherUrl = "http://www.mckinseychina.com"
articlePages = set()
articlePages = getArticleLinks(motherUrl)
summonCounter = 1

for page in list(articlePages):
    getMcKArticle(page)
    print(str(summonCounter) + ' out of ' + str(len(articlePages)) + " nightmares slayed")
    summonCounter += 1
print("Farewell good hunter. May you find worth in the waking world")

咨询公司眼中的中国（一）

前言

本文是如何运行Python程序的

获取研究报告

获取麦肯锡公司的报告

附录

获取麦肯锡公司报告的完整代码

相关文章

网友评论

延伸阅读

深度阅读

栏目导航

热点阅读