利用结巴分词做新闻地图（1）

04-18的新闻地图.png

引

应用语言学的期末Pre花了差不多一个月零零碎碎的时间完成了。最初的打算爬取网易、新浪、腾讯的国内新闻，再通过提取关键词，比较这三个网站社会新闻报道的内容的倾向性。不过手头只有寒假做好的新浪网站的爬虫新浪爬虫的一些日记可以看这里遂改为爬取新浪，使用结巴分词进行切分，再统计地名词频，进而数据可视化得出到底哪些地方大新闻比较多。
本来作为一个语言学学生，非常希望从专业的角度分析一下结巴分词的错误案例，于是我爬取了300个新闻标题，并且进行了分类，但是发现……看不懂源码的话，最多说这个是什么成分什么成分的错，但是显然有语感的人都看得出这些分词是错的（摊手）。
但是不管怎么说，也算是一次较为完整的代码实践，打算依次记录下来。

爬虫爬取新浪新闻

由于寒假的爬虫笔记中已经有记录，不再赘述。再次感谢指路的MG，诸位想要自学的可以去这里→天善智能。

#encoding = utf-8
import  requests
import  json
def getnews(pages):
    global newsbag
    newsbag = []
    for page in range(1, pages + 1):
        raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_' \
                  '2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=10&show_num=100' \
                  '&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231'
        url = raw_url.format(page)
        res = requests.get(url)
        jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');'))
        diclist = jd['result']['data']
        for ent in diclist:
            newsbag.append(ent['title'])
        continue
    return newsbag
    
pages = int(input("你想查询（返回输入值的100倍）："))
#因为使用的是控制下拉页加载的链接，所以每次都是抓取固定值，我设置的是100，可以通过调节 show_num 自己调整。使用一个数值较大的效率会高点。
getnews(pages)

后来想能够查指定日期的新闻标题，于是把时间戳也爬取了下来，并且做成了时间-标题的元组放到了列表里方便以后使用。修改的逻辑是首先抓取一定量的标题，然后再在这个标题里抓指定日期的新闻。这样就会有两个不便：

• 抓的数量要尽可能大才能满足调用需求
• 每次抓取都是定量的，可能最后抓的一部分并没有把最后一天的新闻抓全

我当时是先去查询爬取到的最后一条新闻的时间，然后再扩大爬取的总量，确保能把我要的日期的新闻都框在里面。

改进后的可以按日期查询新闻的代码如下

#encoding = utf-8
import  requests
import  json

def getnews(pages):
    global newsbag
    newsbag = []
    titlelist = []
    timelist=[]
    for page in range(1,pages+1):
        raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=100&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231'
        url=raw_url.format(page)
        res = requests.get(url)
        jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');'))
        diclist = jd['result']['data']
        for ent in diclist:
            timestamp =float(ent['createtime'])
            newstime = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d')
            timelist.append(newstime)
            titlelist.append(ent['title'])
        newsbag = zip(timelist,titlelist)
    return newsbag

print('新浪国内新闻查询器v2.0，在定量数据范围内查询特定日期的新闻。')
pages=int(input('请输入一共想要查询的页数，仅支持输入正整数，1页显示100条：'))
date = str(input('请输入想查询的日期，格式以2017-04-25为例：'))
getnews(pages)
for i in newsbag:
    if i[0] == date:
        print(i)

使用结巴分词进行标题的切分

在结巴分词的安装上遇到了一些坑，一开始解压安装包，使用cmd安装一直安装失败，显示的信息是什么也忘记了。后来使用最简单的pip的方法安装好了。

结巴分词是一个优秀的开源项目，虽然后来我得知玻森分词也提供给开发者少量（但处理我的作业绰绰有余）的调用次数时已经完成了数据采集部分的工作了，不然我一定会使用玻森分词的。所以如果调用数量不大，从准确度的角度考虑，还是选用玻森分词比较好。

结巴分词的使用文档写的也很简单，但是简单的另一面是对Python新手不大友好，一开始以为结巴只能输出迭代对象，后来才发现原来也可以输出列表。

使用结巴分词切分新闻标题

# encoding = utf-8
import jieba
def cutseg():
    seg_list = []
    for i in newsbag:
        seg_list = jieba.lcut(i,cut_all=True)+seg_list
    return "/".join(seg_list)
print(cutseg())

---

结巴分词切分出来的错误类型我将在另一篇文章中讲

---

使用结巴分词后对指定日期的新闻进行切分

结合一下改进过的查询代码后，我们直接使用结巴分词切分日期的标题，这样提高了切分的效率。这样，我们就能得到我们所需要的原始语料了。

#encoding = utf-8
import  requests
import  json
import  jieba
from datetime import datetime
print ('haha')


def getnews(pages):
    global newsbag
    newsbag = []
    titlelist = []
    timelist=[]
    for page in range(1,pages+1):
        raw_url = 'http://api.roll.news.sina.com.cn/zt_list?channel=news&cat_1=gnxw&cat_2==gdxw1||=gatxw||=zs-pl||=mtjj&level==1||=2&show_ext=1&show_all=1&show_num=100&tag=1&format=json&page={}&callback=newsloadercallback&_=1487824946231'
        url=raw_url.format(page)
        res = requests.get(url)
        jd = json.loads(res.text.lstrip(' newsloadercallback(').rstrip(');'))
        diclist = jd['result']['data']
        for ent in diclist:
            timestamp =float(ent['createtime'])
            newstime = datetime.fromtimestamp(timestamp).strftime('%Y-%m-%d')
            timelist.append(newstime)
            titlelist.append(ent['title'])
        newsbag = zip(timelist,titlelist)
    return newsbag

def cutseg():
    title_list = []
    for i in timetitle:
        title_list = title_list+jieba.lcut(i)
    return title_list

print('新浪国内新闻查询器v2.0，在定量数据范围内查询特定日期的新闻。')
pages=int(input('请输入一共想要查询的页数，仅支持输入正整数，1页显示100条：'))
date = str(input('请输入想查询的日期，格式以2017-04-25为例：'))
getnews(pages)
global timetitle
timetitle = []
for i in newsbag:
    if i[0] == date:
        timetitle.append(i[1])
        
print(cutseg())

下一篇，我们将使用搜狗细胞词库将新闻标题中的地名挑选出来并且使用pandas进行数据整理！

新手牛刀小试，欢迎交流！