今天是6.16号。
昨天去面越秀金融风险控制部计算机实习生，去面了才知道主要也就是做数据抓取这一块。面试过程中有问到分词，然后自己心虚的说了有接触过分词这一块，面试结果就不去想了，过不过都其实不重要了。此外还有问到：你觉得实习和项目的经历最大的收获是什么？你想从这份实习中收获什么？你觉得自己最大的优势和缺点是什么？这些问题在9月份的求职生活中应该还会遇到的。
趁现在有时间，然后看知乎又看到了图片云的一篇文章，其中还涉及到了结巴分词的使用，所以决定这两天好好研究一下怎么使用。然后找一个问题来分析，并得到最终的结果，本来想找学校BBS里面的帖子主体进行分析，但打开简书来写时，想想用简书首页的热门文章来分析也不错。
代码是6.16号运行的，但简书首页每天都在更新，所以最终得到的云标签会与其他时间运行得到的结果有所差异，但主要的核心还是掌握在实现过程中会涉及到的知识点：
1.异步加载；（往下拉时需要点击显示更多才会出现新的文章）
2.分词；
3.标签云。
一、异步加载
一般异步加载出来的页面都可以在chrome浏览器下的network中找到规律，简书中点击“点击查看更多后”可以在network中看到一个xhr文件，然后可以从headers里面直接看到新加载出来的页面的网址。
1.png
二、分词
三、标签云
最后贴上代码：
第一部分：抓取首页上热门标签下所有文章的标题
自己试了一下，简书首页热门标签文章点击查看更多最多也只能加载10页。
#!/usr/bin/env python
# * coding: utf-8 *
import requests
from bs4 import BeautifulSoup
import re
import time
from multiprocessing import Pool
start_url='http://www.jianshu.com/'
host='http://www.jianshu.com'
headers={
'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
'Accept-Encoding':'gzip, deflate, sdch',
'Accept-Language':'zh-CN,zh;q=0.8',
'Cache-Control':'max-age=0',
'Connection':'keep-alive',
'Cookie':'read_mode=day; default_font=font2; __utmt=1; Hm_lvt_0c0e9d9b1e7d617b3e6842e85b9fb068=1466054262,1466057911,1466057983,1466064672; Hm_lpvt_0c0e9d9b1e7d617b3e6842e85b9fb068=1466065361; __utma=194070582.1669649852.1452758384.1466054263.1466064585.135; __utmb=194070582.12.10.1466064585; __utmc=194070582; __utmz=194070582.1466054263.134.11.utmcsr=baidu|utmccn=(organic)|utmcmd=organic; __utmv=194070582.|2=User%20Type=Member=1; _session_id=amhxY2NtUENjQXdkMS9JRStlc0ZvV0RaaU96TXZrZ3pkK0Ewc280cmtQcHdTTFNOWk1PcGRkVDc4YzVDOGJhT2xXMlFkakN4WHpBT1d4a3Z1bUJUbXc9PS0tTjg2UGQ0aWZjdTFsNmlCdmhYRThPdz09--363edd825b2b9f3fd9d52848169fe2829b4ad3a3',
# 'Host':'www.jianshu.com
'If-None-Match':'W/"ab6ec19c0f005cad8d2c630dffbeb0a5"',
'Referer':'http://www.jianshu.com/',
'Upgrade-Insecure-Requests':'1',
'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.93 Safari/537.36'
}
links=[start_url]
i=0
def get_all_links(url):
web_data=requests.get(url,headers=headers)
soup=BeautifulSoup(web_data.text,'lxml')
if soup.find(attrs={'class':'load-more'}):
link=str(soup.find(attrs={'class':'load-more'}))
link1=host+re.findall(r'data-url="(.*?)"',link,re.M)[0]
links.append(link1)
time.sleep(1)
if len(links)<=200: #modify the number of page you want to scrapy
global i
i=i+1
get_all_links(links[i])
else:
pass
def get_contents(url):
web_data=requests.get(url,headers=headers)
soup=BeautifulSoup(web_data.text,'lxml')
titles=soup.select('h4.title a')
authors=soup.select('a.author-name.blue-link')
route1=r'C:\Users\guohuaiqi\Desktop\title.txt'
route2=r'C:\Users\guohuaiqi\Desktop\author.txt'
with open(route1,'a') as f:
for i in titles:
try:
f.write(i.get_text())
except UnicodeEncodeError:
continue
with open(route2,'a') as f1:
for j in authors:
try:
f1.write(j.get_text()+'\n')
except UnicodeEncodeError:
continue
if __name__=='__main__':
get_all_links(start_url)
pool=Pool()
pool.map(get_contents,links)
print('All have done successfully!')
第二部分：对抓取下来的标题进行分词
好几个月了还没有写完，对分词模块还是有点不会用，后面有机会再去学习。
未完待续。。。
网友评论