2017-04-12 第十一周 数据分析之数据爬虫
初识爬取网页数据，心中顿时万只草泥马！ 感谢万能的知乎，果真10分钟上手！！！ 知乎链接：https://www.zhihu.com/question/47883186#answer-57771301
神器一：excel
用那么多年的excel，有哪几个知道excel的黑科技，数据——从网站获取，哈哈哈，如此简单到不可思议吧
神器二：web scary
1、条件：chrome浏览器 + web scraper插件（官网/或者百度网盘下载）
2、流程：打开chrome浏览器—— 启动web
scraper插件（F12 or control + shift + L）——scraper界面切换至上下窗口模式——创建爬虫（create sitemap,输入name + url）——add new
编辑选择器 selector(id,type=text,selector=select+ Multiple) Delay=500）——Save selector——抓取数据（sitemap-Scrape）——下载数据（Export data as CSV）
3、注意事项
A、偶尔F12 or control + shift + L不出现界面，多点几次稍等一下
B、只下载出单一页面，如果有下一项的如何处理（Url中结尾为page的，Editmetadata的URL中page=1修改成page=[1-3]）
C、导出数据至excel，可能在单一单元格，未按excel数据排列，如何处理
网友评论