通过爬取头条新闻给我的启示

    经过两天的爬取头条新闻给我最大的收获不是掌握了如何利用自动化测试模块来爬取头条新闻，而是在爬虫之前需要如何设计一个良好的爬虫策略。

    这次爬取头条新闻中，起始难度不大，问题在于，事先我并没有指定一个很好的爬虫策略，我该如何爬，从哪里着手，该爬取些什么数据等，尤其是该爬些什么数据，这是我初学期间没能掌握的一部分。我这次爬虫实践中的成果如下：我很轻率地就开启写爬虫脚本，这导致抓到的信息用处并不大，爬虫的目的是为了更好地得到有用的数据进行数据分析。之前我是完完全全忽略这一点的，爬取新闻我更应该事先考虑爬新闻有什么用处。该爬取这些新闻的什么内容等等。这失败的实践给我以后的学习带来了很大的启发。