我没有做过爬虫，对爬虫有一个很浅显的认识就是可以把网络上的资源自动地爬下来。最近学妹想要获取知乎上所有关于“读书”的问题进行分析，想到了使用爬虫，让我来试一下看看可不可以实现。
鉴于我对爬虫并不了解，所以上网搜索了一下关于爬虫的入门资料，大概浏览了几个，感觉网上的资料大多是来个网址，告诉读者如何将资源保存下来。由于目前的需求就只是将知乎上的问题扒下来，所以是否算是一个爬虫我并不了解，姑且把这个小程序当作是个爬虫好了。如有不妥，欢迎指正。
首先我需要获取到一个url，由于当我进行搜索的时候，网页会展示给我关于读书的很多个问题，所以我可以知道浏览器会获取某个请求，这个请求的内容包含了这些问题标题。我通过浏览器自带的开发者工具，在知乎搜索“读书”这个关键字，然后查找浏览器获取的请求。
image.png
知乎的这个url还是很好理解的，由于返回的只有10条，可以很容易发现后边的offset就是条数的offset。而且这个返回的内容更是对我们的小程序充满了友好。
image.png
这个返回值由两部分组成，首先是获取下一部分内容的链接，其次是用于显示的html内容。所以每一次从url中将这个next拿下来，写个循环，就可以连续不断的扒内容。这个解决了我如何连续不断的往前挖内容问题。
之后就是要解析内容，获取问题的title。这个htmls的内容是一个数组，每一个元素是一个问题的内容。通过观察发现在title前后都这样的标志，因此这个爬虫小程序不用涉及到正则表达式的问题。
image.png
所以通过解析这一段内容，获取title。我用的是比较傻的解析方式。如果你有其他的方式，欢迎留言交流。
刚说不练假把式，接下来上代码。
#!/usr/bin/python
# -*- coding: utf-8 -*-<p>
import sys
reload(sys)
sys.setdefaultencoding('utf-8')
import urllib2
import json
nextUrl = 'https://www.zhihu.com/r/search?q=%E8%AF%BB%E4%B9%A6&correction=1&type=content&offset=0'
while (nextUrl != ""):
response = urllib2.urlopen('https://www.zhihu.com/r/search?q=%E8%AF%BB%E4%B9%A6&correction=1&type=content&offset=0')
responseJson = json.load(response)
nextUrl = responseJson['paging']['next']
contents = responseJson['htmls']
for content in contents:
title = content.split("class=\"js-title-link\">")[1].split("</a>")[0]
print title.replace("<em>", "").replace("</em>", "")
由于我最后输出使用的是重定向输出，输出的内容涉及到中文，所以需要引入utf-8来使这些中文内容可以正确的输出到文件中。其中urllib2是python用于发送请求并获取response的库。
以上就是我的python爬虫之旅。作为一个爬虫入门者，如有不准确的地方，欢迎指正。
网友评论