作业效果：

> show dbs
bj58     0.001GB
local    0.000GB
xiaozhu  0.000GB
> use bj58
switched to db bj58
> show collections
detailinfo
links
> db.links.find().count()
3481
> db.links.find()[0]
{
    "_id" : ObjectId("574a689ee002824353704eaf"),
    "link" : "http://short.58.com/zd_p/2e7875cf-cdd8-4eaa-baaf-1ac1b111e6d8/?target=dc-16-xgk_fegvcjemg_39429002744563q-feykn&end=end26096779100482x.shtml&psid=169068509191954188512724262&entinfo=26096779100482_0",
    "title" : "18518313456"
}
> db.detailinfo.find().count()
3481
> db.detailinfo.find()[0]
{
    "_id" : ObjectId("574abe78e00282487d8dd6e7"),
    "telephon" : "18600141414",
    "url" : "http://short.58.com/zd_p/2e7875cf-cdd8-4eaa-baaf-1ac1b111e6d8/?target=dc-16-xgk_fegvcjemg_39429002744563q-feykn&end=end26096779100482x.shtml&psid=169068509191954188512724262&entinfo=26096779100482_0",
    "price" : "800",
    "isp" : "联通",
    "seller" : "王先生",
    "sell_number" : "18518313456"
}
>

作业项目地址

笔记&小结

---

为大规模爬取做工作流的准备

• 观察页面结构特征

之前仅仅对特定页面做了信息抓取

但如果是对网站进行大规模抓取，会涉及几种页面，需要程序有通用性，可以抓取需要的页面

• 设计工作流程

保证抓取过程的高效

观察页面结构特征

不同页面会出现内容结构不同的问题，比如，有的会有特有的元素，所以在某一些页面不能使用同一套爬虫爬取

有些页面不需要爬取

手动指定爬取的页数后，需要让程序通过识别分页元素，确定是否是最后一页，对最后没有信息的页面要做规避处理，比如直接跳过

设计工作流程

• 两个爬虫
  • 从列表页爬取所有商品的 url，存储到数据库的一张表
  • 获取商品 url，得到详情页，爬取需要的信息，存储到另一张表

将爬取任务分成两个爬虫的原因是，做大规模数据爬取时，最好一次只做一件事，这样提高爬虫的稳定性

这是在 工作时间 与 可能遇到问题时的调试 之间的平衡

• 获取 类目/频道

从主页获取所有 类目/频道 的信息

构造类目列表页的 url : 通用前缀、频道、发布者类型、第几页

url = "{}{}/0/pn{}".format()

• 在类目的列表页中爬取商品详情的 url

如果是批量访问，访问之间间隔一点时间比较好，如果网站承压性很好，就没有关系了

对于分页末尾需要停止的页面，判断是否有td标签，find('td','t')，如果有，继续，否则，停止

从元素结构上判断

• 爬取商品详情信息

浏览量每次有请求都会有变动，所以可以不记录

访问的url，可能因为已经交易成功下线而返回404。一个页面的js脚本链接包含404

从特定的内容判断

no_longer_exist = '404' in soup.find('script', type='').get('src').split('/')

soup.prettify()可以使得打印出来的 HTML 内容更易读

小结

• CSS

第一页http://bj.58.com/shoujihao/pn1/有内容需要跳过

<div class="boxlist">
    <ul>
        <div class="boxlist boxbg"></div> # 精选号码，不想抓取的内容

        <div class="boxlist"></div>  # 需要获取 url 的内容
    </ul>
</div>

其他页没有这个问题

<div class="boxlist">
    <ul>
        <div class="boxlist"></div>  # 需要获取 url 的内容
    </ul>
</div>

没法通过 CSS 选择器直接过滤，只能判断是否第一页，然后区分处理：

if num == 1:
    boxlist = detail_soup.select("div.boxlist div.boxlist")[1]
else:
    boxlist = detail_soup.select("div.boxlist div.boxlist")[0]

• 内容

<span class="c_25d">
    <a href="/haidian/pingbandiannao/">海淀</a>
    "                                                                                                                                               -
                                                                                                                                                    "                                               <a href="/zhaojunmiao/pingbandiannao/">皂君庙</a>
</span>

获取所有 子元素的内容、子元素之间的内容

area_data = detail_soup.select("span.c_25d")
area =  list(area_data[0].stripped_strings) if area_data else None
print area

[u'\u897f\u57ce', u'-', u'\u897f\u56db']

但下面的情况没法这样处理：

<h1>
"                
                18518313456
                
                
                                                        联通
                                                     ABCD
                                                "
</h1>

清除两边的空格" "，删除字符串中间的" "和\t，将多个\n换成一个\n，然后通过\n分隔为列表

number = list(detail_soup.select("h1")[0].stripped_strings)[0]
info_list = number.replace('\t','').replace(' ',"").replace('\n\n\n','\n').split("\n")
# print 'number= ',info_list[0]
# print 'isp= ', info_list[1]

《python cookbook》