作业代码

# -*- coding: utf-8 -*-
import lxml
import requests
import re 
import sys
from bs4 import BeautifulSoup
import csv
reload(sys)
sys.setdefaultencoding("utf-8")



def get_data(link):
    headers = {"user-agent": "Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36"}
    #link = 'http://www.jianshu.com/trending/weekly?utm_medium=index-banner-s&utm_source=desktop'
    html = requests.get(link, headers=headers)
    soup = BeautifulSoup(html.content, 'html.parser')


    total = []
    total_data = soup.findAll("div", {"class": "content"})
    for alone_data in total_data:
        alone = []
        author = alone_data.find("a", {"class": "blue-link"}).get_text()
        title = alone_data.find("a", {"class": "title"}).get_text()
        meta = alone_data.find("div", {"class": "meta"})
        read_num = meta.findAll("a", {"target": "_blank"})[0].get_text()
        comment_num = meta.findAll("a", {"target": "_blank"})[1].get_text()
        like_num = meta.findAll("span")[0].get_text()
        post_date = alone_data.span['data-shared-at']
        alone.append(post_date)
        alone.append(author)
        alone.append(title)
        alone.append(read_num)
        alone.append(comment_num)
        alone.append(like_num)
        try:
            money_num = meta.findAll("span")[1].get_text()
            alone.append(money_num)
        except:
            alone.append("没赞赏")
        total.append(alone)
    return total



    

if __name__ == "__main__":
    f = file('jian.csv', 'wb')
    f.write('\xEF\xBB\xBF')
    writer = csv.writer(f)
    for i in range(1,6):
        link = 'http://www.jianshu.com/trending/weekly?&page=%s' %i
        print "正在处理" + str(i)
        p = get_data(link)
        for m in p:
            writer.writerow(m)
    f.close()
    print "处理完毕"

作业结果

作业结果 作业的结果

作业的思路

本来是打算用scrapy的，但是由于才刚开始看scrapy文档，就卡在输出item上了，就还是选择了老套路，单线程爬虫。
思路比较简单，就是找标签，不过在异步加载这里卡了挺久的，由于做爬虫的经验也比较少，没有遇到过有异步加载的网站，只见过一个视频里有讲到过异步加载，也只是一笔带过，只记得是构造表单，经过一阵观察，只看到两个比较可能的地方
可能一、

page2
看到这，想到了构造表单，但是发现有很多id，也没有办法来构造表单，无奈放弃，另找出路
可能二、 注意page2

这里也出现了一个page2，但是看到这么一长串的id号，实在是吓人，一开始不太相信，但是又看了下另一个page3

注意page3

于是联想，有没有这样一种可能，每个七天榜的id都是不一样的，id也许与页面无关，又尝试了一下，把id删了，只保留page=x，于是有

分页展示

接下来的事情就简单了...

在作业中遇到的坑

坑一、在调试的过程中，总是被return的位置所困扰，以至于得不到想要的结果，说明自己在逻辑判断这一块还是有所欠缺
坑二、关于写入到csv文件中，在输出的到csv文件中，并转化成excel文件后，发现read_num和comment_num这两列无法排序，纠其原因，是无法选取其值，将他们复制下来到文本中，发现多了几个引号：

无法显示值 多了引号

想来想去，都不知道是什么原因，不知道如何改正，只能自己手动清洗一下

要改进的地方

1. 单线程爬虫还是太慢了，保存的方式也是有限的，更应该用scrapy来写，为日后大数据爬取打下基础
2. 由于时间比较赶，也没有来得急进行分词，和统计并进行分析，也说明自己在写爬虫这一方面还是不太熟练，总是要翻文档