大数据学习 半年小结 — 我的知识地图

2017年1月开始学习数据分析，现在已经快半年了，交个小结作业。
先截个猴子学习群的图，基本上是按照这个顺序来的，另外参加了城市数据团的课和简书的python爬虫群，也算是超额完成任务了吧。

1.png

数据分析课程，一共写了以下文章
学习小结方面：

我的2017年大数据学习目标
学习大数据两周笔记
迄今为止最有效率的春节
终身学习：啃啃大数据分析
大数据学习 第一季度小结

R语言数据展现（5篇）
R语言做统计学习题（2篇）
R语言Quantmod金融笔记(2篇）
R语言与地产结合的初步分析(5篇）

SQL练习，主要是做完了SQLZOO的练习。SQL专栏: http://www.jianshu.com/nb/13379194
上了城市数据团的课，满满四门课，也很有收获。http://www.jianshu.com/p/9dc2edb8154e
另外还有python 爬虫。Python爬虫专栏：http://www.jianshu.com/nb/12863403

---

笔记功课主要发表在知乎和简书，看一下数据：
在知乎上，获得赞最多的文章是《用R语言计算统计学习题》（大概很有需求吧！）其次是《买房还是买车位》，接下来是两篇总结，《大数据学习第一季度小结》和《学习大数据两周笔记》。

知乎-赞.png

获得评论最多的，也差不多是这几篇。

知乎-评论.png

在简书比较久一点（不过越来越不喜欢首页的鸡汤风...），所以文章数目也多很多。差不多到目前，阅读量已经过万，可见坚持还是有成效的。

简书-阅读.png

虚线是平均阅读数。

把阅读量在100以上的筛选出来，阅读量最高的是《幻想摩拜单车的美好世界》，数据学习方面，是《大数据学习第一季度小结》，很简单的一篇《利用R语言做最最初级金融分析de笔记》居然点赞数也很高，大概是因为很多人不知道R中quantmod包的强大功能吧。

2.png

5月开始学习python爬虫，在学习期间，因为每个网站的网页结构都不太相同，遇坑无数，每次爬都值得记录下来。一共写了20余篇。所以专门把爬虫这个单独列出来，看一下数据。

阅读量最高的是《简书爬虫的功课一小览》，因为比较全面。
其次是bs4和xpath比较，这篇也是点赞和评论最多的。其实写的很简单，但可能毕竟基础平实吧。

爬虫.png

下面7月计划：

1. 练习Kaggle的案例，这方面已经比很多同学落后太多了。
2. 进一步拓展更深的知识，如聚类决策树，随机森林等知识。
   3.继续学习统计学知识，打好基础。

加油吧！
最后做个广告：7月中会有一场直播分享，是学习的点滴心得。
我在一块听听的直播

附录：爬取简书代码。自己起先写的时候评论和赞都没爬出来，原来又是多多手加上“*//”了。基础不牢啊啊啊。

import requests
from lxml import etree
import random

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }

for i in range(1,11):
    url = 'http://www.jianshu.com/u/b062b6eb573b?order_by=shared_at&page='+str(i)
    html = requests.get(url, headers=headers).content
    selector=etree.HTML(html)
    infos= selector.xpath('//div[@id="list-container"]/ul[@class="note-list"]/li')
    for info in infos:
        title=info.xpath('div/a[@class="title"]/text()')
        comment = str(info.xpath('div/div[2]/a[2]/text()')[1]).strip()
        #comment=info.xpath('/div[@class="meta"]/a/i[@class="iconfont ic-list-comments"]/text()')
        #comment=info.xpath('*//div/div[2]/a[2]/i/text()')
        
        like = info.xpath('div/div[2]/span/text()')[0]
        #like=info.xpath('/div[@class="meta"]/span/i[@class="iconfont ic-list-like"]/text()')
        #like=info.xpath('*//div/div[2]/span/i/text()')
        reader = str(info.xpath('div/div[2]/a[1]/text()')[1]).strip()
        print (title, '  , ',reader, ' , ',comment, '  , ',like)