美文网首页石头剪刀布有趣的文章iOS 项目技巧
大数据学习 半年小结 — 我的知识地图

大数据学习 半年小结 — 我的知识地图

作者: 只是不在意 | 来源:发表于2017-06-20 17:24 被阅读3377次

2017年1月开始学习数据分析,现在已经快半年了,交个小结作业。
先截个猴子学习群的图,基本上是按照这个顺序来的,另外参加了城市数据团的课和简书的python爬虫群,也算是超额完成任务了吧。


1.png

数据分析课程,一共写了以下文章
学习小结方面:

我的2017年大数据学习目标
学习大数据两周笔记
迄今为止最有效率的春节
终身学习:啃啃大数据分析
大数据学习 第一季度小结

R语言数据展现(5篇)
R语言做统计学习题(2篇)
R语言Quantmod金融笔记(2篇)
R语言与地产结合的初步分析(5篇)

SQL练习,主要是做完了SQLZOO的练习。SQL专栏: http://www.jianshu.com/nb/13379194
上了城市数据团的课,满满四门课,也很有收获。http://www.jianshu.com/p/9dc2edb8154e
另外还有python 爬虫。Python爬虫专栏:http://www.jianshu.com/nb/12863403


笔记功课主要发表在知乎和简书,看一下数据:
在知乎上,获得赞最多的文章是《用R语言计算统计学习题》(大概很有需求吧!)其次是《买房还是买车位》,接下来是两篇总结,《大数据学习第一季度小结》和《学习大数据两周笔记》。


知乎-赞.png

获得评论最多的,也差不多是这几篇。


知乎-评论.png

在简书比较久一点(不过越来越不喜欢首页的鸡汤风...),所以文章数目也多很多。差不多到目前,阅读量已经过万,可见坚持还是有成效的。


简书-阅读.png

虚线是平均阅读数。

把阅读量在100以上的筛选出来,阅读量最高的是《幻想摩拜单车的美好世界》,数据学习方面,是《大数据学习第一季度小结》,很简单的一篇《利用R语言做最最初级金融分析de笔记》居然点赞数也很高,大概是因为很多人不知道R中quantmod包的强大功能吧。

2.png

5月开始学习python爬虫,在学习期间,因为每个网站的网页结构都不太相同,遇坑无数,每次爬都值得记录下来。一共写了20余篇。所以专门把爬虫这个单独列出来,看一下数据。

阅读量最高的是《简书爬虫的功课一小览》,因为比较全面。
其次是bs4和xpath比较,这篇也是点赞和评论最多的。其实写的很简单,但可能毕竟基础平实吧。


爬虫.png

下面7月计划:

  1. 练习Kaggle的案例,这方面已经比很多同学落后太多了。
  2. 进一步拓展更深的知识,如聚类决策树,随机森林等知识。
    3.继续学习统计学知识,打好基础。

加油吧!
最后做个广告:7月中会有一场直播分享,是学习的点滴心得。
我在一块听听的直播

附录:爬取简书代码。自己起先写的时候评论和赞都没爬出来,原来又是多多手加上“*//”了。基础不牢啊啊啊。

import requests
from lxml import etree
import random

headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }

for i in range(1,11):
    url = 'http://www.jianshu.com/u/b062b6eb573b?order_by=shared_at&page='+str(i)
    html = requests.get(url, headers=headers).content
    selector=etree.HTML(html)
    infos= selector.xpath('//div[@id="list-container"]/ul[@class="note-list"]/li')
    for info in infos:
        title=info.xpath('div/a[@class="title"]/text()')
        comment = str(info.xpath('div/div[2]/a[2]/text()')[1]).strip()
        #comment=info.xpath('/div[@class="meta"]/a/i[@class="iconfont ic-list-comments"]/text()')
        #comment=info.xpath('*//div/div[2]/a[2]/i/text()')
        
        like = info.xpath('div/div[2]/span/text()')[0]
        #like=info.xpath('/div[@class="meta"]/span/i[@class="iconfont ic-list-like"]/text()')
        #like=info.xpath('*//div/div[2]/span/i/text()')
        reader = str(info.xpath('div/div[2]/a[1]/text()')[1]).strip()
        print (title, '  , ',reader, ' , ',comment, '  , ',like)

相关文章

  • 大数据学习 半年小结 — 我的知识地图

    2017年1月开始学习数据分析,现在已经快半年了,交个小结作业。先截个猴子学习群的图,基本上是按照这个顺序来的,另...

  • 半年学习小结

    忙碌的日子总是过得特别快,数月之事恍如昨。不过再忙碌都要记得深呼吸! 生命是一场遇见,教育亦如此。在这一年我有了更...

  • 28张高清数据分析全知识地图,强烈建议收藏

    今天给大家整理了28张数据分析的知识地图,话不多说,直接上图: 1、数据分析步骤地图 2、数据分析基础知识地图 3...

  • 《学习地图敏捷设计©工作坊》小结

    《学习地图敏捷设计©工作坊》小结 2019年3月2日,阿蔡老师主办、段士瑞老师亲授的《学习地图敏捷设计©工作坊》在...

  • 大数据&人工智能学习总结(二)· 知识图谱

    序:把镜头拉远一点看人工智能 上一篇总结了大数据&人工智能的知识地图,在地图中,我只选择“深度学习”作为具体的落地...

  • 半年素描学习小结

    前期打形尽量保证比例跟位置的准确,不过不用太纠结,有了原型后可以在后面不断调整。 确定明暗关系,分界线要清晰,如果...

  • 我的半年小结

    2018年年初,我制定了自己的愿望清单,当时是信心满满,什么都想做,所以才有了《2018愿望清单》这篇文章。当时就...

  • 我的半年小结

    自从去年12月份下岗失业,赋闲在家期间,我曾经立下雄心壮志,希望在文学上有所作为,有所建树。我的那段时间里,也曾埋...

  • 学习的知识地图

    潜意识 家庭排列 情绪管理 爱的五种语言 冰山理论 应对姿态 感受 信念系统 期待 渴望 自我(自信,自尊,自爱)...

  • 大数据开发都要学习什么?什么是大数据平台?

    大数据开发培训 大数据开发专业需要学习的内容包括三大部分,分别是大数据基础知识、大数据平台知识、大数据场景知识。 ...

网友评论

本文标题:大数据学习 半年小结 — 我的知识地图

本文链接:https://www.haomeiwen.com/subject/msnoqxtx.html