过去的经历并非孤立的节点,更像是埋在土壤里的种子,偷偷的发芽成长。因为你不知道什么时候,它们就长成了参天大树,这其中的因果真的是环环相扣。
1.因为组织了写作打卡训练营,想着要完成本周的写作任务。但是又不想敷衍将就,于是想着从选题入手,先确定选题再动手写作。如何确定选题?想到干脆重新搭建一个选题库。
2.进而想到可以通过搜集竞品账号的文章,搭建一个新的选题库。
3.于是问题变成了,如何搜集竞品账号10w+的微信推文?探索了一圈发现原有的方法例如新榜等工具并不能完美的契合自己的需求。
4.于是想到了爬虫,首先想到的找成品的工具,结果发现并不支持导出excel格式,而且下载的文章数据里没有阅读数。
5.然后想到了借助python手动爬虫,可是我并不会python,那就找找教程吧!
6.找到了一篇借助python爬取微信文章的案例教程,看似可行,需要先用Charles抓取微信接口,但是我不懂什么是Charles呀。
7.一顿研究,搞定了Charles下载和证书的安装,最终成功抓取了微信的接口数据。(算是又掌握了一个新技能)
8.看到抓取后的数据,想起来之前研究iOS快捷指令和Notion联通的时候,学习过一些接口数据,所以对于抓取的微信接口数据,也能看懂一些。而且之前学过明白老师的web端爬虫课程,所以对抓包这些多少有所了解。抓取的接口里并没有文章阅读数的数据,但是我自己捣鼓了一番后居然摸索出了接口。
9.接口是找到了,但是并不会调用python下载,作者也没有在文章中说明。放弃吗?有点不甘心!于是想办法检索相关的教程例如【如何调用python下载】。看了半天,还是看不懂,python的课要补上!这个过程中收集了一些python的学习平台和资料。
10.于是我想着要不换关键词试试,改为如何用【python下载微信文章】
11.在youtube找到了一个视频教程,作者详细的介绍了通过Fiddler抓包微信接口,并用python下载的全过程。(借此又了解了如何用Fiddler抓包,因为研究过Charles抓包,所以一通百通了)
12.视频里发现,python需要安装requests库,可是我不懂啊?于是继续百度【python如何安装库】,然后学习了一遍,搞懂了。(又搞懂了一个新知识,python如何安装库)
13.下面可能还会遇到新的问题,但是我感觉挺爽的,抱着一个既定的目的去学习python,真的感觉进步很快,而且在这个过程中收获颇丰。
网友评论