我的业余项目,http://www.codedata.cn,收集了国内很多优秀程序员的博客。可以更快了解他们最新的研究方向
一、 想法来源
最开始其实就是自己平时关注 博主的博客, 然后定期的是他们的网站上看看有没有更新,
然后有的时候就必须都点一遍才能看完他们的博客,然后就在想自己做一个小爬虫, 收集一些自己感兴趣的博主。这样就可以看速的浏览自己感兴趣的文章了, 当然了 顺便也是想练练自己的爬虫技术(逃....)
二. 遇到的问题
在做的过程中, 就发现遇到了很多的问题, 比如那么多的博客, 每个博客的主题、网站结构都不一样、代码的模板不一样等等, 然后自己就想如何使得爬取的内容更加的展现的更加友好一些, 最后不断的改进爬虫的底层架构, 更加友好的处理图片、处理不同的网站结构、不同的代码主题....
慢慢的发现自己 从一个爬虫小菜鸟 竟然成长为一个 爬虫大菜鸟了。
三、关于未来
其实 做这个站的目的,更多也是学习的心态,在运营的过程中学会了,如何做 SEO、如何运营、如何设计产品、当然也是尝试各种爬虫姿势, 😝。更重要的是中间交流到了一些朋友,而不是局限在程序员的自己的世界里。
四、写在最后
如果大家有什么建议, 欢迎大家留言,或者加我的微信也可以的哈(xiaobei060537, 注明来源即可)
网友评论