python
python在说python之前,先说下,采集软件
- 火车头
无法采集js,正则匹配累 - 八爪鱼
慢,卡,不稳定 - 集搜客
程序员做的软件,程序员的推广。教程写的烂,采集逻辑奇葩。对于不规则的网站,效果不好。
python的好处
-
灵活,花费时间短,并且上手快。
比如一行代码就可以爬百度html代码
page = requests.get('http://www.baidu.com')
事实上,上面不可以爬的,因为没有ua。
有兴趣看看
1,一分钟用python采集网页
2,python requests的安装与简单运用 -
很多用python写好的功能可以用
python采集下拉框 -
有很多写好的库,可以调用
调用库几乎也就几行代码,看一会直接就可以上手。
[python资源大全](https://github.com/soulerforgit/awesome-python-cn )
推荐requests
Requests: HTTP for Humans — Requests 2.10.0 documentation
不推荐scrapy
scrapy也用过,感觉这个框架不适合SEO,它太重了,写一个小项目要建立一堆文件夹,而SEO就是小东西多,还有就是,和工作效率相比,SEO不太需要采集的效率,scrapy一定要设计防绊的问题,解决这些问题会大大降低我们工作的效率。
python做过:和5118结合竞争对手分析,论坛上的一些自动化,自动更新文章,采集百度图片给文章配图,蜂巢关键词采集,关键词清晰整理分模板。
process on
做各种图的东西,不想下载专业的软件,另外它还有一个协同工作的功能,但是我从来没有用过,一直都是一个人,啊啊啊。
process on
5118
这个不用多说。。。
有一点,python+5118可以采集竞争对手有排名的关键词,粗略分析出竞争对手每个栏目下流量,以及内容来源。
SEO频道页,聚合,编辑产生,用户产生,用户产生后通过什么技术聚集在一起都是可以分析的。
pocekt
记录一些东西,个人觉得比印象笔记好。
把知识装进口袋最优雅的方法图片收集数据库。
Paste_Image.png Paste_Image.png看到红色的SAVE了吗,只要你喜欢的图,无论在哪,点击SAVE既可以存入pinterest。
图片上的那个男人是罗子雄,女生是他的女朋友(实在不知道名字)
TED上有他关于设计的演讲,我觉得挺有意思的。
再吐槽一下
这里面有很多和SEO无关的东西。
很多时候,我都在做看似和SEO无关的东西,做编辑,做视频,做图片,网站原型....但是这些都和用户体验有关系。
我觉得这样的角色很有意思
草根灰色型:贴着地面生长出来的极接地气的产物,草根特色,一般都在埋头挣钱,鲜有 媒体关注,过多的媒体关注对它们而言也不算好事。目标即是盈利,所以在商业模式上和 用户需求满足上非常专注。并没有特别多的概念创新,却有长时间的用户反馈的积累和优 化。这些类型的互联网产业链占比非常大,而且有着明显的区域性特征,特别是移动互联 网的快速发展之后。
来源:《中国互联网地下产业链分析白皮书》
推荐一些采集的工具,其实还有更多
Postman和JSON Editor
Paste_Image.pngpostman 更快更方便的测试api
Paste_Image.png一个可以查看,编辑,格式化json工具
网友评论