美文网首页
爬取系统的代码

爬取系统的代码

作者: 1虾1 | 来源:发表于2015-11-14 22:31 被阅读0次

note first:从学长那里接过来的代码混乱不堪,变量命名随意,直接从网上copy的代码导致大量冗余代码,外加没有文档,论文写的不详细,看了一晚上,代码反推功能,唉...

几个已经猜到或者改造的功能

1.爬取知识卡片(aaa.java)=从博客里爬取+存储了12个性质作为知识卡片

  • 勘误!不是博客是相同网站...原来注释也是从网上copy的我也是醉醉醉醉醉了

2.同花顺爬取(webspider.java)=目前已改成问财爬取,定向爬取股票名称作为父节点,爬取股票行业作为上下位属性提取(treedata数据库).爬取其他各项性质来作为知识卡片..
3.文本提取(checkservice)=语义学爬取(..是..,...为...)
4.分类树(写死的)+提取叶子节点(将treedata的树展示出来,还不知道展示效果如何,理论上应该在可视化的地方展示)

烂代码坑人!

很好,现在tm的发现问财返回的数据都是加密过来的js变量我bi了狗了

相关文章

  • 爬取系统的代码

    note first:从学长那里接过来的代码混乱不堪,变量命名随意,直接从网上copy的代码导致大量冗余代码,外加...

  • python爬虫

    1、爬取糗事百科 代码: 2、爬取淘宝手机信息 代码: 3、爬取中国大学排名 代码: 4、爬取豆瓣top250 代码:

  • Python 实战项目

    web机器人 web实战 博客BBS论坛系统 成绩管理系统 新闻系统 爬取知乎 爬取豆瓣 爬取京东 爬取新浪微博 ...

  • Linux下添加定时任务

    很多时候需要代码定时定点去执行,比如说写了一段爬取网站信息的代码,想每天早上进行一次爬取,就需要为系统添加计划任务...

  • (二)爬取豆瓣网的书名(BeautifulSoup库)|Pyth

    1.爬取网页的步骤2.爬取网页的代码1结果显示3.爬取网页的代码2结果显示4.代码分析最近更新:2018-01-1...

  • 网络爬虫与信息提取(二)

    爬取网页的通用代码框架 Requests库的异常 爬取网页的通用代码框架 协议 HTTP http://host[...

  • Python实战学习笔记 爬去真实网页信息

    爬取URL结果 爬取代码 爬取心得通过这次爬去学会从网页找不同页面地址之间的规律爬去网页,单次爬取的网页可以作为循...

  • 猫眼电影Top100数据爬取,使用requests和xpath

    记录一下学习python爬虫的入门例子 1、爬取的网页源代码如下: 2、代码部分如下,只爬取了电影名字,如果要爬取...

  • Go基础编程---web编程

    简单web服务器代码 简单客户端代码 并发爬取百度贴吧的页面 并发爬虫爬取段子

  • python学习-第四节练习

    问题 爬取taylorswift的图片 代码 总结 首先遇到的代理的问题,代码一开始只能爬取国内的网站,开了全局代...

网友评论

      本文标题:爬取系统的代码

      本文链接:https://www.haomeiwen.com/subject/azrkhttx.html