美文网首页
20160707收获<关于抓取斗鱼弹幕>

20160707收获<关于抓取斗鱼弹幕>

作者: 邓楼平 | 来源:发表于2016-07-08 01:03 被阅读0次

只是简单的阅读了一下大神们的思路。粗略的学习使用了一下wireshark。

大神们的数据是不能用的,过时了。首先通过关闭直播间的视频,这样能排除掉视频数据的数据包。

于是接下来判断出哪些是弹幕的数据包就非常简单了。

目前只做到这里。然后学习了一下关于TCP的三次握手以及与HTTP协议的关系。

接下来的思路就是从头到尾重新抓取一下进入斗鱼直播间的数据包,根据端口或者网址将弹幕部分的数据包完整的获取下来。分析出如何进行交流以及获取弹幕。

另外,中间的连接貌似是一种能够一直持续的连接,以前听说过,但是一直没有接触过。websocket是什么鬼。这个能否仅仅靠爬虫知识解决?目前我所使用的爬虫功能只是简单的利用session向服务器端发送get,post请求而已。

未完待续。。。

相关文章

  • 20160707收获<关于抓取斗鱼弹幕>

    只是简单的阅读了一下大神们的思路。粗略的学习使用了一下wireshark。 大神们的数据是不能用的,过时了。首先通...

  • 抓取斗鱼直播实时弹幕c#源码

    抓取斗鱼直播实时弹幕,tcp协议实现 链接:https://pan.baidu.com/s/1jVZMi7kpwf...

  • Python实现抓取斗鱼实时弹幕

    需要安装三个库(requests,BeautifulSoup4,lxml) pip install request...

  • 斗鱼弹幕词云简单分析

    一:前言 上次把斗鱼弹幕数据抓取搞定后,我就拿来试试用词云分析看看效果,简单学习一下。这是弹幕抓拍去分析的对象是斗...

  • 调用斗鱼API爬取直播间弹幕信息(用户昵称及弹幕内容)

    调用斗鱼API爬取直播间弹幕信息(用户昵称及弹幕内容) 查看《斗鱼弹幕服务器第三方接入协议v1.4.1》,了解斗鱼...

  • 爬虫类

    selenium,splinter,webbrowser浏览器操作 scrapy爬虫 关于爬取斗鱼弹幕http:/...

  • 抓取图片(1)

    前几天看了个抓取斗鱼弹幕的帖子,觉得挺有意思的。本来也想学着做下,发现也不是那么好弄,现在就做了一个抓取英雄联盟页...

  • Python实时爬取斗鱼弹幕

    实现目标: 输入斗鱼房间号实时获取弹幕信息,实现效果如下:douyu.gif 逻辑梳理 首先说明下斗鱼是开放了弹幕...

  • Python程序员如何优雅的看斗鱼TV

    过年的一段时间抽空研究写了一些关于斗鱼TV的弹幕的获取.分别使用Python和Ruby写了弹幕获取的客户端. 文章...

  • 一个简

    一个简单的弹幕效果 说到斗鱼,很多盆友肯定都知道,作为一名斗鱼的忠实用户。对斗鱼...

网友评论

      本文标题:20160707收获<关于抓取斗鱼弹幕>

      本文链接:https://www.haomeiwen.com/subject/spgljttx.html