美文网首页码农的世界程序员
python实现基于websocket协议的网络爬虫

python实现基于websocket协议的网络爬虫

作者: b4a0155c6514 | 来源:发表于2019-01-22 10:47 被阅读7次

WebSocket是一种在单个TCP连接上进行全双工通信的协议,简单来说就是建立一个TCP长连接之后,你可以服务器随时可以给客户端发送消息,客户端随时可以给服务器发送消息,而以前只能是客户端给服务器发送消息,服务器返回消息。
## 学习Python中有不明白推荐加入交流群
号:960410445
群里有志同道合的小伙伴,互帮互助,
群里有不错的视频学习教程和PDF!

websocket协议我们简称为ws,ws的网络爬虫其原理和普通爬虫没有其他区别,都是模拟客户端与服务器进行对话,不同的是我们要用到websocket库。

测试网址是websocket官网提供的demo,http://demos.kaazing.com/echo/index.html

image image.gif

我们抓包看看ws协议的通信特点:

image image.gif

一次连接双向通信,在浏览器开发者工具中,点击ws数据包在弹出的详情中点击Frames,这里面是通信的数据。知道了大致的工作原理以后我们来实现一个简单的无验证、无加密内容的ws爬虫,目标网址还是上面那个。

我们实现和目标网址之前的数据交互,常见方法如下:

# -*- coding:utf-8 -*-

import websocket

url = 'ws://demos.kaazing.com/echo'
ws = websocket.create_connection(url=url, timeout=15)

ws.send("以字符串发送数据")     # 以字符串发送消息
ws.recv()      # 接收消息,如果无消息将会堵塞,直到15s超时等待结束

ws.send_frame("以帧形式发送数据")   # 以帧形式发送数据
ws.recv_data_frame()    # 接收以帧发送的数据

ws.send_binary("以二进制格式发送数据".encode())   # 以二进制格式发送数据

ws.send_close()  # 向服务器发送关闭连接请求,传入状态码及其原因

ws.close()  # 关闭连接

image.gif
ws = websocket.create_connection(url=url, timeout=15)
ws.send("以字符串发送数据")
30
ws.recv()
'以字符串发送数据'
ws.send_frame("以帧形式发送数据")
8
data = ws.recv_data_frame()
data
(8, <websocket._abnf.ABNF object at 0x07FD4C90>)
data[1].data
b'\x03\xea'

image.gif

看似很简单,但在实际中会伴随着很多通信的加密,这个需要在具体问题中具体分析,主要就三个方面:建立ws连接、发送消息、接收消息。

ws的应用在即时性较强的信息传播行业,如股票、彩票、赛事、通信中用的很普遍,但是其难度并不大。

相关文章

  • python实现基于websocket协议的网络爬虫

    WebSocket是一种在单个TCP连接上进行全双工通信的协议,简单来说就是建立一个TCP长连接之后,你可以服务器...

  • python实现基于websocket协议的网络爬虫

    WebSocket是一种在单个TCP连接上进行全双工通信的协议,简单来说就是建立一个TCP长连接之后,你可以服务器...

  • websocket协议

    WebSocket协议是基于TCP的一种网络协议;WebSocket的诞生是因为http不能长时间实现双工通信是通...

  • 了解Websocket通信协议

    1.什么是Websocket协议 WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双...

  • websocket初探

    Websocket 是什么? WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(...

  • golang使用WebSocket创建即时聊天室

    WebSocket WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-...

  • websocket 解析

    websocket:WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工(full-...

  • iOS 接入WebSocket

    WebSocket是什么 WebSocket协议是 基于TCP 的一种网络协议。它实现了浏览器与服务器全双工(fu...

  • webSocket入门到呕吐

    简介 WebSocket是什么? WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双...

  • Day 15 websocket起步

    1、什么是websocket? WebSocket协议是基于TCP的一种新的网络协议。它实现了浏览器与服务器全双工...

网友评论

    本文标题:python实现基于websocket协议的网络爬虫

    本文链接:https://www.haomeiwen.com/subject/xtcljqtx.html