再做tg 数据采集的时候,很多时候都是公开的群组,因为群消息是可以分享出来的。这个时候可以直接请求该消息地址即可获取到对应的消息。这样就能实现数据采集了。
然后tg 的消息id 是从递增,应该是从1开始的,这个时候只需要 从1 开始请求,请求到该群组没有新的消息后即可放弃采集
例如:
https://t.me/OKXAPI/82745 【OKXAPI 为群组username,82745 为消息id,可以递增下去请求】
image.png更有一些群组开放性更强可以通过 https://t.me/s/群组username 的形式访问
image.png目前楼主测试过这种方式,请求基本不会 限流,可以以超高频率的方式去请求爬取数据等
ps: 本人最高测试速度为 单IP 3000次请求/s
网友评论