抖音视频的爬取过程

抖音由于没有网页版只有APP导致一些想爬的人都放弃了去尝试，但是作为一个程序员不要怕麻烦。麻烦才是你产生bug的开始 - -

python环境:3.6

爬取前必要做的事(按照前后顺序)

首先我在这里先说明我这里使用的python。**但是这篇文章重点是理解整个过程**。下面开始。

1. 首先我们先选择一个软件:

(1.**charles**(简称:花瓶)，2.**fiddler**)我个人使用的是**charles**

charles :charles官方网址自行下载

Fiddler:fiddler官方网址自行下载

在这里我给大家一个Tips:

如果发现手机不能正常代理charles或者fiddler 我可以告诉你们一个肯定适配的

**苹果 + charles**设置肯定可以正常代理！！！！！(经历了几个月的惨痛教训得出来的真理)

2.代理配置和手机配置：

charles :charles代理配置官方网址自行下载

Fiddler:fiddler代理配置官方网址自行下载

这样就已经完成了一大半了剩下的就看进入破解抖音的部分了，让我们来看看重点部分吧

抖音部分

在手机上下载抖音APP；

配置好后要先打开charles 再打开抖音APP不然手机没有网，这其中类似于中间人代理的原理；

1.抖音随便查找一个用户然后点开它的用户界面

charles出现以下界面:

出现这样的图，点红箭头会出现这样图:

这就是用户的数据了，但是其实下面有几个会影响你的判断，我是直接给你们标出了，爬虫做多了你会有避开一定明显错误信息(多做，多尝试)

然后我们用在线的json解析工具解析一下这串json数据:

继续====》

找到我们需要的数据。我需要的是视频，所以我找我需要的视频url的位置，用户信息都是有的(耐心的找找就都有了):

这样我们基本的爬虫就结束了，就是这么的简单有木有。接下来就是一点代码了，由于某些原因不能展现全部代码我把关键的代码展示出来:

这边有三点很容易错误：

一、是headers(头部)尽量全一点在第二张图有全部的headers 你全搬过来就行了。

二、request一定要加verify=false 不然会报错。

三、数据是json数据要直接用request.json()解析,如果后续用json.dumps 或者 json.loads都没用。

这是其中的关键代码片：

url = '不敢放。在第二章图的 get 后面复制一下就行了'

headers = {

'User-Agent':'Aweme 8.6.0 rv:86018 (iPhone; iOS 12.3.1; zh_CN) Cronet',

'x-tt-trace-id':'00-5990d4d209cf8a1db8ebc1dd7c600468-5990d4d209cf8a1d-01',

'Connection': 'keep-alive',

'X-KHronos':'1573460693',//标示用户的 url通用的每个用户都不一样

'X-Gorgon':'830099900000b7f5660d88c11c18d1ba30080507077bc534f0a9'//标示用户的 url通用的标示用户的 url通用的每个用户都不一样

}

resp = requests.get(url=url,headers=headers,verify=False)

text_json = resp.json()

print(text_json)