美文网首页Python3自学 爬虫实战工具
爬虫:使用mitmproxy抓包手机APP的配置步骤

爬虫:使用mitmproxy抓包手机APP的配置步骤

作者: dex0423 | 来源:发表于2018-12-01 21:55 被阅读0次

1. Mitmproxy 简介

  • Mitmproxy本意为中间人攻击代理;
  • 在爬虫中主要用作抓取 http_connect、request、response 等数据;
  • mitmproxy官方文档地址:https://docs.mitmproxy.org/stable/

【提示】
Mitmproxy 相较于 fillder、wireshark 的不同:
-- mitmproxy 不仅可以截获请求、帮助开发者查看、分析、更可以通过自定义脚本进行二次开发,修改爬虫行为

2. 配置 Mitmproxy

2.1 安装 mitmproxy

brew install mitmproxy

安装好后检查安装情况。

mitmdump --version

得到下图所示内容,表示安装成功。


查看版本号、支持的Python版本、OpenSSL协议等

2.2. 启动 mitmproxy

mitmweb    # mitmproxy有三种启动方式,此处使用的命令可以提供一个web交互界面

【提示】
mitmproxy有三种启动命令:
(1) mitmweb
-- 提供一个web界面;
-- 代理端口:绑定了 *:8080作为代理端口;
-- 交互界面地址:localhost:8081;
(2) mitmproxy
-- 提供命令行界面;
-- 可以通过命令过滤请求;
(3) mitmdump
-- 【TODO】

得到下图,表示启动成功,端口号默认为 8080。


mitmproxy服务器绑定了 *:8080作为代理端口

此时,浏览器自动打开下图页面,这是 mitmproxy 提供的 web 交互界面。


上图为mitmproxy自动打开的web交互界面

2.3. 安装CA证书

第一步,将电脑和手机连到同一个 WiFi 中;

第二步,获取本机的内网IP地址;

ifconfig

得到电脑本机的内网IP地址为 192.168.1.102。


WeChatd8d30030a2bf45bb1071f0f136698471.png

第三步,给手机WiFi配置代理

  • 服务器地址为电脑内网IP地址,端口为8080


    服务器地址为电脑内网IP地址,端口为8080

    第四步,安装证书

使用手机浏览器访问 mitm.it,得到下图。

选择自己的手机系统

我的手机为iPhone,点击 Apple 后得到下图。

31543663396_.pic.jpg

点击允许,开始安装。

安装完成后,得到已验证的提示。

61543663399_.pic.jpg

2.4. 开启证书

手机依次点击:设置 -> 通用 -> 关于本机 -> 证书信任设置,开启 mitmproxy 证书。

微信图片编辑_20200207211352.jpg

2.5 配置完成

此时,mitmweb 页面出现下图内容,红框中的为 mitmproxy 抓取的手机的请求。


红框中的为 mitmproxy 抓取的手机的请求

到这里,就成功完成了 mitmproxy配置。

3. mitmproxy 获取APP数据

参见本博另一篇文章:

联系博主:下为博主微信,欢迎骚扰

image.png

相关文章

网友评论

    本文标题:爬虫:使用mitmproxy抓包手机APP的配置步骤

    本文链接:https://www.haomeiwen.com/subject/olercqtx.html