美文网首页Python3自学 爬虫实战工具
爬虫:使用mitmproxy抓包手机APP的配置步骤

爬虫:使用mitmproxy抓包手机APP的配置步骤

作者: dex0423 | 来源:发表于2018-12-01 21:55 被阅读0次

    1. Mitmproxy 简介

    • Mitmproxy本意为中间人攻击代理;
    • 在爬虫中主要用作抓取 http_connect、request、response 等数据;
    • mitmproxy官方文档地址:https://docs.mitmproxy.org/stable/

    【提示】
    Mitmproxy 相较于 fillder、wireshark 的不同:
    -- mitmproxy 不仅可以截获请求、帮助开发者查看、分析、更可以通过自定义脚本进行二次开发,修改爬虫行为

    2. 配置 Mitmproxy

    2.1 安装 mitmproxy

    brew install mitmproxy
    

    安装好后检查安装情况。

    mitmdump --version
    

    得到下图所示内容,表示安装成功。


    查看版本号、支持的Python版本、OpenSSL协议等

    2.2. 启动 mitmproxy

    mitmweb    # mitmproxy有三种启动方式,此处使用的命令可以提供一个web交互界面
    

    【提示】
    mitmproxy有三种启动命令:
    (1) mitmweb
    -- 提供一个web界面;
    -- 代理端口:绑定了 *:8080作为代理端口;
    -- 交互界面地址:localhost:8081;
    (2) mitmproxy
    -- 提供命令行界面;
    -- 可以通过命令过滤请求;
    (3) mitmdump
    -- 【TODO】

    得到下图,表示启动成功,端口号默认为 8080。


    mitmproxy服务器绑定了 *:8080作为代理端口

    此时,浏览器自动打开下图页面,这是 mitmproxy 提供的 web 交互界面。


    上图为mitmproxy自动打开的web交互界面

    2.3. 安装CA证书

    第一步,将电脑和手机连到同一个 WiFi 中;

    第二步,获取本机的内网IP地址;

    ifconfig
    

    得到电脑本机的内网IP地址为 192.168.1.102。


    WeChatd8d30030a2bf45bb1071f0f136698471.png

    第三步,给手机WiFi配置代理

    • 服务器地址为电脑内网IP地址,端口为8080


      服务器地址为电脑内网IP地址,端口为8080

      第四步,安装证书

    使用手机浏览器访问 mitm.it,得到下图。

    选择自己的手机系统

    我的手机为iPhone,点击 Apple 后得到下图。

    31543663396_.pic.jpg

    点击允许,开始安装。

    安装完成后,得到已验证的提示。

    61543663399_.pic.jpg

    2.4. 开启证书

    手机依次点击:设置 -> 通用 -> 关于本机 -> 证书信任设置,开启 mitmproxy 证书。

    微信图片编辑_20200207211352.jpg

    2.5 配置完成

    此时,mitmweb 页面出现下图内容,红框中的为 mitmproxy 抓取的手机的请求。


    红框中的为 mitmproxy 抓取的手机的请求

    到这里,就成功完成了 mitmproxy配置。

    3. mitmproxy 获取APP数据

    参见本博另一篇文章:

    联系博主:下为博主微信,欢迎骚扰

    image.png

    相关文章

      网友评论

        本文标题:爬虫:使用mitmproxy抓包手机APP的配置步骤

        本文链接:https://www.haomeiwen.com/subject/olercqtx.html