基于mitmproxy实现web被动扫描代理

mitmproxy模块提供的使用方式是使用命令行来开一个代理，这里用python代码调用mitmproxy的方法，开一个代理，获取请求信息，并添加到队列中，供后续扫描使用。

本文使用的环境：

Python 3.7.0
mitmproxy 5.2

安装

安装：pip install mitmproxy。依赖多，国内安装慢，建议用国内镜像来安装：pip install -i https://mirrors.aliyun.com/pypi/simple/ mitmproxy

启动代理

可以直接用：

from mitmproxy.tools.main import mitmdump
mitmdump(args="--listen-port=6666 -m upstream:127.0.0.1:8080 --proxyauth=root:root".split(" "))

来启动代理，args参数跟调用mitmdump命令时传的参数一样。因为起初在网上搜，搜到的是另一段代码，所以没用这种简洁的方式，用的是：

#!/usr/bin/python3
# -*-coding:utf-8-*-

import time
import queue
from multiprocessing import Process, freeze_support, Queue

from mitmproxy import proxy, options
from mitmproxy.http import HTTPFlow
from mitmproxy.tools.dump import DumpMaster


class Handler:
    """
    将请求加入队列
    """
    def __init__(self, req_queue: Queue):
        self.req_queue = req_queue

    def request(self, flow: HTTPFlow):
        request_dict = {
            "method": flow.request.method,
            "url": flow.request.url,
            "headers": [(key, flow.request.headers[key]) for key in flow.request.headers],
            "cookies": [(key, flow.request.cookies[key]) for key in flow.request.cookies],
            "data": flow.request.text
        }
        try:
            print(request_dict.get("url"))
            self.req_queue.put(request_dict, timeout=2)
        except queue.Full:
            pass

    def response(self, flow: HTTPFlow):
        pass

    def responseheaders(self, flow: HTTPFlow):
       pass


def do_start_proxy(req_queue):
    opts = options.Options(listen_host="127.0.0.1", listen_port=6666)

    m = DumpMaster(opts, with_termlog=False, with_dumper=False)

    pconf = proxy.config.ProxyConfig(opts)
    m.server = proxy.server.ProxyServer(pconf)
    m.addons.add(Handler(req_queue))

    print("Proxy server listening at http://127.0.0.1:6666")
    m.run()
    # m.shutdown()


def start_proxy(req_queue):
    freeze_support()
    p = Process(target=do_start_proxy, args=(req_queue, ))
    p.start()
    return p


if __name__ == "__main__":
    req_queue = Queue(6000)
    p = start_proxy(req_queue)
    try:
        while True:
            # 从req_queue获取请求，进行处理
            time.sleep(300)
    except KeyboardInterrupt:
        p.terminate()
        p.join()

下文将以这种方式来说明

插件编写

上面使用子进程启动mitmproxy，然后通过m.addons.add(Handler(req_queue))注册插件，该插件将收到的请求信息添加到队列中，以便后续使用。

Handler类就是插件。其request方法在mitmproxy接到请求后调用，response方法在收到响应后调用，responseheaders方法在收到响应头部时就调用.（更多的回调方法参考这里）。这些回调方法，通常接收一个flow参数，可以用来获取请求和响应信息，使用也简单，看这里就行。

注意： 不要在request()里用到flow.response，否则会卡住

HTTPS证书

mitmproxy已经处理好证书了。将浏览器代理指向mitmproxy，访问mitm.it，下载安装证书就行

option配置

上面那段代码中：

    opts = options.Options(listen_host="127.0.0.1", listen_port=6666)

    m = DumpMaster(opts, with_termlog=False, with_dumper=False)

    pconf = proxy.config.ProxyConfig(opts)
    m.server = proxy.server.ProxyServer(pconf)
    m.addons.add(Handler(req_queue))

listen_host配置代理监听地址，listen_port配置代理监听端口。with_templog为True时会输出客户端连接、断开信息，如：127.0.0.1:53033: clientconnect 127.0.0.1:53034: clientconnect；with_dumper为True时，输出连接信息：请求方法、URL、状态码等。所有可配置的option，看这里。

举两个其它的配置：

配置上流代理（mitmproxy的流量都传到这个proxy）：

opts.update(mode="upstream:127.0.0.1:1080")  # 所有接收到流量都传到127.0.0.1:1080这个代理去
opts.update(ssl_insecure=True)  # 不验证上流代理给的https证书

配置代理的账号密码：

opts.update(proxyauth="root:root")

这句代码要在初始化DumpMaster类后再调用。因为这个配置选项是由内置插件ProxyAuth提供的，该插件在初始化DumpMaster类时添加。

总结

感觉直接调用mitmdump函数简单些。一开始用的是网上给的，没看源码，不知道有这种方式。