浅谈HTTPS以及Fiddler抓取HTTPS协议

作者: 隋胖胖LoveFat | 来源:发表于2016-01-12 15:34 被阅读56225次

    最近想尝试基于Fiddler的录制功能做一些接口的获取和处理工作,碰到的一个问题就是简单连接Fiddler只能抓取HTTP协议,关键的登录请求等HTTPS协议都没有捕捉到,所以想让Fiddler能够同时抓取到HTTPS和HTTP协议,设置只是很小的一步,关键是了解HTTPS协议的原理、Fiddler抓取HTTPS协议的原理,然后才能更好的理解如何进行设置。本文主要由三部分组成,第一部分用比较通俗形象的方式简述了HTTPS的原理,第二部分则是在第一部分的基础上介绍Fiddler抓取HTTPS协议的原理,最后第三部分就是如何对Fiddler及手机进行设置让其捕捉HTTPS协议。

    一、浅谈HTTPS

    我们都知道HTTP并非是安全传输,在HTTPS基础上使用SSL协议进行加密构成的HTTPS协议是相对安全的。目前越来越多的企业选择使用HTTPS协议与用户进行通信,如百度、谷歌等。HTTPS在传输数据之前需要客户端(浏览器)与服务端(网站)之间进行一次握手,在握手过程中将确立双方加密传输数据的密码信息。网上有诸多资料,有些写得过于晦涩难懂,尤其是需要密码学的一些知识。我做了一下简单的整理,刨除复杂的底层实现,单从理解SSL协议的角度宏观上认识一下HTTPS。一言以弊之,HTTPS是通过一次非对称加密算法(如RSA算法)进行了协商密钥的生成与交换,然后在后续通信过程中就使用协商密钥进行对称加密通信。HTTPS协议传输的原理和过程简图如下所示:

    HTTPS协议传输原理
    一共有8个步骤,我们针对每一步,具体看看发生了什么事:
    1. 第一步,客户端发起明文请求:将自己支持的一套加密规则、以及一个随机数(Random_C)发送给服务器。
    1. 第二步,服务器初步响应:服务器根据自己支持的加密规则,从客户端发来的请求中选出一组加密算法与HASH算法,生成随机数,并将自己的身份信息以证书(CA)的形式发回给浏览器。CA证书里面包含了服务器地址,加密公钥,以及证书的颁发机构等信息。这时服务器给客户端的包括选择使用的加密规则、CA证书、一个随机数(Random_S)。
    2. 第三步,客户端接到服务器的初步响应后做四件事情:
      (1)证书校验: 验证证书的合法性(颁发证书的机构是否合法,证书中包含的网站地址是否与正在访问的地址一致等)。
      (2)生成密码:浏览器会生成一串随机数的密码(Pre_master),并用CA证书里的公钥加密(enc_pre_master),用于传给服务器。
      (3)计算协商密钥:
      此时客户端已经获取全部的计算协商密钥需要的信息:两个明文随机数 Random_C 和 Random_S 与自己计算产生的 Pre-master,计算得到协商密钥enc_key。
      enc_key=Fuc(random_C, random_S, Pre-Master)
      (4)生成握手信息:使用约定好的HASH计算握手消息,并使用协商密钥enc_key及约定好的算法对消息进行加密。
    3. 第四步,客户端将第三步产生的数据发给服务器:
      这里要发送的数据有三条:
      (1)用公钥加密过的服务器随机数密码enc_pre_master
      (2)客户端发给服务器的通知,"以后我们都要用约定好的算法和协商密钥进行通信的哦"。
      (3)客户端加密生成的握手信息。
    4. 第五步,服务器接收客户端发来的数据要做以下四件事情:(1)私钥解密:使用自己的私钥从接收到的enc_pre_master中解密取出密码Pre_master。
      (2)计算协商密钥:此时服务器已经获取全部的计算协商密钥需要的信息:两个明文随机数 Random_C 和 Random_S 与Pre-master,计算得到协商密钥enc_key。
      enc_key=Fuc(random_C, random_S, Pre-Master)
      (3)解密握手消息:使用协商密钥enc_key解密客户端发来的握手消息,并验证HASH是否与客户端发来的一致。
      (4)生成握手消息使用协商密钥enc_key及约定好的算法加密一段握手消息,发送给客户端。
    5. 第六步,服务器将第五步产生的数据发给客户端:
      这里要发的数据有两条:
      (1)服务器发给客户端的通知,”听你的,以后我们就用约定好的算法和协商密钥进行通信哦“。
      (2)服务器加密生成的握手信息。
    6. 第七步,客户端拿到握手信息解密,握手结束。
      客户端解密并计算握手消息的HASH,如果与服务端发来的HASH一致,此时握手过程结束。
    7. 第八步,正常加密通信
      握手成功之后,所有的通信数据将由之前协商密钥enc_key及约定好的算法进行加密解密。

    这里客户端与服务器互相发送加密的握手消息并验证,目的是为了保证双方都获得了一致的密码,并且可以正常的加密解密数据,为后续真正数据的传输做一次测试。另外,HTTPS一般使用的加密与HASH算法如下:非对称加密算法:RSA,DSA/DSS对称加密算法:AES,RC4,3DESHASH算法:MD5,SHA1,SHA256其中非对称加密算法用于在握手过程中加密生成的密码,对称加密算法用于对真正传输的数据进行加密,而HASH算法用于验证数据的完整性。由于浏览器生成的密码是整个数据加密的关键,因此在传输的时候使用了非对称加密算法对其加密。非对称加密算法会生成公钥和私钥,公钥只能用于加密数据,因此可以随意传输,而服务器的私钥用于对数据进行解密,所以服务器都会非常小心的保管自己的私钥,防止泄漏。

    二、Fiddler抓取HTTPS协议原理

    我们都知道,Fiddler是个很好的代理工具,可抓取协议请求用于调试。关于Fiddler抓取HTTP协议的原理和配置比较简单,对Fiddler和客户端稍作配置,便能使得Fiddler轻易地获取HTTP请求。但是由于HTTPS协议的特殊性,要进一步地配置Fiddler,我们首先要了解一下fiddler抓取HTTPS协议的原理才能更好地理解如何对fiddler进行配置。Fiddler本身就是一个协议代理工具,在上一节HTTPS原理图上,客户端与服务器端进行通信的过程全部都由Fiddler获取到,也就是如下图所示:


    Fiddler抓取HTTPS协议原理图

    我们看到Fiddler抓取HTTPS协议主要由以下几步进行:

    1. 第一步,Fiddler截获客户端发送给服务器的HTTPS请求,Fiddler伪装成客户端向服务器发送请求进行握手 。
    1. 第二步,服务器发回相应,Fiddler获取到服务器的CA证书, 用根证书公钥进行解密, 验证服务器数据签名, 获取到服务器CA证书公钥。然后Fiddler伪造自己的CA证书, 冒充服务器证书传递给客户端浏览器。
    2. 第三步,与普通过程中客户端的操作相同,客户端根据返回的数据进行证书校验、生成密码Pre_master、用Fiddler伪造的证书公钥加密,并生成HTTPS通信用的对称密钥enc_key。
    3. 第四步,客户端将重要信息传递给服务器, 又被Fiddler截获。Fiddler将截获的密文用自己伪造证书的私钥解开, 获得并计算得到HTTPS通信用的对称密钥enc_key。Fiddler将对称密钥用服务器证书公钥加密传递给服务器。
    4. 第五步,与普通过程中服务器端的操作相同,服务器用私钥解开后建立信任,然后再发送加密的握手消息给客户端。
    5. 第六步,Fiddler截获服务器发送的密文, 用对称密钥解开, 再用自己伪造证书的私钥加密传给客户端。
    6. 第七步,客户端拿到加密信息后,用公钥解开,验证HASH。握手过程正式完成,客户端与服务器端就这样建立了”信任“。

    在之后的正常加密通信过程中,Fiddler如何在服务器与客户端之间充当第三者呢?

    服务器—>客户端:Fiddler接收到服务器发送的密文, 用对称密钥解开, 获得服务器发送的明文。再次加密, 发送给客户端。
    客户端—>服务端:客户端用对称密钥加密,被Fiddler截获后,解密获得明文。再次加密,发送给服务器端。由于Fiddler一直拥有通信用对称密钥enc_key, 所以在整个HTTPS通信过程中信息对其透明。

    从上面可以看到,Fiddler抓取HTTPS协议成功的关键是根证书(具体是什么,可Google),这是一个信任链的起点,这也是Fiddler伪造的CA证书能够获得客户端和服务器端信任的关键。
    接下来我们就来看如果设置让Fiddler抓取HTTPS协议。

    三、Fiddler抓取HTTPS设置

    注意以下操作的前提是,手机已经能够连上Fiddler,这部分的配置过程简单就不赘述了,可参考:手机如何连接Fiddler
    如何继续配置让Fiddler抓取到HTTPS协议呢?
    (一)首先对Fiddler进行设置:打开工具栏->Tools->Fiddler Options->HTTPS

    对Fiddler进行设置
    选中Capture HTTPS CONNECTs,因为我们要用Fiddler获取手机客户端发出的HTTPS请求,所以中间的下拉菜单中选中from remote clients only。选中下方Ignore server certificate errors.
    (二)然后,就是手机安装Fiddler证书。
    这一步,也就是我们上面分析的抓取HTTPS请求的关键。
    操作步骤很简单,打开手机浏览器,在浏览器地址输入代理服务器IP和端口,会看到一个Fiddler提供的页面。
    ![](https://img.haomeiwen.com/i1430132/60573b1ef023e99d.png?imageMogr2/auto-orient/strip%7
    CimageView2/2/w/1240)
    接着点击最下方的FiddlerRoot certificate,这时候点击确定安装就可以下载Fiddler的证书了。
    下载安装完成好后,我们用手机客户端或者浏览器发出HTTPS请求,Fiddler就可以截获到了,就跟截获普通的HTTP请求一样。

    好啦,以上就是关于HTTPS的简介以及Fiddler如何获取HTTPS协议的原理和配置,看到Fiddler整齐划一地截获到HTTP和复杂的HTTPS协议,心里还有点小激动呢。

    相关文章

      网友评论

      • 利利feint:来学习
      • dc7e58ce6c14:您好,我这昨天还可以好好地抓包,今天就报错了,这是什么原因呢
        tunnel to api..........com:443
        隋胖胖LoveFat:@番茄炒西红柿_fa39 检查下fiddler证书在手机上装了么
      • 7f4653b15025:我的也是哦,可以抓到我们app 的https 但是像网易云音乐或网易新闻直接显示 tunel to 443
        望楼座指点!!
      • d646d90b6359:不错不错,收藏了。

        推荐下,源码圈 300 胖友的书单整理:http://t.cn/R0Uflld


      • 不年轻了蛋请放轻松:跟4楼的情况差不多,有可能是同样的问题
        用浏览器可以看到建立链接的请求,建立成功之后正常发送了https的api请求,
        但是使用app,只看到了建立链接的请求,也建立成功了,但是没有发送https的请求出去
        我对比了一下两种情况建立连接的请求,发现app发出去的请求SessionID是empty。
        不知道是不是这个原因,有人知道如何解决吗
      • 1c5c4c94a5a8:“第六步,Fiddler截获服务器发送的密文, 用对称密钥解开, 再用自己伪造证书的私钥加密传给客户端。”
        这个说的不对吧?fiddler不是用自己的私钥去加密服务器的报文,应该是用fiddler和客户端之间的pre-masterkey加密。
      • laravelshell:虽然https原理讲得不错,但是我的app抓包 还是漏了...
      • 4a9b4f305c7e:不错,清晰明了
      • Super7:Thx
      • 海37度思念:你好,我的问题也是跟4楼一样,抓不到数据包,据我所知,这是因为客户端加了私有证书,具体原理还不太了解,望详解
      • 素莫妍:感谢分享,已经添加成功了,fiddler还在继续摸索使用中
      • 8d6d8b9ccd30:根据相关设置和发现,还是抓取不到!抓取到的都是灰色的!求解!346459707
      • 哦l:只安装FiddlerRoot.cer 证书的话, 可以解密数据的么?
        隋胖胖LoveFat:如果请求体本身是加密的话,fiddler无法解密的。
      • 䨮蜮孤狼:No root certificate was found. Have you enabled HTTPS traffic decryption in Fiddler yet?
        这是怎么回事
        add0148ab159:我的也出现了同样的问题...
        fcc160a13e7f:@隋胖胖 我这边也出现这样的错误 fiddler已经设置了 怎么回事了
        隋胖胖LoveFat:感觉看错误的话是没有设置Fiddler,先把Fiddler设置抓取https了吧
      • 捡淑:刚需啊,跪谢博主
      • fantiq:APP调接口 接口走 https 这样能防止被抓数据吗?
        隋胖胖LoveFat:@fantiq 爬虫还是能爬到的呀,https的目的主要是为了防止一些恶意攻击,为了数据传输安全而使用。爬虫的话则是拿到的网络数据进行分析处理,这个不会受到https的限制。
        fantiq:@一斤奋斗 我是说的抓数据 爬虫 , 不是抓包
        一斤奋斗:@fantiq 这文章,就是说怎么抓https包的呀.
      • emmyli:我这里也是,楼主可以试下云视听极光应用,登录后获取用户的观看历史就是走https请求,但是android 盒子上抓不到这个请求
        隋胖胖LoveFat:@emmyli 这个应用我从应用市场上没有找到,请问这个是在安卓手机上安装使用的APP么?
      • 一斤奋斗:hi,楼主,你好.
        我遇到的问题,和4楼一样.
        按着楼主的教程,iOS的APP抓https没有问题.
        安卓手机,抓浏览器的https可以.
        但是抓app的不行,提示tunnel 443.
        不知为何?
        隋胖胖LoveFat:@烟火001 我刚刚尝试了安卓手机上抓包“马蜂窝自由行”,获取到了Https协议:https://mapi.mafengwo.cn/rest/app/ads/launch/?device_type=android&app_ver=7.6.0&open_udid=DC%3AD9%3A16%3AD0%3A7B%3A1D&oauth_signature=zeJAHElZgIo7JrbYYZlf2GsXYmU%3D&screen_height=1812&oauth_signature_method=HMAC-SHA1&oauth_consumer_key=5&oauth_version=1.0&oauth_timestamp=1476323941&oauth_nonce=220034e3-3aa5-4daf-8984-2d47010ff669&hardware_model=HUAWEI+NXT-TL00&device_id=DC%3AD9%3A16%3AD0%3A7B%3A1D&jsondata=%7B%7D&sys_ver=6.0&channel_id=SLL&screen_width=1080&oauth_token=0_0969044fd4edf59957f4a39bce9200c6&screen_scale=3.0&mfwsdk_ver=20140507&x_auth_mode=client_auth&app_code=com.mfw.roadbook 我用的华为mate8,难道不同手机间会有差异?
        bf3afa73189e:@隋胖胖 我遇到的情况和4\5楼一样,楼主可以下载个“蚂蜂窝自由行”试试。
        隋胖胖LoveFat:@一斤奋斗 请问你装的什么应用呢?我试着抓取一下
      • totato:你好,我安装了FiddlerRoot certificate以后,好像Fiddler也只能看到手机浏览器打开的https网站内容,无法看到app走的https流量内容,请问是这样的吗?
        a55e921f9a1c:@隋胖胖 请问下这个需要如何操作才不会被屏蔽呢?
        a55e921f9a1c:@Loyea 请问一下后面解决了么?
        怎么解决的呢?
        隋胖胖LoveFat:@Loyea app走的https内容会不会把host屏蔽掉了?在filter那里
      • ef9a37b577cb:你好,问下FiddlerRoot.cer证书怎么安装到手机里面,需要root手机吗
        隋胖胖LoveFat:@豆角米饭 一般情况下直接点击那个下载链接,下载完成后会直接提示安装。我也学习啦~ :smiley:
        ef9a37b577cb:@豆角米饭 找到了,谢谢,设置→安全→凭据存储→从sd卡安装

      本文标题:浅谈HTTPS以及Fiddler抓取HTTPS协议

      本文链接:https://www.haomeiwen.com/subject/zucckttx.html