Charles 使用笔记

作者: 嗖嗖説 | 来源:发表于2017-10-25 19:00 被阅读413次

工作中会需要对一些有价值的网页、应用进行数据采集,那么采集前我们会对数据结构进行解析,因最近想采集一款APP的数据,过程中使用到了Charles,所以记录下使用的流程和心得。

Charles 简介

百科定义

是一个HTTP代理服务器,HTTP监视器,反转代理服务器,当浏览器连接Charles的代理访问互联网时,Charles可以监控浏览器发送和接收的所有数据。它允许一个开发者查看所有连接互联网的HTTP通信,这些包括request, response和HTTP headers(包含cookies与caching信息)。

主要功能

  • 支持SSL代理。可以截取分析SSL的请求。
  • 支持流量控制。可以模拟慢速网络以及等待时间(latency)较长的请求。
  • 支持AJAX调试。可以自动将json或xml数据格式化,方便查看。
  • 支持AMF调试。可以将Flash Remoting 或 Flex Remoting信息格式化,方便查看。
  • 支持重发网络请求,方便后端调试。
  • 支持修改网络请求参数。
  • 支持网络请求的截获并动态修改。
  • 检查HTML,CSS和RSS内容是否符合W3C标准。
    以上简介来自百度百科:Charles

简而言之,Charles是个网络封包截取工具,方便移动开发者调试与服务端的通信。

Charles 安装

下载

Charles 是收费软件,可以免费试用 30 天,目前最新的版本是4.2,官网下载

Charles 官网下载页

破解

原则上不支持破解,但文章还是提供下破解流程:

  1. Mac版,安装后先打开Charles一次
  2. 下载破解文件 charles.jar
  3. 替换掉原文件夹里的charles.jar
  • Mac: /Applications/Charles.app/Contents/Java/charles.jar
  • Windows: C:\Program Files\Charles\lib\charles.jar
  1. 破解完成,重新启动Charles

更多版本破解相关内容可参考:Charles破解注册

Charles 界面

界面简介

Charles 主要提供两种查看封包的视图,分别名为 “Structure” 和 “Sequence”。

  • Structure 视图将网络请求按访问的域名分类。
  • Sequence 视图将网络请求按访问的时间排序。
Charles 界面 - Structure 视图 Charles 界面 - Sequence 视图

对于某一个具体的网络请求,你可以查看其详细的请求内容和响应内容。
请求内容无论是 post 表单、json 格式或图片,都可以在Contents中进行查看。

Contents中的请求和响应内容

Charles 使用

Step-1: 设置Charles系统代理

Charles 是通过将自己设置成代理服务器来完成封包截取的,当启动 Charles 后,第一次 Charles 会请求给它设置系统代理的权限。你可以输入登录密码授予 Charles 该权限。你也可以忽略该请求,然后在需要将 Charles 设置成系统代理时,选择菜单中的 “Proxy” > “Mac OS X Proxy” 来将 Charles 设置成系统代理。

设置Charles系统代理

设置为系统代理后,点击 “Proxy” > “Sart Recording”开始记录,你通过浏览器请求的网址都会出现在这里,如下图。

Step-2: 设置Host过滤

通常我们会只监控指定目录服务器上发送的请求,那么在这么多请求中,我们就需要进行过滤,几种过滤方法如下:

  1. Sequence 视图下在界面的中部的 Filter 栏中填入需要过滤出来的关键字。例如我们的服务器的地址是:shimo.im 那么只需要在 Filter 栏中填入 shimo 即可。
  1. 在 Charles 的菜单栏选择 “Proxy” > ”Recording Settings”,然后选择 Include 栏,选择添加一个项目,然后填入需要监控的协议,主机地址,端口号。这样就可以只截取目标网站的封包了。如下图所示:

通常情况下,我们使用方法一做一些临时性的封包过滤,使用方法二做一些经常性的封包过滤。

  1. 在想过滤的网络请求上右击,选择 “Focus”,之后在 Filter 一栏勾选上 Focussed 一项,这种方式可以临时性的,快速地过滤出一些没有通过关键字的一类网络请求。如下图所示:

那么,通过以上方法就可以截取本机的网络封包了,若要截取一款APP的数据,接着往下看。

Step-3: 截取移动设备上的封包

我们以iphone为例,讲解在移动设备上的抓包操作。

Charles 上的设置

设置代理服务器:要截取 iPhone 上的网络请求,我们首先需要将 Charles 的代理功能打开。在 Charles 的菜单栏上选择 “Proxy” > ”Proxy Settings”,填入代理端口,默认是 8888,这个只要不和其他程序的冲突即可,并且勾上 “Enable transparent HTTP proxying” ,如下图所示:

设置Charles代理服务器
iPhone 上的设置

首先,我们需要获取 Charles 运行所在电脑的 IP 地址,Charles 的顶部菜单的 “Help” > ”Local IP Address”,即可在弹出的对话框中看到 IP 地址,如下图所示:

获取本机IP地址

首先使手机和电脑在一个局域网内,不一定非要是一个ip段,只要是同一个路由器下就可以了。
在 iPhone 的 “ 设置 “ > ” 无线局域网 “ 中,可以看到当前连接的 wifi 名,通过点击右边的详情键,可以看到当前连接上的 wifi 的详细信息,包括 IP 地址,子网掩码等信息。在其最底部有 “HTTP 代理” > “配置代理” 一项,我们将其切换成手动,然后填上 Charles 运行所在的电脑的 IP,以及端口号 8888,如下图所示:

iphone配置代理

设置好之后,我们打开 iPhone 上的任意需要网络通讯的程序,就可以看到 Charles 弹出 iPhone 请求连接的确认菜单(如下图所示),点击 “Allow” 即可完成设置。

截取 Https 通讯信息

至此,你就可以监控手机的网络封包了,但若要截取和解析Https协议相关的内容。那么需要安装 Charles 的 CA 证书。具体步骤如下:

安装证书

首先我们需要在 Mac 电脑上安装证书。点击 Charles 的顶部菜单,选择 “Help” > “SSL Proxying” > “Install Charles Root Certificate”,然后输入系统的帐号密码把证书“Charles Proxy CA”证书设置为始终信任,即可在 KeyChain 看到添加好的已授信的证书。如下图所示:

安装 CA 证书 设置证书始终信任
设置截取Https

Charles 并不默认截取 Https 网络通讯的信息,可以通过以下操作设置,截取某个网站上的所以Https网络请求:

  1. 选择 “Proxy” > “SSL Proxying Settings”,可设置要截取的的网站。若Host和Port设置为“*”,则默认截取所有网络请求的Https信息。
设置 SSL Proxying
  1. 如果你想截取某个网站上的所有 Https 网络请求,可以在该请求上右击,选择 Enable SSL Proxying,如下图所示:
选择 Enable SSL Proxying

这样,对于该 Host 的所有 SSL 请求就可以被截取到了。

  1. 如果我们需要在 iOS 或 Android 机器上截取 Https 协议的通讯内容,还需要在手机上安装相应的证书。点击 Charles 的顶部菜单,选择 “Help” > “SSL Proxying” > “Install Charles Root Certificate on a Mobile Device or Remote Browser”,然后就可以看到 Charles 弹出的简单的安装教程。如下图所示:
获取Charles Proxy CA证书安装地址

按之前流程中我们在手机上设置好 Charles 为代理后,在手机浏览器中访问上图地址:chls.prp/ssl,即可打开证书安装的界面进行安装。

安装Charles Proxy CA证书

安装完证书后,可以在”设置 > 通用 > 描述文件“ 中看到证书详情。

证书描述文件

证书安装完成后,还需要在“设置 > 通用 > 关于本机 > 证书信任设置” 中开启信任 Charles Proxy CA 证书,完成后就可以截取手机上的 Https 通讯内容了。

证书信任设置

总结

通过以上流程我们就可以使用Charles对网页、APP进行网络封包的截取,从而对抓取到的内容进行分析,本次使用的目的是解析截取到的请求内容后用爬虫进行数据采集。

从APP截取到的请求内容是更加结构化的数据,便于爬虫进行数据采集。封包数据中,部分加密片段可进行反编译分析,同时Charles可自动解密gzip压缩或者base64编码的数据,若没有任何加密处理则请求内容会直接暴露如下图:

Charles截取的网络封包内容

所以,服务端的请求做验证处理是非常必要的安全措施。同时,很多有价值的数据是产品非常核心的竞争力,产品经理也应该有意识的对恶意数据采集进行产品设计上的防范。
如图,有做验证的网络封包显示为“unknown”,Charles无法截取请求内容。

Charles无法截取的请求内容

以上就是本文所有的内容,Charles有还有更多的功能请参考 唐巧的技术博客,本文很多配置流程参考于该博客,感谢!本文基于Charles 4.2 最新版的使用进行整理,希望对你有帮助,若文章内容有误,欢迎指正。

还有,有能强势破解APP进行数据采集的大牛,快来刷新我的认知!

相关文章

  • Charles Proxy 任何版本破解

    Charles Proxy使用笔记(文内有好礼) 本文假定你知道Charles Proxy(以下简称Charles...

  • FridaHook笔记

    前言 个人学习笔记 置顶 hook加密 hook js 笔记 一、解决淘系抓不到包的问题 使用Charles、Fi...

  • Charles 使用笔记

    简介 Charles 是常用的网络抓包工具,而对于我们做移动开发人员来说,为了调试与服务器通讯的协议等信息的...

  • Charles 使用笔记

    工作中会需要对一些有价值的网页、应用进行数据采集,那么采集前我们会对数据结构进行解析,因最近想采集一款APP的数据...

  • HTTPS通信原理&Charles抓取HTTPS原理

    HTTPS通信原理 Charles抓取HTTPS原理 Charles使用教程详解 抓包工具Charles的使用心得

  • iOS Charles安装与使用文章列表

    抓包工具Charles的使用心得 Charles使用手册 iOS开发之抓包工具Charles的安装配置及使用详解

  • Charles For Mac 使用笔记

    Charles For Mac版是Mac系统网络接口数据抓取的一款工具,无论是作为开发人员还是测试人员,在实际开发...

  • charles 的使用

    charles 的使用

  • Charles4.0破解及使用

    Charles4.0破解及使用 下载地址 Charles 4.0 提取码:3xfh Charles 4.0...

  • Charles使用指南

    Charles使用指南 [TOC] ① Charles简介 Charles 是在 Mac 下常用的网络封包截取工具...

网友评论

  • Superman168:受用了,很久很以前就知道听说各种抓包工具,但是一直没使用研究一下,这才了解一下,外面的天空很辽阔!
    嗖嗖説:@Superman168 哈哈哈,我也是用时才研究的,谢谢阅读:blush:

本文标题:Charles 使用笔记

本文链接:https://www.haomeiwen.com/subject/tkdxpxtx.html