美文网首页
入门级反扒-字体反扒基础

入门级反扒-字体反扒基础

作者: l1n3x | 来源:发表于2020-05-19 10:30 被阅读0次

字体反爬是一种常见的反扒手段,利用自定义的字体对比较重要的信息进行加密。例如安居客的租房信息,查看源代码关于价格的部分:


其中价格的部分被替换成了 HTML 中的字符实体。然后 HTML 根据编码方式以及指定的字体将字符实体渲染为可以看到的文字。

但是,想要了解字体加密的基本原理,还需要了解字体的表示方法。例如,对于像 &#x9476 怎么转换成能看到的文字呢?实际上是因为在字体数据文件中主要做了这两种映射:

  1. 将字符编码 与 字符名称对应
  2. 字符名称 与 字形数据对应

浏览器遇到 &#x9476,先从字体数据中找到其对应的字符名称,根据字符名称再找到字形数据,然后将字形数据渲染为屏幕上可见的文字。例如,安居客的字体是直接利用base64编码嵌入到网页中的:

利用 python 中 fontTools 可以将其保存为 xml 文件:

from fontTools.ttLib import TTFont
font = TTFont(BytesIO(base64.decodebytes(font_data.encode())))
f.saveXML("font.xml")

其中 font_data 就是提取出的base64字符串。

打开文件 font.xml, cmap 部分存储着字符编码与字符名称的映射关系,例如:

其中的 code 就表示字符编码,而 name 就表示字符名称。例如刚才的 &#x9476 实际上就是 0x9476,其对应的字符名称就为 glyph00007。当然,经过前人的总结,我们知道

glyph0000x 实际上对应的为 x -1

即 glyph00007 的字形数据渲染出来则为数字 6 。那么能不能解析html时直接将 &#x9476 替换为 6 呢? 实际上是不行的。因为每一次字符编码与字符名称是动态生成的,即每一次访问他们的关系都会发生变化。所以必需在每一次爬取时先解析出网页中的字体数据(base64编码),然后解析出字符编码与字符名称的对应关系,根据字符编码找到字符名称,然后将字符名称替换成真实的数据。其过程为:

寻找字体数据 -> 获取映射关系 -> 根据映射关系将 字符编码 转换为字体名称 
-> 根据字体名称得到真实数据

当然,为了获得映射关系不需要每次先保存为 xml 再提取,fontTools 已经有了现成的方法:

from fontTools.ttLib import TTFont
font = TTFont(BytesIO(base64.decodebytes(font_data.encode())))
c = font.getBestCmap()
print(c)
# {38006: 'glyph00007', 38287: 'glyph00005', 39228: 'glyph00003', 39499: 'glyph00006', 40506: 'glyph00010', 40611: 'glyph00002', 40804: 'glyph00009', 40850: 'glyph00004', 40868: 'glyph00001', 40869: 'glyph00008'}

只不过这里结果中的 字符编码 是使用的十进制而不是网页中的十六进制。

以上就是字体反爬的基础知识。实际上,字体反爬还有更复杂情况。例如刚才提到的映射关系:

字体编码 <----> 字符名称 <----> 字形数据

安居客的字体反爬只是动态变化 字体编码 与 字符名称 的关系。因此我们在找到字符名称时,直接可以得到其真实数据。但是有的网址,如 猫眼 电影其 字符名称 和 字形数据 之间的变换也是动态的。那么这种情况就不能直接根据字符名称来获得真实数据了,具体的解决办法在下一篇会详细说明。

最后完整的代码如下:

from fontTools.ttLib import TTFont
import base64
import re
from io import BytesIO
class FontDecoder:
    """
        html: 网页源代码
        decoder = FontDecoder(html)
        decoder.decode()
    """
    def __init__(self, html):
        self._split_re = re.compile(r"(&#x[A-Za-z0-9]{4};)")
        self._html = html
        secret_key = self.get_secret_key(html)
        # base64 字符转转换为字体数据
        self._font = TTFont(BytesIO(base64.decodebytes(secret_key.encode())))
        self._camp_table = self._font.getBestCmap() # 获取 cmap table

    def get_secret_key(self, page):
        secret_key = re.findall("charset=utf-8;base64,(.*?)'\)", page)
        if not secret_key:
            raise ValueError("解码字符串未找到")
        return secret_key[0]
    
    def decode_with_camp(self, cmap_table, char_code):
        char_name = cmap_table[char_code]
        num = int(char_name[-2:]) - 1
        return str(num)

    def decode(self, text=None):
        page = text or self._html
        decoded_chars = []
        for sequence in self._split_re.split(page): # 分割 字符实体 与 普通字符
            if self._split_re.match(sequence): # 如果是一个字符实体,则可能要进行解密
                char_code = int(sequence[3: -1], 16)  
                # 如果该字符实体在 cmap_table 中,则需要进行解密
                sequence = self.decode_with_camp(self._camp_table, char_code) \
                            if char_code in self._camp_table else sequence
            decoded_chars.append(sequence)
        return "".join(decoded_chars)

相关文章

  • 入门级反扒-字体反扒基础

    字体反爬是一种常见的反扒手段,利用自定义的字体对比较重要的信息进行加密。例如安居客的租房信息,查看源代码关于价格的...

  • 58字体反扒

  • 反扒高手

    王建军整理完了身上的警服,还是有些不放心,于是又站在了镜子前仔细端详起来。对于警服,他是再熟悉不过了,打小...

  • 爬虫-反扒策略

    现有的反扒策略: 前端反调试 这篇文章介绍一下前端反调试, 扒某网站的前端代码,打开控制台要看Network,结果...

  • “帮扶”应重于“反扒”!

    “帮扶”应重于“反扒”! 作者 唐孝忠 2009年01月19日 10:24:42 据重庆晚报报道,2009年1月来...

  • python爬虫爬取可可英语官网----四级翻译

    爬虫基础介绍: 1.url:某个网页的网址 2.带反扒机制的网页,加个header 3.模拟浏览器进入网页: 4....

  • 9.使用scrapy爬取拉钩招聘数据

    对于拉勾网这种设置了基础反扒措施,如果不设置代理,基本上是无法将信息抓取下来的。这里有一个UA集合,只需要加载这个...

  • scrapy反扒异常状态码处理

    1.当爬取页面状态码是异常状态码,但response页面是正常的时候2.有些网站第一次请求时会出现异常状态码,再发...

  • Python爬虫-破解JS加密的Cookie

    原文出处 jhao 现在很多网站为了防范爬虫,做了很多反扒处理,同样对于开发者来讲,上有政策,下有对策,于是今天来...

  • 超强cookie池发布,针对日趋严峻的反爬虫形势

    Cookie-Pool 一个强大的Cookie池项目,超乎你的想象 1 综述 随着大型网站反扒机制的增强,使用co...

网友评论

      本文标题:入门级反扒-字体反扒基础

      本文链接:https://www.haomeiwen.com/subject/ifzpohtx.html