美文网首页
字库反爬

字库反爬

作者: 刘单纯 | 来源:发表于2018-10-18 21:07 被阅读48次
58同城个人房源.png

检查页面元素,WHAT!!!,什么时间把价格这些关键字段变成这些鬼字符了。
查阅了相关资料,发现这是CSS3的一个新特性,允许在页面中使用自己定义的字库显示。那好,我就把你的字库存储下来。

字库.png
上图标红的部分其实就是字体库的base64编码后的结果,那我们将其解码后通过python脚本将其保存成ttf文件,然后通过工具打开,我们发现了新大陆!
image.png

原来 对应的是8,其他的依次类推。

通过几次测试发现,鬼字符都是一样的,只不过每次对应的数字顺序不同,这时我们可以想到获取字库中的所有鬼字符,然后把这些字符使用PIL绘制出来,然后使用pytesseract识别一下不就拿到对应关系了吗?剩下的就是正则替换👌

image.png

完整代码github地址

# coding=utf-8

import re

import requests
from PIL import ImageDraw, ImageFont, Image
from fontTools.ttLib import TTFont
import pytesseract
import base64
from scrapy.selector import Selector


def get_html():
    url = 'https://bj.58.com/hezu/35762485615942x.shtml?from=1-list-2&iuType=z_0&PGTID=0d3090a7-0000-1d18-cd0c-225cc1843040&ClickID=2&adtype=3'
    r = requests.get(url)
    html = r.content
    with open('test.html','w') as f:
        f.write(html)
    return html

def get_origin_price(html):
    '''
    获取html中的租金信息
    '''
    sel = Selector(text=html)
    price = sel.xpath('//span[@class="c_ff552e"]/b/text()').extract_first()
    return price

class Font(object):
    def __init__(self,html):
        self.html = html
        self.regex = re.compile(r'base64,(.*)\'\) format')
    
    def save_ttf(self,ttf_path='test.ttf'):
        '''
        存储字库
        '''
        font_content = base64.b64decode(self.regex.search(html).group(1))
        with open(ttf_path,'wb') as f:
            f.write(font_content)
        return font_content

    def save_ttf_xml(self, ttf_path='test.ttf', xml_path='test.xml'):
        '''
        存储字体库的xml
        '''
        font = TTFont(ttf_path)
        font.saveXML(xml_path)

    def get_all_char(self, ttf_path='test.ttf'):
        '''
        获取字库中的所有字符
        '''
        font = TTFont(ttf_path)
        uni_char_list = []
        for table in font['cmap'].tables:
            for char_code, glyph_name in table.cmap.items():
                uni_char_list.append(unichr(char_code))
        uni_char_list = list(set(uni_char_list))
        return ''.join(uni_char_list)

    def get_mapping(self, content, ttf_path='test.ttf'):
        '''
        获取字库映射
        '''
        font = ImageFont.truetype(ttf_path, size=21, encoding="unic")
        width = 150
        height = 20
        image = Image.new('RGB', (width, height), (255, 255, 255))
        draw = ImageDraw.Draw(image)
        draw.text((0, 0), content, font=font, fill="#000000")
        image.save('test.jpg', dpi=(300.0, 300.0))
        mapping_value = pytesseract.image_to_string(image, config='-psm 3')
        result = dict(zip(content, mapping_value))
        return result

if __name__ == '__main__':
    html = get_html()
    price = get_origin_price(html)
    print u'原始租金:{}'.format(price)
    font_instance = Font(html)
    font_instance.save_ttf()
    font_instance.save_ttf_xml()
    process_string = font_instance.get_all_char()
    print u'奇葩字符是:{}'.format(process_string)
    mapping_value = font_instance.get_mapping(process_string)
    print mapping_value
    for each_str in price:
        price = re.sub(each_str, mapping_value[each_str], price)
    print u'处理后租金:{}'.format(price)

相关文章

  • 字库反爬

    检查页面元素,WHAT!!!,什么时间把价格这些关键字段变成这些鬼字符了。查阅了相关资料,发现这是CSS3的一个新...

  • Python爬虫杂记 - 字体文件反爬(二)

    字体文件反爬 在搞定静态字库反爬之后, 可以解决部分字体文件的反爬, 但动态字文件反爬是解决不掉的。此文章就是为解...

  • Python爬虫——学习字体反爬获取某招聘信息

    网站的反爬措施有很多,例如:js反爬、ip反爬、css反爬、字体反爬、验证码反爬、滑动点击类验证反爬等等,今天我们...

  • 保姆级反爬教学,JS逆向实现字体反爬

    大家好,我是查理~网站的反爬措施有很多,例如:js反爬、ip反爬、css反爬、字体反爬、验证码反爬、滑动点击类验证...

  • 反爬小述

    title: 反爬小述 tags: 反爬 antispider anticrawler categories: T...

  • 反爬

    字体加密 例:大众点评https://blog.csdn.net/qq_36532060/article/deta...

  • 反爬虫到底是怎么一回事?

    爬虫与反爬虫永远是相生相克的:当爬虫知道了反爬策略就可以制定反-反爬策略,同样地,网站知道了爬虫的反-反爬策略就可...

  • 为爬虫搭建一个ProxyPool

    前言 在日常写数据采集脚本的时候,我们总会遇到各种反爬手段,比如:headers反爬,ip反爬等。上一篇我们知道了...

  • Python爬虫反爬,你应该从这篇博客开启,UA反爬,Cooki

    从本篇博客开始,我们将进入《爬虫 120 例》的反爬章节,给大家准备了 20 篇反爬案例,一次学到位。 反爬理论知...

  • 字体

    点阵字库和矢量字库 最早的字库直接把这些点存储起来,就是点阵字库。点阵字库是固定分辨率的,也就是每种字库都有固定的...

网友评论

      本文标题:字库反爬

      本文链接:https://www.haomeiwen.com/subject/afzszftx.html