美文网首页
URL编码与解码(破解搜狗微信文章抓取)

URL编码与解码(破解搜狗微信文章抓取)

作者: SeanCheney | 来源:发表于2019-09-15 09:21 被阅读0次

    为什么需要对URL编码:

    1.、当字符串数据以url的形式传递给web服务器时,字符串中是不允许出现空格和特殊字符串的

    2.、url对字符有限制,比如把一个邮箱放入url,就需要使用urlencode函数。

    3.、url转义其实也只是为了符合url的规范而已。因为在标准的url规范中中文和很多的字符是不允许出现在url中的。

    使用urllib.parse来做编码与解码

    import urllib.parse
    
    # 编码
    def urlencode(str):
        return urllib.parse.quote(str)
    
    # 解码
    def urldecode(str):
        return urllib.parse.unquote(str)
    
    str = '我爱北京天安门'
    email = 'seancheney@qq.com'
    num = '123456'
    
    print(urlencode(str))
    print(urlencode(email))
    print(urlencode(num))
    
    print(urldecode('%E6%88%91%E7%88%B1%E5%8C%97%E4%BA%AC%E5%A4%A9%E5%AE%89%E9%97%A8'))
    

    搜狗微信抓取时,Cookie必须要带上SUIDSUVSNUID,所以需要搭建Cookie池(获取这三个值,可以参考这篇文章)。如果要做高级搜索(只抓一天之内的文章),需要带上Referer信息。

    把URL编码和抓取代码结合起来(记得替换Cookie):

    import requests
    import urllib.parse
    from lxml import etree
    
    
    def urlencode(str):
        return urllib.parse.quote(str)
    
    def download(keyword):
        keyword_encoded = urlencode(keyword)
        header = {
            'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
            'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:68.0) Gecko/20100101 Firefox/68.0',
            'Cookie':'SUID=32DB6CCA7D29990A000000005D5B5C15; SUV=004E3C72CA6CDB325D5B5C166D97C484; SNUID=13FB4DEB2125B194B0D8F2CA2156B801',
            'Host':'weixin.sogou.com',
            'Referer':'https://weixin.sogou.com/weixin?type=2&s_from=input&query={}&ie=utf8&_sug_=n&_sug_type_='.format(keyword_encoded),
            }
        url = 'https://weixin.sogou.com/weixin?usip=&query={}&ft=&tsn=1&et=&interation=&type=2&wxid=&page=6&ie=utf8'.format(keyword_encoded)
        response = requests.get(url,
                                headers=header,
                                timeout=5,
                                )
        if response.encoding != 'ISO-8859-1':
            html = response.text
        else:
            html = response.content
            if 'charset' not in response.headers.get('content-type'):
                encodings = requests.utils.get_encodings_from_content(response.text)
                if len(encodings) > 0:
                    response.encoding = encodings[0]
                    html = response.text
        tree = etree.HTML(html)
        txt_box = tree.xpath('//div[@class="txt-box"]')
        for box in txt_box:
            title = ''.join(p.strip() for p in box.xpath('./h3/a//text()'))
            url = box.xpath('./h3/a/@data-share')[0]
            print(title)
            print(url)
    
    
    if __name__ == '__main__':
        download('北京')
    

    相关文章

      网友评论

          本文标题:URL编码与解码(破解搜狗微信文章抓取)

          本文链接:https://www.haomeiwen.com/subject/xvxdyctx.html