美文网首页
Request库传参及编码相关

Request库传参及编码相关

作者: 大机灵鬼 | 来源:发表于2020-07-03 22:37 被阅读0次

    一般在GET请求中,我们使用查询字符串(query string)来进行参数传递,在requests库中使用方法如下:

    import requests
    base_url = 'http://httpbin.org'
    param_data = {'user':'tumaowolf','password':'666'}
    r = requests.get(base_url+'/get',params=param_data)
    print(r.url)
    print(r.status_code)

    requests中的编码

    先上结论:之所以request的响应内容乱码,是因为模块中并没有正确识别出encoding的编码,而s.txt的结果是依靠encoding的编码“ISO-8859-1”解码出的结果,所以导致乱码。

    所以正确的逻辑应该这样:

    如:

    s = requests.get('http://www.vuln.cn')

    一般可以先判断出编码,比如编码为gb2312,

    str = s.content

    可以直接用正确的编码来解码。

    str.decode('gb2312')

    那么知道这个逻辑,接下来就是需要正确判断网页编码就行了,获取响应html中的charset参数:

    <meta http-equiv="Content-Type" content="text/html; charset=UTF-8">

    但实际上我们并不需要轮子。

    因为requests模块中自带该属性,但默认并没有用上,我们看下源码:

    def get_encodings_from_content(content):

    """

    Returns encodings from given content string.

    :param content: bytestring to extract encodings from.

    """

    charset_re = re.compile(r'<meta.*?charset=["\']*(.+?)["\'>]', flags=re.I)

    pragma_re = re.compile(r'<meta.*?content=["\']*;?charset=(.+?)["\'>]', flags=re.I)

    xml_re = re.compile(r'^<\?xml.*?encoding=["\']*(.+?)["\'>]')

    return (charset_re.findall(content) + pragma_re.findall(content) + xml_re.findall(content))

    还提供了使用chardet的编码检测,见models.py:

    def apparent_encoding(self):

    """The apparent encoding, provided by the lovely Charade library."""

    return chardet.detect(self.content)['encoding']

    所以我们可以直接执行encoding为正确编码,让response.text正确解码即可:

    response=requests.get('www.test.com')

    response.encoding = response.apparent_encoding

    相关文章

      网友评论

          本文标题:Request库传参及编码相关

          本文链接:https://www.haomeiwen.com/subject/scoeqktx.html