为什么需要对URL编码:
1.、当字符串数据以url的形式传递给web服务器时,字符串中是不允许出现空格和特殊字符串的
2.、url对字符有限制,比如把一个邮箱放入url,就需要使用urlencode函数。
3.、url转义其实也只是为了符合url的规范而已。因为在标准的url规范中中文和很多的字符是不允许出现在url中的。
使用urllib.parse
来做编码与解码
import urllib.parse
# 编码
def urlencode(str):
return urllib.parse.quote(str)
# 解码
def urldecode(str):
return urllib.parse.unquote(str)
str = '我爱北京天安门'
email = 'seancheney@qq.com'
num = '123456'
print(urlencode(str))
print(urlencode(email))
print(urlencode(num))
print(urldecode('%E6%88%91%E7%88%B1%E5%8C%97%E4%BA%AC%E5%A4%A9%E5%AE%89%E9%97%A8'))
搜狗微信抓取时,Cookie必须要带上SUID
、SUV
和SNUID
,所以需要搭建Cookie池(获取这三个值,可以参考这篇文章)。如果要做高级搜索(只抓一天之内的文章),需要带上Referer
信息。
把URL编码和抓取代码结合起来(记得替换Cookie):
import requests
import urllib.parse
from lxml import etree
def urlencode(str):
return urllib.parse.quote(str)
def download(keyword):
keyword_encoded = urlencode(keyword)
header = {
'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10.14; rv:68.0) Gecko/20100101 Firefox/68.0',
'Cookie':'SUID=32DB6CCA7D29990A000000005D5B5C15; SUV=004E3C72CA6CDB325D5B5C166D97C484; SNUID=13FB4DEB2125B194B0D8F2CA2156B801',
'Host':'weixin.sogou.com',
'Referer':'https://weixin.sogou.com/weixin?type=2&s_from=input&query={}&ie=utf8&_sug_=n&_sug_type_='.format(keyword_encoded),
}
url = 'https://weixin.sogou.com/weixin?usip=&query={}&ft=&tsn=1&et=&interation=&type=2&wxid=&page=6&ie=utf8'.format(keyword_encoded)
response = requests.get(url,
headers=header,
timeout=5,
)
if response.encoding != 'ISO-8859-1':
html = response.text
else:
html = response.content
if 'charset' not in response.headers.get('content-type'):
encodings = requests.utils.get_encodings_from_content(response.text)
if len(encodings) > 0:
response.encoding = encodings[0]
html = response.text
tree = etree.HTML(html)
txt_box = tree.xpath('//div[@class="txt-box"]')
for box in txt_box:
title = ''.join(p.strip() for p in box.xpath('./h3/a//text()'))
url = box.xpath('./h3/a/@data-share')[0]
print(title)
print(url)
if __name__ == '__main__':
download('北京')
网友评论