美文网首页
爬虫方便函数—copyheaders

爬虫方便函数—copyheaders

作者: 真夜猫 | 来源:发表于2018-12-23 15:49 被阅读0次
图片上传自简书.jpg

在我们写爬虫脚本的时候,把网页的头文件复制过来总是要一个一个的添加引号,很不方便。在这里给大家介绍一个小技巧,让你需要挨个加引号。来,直接上代码:

from copyheaders import headers_raw_to_dict
headers = b'''
    :authority:c.y.qq.com
    :method:GET
    :path:/soso/fcgi-bin/client_search_cp?ct=24&qqmusic_ver=1298&new_json=1&remoteplace=txt.yqq.center&searchid=46360413927906065&t=0&aggr=1&cr=1&catZhida=1&lossless=0&flag_qc=0&p=1&n=20&w=%E6%98%8E%E5%A4%A9%E4%BD%A0%E5%A5%BD&g_tk=5381&jsonpCallback=MusicJsonCallback7934911028613236&loginUin=0&hostUin=0&format=jsonp&inCharset=utf8&outCharset=utf-8¬ice=0&platform=yqq&needNewCode=0
    :scheme:https
    accept:*/*
    accept-encoding:gzip, deflate, sdch, br
    accept-language:zh-CN,zh;q=0.8
    cookie:cuid=6852877350; pgv_pvi=6596119552; RK=xB5dmM0g81; tvfe_boss_uuid=622f2b2912bb7f83; o_cookie=2353184487; ts_refer=www.baidu.com/link; ptcz=410ebd7ac68d0a114d731d573a83ff7f6572ed57fa43d90ad9ab90c7205751d8; pt2gguin=o2353184487; pgv_si=s6436702208; yplayer_open=1; yq_index=0; qqmusic_fromtag=66; yqq_stat=0; pgv_info=ssid=s4116171870; ts_last=y.qq.com/portal/search.html; pgv_pvid=2839864484; ts_uid=2016409769; player_exist=1
    referer:https://y.qq.com/portal/search.html
    user-agent:Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.104 Safari/537.36 Core/1.53.4549.400 QQBrowser/9.7.12900.400
    '''
headers = headers_raw_to_dict(headers)
print(headers)

好了,这里我们就header就被我们写好了,是不是很方便呢,赶快测试一下吧。

相关文章

  • 爬虫方便函数—copyheaders

    在我们写爬虫脚本的时候,把网页的头文件复制过来总是要一个一个的添加引号,很不方便。在这里给大家介绍一个小技巧,让你...

  • urlretrieve获取图片的同时获取cookie值

    python爬虫获取图片比较方便的是用urllib库中的urlretrieve函数,语法简单: 但许多时候,获取图...

  • scrapy 快速入门

    安装Scrapy Scrapy是一个高级的Python爬虫框架,它不仅包含了爬虫的特性,还可以方便的将爬虫数据保存...

  • Scrapy爬虫框架结构

    Scrapy不是一个函数功能库。而是一个爬虫框架什么是爬虫框架?爬虫框架是实现爬虫功能的一个软件结构和功能组件集合...

  • Python3 基于asyncio的新闻爬虫思路

    Python写爬虫是非常方便的,爬取的目标不同,实现的方式也有很大不同。新闻爬虫的方便之处是,新闻网站几乎没有反爬...

  • python爬虫day-4(爬虫的基本原理)

    个人学习笔记,方便自己查阅,仅供参考,欢迎交流 爬虫的基本原理 A.爬虫概述 爬虫就是获取网页并提取和保存信息的自...

  • 【Python爬虫】-函数

    def convertKg(g): kg=g/1000; f='{}kg'.format(kg); print(f...

  • django+echarts数据可视化(NBA球队数据可视化02

    来写我们的爬虫 >_< (我可能是条咸鱼了吧!) 爬虫十分简单也没有爬取得网站也没有什么反爬整体还是很方便得 爬虫...

  • 爬虫篇(一)

    爬虫篇只会对简单的爬虫进行介绍,只是为了学习数据分析时方便采集数据。所以下面关于爬虫的内容将只会围绕urllib2...

  • scrapy多模块复用同一个数据库链接

    工作中遇到的一个问题 为方便去重,爬虫起始链接及爬虫结果数据都存放在redis中。 代理是爬虫小组共用的,同样存在...

网友评论

      本文标题:爬虫方便函数—copyheaders

      本文链接:https://www.haomeiwen.com/subject/lksnkqtx.html