Python爬虫之煎蛋网图片下载

作者: 罗罗攀 | 来源:发表于2017-02-08 22:29 被阅读340次

    受程序员群的影响(自己污的本性),他们总是带我开车,想想我也该收集一些资料了(美女图片)

    代码

    import requests
    from lxml import etree
    
    urls = ['http://jandan.net/ooxx/page-{}'.format(str(i)) for i in range(0,20)]
    path = 'C://Users/Administrator/Desktop/煎蛋网/'
    
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'
    }
    
    def get_photo(url):
        html = requests.get(url)
        selector = etree.HTML(html.text)
        photo_urls = selector.xpath('//p/a[@class="view_img_link"]/@href')
        for photo_url in photo_urls:
            data = requests.get('http:'+photo_url,headers=header)
            fp = open(path + photo_url[-10:],'wb')
            fp.write(data.content)
            fp.close()
    
    for url in urls:
        get_photo(url)
    

    我以前做个视频,这次用不了,出错,爬虫只有进行时啊!!!!

    结果


    快上车(不行,我要面壁思过去了)

    问题

    我想爬简书所有用户,大家有什么想法可以私信我哦!!

    相关文章

      网友评论

      • jackyrongmdot:2018.4.2日运行,估计是做了反爬行,不行哦,有什么好办法呢?
      • Sharymo:看题目还以为是个暖男级人物,还学做饭。嫂子怎么想🙄
        罗罗攀:@莫小北儿 哈哈~爬下图片玩玩,节目效果,没事的
      • 32f0a00330b5:Bilibili上有小甲鱼做的py3的爬煎蛋图片和视频的资源。
        罗罗攀:@二手码农 没看过~方法简单点吧
      • chengcxy:啧啧 妹子图看的流鼻血
        罗罗攀:@Mr_Cxy 哈哈
      • 爱睡觉的元气菇凉:(つд⊂)
        罗罗攀:@一朵小菇凉 节目效果

      本文标题:Python爬虫之煎蛋网图片下载

      本文链接:https://www.haomeiwen.com/subject/yibbittx.html