美文网首页Python三期爬虫作业
【Python爬虫】阳光电影网爬虫

【Python爬虫】阳光电影网爬虫

作者: 小丰丰_72a2 | 来源:发表于2017-08-17 18:47 被阅读163次
    import requests
    from lxml import etree
    
    url = 'http://www.ygdy8.com/html/gndy/china/index.html'
    
    
    def get_movie_info(url):
        html = requests.get(url)
        html.encoding = 'gb2312'
        selector = etree.HTML(html.text)
        infos = selector.xpath('//div[@class="co_content8"]/ul//table')
        for info in infos:
            movie_url = 'http://www.ygdy8.com' + info.xpath('tr[2]/td[2]/b/a[2]/@href')[0]
            movie_name = info.xpath('tr[2]/td[2]/b/a[2]/text()')[0]
            print(movie_url,movie_name)
            get_download(movie_url)
    
    def get_download(url):
        html = requests.get(url)
        html.encoding = 'gb2312'
        selector = etree.HTML(html.text)
        down_url = selector.xpath('//tbody/tr/td/a/text()')[0]
        print(down_url)
    
    if __name__ == '__main__':
        get_movie_info('http://www.ygdy8.com/html/gndy/china/index.html')
    

    运行结果:

    C:\ProgramData\Anaconda3\python.exe E:/pyproject/803.py
    http://www.ygdy8.com/html/gndy/jddy/20170806/54698.html 2017年动作喜剧《生化药尸/天师救僵》HD国语中字
    ftp://ygdy8:ygdy8@yg90.dydytt.net:8204/[阳光电影www.ygdy8.com].生化药尸.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/jddy/20170806/54676.html 2017年剧情《冈仁波齐》HD国语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:7024/[阳光电影www.ygdy8.com].冈仁波齐.HD.720p.中文字幕.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170802/54643.html 2017年爱情音乐《52赫兹,我爱你》BD国语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:7022/[阳光电影www.ygdy8.com].52赫兹,我爱你.BD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170731/54632.html 2017年杨幂霍建华动作科幻《逆时营救》HD国语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:7020/[阳光电影www.ygdy8.com].逆时营救.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170731/54631.html 2015年高分获奖动作《师父/师傅》BD国语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:8020/[阳光电影www.ygdy8.com].师父.BD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/jddy/20170729/54619.html 2017年剧情《同囚》BD国粤双语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:8018/[阳光电影www.ygdy8.com].同囚.BD.720p.国粤双语中字.mkv
    http://www.ygdy8.com/html/gndy/jddy/20170729/54618.html 2017年喜剧《仙球大战/蹴鞠》HD国语中字
    ftp://ygdy8:ygdy8@yg72.dydytt.net:8029/[阳光电影www.ygdy8.com].仙球大战.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170728/54613.html 2017年悬疑惊悚《目击者之追凶》HD国语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:7018/[阳光电影www.ygdy8.com].目击者之追凶.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170728/54612.html 2017年获奖剧情《我心雀跃》HD国语中字
    ftp://ygdy8:ygdy8@yg72.dydytt.net:8028/[阳光电影www.ygdy8.com].我心雀跃.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170727/54605.html 2017年周冬雨张孝全爱情喜剧《指甲刀人魔》BD国语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:8017/[阳光电影www.ygdy8.com].指甲刀人魔.BD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170725/54594.html 2017年黄渤徐静蕾悬疑惊悚《记忆大师》HD国语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:8015/[无极电影-www.wujidy.com].记忆大师.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170725/54593.html 2017年动作《无罪之城》HD国语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:7015/[无极电影-www.wujidy.com].无罪之城.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170723/54575.html 2017年高分获奖剧情《一念无明》HD粤语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:7012/[阳光电影www.ygdy8.com].一念无明.HD.720p.粤语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170722/54573.html 2017年剧情《台北物语》HD国语中字
    ftp://ygdy8:ygdy8@yg72.dydytt.net:8026/[阳光电影www.ygdy8.com].台北物语.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170721/54566.html 2017年剧情《忠爱无言/老人与狗》HD国语中字
    ftp://ygdy8:ygdy8@yg72.dydytt.net:8025/[阳光电影www.ygdy8.com].忠爱无言.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170719/54549.html 2017年爱情剧情《我们停战吧》BD国粤双语中字
    ftp://ygdy8:ygdy8@yg72.dydytt.net:8024/[阳光电影www.ygdy8.com].我们停战吧.BD.720p.国粤双语中字.mkv
    http://www.ygdy8.com/html/gndy/jddy/20170717/54533.html 2017年奇幻喜剧《美好的意外》HD国语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:7008/[阳光电影www.ygdy8.com].美好的意外.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/jddy/20170716/54526.html 2017年爱情喜剧《“吃吃”的爱》HD国语中字
    ftp://ygdy8:ygdy8@yg72.dydytt.net:8023/[阳光电影www.ygdy8.com].“吃吃”的爱.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/jddy/20170711/54490.html 2017年喜剧《最后的武林》HD国语中字
    ftp://ygdy8:ygdy8@yg37.dydytt.net:8046/[阳光电影www.ygdy8.com].最后的武林.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/jddy/20170711/54489.html 林子祥张曼玉张学友喜剧《富贵吉祥》HD粤语中字
    ftp://ygdy8:ygdy8@yg37.dydytt.net:7046/[阳光电影www.ygdy8.com].富贵吉祥.HD.720p.粤语中字.mkv
    http://www.ygdy8.com/html/gndy/jddy/20170708/54467.html 2017年周秀娜郑欣宜《29+1》HD国粤双语中字
    ftp://ygdy8:ygdy8@yg72.dydytt.net:8021/[阳光电影www.ygdy8.com].29+1.HD.720p.国粤双语中字.mkv
    http://www.ygdy8.com/html/gndy/jddy/20170708/54466.html 2017年爱情喜剧《临时演员》HD国语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:7001/[阳光电影www.ygdy8.com].临时演员.HD.720p.国语中字.mkv
    http://www.ygdy8.com/html/gndy/jddy/20170708/54465.html 许冠杰许冠英喜剧《水浒笑传》HD粤语中字
    ftp://ygdy8:ygdy8@yg45.dydytt.net:8001/[阳光电影www.ygdy8.com].水浒笑传.HD.720p.粤语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170707/54458.html 2017年刘青云古天乐动作《毒。诫》BD国粤双语中字
    ftp://ygdy8:ygdy8@yg37.dydytt.net:8044/[阳光电影www.ygdy8.com].毒。诫.BD.720p.国粤双语中字.mkv
    http://www.ygdy8.com/html/gndy/dyzz/20170703/54420.html 2017年黄磊海清喜剧《麻烦家族》HD国语中字
    ftp://ygdy8:ygdy8@yg72.dydytt.net:8017/[阳光电影www.ygdy8.com].麻烦家族.HD.720p.国语中字.mkv
    
    Process finished with exit code 0
    
    

    相关文章

      网友评论

      • chengcxy:加上解说更好 记忆深刻

      本文标题:【Python爬虫】阳光电影网爬虫

      本文链接:https://www.haomeiwen.com/subject/jzunrxtx.html