爬个小说看看

作者: vv阿甘vv | 来源:发表于2018-06-14 15:59 被阅读0次

爬个小说看看
4款大饱眼福的黑科技手机APP，各个精心挑选，请大家低调使用
无聊就喜欢看书！经常闹书荒！我爬取了十几万本小说！云盘放不下
宜搜全站数十万小说爬虫
无聊就喜欢看书！经常闹书荒！我爬取了十几万本小说！云盘放不下
老婆晚上缠着我，说想看付费小说，于是我爬了十万部小说！
用Python爬下十几万本小说，再也不会闹书荒！
Python爬虫层层递进，从爬取一章小说到爬取全站小说
爬个小说吧
爬小说

最近闹书荒，看有网友推荐《我的盗墓生涯》，先是在qq浏览器里看，发现有段落缺失，然后就是各种找资源，终于在一个叫顶点小说的网上找到了，但是下载的txt文件打开是乱码，无奈，只能试着爬一爬了

# -*- coding:utf-8 -*-
'''
@author: Alvin
爬一爬 "顶点小说" 网的 《我的盗墓生涯》

'''

import urllib.request
import re
from lxml import etree
from datetime import datetime

print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S',))   # 打印当前时间
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'}

# 设置代理ip，使用的fiddler，应该也可以做代理吧
proxy = urllib.request.ProxyHandler({'http': '127.0.0.1:8888'})
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)


# 获取数据函数
def get_data(url):
    try:
        data_proxy = urllib.request.Request(url, headers = headers)  # 模拟浏览器
        data = urllib.request.urlopen(data_proxy).read().decode('gbk', 'ignore')  # 获取数据
        return data
    except urllib.request.URLError as e:
        if hasattr(e, 'code'):
            print(e.code)
        if hasattr(e, 'reason'):
            print(e.reason)
    except Exception as e:
        print('Error: %s' % str(e))


# 整理数据的函数，使用的xpath解析的网页数据,返回章节标题、文章内容、下一章网址三个元素组成的元组 ([title], [next_url], 'content')
def get_content(data):
    result = etree.HTML(data)
    # 正则需要替换掉的东西
    pat = r'''\r|\n|\xa0|</p>|<script language="javascript" type="text/javascript" src="/js/neirongye300-250.js"></script>'''
    title = result.xpath('//div[@class="bookname"]/h1/text()')
    next_url = result.xpath('//div[@class="bottem1"]/a[text()="下一章"]/@href')
    content2 = result.xpath('//div[@id="content"]/text()')
    content1 = " ".join(map(str, content2))
    content = re.sub(pat, " ", content1)
    return title, next_url, content



# 链接是由前半部分的固定链接加上后半部分的页码链接构成https://www.booktxt.net，  和 /0_693/176376.html
if __name__ == '__main__':
    end_url = '/0_693/'  # 当下一章网址为这个值的时候说明也就到最后一章了，程序结束
    url = 'https://www.booktxt.net/0_693/176374.html'  # 第一章的url
    with open('D:/Agan/spider/我的盗墓生涯.txt', 'a', encoding= 'utf-8') as f:
        while True:
            data = get_data(url)
            result = get_content(data)
            if result[1][0] == end_url:   # get_content返回的是一个元组，next_url排在第1位
                print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S', ))  # 打印当前时间
                print("This is the last chapter, process is end!")
                break
            else:
                title = result[0][0]
                content = result[2]
                print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S', ))  # 打印当前时间
                print("正在写入：%s" % title)
                print("本章链接是: %s" % url)
                f.write(str(title) + '\n' + content + '\n\n')  # 写入到文件，章节之间空两行，标题与内容之间空一行
                url = 'https://www.booktxt.net' + result[1][0]   # 重新构造下一章的url地址
        f.close()


print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S',))   # 打印当前时间

运行一下

正在写入： 第一章 诸葛妖龛
本章链接是: https://www.booktxt.net/0_693/176374.html
2018-06-14 15:37:52
正在写入： 第二章 十五年后
本章链接是: https://www.booktxt.net/0_693/176375.html
2018-06-14 15:37:54
正在写入： 第三章 萌少爷
本章链接是: https://www.booktxt.net/0_693/176376.html
2018-06-14 15:37:56
正在写入： 第四章 遗书
本章链接是: https://www.booktxt.net/0_693/176377.html
2018-06-14 15:37:58
正在写入： 第五章 秘密
本章链接是: https://www.booktxt.net/0_693/176378.html
2018-06-14 15:37:59
正在写入： 第六章 死亡之旅
本章链接是: https://www.booktxt.net/0_693/176379.html
2018-06-14 15:38:01
正在写入： 第七章 广川王刘去
本章链接是: https://www.booktxt.net/0_693/176380.html
2018-06-14 15:38:04
正在写入： 第八章 暗号，玄机
本章链接是: https://www.booktxt.net/0_693/176381.html
2018-06-14 15:38:16
正在写入： 第九章 六扇门
本章链接是: https://www.booktxt.net/0_693/176382.html
……

不过爬的好慢额，谁有好的办法能爬的快点儿

爬的慢不是问题，但是卡住就是问题了，由于没有设置timeout ,运行过程中经常会卡住，鬼知道要卡多长时间，于是得加上请求超时设置：

def get_data(url):
    try:
        print('此时在Request')
        res = urllib.request.Request(url, headers = headers)  # 模拟浏览器
        print('此时在urlopen')
        html = urllib.request.urlopen(res, timeout= 8)  # 设置时间为8秒，8秒未响应则为超时
        print('此时在read')
        data = html.read().decode('gbk', 'ignore')
        return data
    except urllib.request.URLError as e:
        if isinstance(e.reason, socket.timeout):   # 判断是否是请求超时错误，如果是，则再重新执行一遍
            try:
                print('请求超时，正在重新尝试')
                res = urllib.request.Request(url, headers=headers)  # 模拟浏览器
                html = urllib.request.urlopen(res, timeout=8)
                data = html.read().decode('gbk', 'ignore')
                return data
            except Exception as ee:
                print('重新请求失败')
                print(ee)
                return None
        else:
            print(e)
            return None
    except Exception as e:
        print('Error: %s' % str(e))
        return None

首先判断错误是否是请求超时错误，如果是，则再重新执行一遍，如果还报错，则跳过这一条链接，直接进入下一条；

此外，主程序在运行的时候，还需要判断get_data函数是否返回None值，如果是，则跳过，进行下一步，如果不是，则正常执行

        while True:
            data = get_data(url)
            if data is None:
                print('get_data数据为空，跳过，进行下一条')
                continue
            else:
……

虽然有时候仍超时失败，只能放弃这一章节了，但是这样就不报错，不间断运行了
全部程序如下：

# -*- coding:utf-8 -*-
'''
@author: Alvin
爬一爬 "顶点小说" 网的 《我的盗墓生涯》

'''

import urllib.request
import re
from lxml import etree
from datetime import datetime
import time
import random
import socket

print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S',))   # 打印当前时间
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:57.0) Gecko/20100101 Firefox/57.0'}

# 设置代理ip，使用的fiddler，应该也可以做代理吧
proxy = urllib.request.ProxyHandler({'http': '127.0.0.1:8888'})
opener = urllib.request.build_opener(proxy, urllib.request.HTTPHandler)
urllib.request.install_opener(opener)


# 获取数据函数
def get_data(url):
    try:
        print('此时在Request')
        res = urllib.request.Request(url, headers = headers)  # 模拟浏览器
        print('此时在urlopen')
        html = urllib.request.urlopen(res, timeout= 8)
        print('此时在read')
        data = html.read().decode('gbk', 'ignore')
        return data
    except urllib.request.URLError as e:
        if isinstance(e.reason, socket.timeout):
            try:
                print('请求超时，正在重新尝试')
                res = urllib.request.Request(url, headers=headers)  # 模拟浏览器
                html = urllib.request.urlopen(res, timeout=8)
                data = html.read().decode('gbk', 'ignore')
                return data
            except Exception as ee:
                print('重新请求失败')
                print(ee)
                return None
        else:
            print(e)
            return None
    except Exception as e:
        print('Error: %s' % str(e))
        return None


# 整理数据的函数，使用的xpath解析的网页数据,返回章节标题、文章内容、下一章网址三个元素组成的元组 ([title], [next_url], 'content')
def get_content(data):
    result = etree.HTML(data)
    # 正则需要替换掉的东西
    pat = r'''\r|\n|\xa0|</p>|<script language="javascript" type="text/javascript" src="/js/neirongye300-250.js"></script>'''
    title = result.xpath('//div[@class="bookname"]/h1/text()')
    next_url = result.xpath('//div[@class="bottem1"]/a[text()="下一章"]/@href')
    content2 = result.xpath('//div[@id="content"]/text()')
    content1 = " ".join(map(str, content2))
    content = re.sub(pat, " ", content1)
    return title, next_url, content



# 链接是由前半部分的固定链接加上后半部分的页码链接构成https://www.booktxt.net，  和 /0_693/176376.html
if __name__ == '__main__':
    end_url = '/0_693/'  # 当下一章网址为这个值的时候说明也就到最后一章了，程序结束
    url = 'https://www.booktxt.net/0_693/176570.html'  # 第一章的url
    with open('D:/Agan/spider/我的盗墓生涯.txt', 'a', encoding= 'utf-8') as f:
        while True:
            data = get_data(url)
            if data is None:
                print('get_data数据为空，跳过，进行下一条')
                continue
            else:
                result = get_content(data)
                if result[1][0] == end_url:   # get_content返回的是一个元组，next_url排在第1位
                    print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S', ))  # 打印当前时间
                    print("This is the last chapter, process is end!")
                    break
                else:
                    title = result[0][0]
                    content = result[2]
                    print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S', ))  # 打印当前时间
                    print("正在写入：%s" % title)
                    print("本章链接是: %s" % url)
                    f.write(str(title) + '\n' + content + '\n\n')  # 写入到文件，章节之间空两行，标题与内容之间空一行
                    url = 'https://www.booktxt.net' + result[1][0]   # 重新构造下一章的url地址
                    time.sleep(random.randint(1,3))
        f.close()


print(datetime.strftime(datetime.now(), '%Y-%m-%d %H:%M:%S',))   # 打印当前时间

终于爬完了


……
此时在urlopen
此时在read
2018-06-15 14:28:45
正在写入： 第一四四零章 全盘解密
本章链接是: https://www.booktxt.net/0_693/434632.html
此时在Request
此时在urlopen
此时在read
2018-06-15 14:28:48
正在写入： 第一四零一章 下一个，你
本章链接是: https://www.booktxt.net/0_693/439669.html
此时在Request
此时在urlopen
此时在read
2018-06-15 14:28:52
正在写入： 第一四零二章 军哥之死
本章链接是: https://www.booktxt.net/0_693/454992.html
此时在Request
此时在urlopen
此时在read
2018-06-15 14:28:56
This is the last chapter, process is end!
2018-06-15 14:28:56

Process finished with exit code 0

爬个小说看看
最近闹书荒，看有网友推荐《我的盗墓生涯》，先是在qq浏览器里看，发现有段落缺失，然后就是各种找资源，终于在一个叫顶...
4款大饱眼福的黑科技手机APP，各个精心挑选，请大家低调使用
1、爬小说爬小说是一个非常强大的小说资源软件，他们不生产小说，但是却是小说的合法搬用工，里面的小说资源非常海量，...
无聊就喜欢看书！经常闹书荒！我爬取了十几万本小说！云盘放不下
自从看了师傅爬了顶点全站之后，我也手痒痒的，也想爬一个比较牛逼的小说网看看，于是选了宜搜这个网站，好了，马上开干，...
宜搜全站数十万小说爬虫
自从看了师傅爬了顶点全站之后，我也手痒痒的，也想爬一个比较牛逼的小说网看看，于是选了宜搜这个网站，好了，马上开干，...
无聊就喜欢看书！经常闹书荒！我爬取了十几万本小说！云盘放不下
自从看了师傅爬了顶点全站之后，我也手痒痒的，也想爬一个比较牛逼的小说网看看，于是选了宜搜这个网站，好了，马上开干，...
老婆晚上缠着我，说想看付费小说，于是我爬了十万部小说！
自从看了师傅爬了顶点全站之后，我也手痒痒的，也想爬一个比较牛逼的小说网看看，于是选了宜搜这个网站，好了，马上开干，...
用Python爬下十几万本小说，再也不会闹书荒！
自从看了师傅爬了顶点全站之后，我也手痒痒的，也想爬一个比较牛逼的小说网看看，于是选了宜搜这个网站，好了，马上开干，...
Python爬虫层层递进，从爬取一章小说到爬取全站小说
很多好看的小说只能看不能下载，教你怎么爬取一个网站的所有小说知识点： requests xpath 全站小说爬取...
爬个小说吧
最近看小说总是有一堆不堪入目的广告，于是决定爬下来放阅读器里看吧。一言不合上代码逻辑非常简单，主要就是去掉文章...
爬小说
https://cuiqingcai.com/1319.html 这是BeautifulSoup的详细用法创建s...