美文网首页
尝试了一下Python爬小说

尝试了一下Python爬小说

作者: 失眠是真滴难受 | 来源:发表于2020-04-12 01:05 被阅读0次

和同学聊天的时候他告诉我,他看小说的这个网站防盗版做的很牛逼,网上都找不到盗版,我有点不信,连起点这些都到处是盗版,总不能一个不知名小说网站在安全上做的比这些大站还牛逼吧,所以就尝试了一下。

普通的章节毫无难度,直接就可以爬下来了,VIP 章节没尝试,太穷了,啥时候有钱了去充个VIP 来试试,我感觉应该都差不多,对于这个网站没有盗版的原因呢,,,可能是名气太小了,又整了VIP ,大佬们都忙着爬大站,所以这些VIP 章节被忽略了

# coding:UTF-8
from urllib import request
from bs4 import BeautifulSoup
url = "https://b.faloo.com/p/614602/1.html"
r = request.Request(url)
download_response = request.urlopen(r)
download_html = download_response.read().decode('gb2312', 'ignore')
soup = BeautifulSoup(download_html, 'html5lib')
texts = soup.find_all(id='content')   #获取content标签的内容
soup_text = BeautifulSoup(str(texts), 'lxml')
content = soup_text.get_text('\n', '<br>')  #替换<br>为换行
f = open('1.md', 'w+')
for line in content:
    if line == "-":
        break
    else:
        f.write(line)

相关文章

  • 尝试了一下Python爬小说

    和同学聊天的时候他告诉我,他看小说的这个网站防盗版做的很牛逼,网上都找不到盗版,我有点不信,连起点这些都到处是盗版...

  • 关于近期爬虫学习的总结

    在之前的三篇文章中,我尝试了使用python爬虫实现的对于特定站点的《剑来》小说的爬取,对于豆瓣的短评的爬取,也有...

  • 2017-12-31

    python爬虫实战:爬取全站小说排行榜 ...

  • python 爬小说

    学习爬虫,练习一下,环境python 3.6

  • python 爬虫练习(一)

    通过python 爬虫 爬取小说 使用python版本为3.6 模块为 Requests,BeautifulSo...

  • 制作安装在手机上的爬虫软件,python在电脑端爬取小说算什么?

    最近看小说有点入迷,网站上看有广告非常费流量,用收回app下的小说又不能传给朋友,,就学习了一下Python网络爬...

  • BeautifulSoup4小试牛刀

    python真好玩,python真有趣,python真该死!尝试爬取起点中文网的小说,因为他家的小说网页比较复杂,...

  • 安装scrapy

    吐个槽 在网上找了好多例子,自己试了很多次,终于搞定了简单的爬虫(包括爬图片),这里不得不说一下,Python 和...

  • 爬取Python教程博客并转成PDF

    爬取Python教程博客并转成PDF 今天我们爬取一下python教程博客并把爬取内容转换成PDF储存到本地。用到...

  • python requests 爬小说

    遇到了编码错误真的很蛋疼,卡了2个小时才解决!参考文献1,参考文献2,参考文献3 网站示例一: 网站示例二:

网友评论

      本文标题:尝试了一下Python爬小说

      本文链接:https://www.haomeiwen.com/subject/amummhtx.html