One Project: pratice for

最近正在学习 Machine leaning,加之余闲之际，又喜看小说，故偶生一技，采用机器学习分析金庸小说与网络小说（仙侠类）的差异；
废话少道，先看看此次项目的实现流程：

项目简单流程图

1、Get Data

首先，要对比金庸及网络小说的差异之处，那第一步肯定是获取数据了，在这里我们选取最近比较火的5部网络小说，分别为：《天影》、《无疆》、《盗天仙途》、《双天行》、《两仪道》，金庸大大的书，就选择为：《天龙八部》、《倚天屠龙记》、《鹿鼎记》、《笑傲江湖》、《神雕侠侣》；
书籍选好了，接下来便是获取书籍的内容了，本文采取 Python Request库及 BeautifulSoup4 库对书籍文本进行爬取网络文学，采取 Python Request库及 RE库进行对金庸大大的书籍进爬取；

1、1 Python 爬取书籍数据：

a、Request & BeautifulSoup 爬取网络文学：

首先，百度一下《天影》，发现顶点小说内可以免费阅读（天影），就已此书为例爬取此书到本地；

网页结构图 named：图 ①

研究发现，所有的文本链接均在一个类别（class）为 chapterlist的标签内（dl），而且每个章节的链接为都在 'dd>a' 下，故利用此规律可以对此进行遍历及索引；
其次，打开章节内容，发现，文本存储在 类别（class）为 ‘inner’ 的标签内（div）,而且，其中 <h1>..</h1>标签内的内容为章节标题，<div id='content'>..</div>,Id 为‘content’的 标签内为章节内容（txt）;.故可以按照此规律对其进行遍历，详细程序如下：

import os
import requests
from bs4 import BeautifulSoup  #引入基本python使用库

def url_requests(url): #定义一个url处理函数 ：url——soup对象
headers={'User-Agent':'Mozilla/5.0'}
re=requests.get(url,headers=headers,timeout=20)
re.encoding=re.apparent_encoding
if re.status_code==200:
soup=BeautifulSoup(re.text,'html.parser')
return soup
else:
print('linking error')

def file_write(text):#文件写入函数
with open('天影.text','a',encoding='utf-8') as file:#指定编码类型为‘UTF-8’型
file.write(name+text)
file.close()

if os.path.exists(r'./art')==0:#判断文件夹是否存在，若NOT，创建一个到本地；
os.mkdir(r'./art')
os.chdir(r'./art')

url='http://www.23us.com/html/65/65090/'
links=url_requests(url).select('td > a')#查询所有带有目的url的 a（Tag）标签
for i in range(len(links)): 
urls=url+links[i]['href']
text=url_requests(urls).select_one('#contents').get_text()
name=links[i].get_text()
file_write(text)#引入写入函数中

同理，只需要修改一下url 及保存文档名字，就可以spider 所有的目的小说；

b、Requests&Re（正则表达式）爬取武侠小说：

源码如下：

import re
import requests
from bs4 import BeautifulSoup
import os

def change_url(url):
    response=requests.get(url)
    response.encoding=response.apparent_encoding
    if response.status_code==200:
        soup=BeautifulSoup(response.text,'html.parser')
        return soup
    else:
        print('link error 1')
        
def file_write(text):   
    with open('倚天屠龙记.text','a',encoding='utf-8') as file:
        file.write(text)
    file.close()
    
if os.path.exists(r'./art')==0:
    os.mkdir(r'./art')    
os.chdir(r'./art')    
url='http://jinyong.zuopinj.com/7/'
rs=requests.get(url)
rs.encoding=rs.apparent_encoding
if rs.status_code==200:
    links=re.findall(r'href\=\".{29}\d{2，3}.html\"',rs.text) #re:含义为 href="..",比bs4更为简洁
    for i in range(len(links)):
        urls=eval(links[i].split('=')[1])#对字符串进行分割处理
        content=change_url(urls).select_one('#htmlContent').get_text()
        
        file_write(content)
else:
    print('link error 0') #PS:其实从此份代码可以看出，有时候用正则库可能还不如用bs4库方便

下一小节，更新第二点数据处理