评分爬虫

作者: 两份方糖红茶 | 来源:发表于2018-12-05 17:10 被阅读0次

评分爬虫
Python爬虫小练习——正则表达式爬取猫眼电影Top100榜单
Python实战学习1.2：爬取商品信息
2018-07-04
案例21：爬虫取书名、评分、价格
Python爬虫-猫眼电影排行
DC学院_数据爬取2018-01-23
python爬虫豆瓣9.0日剧
11.20-11.26
爬取豆瓣新书速递

环境介绍

为了让两位自认为阅漫无数的同学对自己的动漫观看质量有数据量化的评判，近日基于爬虫实现了对动漫评分的爬取。

爬虫部分

import urllib
from urllib.parse import quote
import requests
import re
from bs4 import BeautifulSoup

#构造搜索请求，获取往返回的网页内容
#movie_name 电影名称

def find(movie_name):
    # 读取用户输入的电影名，并转换为url编码
    url_head = "https://bangumi.tv/subject_search/"+quote(movie_name.encode('utf-8')) #生成爬虫Url
    # 发送请求拿到HTML内容
    #cat = 2 是番组计划对动漫的分类
    payload = {'cat': '2'}
    r = requests.get(url_head, params=payload)
    r.encoding = 'utf-8'
    # 用bs解析HTML内容
    #这里可以获取所有的网页返回的内容
    soup = BeautifulSoup(r.text, 'html.parser')
    return get_score(soup,movie_name) 

#对网页内容进行分析，获取相应数据
def get_score(soup,movie_name):
    #find_all 是寻找所有符合的标签，返回list
    rank_list = soup.find_all(class_ = 'fade')
    name_list = soup.find_all(class_ = 'l')
    name = []
    rank = []
    #抽取有评分的名称与分数，因为有多种版本的动漫
    for i in range(0,min(len(rank_list),len(name_list))):
        name.append(name_list[i].get_text())
        rank.append(rank_list[i].get_text())
    m = len(name[0])
    pos = 0
    #找到最匹配的名称
    for i in range(0,len(name)):
        if(name[i].find(movie_name)!= -1 and len(name[i])<m):
            m = len(name[i])
            pos = i

    print(name)
    print(rank)
    
    return float(rank[pos]) 
    print('-------------------------------')

if __name__ =="__main__":
    print(find("龙与虎"))

注意点：

需要安装的网络请求与响应分析的包：requests与bs4
Url构造包括两部分

url_head 这部分的构造需要注意的是由于电影的名字需要以utf-8编码，所以使用了上述方法
payload 经过对番组计划原查询语句的分析，可以发现其对查询类型的category的分类，其中2表示的是动漫，所以这里是2

find与find_all两个方法是用来根据网页的标签值进行筛选的语句，其中find是返回找到的第一个，find_all是以list的形式返回所有符合的
要想根据返回的标签得到其中的文本值，需要使用的就是get_text()方法

python处理excel文件

import xlrd
import find
from openpyxl import load_workbook
import openpyxl
#向excel当中输出评分结果
def write_excel(rank):
    wb = load_workbook("8.0.1.xlsx")#生成一个已存在的wookbook对象
    wb1 = wb.active                  #激活sheet
    for i in range(0,len(rank)):
        wb1.cell(i+2,2,rank[i])      #往sheet中的第x行第y列写入数据
    wb.save("result.xlsx")           #保存
#打开excel文件
def open_excel(file= 'file.xls'):
    try:
        data = xlrd.open_workbook(file)
        return data
    except Exception as e:
        print(str(e))
#根据文件名，读取内容

def excel_table_byname(file= u'8.0.1.xlsx',colnameindex=0,by_name=u'Sheet1'):#修改自己路径
     data = open_excel(file)
     table = data.sheet_by_name(by_name) #获得表格
     nrows = table.nrows  # 拿到总共行数
     colnames = table.row_values(colnameindex)  # 某一行数据 
     list = []
     for rownum in range(1, nrows): #也就是从Excel第二行开始，第一行表头不算
         row = table.row_values(rownum)
         if row:
             app = {}
             for i in range(len(colnames)):
                 app[colnames[i]] = row[i] #表头与数据对应
             list.append(app)
     return list

def main():
    tables = excel_table_byname()
    list = []
    for row in tables:
        print(row['名称'])    
        list.append(find.find(row['名称']))
    write_excel(list)

if __name__ =="__main__":
    main()