python爬取新闻标题到本地并发送邮件

近期接到一个任务，每日上网搜索热门新闻标题，发送给运营同事，按照之前负责此项工作的同事交接，每日上网，搜索，复制，粘贴到本地，然后发邮件给同事。。。
内容不复杂，但是很无聊，所以就想到了偷懒
毕竟人类社会的进步就是偷懒来促进的。。
首先，爬取目标，腾讯新闻首页 http://news.qq.com/，只要两个的新闻标题，热门频道，和娱乐频道（好像大家跟我一样也很八卦）
爬虫库选择的时候先试了试urllib.request,发现这个库爬下来的内容被加密了，还要解密，奈何我怕麻烦，水平又不够，就转用requests + 美丽汤了

首先，导入需要的库

import requests
from bs4 import BeautifulSoup
from datetime import datetime  
import datetime as dt
import pandas as pd   # 转成Excel文件很方便

import smtplib   #发送邮件
from email.mime.text import MIMEText    # 以下几个模块都是构造邮件用的
from email.mime.multipart import MIMEMultipart
from email.header import Header

然后是爬虫的类

headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}


class Crawlnewsname(object):   # 爬取腾讯新闻首页
    # url = 'http://news.qq.com/'
    # headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"}
    def __init__(self,url):   # 默认返回解析后网站结构
        try:
            self.url = url
            self.res = requests.get(self.url, headers = headers)
            self.res.encoding = 'gbk'   # 试了utf-8，不好使，反而是gbk好使
            self.soup = BeautifulSoup(self.res.text, 'html.parser')   #　解析返回的内容
        except Exception as e:
            print(e)
        
        
    def major_news(self):   # 解析热门标签新闻，具体需要查看网页结构，有可能会有变化
        data = self.soup.select('div[class="item major"]')
        result = []
        for name in data[0].select('a[class="linkto"]'):
            if len(name.text) >0:
                newsdict = {}
                newsdict['name'] = name.text.strip()
                newsdict['link'] = name['href']
                result.append(newsdict)
            else:
                pass
        return result
        
        
    def ent_news(self):    # 解析娱乐标签新闻
        data = self.soup.select('div[class="item ent"]')
        result = []
        for name in data[0].select('a[class="linkto"]'):
            if len(name.text) >0:
                newsdict = {}
                newsdict['name'] = name.text.strip()
                newsdict['link'] = name['href']
                result.append(newsdict)
            else:
                pass
        return result

接下来是发送邮件

class Sendmail(object):
    def __init__(self, sender, recevers, server, port = 465):  # 用的腾讯邮箱，端口默认是465
        self.sender = sender
        self.recevers = recevers
        self.server = server
        self.port = port
    

    def sendmail(self, title, text, path, name):  #title，邮件主题，text,邮件正文，path附件路径，name附件名称
        message = MIMEMultipart()  # 创建一个可发送附件的对象
        message['From'] = self.sender
        message['To'] = ';'.join(self.recevers) # 收件人需要是字符串，用分号将收件人地址隔开
        message['Subject'] = Header(title, 'utf-8')  # 邮件主题
        message.attach(MIMEText(text, 'plain','utf-8'))  # 邮件正文
        # 打开要发送的附件，注意格式编码
        att = MIMEText(open(path + '\\' + name, 'rb').read(), 'base64', 'utf-8')

        #这两行不要写错了，我就写错了，网上搜了好久才发现是我写错了，呜呜呜
        att['Content-Type'] = 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet'
        att['Content-Disposition'] = "attachment; filename =%s" % name
        # 将附件添加到message
        message.attach(att)
        # 尝试发送邮件
        try:
            server = smtplib.SMTP_SSL(self.server, self.port)
            server.login(self.sender, '*******') # 星号是你的邮箱的授权码，填写自己的
            server.sendmail(self.sender, self.recevers, message.as_string())
            server.quit()
            print("邮件发送成功，请注意查收!")
        except Exception as e:
            print('邮件发送失败，错误消息如下:')
            print(e)
        return True

再加上一个保存到excel文件的函数

def to_excel(df, path, result_time):   # 输入dateframe到excel
    df['date'] = result_time  # 添加日期字段
    df['name'] = '[阅读+0.01]' + df['name']
    names = ['date','catagory','name','link']
    df = df.reindex(columns = names)
    df.to_excel(path + '\\' + result_time + '.xlsx', index = False)   # 以日期命名文件

接下来

if __name__ == '__main__':
    # 得到字符串的日期  yyyy-mm-dd
    ctime = datetime.now()
    delta = dt.timedelta(days = 3)  # 日期顺延三日
    next_time = ctime + delta
    result_time = next_time.strftime('%Y-%m-%d') # 日期转为字符串 yyyy-mm-dd格式
    
    print('正在爬取新闻标题...')
    # 爬取新闻标题
    url = 'http://news.qq.com/'
    news = Crawlnewsname(url)  # 创建对象
    major = news.major_news()  # 爬要闻
    ent = news.ent_news()   # 爬娱乐新闻
    
    print('正在整理爬取的数据...')
    # 使用pandas整理得到的数据
    major_df = pd.DataFrame(major)    # 使用pandas整理数据
    major_df['catagory'] = 'major' # 添加固定字段
    ent_df = pd.DataFrame(ent)
    ent_df['catagory'] = 'ent'
    my_df = pd.DataFrame({'catagory': None, 'name':'您昨天的收益已到账，请点击查看', 'link': None}, index = [0])
    combine_df = pd.concat([my_df,major_df, ent_df])  # 合并热门新闻和娱乐新闻
    
    print('正在将爬取的数据输出到本地...')
    # 将dataframe输出为excel到本地
    path = r'D:\日常数据\日常push'
    to_excel(combine_df, path, result_time)
    
    print('正在发送邮件')
    # 发送邮件
    sender = '***@**.com'    #填你自己的
    receivers = ['***@**.com', '***@**.com']  # 填你认识的
    server = 'smtp.exmail.qq.com'
    title = '每日推送新闻标题%s' % result_time
    text = '你好，附件为%s日的新闻标题，请查收' % result_time
    
    mail = Sendmail(sender, receivers, server)
    mail.sendmail(title, text, path, result_time + '.xlsx')

收到的邮件如下：

image.png

本地文件如下：

image.png

酱紫我就可以更懒了，哈哈哈