美文网首页
朴素贝叶斯概述

朴素贝叶斯概述

作者: 出题老头 | 来源:发表于2020-12-10 14:45 被阅读0次

    贝叶斯公式

    首先我们用一个例子来解释一下贝叶斯公式的使用。

    有一个村子，里面一共有三个小偷，他们的偷窃能力分别是A_1,A_2,A_3,如何求出这个村子出现失窃案件的概率P(B)？

    分析：

    首先我们知道，这个村子中只有三个小偷，因此三个小偷构成了一个完备事件组，即他们的能力的总和为全集\Omega，且相互之间独立。因此我们可以建立等式：
    P(B)=P(B\Omega)
    P(B)=P(B(A_1\cup A_2\cup A_3))
    P(B)=P(BA_1\cup BA_2\cup BA_3))
    P(B)=P(BA_1\cup BA_2\cup BA_3))
    \because A_1,A_2,A_3相互独立
    \therefore P(B)=P(BA_1)+P(BA_2)+P(BA_3)
    P(B)=P(A_1)P(B|A_1)+P(A_2)P(B|A_2)+P(A_3)P(B|A_3)
    如果这个村子里有n个小偷的话，我们可以总结成以下公式：
    P(B)=\sum_{i=1}^{n}P(A_i)P(B|A_i)
    以上便可以求得村子失窃的概率P(B)，而这个公式也被称为全概率公式或者全集分解。

    那么我们如果想知道，如果村子已经失窃，这三个小偷的谁偷的概率最大呢？按照常理来讲，谁的偷盗能力最强，其实谁偷窃的概率就最大。这是我们通过日常生活总结出的经验。那么如何用理论计算呢？
    按照警察的描述，一定是：在村子失窃的基础上去查看他们三个偷盗的可能性。
    以计算Aj小偷的可能性为例：
    P(A_j|B)=\frac {P(A_jB)} { P(B) }=\frac {P(A_j)P(B|A_j)}{P(B)}
    而P(B)可以带入全概率公式，得：
    P(A_j|B)=\frac{P(A_j B)}{P(B)} = \frac{P(A_j)P(B|A_j)}{\sum_{i=1}^{n}P(A_i)P(B | A_i)}
    以上公式便是我们的主角——贝叶斯公式。
    如果小伙伴对以上推导过程有疑问，请参考概率公式部分汇总。

    贝叶斯在机器学习中化简

    对于上述三个小偷，都面临对于此案件的调查，也就是说对于计算三个小偷实施盗窃可能性的贝叶斯公式里，P(B)始终是恒定的。因此P(A_j|B) \propto P(A_j)P(B|A_j)。
    下面通俗的介绍两个概念：

    最大似然估计：最符合观测数据的(P(B|A)最大)，最有优势。
    奥卡姆剃刀：P(A)越大的模型具有较大优势。

    朴素贝叶斯

    在上面我们已经完整介绍了一下贝叶斯公式，接下来我们把问题细化:
    假设案件B中包含b_1 \cdots b_n个小案件(如，b1=丢了一个尿壶，b2=门被撬坏了等等)，那么：
    P(A_j)P(B|A_j)=P(A_j)P(b_1 \cdots b_n|A_j)
    接下来我们可以把公式按照概率公式部分汇总中的第6个公式进行拆分：
    P(A_j)P(b_1 \cdots b_n|A_j)=P(A_j)P(b_1|A_j)P(b_2|Ajb_1) \cdots P(b_n|A_jb_1 \cdots b_{n-1})
    朴素二字如何理解？假设这些小案件全部都是独立的，也就是说撬门和偷尿壶毫无关系时，我们继续根据概率公式部分汇总第7个公式继续把问题简化：
    P(A_j)P(b_1 \cdots b_n|A_j)=P(A_j)P(b_1|Aj) \dots P(b_n|Aj)
    那么我们就可以把最原始的复杂问题变成了，统计出小偷Aj偷尿壶的概率，撬锁的概率，然后再把它们乘起来即可！这就是朴素贝叶斯。把一个复杂的问题化简成了一个个的可统计的独立概率，然后再乘起来。⚠️：但是前提是，这些小案件要尽量做到相互独立！

    利用朴素贝叶斯的文本分析和关键词提取

    Tf-idf:词频-逆词频
    1. 首先在文本中去掉匹配到的停用词
    2. TF(词频)=\frac {某词在文章中出现次数}{总词数}
    3. IDF(逆词频)=\log \frac{语料库的文档总数}{包含这个词的文档数 + 1}
    4. Tf-idf=TF·IDF
    如何判断语句的相似度
    词向量相似度：
    1. 将文档分词。
    2. 将分好词去重，组装成语料库。
    3. 统计句子中的词在语料库中的词频。
    4. 利用词频构建词频向量。
    n维空间下余弦相似度(值越小越相似)：

    \cos \theta = \frac {\sum_{i=1}^{n} x_{i} \cdot y_{i} }{\sqrt{\sum_{i=1}^{n} {x_{i}}^{2}} \cdot \sqrt{\sum_{i=1}^{n} {y_{i}}^{2}}}

    利用朴素贝叶斯进行新闻分类

    我们拿到了一批新闻数据，经过加工之后，变成了如下格式：

    一批新闻数据
    其中，category就是这批数据的标签，也就是说，这次我们的任务：根据content中描述的内容，预测是数据哪种category。
    • 我们首先对content的每一个新闻进行分词，这里我们使用jieba分词器：
    content_S = []
for line in content:
    current_segment = jieba.lcut(line)
    if len(current_segment) > 1 and current_segment != '\r\n': #换行符
        content_S.append(current_segment)

#将结果集转换为dataFrame
df_content=pd.DataFrame({'content_S':content_S})
print(df_content.head())

    我们拿到了一个结果集df_content,每一条都是分好词的句子，样子如下：

                                               content_S
0  [经销商, 　, 电话, 　, 试驾, ／, 订车, Ｕ, 憬, 杭州, 滨江区, 江陵, ...
1  [呼叫, 热线, 　, ４, ０, ０, ８, －, １, ０, ０, －, ３, ０, ０...
2  [Ｍ, Ｉ, Ｎ, Ｉ, 品牌, 在, 二月, 曾经, 公布, 了, 最新, 的, Ｍ, Ｉ...
3  [清仓, 大, 甩卖, ！, 一汽, 夏利, Ｎ, ５, 、, 威志, Ｖ, ２, 低至, ...
4  [在, 今年, ３, 月, 的, 日内瓦, 车展, 上, ，, 我们, 见到, 了, 高尔夫...
    • 导入停用词表，随便在网上搜一搜就有了哈，将每条分好词的新闻中，过滤掉相应的停用词，以免影响我们的训练分析。
    #读取停用词表 index_col=False新加入一列，作为行号，quoting=3是可以正确解读文本里的引号
stopwords=pd.read_csv("stopwords.txt",index_col=False,sep="\t",quoting=3,names=['stopword'], encoding='utf-8')


# 过滤掉停用词
def drop_stopwords(contents, stopwords):
    contents_clean = []
    all_words = []
    for line in contents:
        line_clean = []
        for word in line:
            if word in stopwords:
                continue
            line_clean.append(word)
            all_words.append(str(word))
        contents_clean.append(line_clean)
    return contents_clean, all_words


contents = df_content.content_S.values.tolist()
stopwords = stopwords.stopword.values.tolist()
contents_clean, all_words = drop_stopwords(contents, stopwords)
#干干净净的分词后的列表
df_content=pd.DataFrame({'contents_clean':contents_clean})
    • 细心的小伙伴可以看到，上述代码中，我们将全部采纳的词汇保存到了all_words变量中，而我们并未对其使用，那么接下来我们利用此变量进行词频统计，并且绘制词云图片。
    #统计全词列表中的词频
result = pd.value_counts(all_words)
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rcParams['figure.figsize'] = (10.0, 5.0)
wordcloud = WordCloud(font_path="simhei.ttf", background_color="white", max_font_size=80,)
word_frequence = result.to_dict()
wordcloud = wordcloud.fit_words(word_frequence)
plt.imshow(wordcloud)
d = path.dirname(__file__)
wordcloud.to_file(path.join(d, 'alice_colored2.png'))
    词云

    我又用别的文章，单独玩了一下词云：


    另一篇词频统计
    • 接下来，我们尝试对其中一条新闻进行关键词提取
    #关键词提取
import jieba.analyse
#分析第二十条新闻
index = 20
print(df_news['content'][index])
content_S_str = "".join(content_S[index])
print("  ".join(jieba.analyse.extract_tags(content_S_str, topK=5, withWeight=False)))
    • 利用LDA(主题，文章，词)模型，对全体文章进行主题归类
    from gensim import corpora, models, similarities
import gensim
#做映射，相当于词袋
dictionary = corpora.Dictionary(contents_clean)
corpus = [dictionary.doc2bow(sentence) for sentence in contents_clean] #将词映射成数字
lda = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=20) #20个大分类
for topic in lda.print_topics(num_topics=20, num_words=5):
    print(topic)

    部分主题打印如下：

    (0, '0.016*"ａ" + 0.015*"ｅ" + 0.013*"ｉ" + 0.012*"ｏ" + 0.011*"ｎ"')
(1, '0.010*"ｉ" + 0.007*"ｅ" + 0.007*"ａ" + 0.006*"中" + 0.005*"ｏ"')
(2, '0.006*"选手" + 0.006*"万" + 0.006*"中国" + 0.006*"奢侈品" + 0.004*"申花"')
(3, '0.005*"中" + 0.005*"女人" + 0.004*"男人" + 0.003*"Ｄ" + 0.003*"说"')
(4, '0.005*"中" + 0.004*"肌肤" + 0.004*"时间" + 0.003*"吃" + 0.003*"水"')
(5, '0.006*"工作" + 0.006*"说" + 0.005*"学生" + 0.005*"发展" + 0.005*"文化"')
(6, '0.008*"中" + 0.005*"Ｌ" + 0.004*"电影" + 0.004*"Ｄ" + 0.004*"Ｔ"')
(7, '0.009*"中国" + 0.006*"撒" + 0.006*"电影" + 0.004*"产品" + 0.004*"中"')
    • 下面我们针对category对数据进行预测啦！
    #组装格式，并把label映射成数字,切分训练集和测试集
df_train=pd.DataFrame({'contents_clean':contents_clean,'label':df_news['category']})
label_mapping = {"汽车": 1, "财经": 2, "科技": 3, "健康": 4, "体育":5, "教育": 6,"文化": 7,"军事": 8,"娱乐": 9,"时尚": 0}
df_train['label'] = df_train['label'].map(label_mapping)
x_train, x_test, y_train, y_test = train_test_split(df_train['contents_clean'].values, df_train['label'].values, random_state=1)
    • 此时我们拿到的x格式我list of list，而我们需要类似['a b c','d e f']的格式即将内部的list变成一个字符串：
    #改变训练集数据格式，方便下一步的数据输入
words = []
for line_index in range(len(x_train)):
    try:
        words.append(' '.join(x_train[line_index]))
    except:
        print(line_index)
    • 构建词向量
    #构建词向量
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(analyzer='word', max_features=4000,  lowercase = False)
vec.fit(words)
    • 导入朴素贝叶斯，训练分类器：
    #贝叶斯训练
from sklearn.naive_bayes import MultinomialNB
classifier = MultinomialNB()
classifier.fit(vec.transform(words), y_train)
    • 同样的，我们需要改变测试集的输入格式：
    #改变测试集数据格式，方便下一步的数据输入
test_words = []
for line_index in range(len(x_test)):
    try:
        #x_train[line_index][word_index] = str(x_train[line_index][word_index])
        test_words.append(' '.join(x_test[line_index]))
    except:
         print (line_index)
    • 预测
    print(classifier.score(vec.transform(test_words), y_test))
    • 同样我们也可以使用Tf-idf的形式构建词向量：
    #使用tf-idf构造向量
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(analyzer='word', max_features=4000,  lowercase = False)
vectorizer.fit(words)

classifier = MultinomialNB()
classifier.fit(vectorizer.transform(words), y_train)
print(classifier.score(vectorizer.transform(test_words), y_test))

    完整代码

    import pandas as pd
import jieba
import numpy
from os import path
from sklearn.model_selection import train_test_split


df_news = pd.read_table('data.txt',names=['category','theme','URL','content'],encoding='utf-8')
df_news = df_news.dropna()#去掉含有缺失值的行
print(df_news.head())

content = df_news.content.values.tolist(); # 把表格的一列提取出来搞成一个list
print(content[100])


#分词，把分词后的结果放到结果集content_S里
content_S = []
for line in content:
    current_segment = jieba.lcut(line)
    if len(current_segment) > 1 and current_segment != '\r\n': #换行符
        content_S.append(current_segment)

#将结果集转换为dataFrame
df_content=pd.DataFrame({'content_S':content_S})
print(df_content.head())

#读取停用词表 index_col=False新加入一列，作为行号，quoting=3是可以正确解读文本里的引号
stopwords=pd.read_csv("stopwords.txt",index_col=False,sep="\t",quoting=3,names=['stopword'], encoding='utf-8')


# 过滤掉停用词
def drop_stopwords(contents, stopwords):
    contents_clean = []
    all_words = []
    for line in contents:
        line_clean = []
        for word in line:
            if word in stopwords:
                continue
            line_clean.append(word)
            all_words.append(str(word))
        contents_clean.append(line_clean)
    return contents_clean, all_words


contents = df_content.content_S.values.tolist()
stopwords = stopwords.stopword.values.tolist()
contents_clean, all_words = drop_stopwords(contents, stopwords)

#干干净净的分词后的列表
df_content=pd.DataFrame({'contents_clean':contents_clean})

#全部词汇，也整一个全词列表
df_all_words=pd.DataFrame({'all_words':all_words})
#统计全词列表中的词频
result = pd.value_counts(all_words)
from wordcloud import WordCloud
import matplotlib.pyplot as plt
import matplotlib
matplotlib.rcParams['figure.figsize'] = (10.0, 5.0)
wordcloud = WordCloud(font_path="simhei.ttf", background_color="white", max_font_size=80,)
word_frequence = result.to_dict()
wordcloud = wordcloud.fit_words(word_frequence)
plt.imshow(wordcloud)
d = path.dirname(__file__)
wordcloud.to_file(path.join(d, 'alice_colored2.png'))



#关键词提取
import jieba.analyse
index = 20
print(df_news['content'][index])
content_S_str = "".join(content_S[index])
print("  ".join(jieba.analyse.extract_tags(content_S_str, topK=5, withWeight=False)))


#LDA模型：主题，文章，词
from gensim import corpora, models, similarities
import gensim
#做映射，相当于词袋
dictionary = corpora.Dictionary(contents_clean)
corpus = [dictionary.doc2bow(sentence) for sentence in contents_clean] #将词映射成数字
lda = gensim.models.ldamodel.LdaModel(corpus=corpus, id2word=dictionary, num_topics=20) #20个大分类
for topic in lda.print_topics(num_topics=20, num_words=5):
    print(topic)





#组装格式，并把label映射成数字,切分训练集和测试集
df_train=pd.DataFrame({'contents_clean':contents_clean,'label':df_news['category']})
label_mapping = {"汽车": 1, "财经": 2, "科技": 3, "健康": 4, "体育":5, "教育": 6,"文化": 7,"军事": 8,"娱乐": 9,"时尚": 0}
df_train['label'] = df_train['label'].map(label_mapping)
x_train, x_test, y_train, y_test = train_test_split(df_train['contents_clean'].values, df_train['label'].values, random_state=1)

#改变训练集数据格式，方便下一步的数据输入
words = []
for line_index in range(len(x_train)):
    try:
        words.append(' '.join(x_train[line_index]))
    except:
        print(line_index)
print(words)

#构建词向量
from sklearn.feature_extraction.text import CountVectorizer
vec = CountVectorizer(analyzer='word', max_features=4000,  lowercase = False)
vec.fit(words)

#贝叶斯训练
from sklearn.naive_bayes import MultinomialNB
classifier = MultinomialNB()
classifier.fit(vec.transform(words), y_train)


#改变测试集数据格式，方便下一步的数据输入
test_words = []
for line_index in range(len(x_test)):
    try:
        #x_train[line_index][word_index] = str(x_train[line_index][word_index])
        test_words.append(' '.join(x_test[line_index]))
    except:
         print (line_index)

print(classifier.score(vec.transform(test_words), y_test))


#使用tf-idf构造向量
from sklearn.feature_extraction.text import TfidfVectorizer
vectorizer = TfidfVectorizer(analyzer='word', max_features=4000,  lowercase = False)
vectorizer.fit(words)

classifier = MultinomialNB()
classifier.fit(vectorizer.transform(words), y_train)
print(classifier.score(vectorizer.transform(test_words), y_test))

    相关文章

      网友评论

          本文标题：朴素贝叶斯概述

          本文链接：https://www.haomeiwen.com/subject/wnbmwktx.html

          延伸阅读

          深度阅读

          • 您也可以注册成为美文阅读网的作者，发表您的原创作品、分享您的心情！

          栏目导航

          热点阅读

          关于我们|服务条款|联系我们|朴素贝叶斯概述|投稿指南|网站地图|RSS订阅|排版工具|手机版

          提供经典美文摘抄,优美散文欣赏,现代诗歌精选,短篇小说,心情随笔,表白情书范文,故事会在线阅读欣赏

          Copyright © 2014-2023 Haomeiwen.com All Rights Reserved. 好美文阅读网 版权所有

          备案信息：桂公网安备 45052102000051号 · 桂ICP备13007215号-3

          本站所收录作品、热点评论等信息部分来源互联网，目的只是为了系统归纳学习和传递资讯

          所有作品版权归原创作者所有，与本站立场无关，如不慎侵犯了你的权益，请联系我们告知，我们将做删除处理！