用python批量提取多个文件的关键词

在日常的工作中，经常会遇到读取多个文件，分别提取这些文件的关键词的需求。下面提供这个任务的python代码。

原始数据形式：将需要提取关键词的文章放在一个文件夹下面，如下图：

image.png

接着使用python代码读取每个文件的文件名，以便后面与关键词一一对应,代码如下:

file_dir = '文件夹路径' # 换成自己的路径
file_dir_list = os.listdir(file_dir) 
for name in file_dir_list[:]:
    file_name = os.path.join(file_dir,name)   #os.path.join()连接两个或更多的路径名组件
    print(file_name)

接着读取文件数据并进行预处理，将其中的字母、数字以及下划线去掉，代码如下：

for name in file_list:
    file_name = os.path.join(file_dir,name)
    with open(file_name, 'r', encoding='UTF-8') as f:
        data = f.read()
    strs = re.sub('[^\w]', '', data) 

接着提取各个文章的关键词：

    wordlist = []   #每一个文章的关键词放在这个列表里面
    word = ''
    #print(anls.extract_tags(strs, topK=5, withWeight=True))
    keywords = anls.extract_tags(strs, topK=5, withWeight=True)
    for keyword in keywords:
        wordlist.append(keyword[0])
    print(wordlist)
    for w in wordlist:
        word += w + ', '
    print(word)
    get_result.append([name, word])
print(get_result)

上面代码的get_result即为最终结果

将结果写在一个csv文件中，代码如下：

name = ['title', 'keywords']
contents = pd.DataFrame(columns=name, data=get_result)
contents.to_csv('文件名.csv', encoding='utf-8')

打开最终生成的文件，其数据形式如下图：

image.png

上面每篇文章显示5个关键词，是因为设置了5个，可根据自己的需要进行设定。

总体源代码为以下：

import os
import sys
import re
import jieba
import jieba.analyse as anls
import pickle
import pandas as pd
 
 
file_dir = '读取文件的文件夹路径' # 换成自己的路径
file_dir_list = os.listdir(file_dir)    #返回指定的文件夹包含的文件或文件夹的名字的列表。
file_list = {}
get_result = []
 
for name in file_dir_list[:]:
    file_name = os.path.join(file_dir,name)   #os.path.join()连接两个或更多的路径名组件
    print(file_name)
    file_list[name] = []
 
print(file_list)
 
for name in file_list:
    file_name = os.path.join(file_dir,name)
    with open(file_name, 'r', encoding='UTF-8') as f:
        data = f.read()
    strs = re.sub('[^\w]', '', data)   #[^\w]匹配字母、数字、下划线，把它们替换掉
 
    #print(strs)
    #print(file_name)
    wordlist = []   #每一个文章的关键词放在这个列表里面
    word = ''
    #print(anls.extract_tags(strs, topK=5, withWeight=True))
    keywords = anls.extract_tags(strs, topK=5, withWeight=True)
    for keyword in keywords:
        wordlist.append(keyword[0])
    print(wordlist)
    for w in wordlist:
        word += w + ', '
    print(word)
    get_result.append([name, word])
print(get_result)
 
name = ['title', 'keywords']
contents = pd.DataFrame(columns=name, data=get_result)
contents.to_csv('生成文件的文件名.csv', encoding='utf-8')