数据挖掘与应用(week-12)

把知识分解，成为自己的代码银行。成为分解者和生产者。

方法一：

第一步 逐行读取

读为列表，

第二步，jieba的提取主题词

jieba.analyse.extract_tags 提取主题词

image-20200522081505153

第三步，extend()，不用自己解嵌套了。

第四步，词频处理

image-20200522082119555

方法二：

image-20200522082157423

方法三：

不依赖python库

image-20200522082340829

取集合就可以去重，循环集合，然后数这个词在整个列表中的出现次数

mycount = [(i,(word_list.count(i))) for i in set(word_list)]

pd.DataFrame(mycount,columns = ['高频词','频次']).sort_values(by="频次" , ascending=False)

方法四

image-20200522082717143

方法比较

image-20200522083608783 image-20200522083359502

所以，先读取列表就比较快，先读取字符串再分词为列表就比较慢

新的内容

模型权重

image-20200522083703496

分词

image-20200522083720352

删除，使用正则表达式

image-20200522083733216 image-20200522083820827

删除单字词

image-20200522083853441 image-20200522084043314

extend的作用

image-20200522084105696

实际案例一

方法一：

image-20200522084410028

第一步，数据读取

image-20200522084754320

第二步，字符串转为含字典的列表

image-20200522085057579

数据抓取都有法律风险，外面的都不敢接了，所以才找到学校做舆情月报周报这样。大家要明确自己的东西属于那一类，不要去炫耀，要低调。

方法二：

转为字符串，去掉逗号

image-20200522085211334

再转为嵌套列表

image-20200522085248522

嵌套后解套就可以了

image-20200522085336158

实际案例二

纯txt案例

image-20200522085530943

数据构思

image-20200522085818139 image-20200522090006972

dataframe 读取嵌套字典

image-20200522090159416

分词要点：不要先删除标点后分词

image-20200522094256157 image-20200522094328902