Python3.5+PyQt5词频统计(一)

作者: Pantheon | 来源:发表于2016-10-11 15:39 被阅读291次

一、需求分析


统计给定英文文档中单词出现的频率,要求速度快、准确率高,有良好的交互界面,初期实现简单的分词、统计功能,不考虑词形变换等复杂情况,中期要实现相对简单的词形还原任务,后期实现复杂的词形变换还原(需要较强的自然语言处理能力,暂不考虑)

二、环境搭建


| 所需环境 | 推荐工具 |
| ------------- |:-------------:| -----:|
|Python编程工具|PyCharm 2016.2|
|Python版本|Python 3.5|
|PyQt版本|PyQt5 |
|界面设计| QtDesigner|
|打包程序| pyinstaller|

  • 1、官网下载安装Python3.5
  • 2、官网下载安装PyCharm
  • 3、可以在PyCharm打开setting>Project Interpreter>点击加号搜索PyQt5直接安装,其他安装方式请自行搜索
  • 4、下载Qt5.7安装,自带QtDesigner和QtCreator
    注意事项
    网上搜索许多PyQt教程,他们的PyQt5中一般自带QtDesigner程序,不知道为什么我的没有,所以只好下载完整的Qt5.7安装包
  • 5、PyInstaller支持Python3,cx_Freeze暂不支持

三、测试案例


使用1M、20M、100M的txt文档,1M、100M的doc文档,50M的docx文档,一个小型的数字文档测试对数字分词的准确率

第一次次测试文档 第二次测试文档

相关文章

  • Python3.5+PyQt5词频统计(一)

    一、需求分析 统计给定英文文档中单词出现的频率,要求速度快、准确率高,有良好的交互界面,初期实现简单的分词、统计功...

  • Python3.5+PyQt5词频统计(三)

    主程序编写 一、打开文件 二、读取文件,存入字典 三、统计词频 将字典中的单词按照key值(即单词)降序排序,如不...

  • Python3.5+PyQt5词频统计(二)

    UI设计 1、在PyCharm中添加External Tools中添加QtDesigner和PyUIC工具打开Py...

  • 用Py做文本分析3:制作词云图

    1.词频统计 在词频统计之前,需要先完成分词工作。因为词频统计是基于分词后所构建的list进行的。 1.1使用Pa...

  • 词频统计

    通过Linux命令实现词频统计 现在有一遍英语文档The_Man_of_Property.txt通过Linux命令...

  • 词频统计

    词频统计 请设计一个高效的方法,找出任意指定单词在一篇文章中的出现频数。 给定一个string数组article和...

  • 辽经干python 元组和字典(2)

    字典 词频统计 词云

  • 统计词频并按词频排序

    一、背景描述 源文件格式需要处理的源文件格式如下:ont:aasd:asdfd:cc 处理任务我们需要统计冒号之后...

  • Hadoop篇(四)——案例:词频统计

    1Hadoop经典案例--词频统计 1.1 Hadoop经典案例:词频统计 这是一个非常经典的例子,几乎在任何的h...

  • 开启自学人生

    day6 姓名:邓超 学号:1901010076 学习:封装统计英文词频的函数+封装统计中文词频的函数。 总结:1...

网友评论

本文标题:Python3.5+PyQt5词频统计(一)

本文链接:https://www.haomeiwen.com/subject/cgfbyttx.html