美文网首页
Python分句

Python分句

作者: linghugoogle | 来源:发表于2018-07-19 10:16 被阅读253次

一、目标

"My name is Tom. I am a boy. I like soccer!"
['My name is Tom.', 'I am a boy.', 'I like soccer!']

二、简单处理方案

使用split('.')即可

import codecs
txt=open("XXXXX")
lis=""#建立一个空的列表存储读取的字符串
for line in txt:
    li=line.strip("\n")   
    lis=lis+li
    lis=lis+''    #在每个读取出来的字符后面加空格,分开每个单词
lis.strip('')
liss=lis.split(".")
for h in liss:
    if h == '':
        continue
    h.strip('')
    h=h+'.' #在读出的每个句子的最后加上英文句号
  print(h)

问题:对于英语,并非只有'.'为一个句子的结束,也可以是'.'',一段话的终结或者问号

三、方案优化

1、使用NLTK库
2、快速入门
NLTK学习之一:简单文本分析
3、安装
调用NLTK报错LookupError: Recource 'tokenizers/punkt/english.pickle' not found(基于Anaconda)
4、代码

import nltk  
import nltk.data  
  
def splitSentence(paragraph):  
    tokenizer = nltk.data.load('tokenizers/punkt/english.pickle')  
    sentences = tokenizer.tokenize(paragraph)  
    return sentences  
  
if __name__ == '__main__':  
    print splitSentence("My name is Tom. I am a boy. I like soccer!")  

相关文章

  • Python分句

    一、目标 二、简单处理方案 使用split('.')即可 问题:对于英语,并非只有'.'为一个句子的结束,也可以是...

  • 基于LTP的分句、分词、POS和依存句法分析

    分句 #分句 from pyltpimport SentenceSplitter sentence = Sente...

  • 英语句子结构

    句子皆由一个或多个分句构成。切记分句是指由一个主语和一个动词构成的一组词。某些分句(独立分句)是完整句,可独立成句...

  • 常见语病(三)

    分句之间缺乏逻辑关系,复句的各分句之间必须有密切的逻辑关系,否则,不能构成复句。有的分句之间没有必然的因果关系,有...

  • 第十二章习题

    1.在Python中怎样编写多路分支? if语句加多个elif分句通常是编写多路分支的最直接的方式,不过也许并不是...

  • Python对中文文本进行分句

    小组作业要求要对传进来的中文文本进行分句 测试小段文本节选自《破云》 这是菜鸟写出借鉴大佬代码敲出来的,水平不高。...

  • 小学生百问百答:何谓从句简化变分句

    学生问:什么叫从句简化变分句? Tyger举例说明。 L49: 分句:Tired of sleeping on t...

  • 语法----分句

    大家好啊,苔苔是英专二年级生,苦于自己的语法知识匮乏,经常做错题,也不会分析课文难句成分,更别提自己写长难句...

  • 中文分句

    在NLP相关任务中, 有些预处理可能需要将文本按句子划分。于是在网上搜了一些别人写好的代码片段,但是在使用的过程中...

  • Embedding+抽取式摘要

    1)对于某个文档进行分句 2)对于每个分句使用Word2Vec等工具进行向量化(Word Embedding), ...

网友评论

      本文标题:Python分句

      本文链接:https://www.haomeiwen.com/subject/usrxlftx.html