美文网首页
PHP 对中文进行分词的两种方法

PHP 对中文进行分词的两种方法

作者: 达莎雕 | 来源:发表于2019-06-02 20:27 被阅读0次
  • 第一种方法:使用 PHPAnalysis

  • 第二种方法:安装扩展之结巴

    • 结巴是一个php拓展,使用过程中需要自己编译安装拓展,遇到的问题是在编译安装拓展的时候要使用 phpize ,这个是个什么东西...看看官方怎么说的:Installation of PECL extensions,原来phpize命令是用来为PHP扩展准备构建环境。明白是什么了,那么问题来了。。。官方没有说明是要怎么安装的,其实很简单,只要执行 apt install php7.0-dev 就搞定啦,不过要重新启动 php7.0-fpm 才可以生效咧。

    • 然后按着github上的说明完成配置 结巴中文分词之php扩展
      [结巴中文分词之php扩展,适用php5,php7] ,完成之后就可以愉快的玩耍啦~~

    git clone https://github.com/jonnywang/phpjieba.git
    cd phpjieba/cjieba
    make
    
    cd ..
    phpize
    ./configure
    make
    make install
    

    然后在php.ini中添加

    extension=jieba.so
    jieba.enable=1
    jieba.dict_path=/opt/phpjieba/cjieba/dict (这是我编译时的文件路径,你需要换成你自己的)
    
    • 安装完之后的使用可以说是相当简单了,想要分词的时候只要结巴一下就好了:
    <?php
    $result = jieba('结巴一下,就可以用了!', 0);
    print_r($result);
    // Array ( [0] => 用了 [1] => 结巴 [2] => 一下 )
    
    $result = jieba('结巴一下,就可以用了!', 1);
    print_r($result);
    //Array ( [0] => 结巴 [1] => 一下 [2] => , [3] => 就 [4] => 可以 [5] => 用了 [6] => ! )
    
    $result = jieba('结巴一下,就可以用了!', 2);
    print_r($result);
    // Array ( [结巴] => n [一下] => m [,] => x [就] => d [可以] => c [用了] => x [!] => x )
    
    $result = jieba('结巴一下,就可以用了!');
    print_r($result);
    // Array ( [0] => 用了 [1] => 结巴 [2] => 一下 )
    
    • jieba 的时候可以传入两个参数,第一个参数是 string 类型的,一个中文的字符串,第二个参数是选择结巴的类型,有三个参数可以选, 0、1、2,其中 0 是提取关键字,1 是切字分词, 2 是获取词性标注。
      可以看出默认的时候是进行提取关键词的操作。

    • 缺点

      • 会降低php的性能,可以明显感觉到第一次配置好拓展之后开启 PHP-FPM 的速度会慢很多。不过不影响之后使用的性能。
      • 因为加载的字典文件过大,从而占用过多,可能会造成php-fpm进程被迫中止,需要添加swap交换内存。附上添加swap内存的方法。这里添加的是1G的内存(count=1024)
      /bin/dd if=/dev/zero of=/var/swap.1 bs=1M count=1024
      /sbin/mkswap /var/swap.1
      /sbin/swapon /var/swap.1
      

相关文章

  • PHP 对中文进行分词的两种方法

    第一种方法:使用 PHPAnalysis 第二种方法:安装扩展之结巴结巴是一个php拓展,使用过程中需要自己编译安...

  • elasticsearch 中文ik分词器的安装使用

    一、ik中文分词器的安装,两种方法: 到官网下载没有编译的版本自己编译好了进行安装。官方地址:https://gi...

  • 中文分词+php

    可用api:http://www.xunsearch.com/scws/api.php(SCWS) http://...

  • 分词系统评测

    1.11款开放中文分词引擎大比拼 2.常用的开源中文分词工具 3.11大Java开源中文分词器的使用方法和分词效果...

  • elasticsearch和analysis-ik的安装使用

    全文搜索和中文分词主要介绍了两组全文搜索加中文分词方案;TNTSearch+jieba-php这套组合对于博客这类...

  • 关于python中jieba第三方库的使用

    jieba库是优秀的中文分词第三方库。 通过 进行安装。 jieba中文分词的原理:通过中文词库的方式来识别分词。...

  • Elasticsearch集成ik分词器

    集群安装ik分词器 对中文进行分词 ik分词器和es版本有严格要求 参考资料 elasticsearch集成ik分...

  • 中文分词库——jieba

    jieba库的分词原理是利用一个中文词库,将待分词的内容与分词词库进行比对,通过图结构和动态规划方法找到最大概率的...

  • 机器学习学习笔记(1)

    1. 分词方法 中文分词方法可以分为以下几种:1) 基于统计的分词方法 基于统计的分词法的基本原理是根据字符串在语...

  • 中文分词方法

    中文分词是中文自然语言处理的基础,现代语言分析处理算法基本是以词为单位进行计算的。 1、词典匹配 词典匹配是分词最...

网友评论

      本文标题:PHP 对中文进行分词的两种方法

      本文链接:https://www.haomeiwen.com/subject/blkfxctx.html