美文网首页
开放域知识抽取工具OpenIE5.0配置使用

开放域知识抽取工具OpenIE5.0配置使用

作者: 冰镇果汁加点糖 | 来源:发表于2018-05-08 10:20 被阅读0次

    2018-05-07

    安装配置

    使用OpenIE5.0作为开放域知识抽取工具。网站:http://openie.allenai.org/

    building

    从github上下载OpenIE5.0
    创建与src同层的文件夹lib、data
    下载BONIE并放入lib文件夹
    下载ListExtractor并放入lib文件夹
    下载 Berkeley Language Model并放入data文件夹
    openie使用openjdk-7和sbt构建系统 使用命令sbt compile 完成系统构建

    running

    1.通过sbt运行
    sbt 'run-main edu.knowitall.openie.OpenIECli'
    2.作为独立jar包运行
    sbt clean compile assembly 可能需要加上内存选项sbt -J-Xmx10000M clean compile assembly
    成功后会在生成OpenIE-standalone/target/scala-2.10/openie-assembly-5.0-SNAPSHOT.jar文件,将其拷贝至WordNet文件夹同级目录后运行
    java -jar openie-assembly-5.0-SNAPSHOT.jar可能需要加上内存选项java -Xmx10g -XX:+UseConcMarkSweepGC -jar openie-assembly-5.0-SNAPSHOT.jar

    以上所有内容包含于项目github中 README文件。

    遇到问题

    1.sbt下载jar文件过慢
    解决方法:为sbt指定国内源
    在.sbt目录中建立repositories文件,文件内容为源配置
    我用的是:

    [repositories]
    #local
    public: http://maven.aliyun.com/nexus/content/groups/public/
    typesafe:http://dl.bintray.com/typesafe/ivy-releases/ , [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/artifact.[ext], bootOnly
    ivy-sbt-plugin:http://dl.bintray.com/sbt/sbt-plugin-releases/, [organization]/[module]/(scala_[scalaVersion]/)(sbt_[sbtVersion]/)[revision]/[type]s/artifact.[ext]


    sbt安装

    echo "deb https://dl.bintray.com/sbt/debian /" | sudo tee -a /etc/apt/sources.list.d/sbt.list
    sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 2EE0EA64E40A89B84B2DF73499E82A75642AC823
    sudo apt-get update
    sudo apt-get install sbt
    
    

    2.无法分配内存错误

    Java HotSpot(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x000000065a849000, 1016340480, 0) failed; error='无法分配内存' (errno=12)

    已经加了内存选项,可是依然无法分配内存


    查看内存.png

    因为自认为已经加了内存选项而昏了头,为解决这个问题查了几乎一整天~~~~最终确定,根本上还是内存不足的原因
    解决方法

    • 最简单的当然是增加物理内存
    • 条件限制无法直接增加物理内存,那就增加Swap空间
    sudo dd if=/dev/zero of=/home/swap bs=1024 count=10240000
    sudo mkswap /home/swap
    sudo swapon /home/swap
    
    增加swap后.png

    相关文章

      网友评论

          本文标题:开放域知识抽取工具OpenIE5.0配置使用

          本文链接:https://www.haomeiwen.com/subject/cclvrftx.html