美文网首页知识图谱
D2RQ sql数据转RDF效率慢问题解决

D2RQ sql数据转RDF效率慢问题解决

作者: 18587a1108f1 | 来源:发表于2018-04-11 10:51 被阅读72次

问题描述

今天使用D2RQ对采集的大量级sql数据进行RDF转化时,出现效率较慢问题。


代码示例
.\dump_rdf.bat -o professor_rdf.nt --verbose .\professor_mapping.ttl

使用D2RQ中的 dump-rdf.bat命令工具转化时,添加 --verbose 参数,来观察转化日志,发现会卡在所构建的大数据视图转RDF时。查阅未果,尝试发现问题是由于构建视图所引起,如果不采用视图进行转化导入,可以快速实现RDF转化,与数据量级无关,与 数据库中使用视图 有关。

解决方法

视图转表:

CREATE TABLE table_name as SELECT * from view_name

视图转表效率一般,请耐心等待,但从数据源调整,可以解决转化慢的问题。

最近较忙,之后有空会详细整理知识图谱相关概念内容、工具应用和遇到的坑。

相关文章

  • D2RQ sql数据转RDF效率慢问题解决

    问题描述 今天使用D2RQ对采集的大量级sql数据进行RDF转化时,出现效率较慢问题。 使用D2RQ中的 dump...

  • MySQL慢日志全解析

    前言: 慢日志在日常数据库运维中经常会用到,我们可以通过查看慢日志来获得效率较差的 SQL ,然后可以进行 SQL...

  • 【MySQL】使用pt-query-digest分析MySQL慢

    "某些SQL语句执行效率慢",这个问题总体上分为两类: 出现了慢查询语句 某些查询语句没有使用索引 由于数据的写入...

  • MySQL优化----SQL语句和索引优化

    sql及索引优化 如何发现有问题的sql? 使用Mysql的慢查询日志对有效率问题的SQL进行监控 慢查询日志所包...

  • MySQL 索引——定位并优化慢 SQL

    为什么要学习定位并优化慢查询 SQL 日常开发中,在数据量比较小的表中,SQL 的执行效率可能没什么问题,但是随着...

  • 2018-02-06 技术笔记

    开启mysql慢查询日志 介绍开启慢查询,可以查看超过指定时间执行的SQL语句,有目标的优化SQL查询效率。 参数...

  • 大快搜索城市运河大数据政务管理平台案例解读

    大数据在政务当中的应用对于提高问题解决的效率可谓大有帮助,但政务大数据平台的应用开发远不止提高问题解决效率这么简单...

  • 十、慢查询日志设置

    如何发现有问题的sql;使用mysql慢查询日子对有效率问题sql进行监控 是否开始慢查询日志; show var...

  • MySQL表归档(冷备)方案

    相信好多公司都会抓系统的慢sql,慢sql会导致数据库的压力大,拖慢接口的查 询速率。解决慢sql主要有三种方式:...

  • 【笔记】SPARQL学习

    资料来源于:关联数据公众号 SPARQL,是为RDF开发的一种查询语言和数据获取协议。可用于查询RDF数据、通过H...

网友评论

    本文标题:D2RQ sql数据转RDF效率慢问题解决

    本文链接:https://www.haomeiwen.com/subject/barahftx.html