美文网首页区块链技术指北
EOS 区块链数据实时异构到 MySQL

EOS 区块链数据实时异构到 MySQL

作者: 67d6d78f0332 | 来源:发表于2018-07-07 15:27 被阅读29次

    文/温国兵

    这是「区块链技术指北」的第 33 篇文章。

    如果对我感兴趣,想和我交流,我的微信号:Wentasy,加我时简单介绍下自己,并注明来自「区块链技术指北」。同时我会把你拉入微信群「区块链技术指北」。BTW,李笑来老师也加入了我们的知识星球,文末有加入方式。

    image

    题图来自: © ChainONE / Original / chainone.xyz

    0x00 背景


    早在 6 月 7 日,kesarEOSIO 提交了一个编号为 #3882 的 PR,但直至目前仍处于未合并状态。团队做一些开发需要取 EOS 链上数据,但无法直接从 EOS 区块链中获取。#3882 提供 EOS 链上数据导入 MySQL,可以很方便的读取历史数据。但问题来了,该 PR 未合并,EOSIO 也没有一个 sql_db_plugin 相关的 branch 或 tag,所以无法使用 git 自动合并。

    0x01 解决

    SuperONE 团队将 #3882 提交的内容打包,提交了个一个 repo,链接如下:

    https://github.com/superoneio/eos_sql_db_plugin

    接下来本文将讲解如何将 EOS 链上数据异构到 MySQL。

    0x02 部署

    部署的思路如下:

    • 安装 MySQL 以及 client 库
    • 安装 soci
    • 修改 eos CMakeLists.txt
    • 编译支持 sql_db_plugin 的 nodeos
    • 创建数据库,分配用户名
    • 导入 eos 表结构
    • 启动 nodeos,同步主网数据
    • 查看 MySQL,确认数据

    接下来我们逐步讲解。

    如果使用 Ubuntu,安装 MySQL 可以快速使用 apt-get 安装,笔者建议使用源码编译。

    如果使用源码编译,mysql-client 相关库已经存在。如果使用 apt-get 或者 yum 安装 mysql-sever,需要执行如下命令安装 mysql-client,命令如下:

    $ apt-get -y install mysql-client
    

    接下来我们安装 soci。soci 是 C++ 连接 MySQL 的 Library。Ubuntu 可以快速安装,命令如下:

    $ apt-get -y install libsoci-dev
    

    当然,我们还可以源码编译,步骤如下:[1]

    $ git clone clone https://github.com/SOCI/soci.git
    $ cd soci && mkdir build && cd build
    $ cmake -DWITH_BOOST=ON -WITH_MYSQL=ON -MYSQL_INCLUDE_DIR=/usr/local/mysql/include -MYSQL_LIBRARIES=/usr/local/mysql/lib/libmysqlclient.a /data/tmp/robin/soci
    $ make
    $ make install
    

    当然 -MYSQL_INCLUDE_DIR-MYSQL_LIBRARIES 根据实际路径更改。[2]

    接下来我们需要 clone eos 代码,命令如下:

    $ cd /data
    $ git clone https://github.com/EOSIO/eos --recursive
    $ cd /data/eos
    # 如果不想用 master 分支代码,可以使用 git checkout v1.0.8 使用其他分支
    $ git submodule update –init –recursive
    

    然后更改 CMakeLists.txt,总共有两个 CMakeLists.txt 需要更改。

    • eos/plugins/CMakeLists.txt
    • eos/programs/nodeos/CMakeLists.txt

    在 eos/plugins/CMakeLists.txt 添加如下行:

    add_subdirectory(sql_db_plugin)

    在 eos/programs/nodeos/CMakeLists.txt 添加如下内容:

    // 如果以下内容已经取消注释,可以忽略。
    if(TARGET sql_db_plugin)
        target_link_libraries( nodeos PRIVATE -Wl,${whole_archive_flag} sql_db_plugin -Wl,${no_whole_archive_flag} )
       endif()
    

    接着将 SuperONE 团队合并的 sql_db_plugin 合并到 EOS 代码中。

    $ cd /data
    $ git clone https://github.com/superoneio/eos_sql_db_plugin
    \cp -rv /data/eos_sql_db_plugin/sql_db_plugin/* /data/eos/plugins/sql_db_plugin
    

    接下来编译支持 sql_db_plugin 的 nodeos。

    $ cd /data/eos
    $ ./eosio_build.sh
    

    待 nodeos 编译完成之后,我们执行如下命令确认是否编译成功。

    $ /data/eos/build/programs/nodeos/nodeos --help | grep "sql_db-uri"
    

    如果输出如下内容,证明编译成功。

    --sql_db-uri arg Sql DB URI connection string If not

    接下来在 MySQL 里创建数据库以及分配账号,SQL 如下:

    CREATE DATABASE eos DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;
    GRANT ALL PRIVILEGES ON eos.* TO app_eos@'%' IDENTIFIED BY 'YOURPASS';
    GRANT ALL PRIVILEGES ON eos.* TO app_eos@'127.0.0.1' IDENTIFIED BY 'YOURPASS';
    

    然后我们导入 EOS 数据库表结构,如不想手动导入,可以在启动 nodeos 的时候添加 sql_db-block-start=0 参数,该参数为 0 时会在数据库中创建表。表结构可以在点击 此处 下载。

    接着我们启动 nodeos,主网 fullnode 相关的配置文件可以访问如下链接下载:

    https://github.com/superoneio/eos-mainnet

    启动 fullnode 相关命令如下:

    $ mkdir /data/mainnet
    $ cd /data/mainnet
    $ git clone https://github.com/superoneio/eos-mainnet
    $ mkdir -p data logs config
    $ cp eos-mainnet/config.ini mainnet/config
    $ cp eos-mainnet/genesis.json mainnet
    $ cp eos-mainnet/*.sh mainnet
    $ chmod +x mainnet
    

    修改 config.ini 相关配置以及 start.sh 脚本,sql_db-uri 格式如下:

    sql_db-uri="mysql://db=YOURDB user=YOURUSER host=127.0.0.1 password='YOURPASS'

    sql_db-uri 参数中的 YOURUSER 表示连接 EOS 区块链数据库的用户名,YOURPASS 表示连接 EOS 区块链数据库的用户密码,YOURDB 表示 EOS 区块链数据库名字。

    需要注意的是 sql_db-uri 暂时不能写入 config.ini 配置文件,否则将会遇到 Failed to find shared library for backend "mysql 错误。另外,笔者的操作系统是 Ubuntu 16.04.4 LTS。

    最后执行 start.sh,登录 MySQL 数据库就可以查看到相关数据。

    [root@localhost][(none)]> USE eos
    Database changed
    [root@localhost][eos]> SHOW TABLES;
    +------------------+
    | Tables_in_eos    |
    +------------------+
    | accounts         |
    | accounts_keys    |
    | actions          |
    | actions_accounts |
    | blocks           |
    | stakes           |
    | tokens           |
    | transactions     |
    | votes            |
    +------------------+
    9 rows in set (0.02 sec)
    [root@localhost][eos]> SELECT * FROM tokens LIMIT 1 \G
    *************************** 1. row ***************************
    account: eosio
     symbol: EOS
     amount: 995314228.4771
    1 row in set (0.00 sec)
    

    0x03 小结


    目前 #3882 暂未合并,具体原因未从得知。EOS 链上数据和传统的关系型数据库结合,将会大大降低开发者成本。待 #3882 merge 之后,读者将会更便利的使用到这个功能。

    0x04 参考


    「区块链技术指北」同名 知识星球,二维码如下,欢迎加入。BTW,李笑来老师也加入了

    区块链技术指北

    「区块链技术指北」相关资讯渠道:

    「区块链技术指北」同名知识星球,https://t.xiaomiquan.com/ZRbmaU3
    官网,https://chainone.xyz
    官方博客,https://blog.chainone.xyz
    官方社区,https://bcage.one
    Telegram Channel,https://t.me/BlockchainAge
    Telegram Group,https://t.me/bcage
    Twitter,https://twitter.com/bcageone
    Facebook,https://www.facebook.com/chainone.org
    新浪微博,https://weibo.com/BlockchainAge

    同时,本系列文章会在以下渠道同步更新,欢迎关注:

    「区块链技术指北」同名微信公众号(微信号:BlockchainAge)
    官方博客,https://blog.chainone.xyz
    知乎专栏,https://zhuanlan.zhihu.com/robinwen
    简书,https://www.jianshu.com/c/a37698a12ba9
    Steemit,https://steemit.com/@chainone
    Medium,https://medium.com/@chainone.org
    币乎,https://bihu.com/people/345886
    掘金,robinwen@juejin.im

    原创不易,读者可以通过如下途径打赏,虚拟货币、美元、法币均支持。

    BTC: 1HRZ7og2KjqpP3v3jskgueNu64kJrFU8GD
    ERC20 Token: 0x5c8DEB48dC08b5dC60A0290B718690a801509Dd1
    PayPal: https://www.paypal.me/robinwen
    微信打赏二维码

    Wechat

    –EOF–

    版权声明:自由转载-非商用-非衍生-保持署名(创意共享4.0许可证)

    相关文章

      网友评论

        本文标题:EOS 区块链数据实时异构到 MySQL

        本文链接:https://www.haomeiwen.com/subject/kigwuftx.html