美文网首页后端java
【phoenix-部署】Phoenix 快速开始(安装与使用)

【phoenix-部署】Phoenix 快速开始(安装与使用)

作者: 粮忆雨 | 来源:发表于2018-11-26 11:58 被阅读176次

    不忘初心,砥砺前行 ——菜牛

    Apache Phoenix在Hadoop中为低延迟应用程序支持OLTP和操作分析。

    • 具有全ACID事务功能的标准SQL和JDBC api的强大功能(注:ACID指数据库事务正确执行的四个基本要素的缩写。包含:原子性、一致性、隔离性、持久性 )
    • 通过利用HBase作为它的备份存储,可以灵活地使用NoSQL世界中的延迟绑定、模式读取功能

    Phoenix是HBase的开源SQL应用层。您可以使用标准的JDBC api而不是常规的HBase客户机api来创建表、插入数据和查询HBase数据。

    一、如何安装

    安装环境:centos7

    1、下载解压安装

    下载地址http://phoenix.apache.org/download.html

    选择相应hbase的版本下载 image.png

    解压安装

    wget http://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-4.14.1-HBase-1.1/bin/apache-phoenix-4.14.1-HBase-1.1-bin.tar.gz
    tar xvf apache-phoenix-4.14.1-HBase-1.1-bin.tar.gz -C /opt/
    ln -s /opt/apache-phoenix-4.14.1-HBase-1.1-bin/ /opt/apps/phoenix
    

    忽视

    tar: Ignoring unknown extended header keyword `SCHILY.dev'
    tar: Ignoring unknown extended header keyword `SCHILY.ino'
    tar: Ignoring unknown extended header keyword `SCHILY.nlink'
    

    2、添加 phoenix-[version]-server.jar 到所有master和regionserver的lib/下,并重启hbase

    scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data4:/opt/apps/hbase/lib/
    scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data5:/opt/apps/hbase/lib/
    scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data6:/opt/apps/hbase/lib/
    

    3、启动phoenix

    cd /opt/apps/phoenix/bin/
    ./sqlline.py hdc-data4,hdc-data5,hdc-data6:2181
    
    image.png

    自动生成Phoenix系统表


    image.png

    phoenix语法:http://phoenix.apache.org/language/index.html

    3.1测试实例
    • 创建hbase测试表及插入测试数据,在hbase shell下进行
    create 'test','cf1', 'cf2' 
    
    put 'test', 'key1','cf1:name','zhangsan'
    put 'test', 'key1','cf1:sex','男'
    put 'test', 'key1','cf1:age','20'
    put 'test', 'key1','cf2:address','beijing'
    
    put 'test', 'key2','cf1:name','lisi'
    put 'test', 'key2','cf1:sex','男'
    put 'test', 'key2','cf1:age','21'
    put 'test', 'key2','cf2:address','tianjin'
    
    put 'test', 'key3','cf1:name','wangwu'
    put 'test', 'key3','cf1:sex','女'
    put 'test', 'key3','cf1:age','19'
    put 'test', 'key3','cf2:address','guangdong'
    
    image.png
    • phoenix shell下创建view映射hbase表

    注意:无论列名还是表名有大小写区分,若为小写需要用双引号,否则默认转大写。
    这里就不阐述创建table或view映射hbase的区别了。另外hbase和phoenix的数据类型映射比较苛刻,比如实例中的age若创建成INTEGER会报错,因为INTEGER要求是4byte的二进制,二age的值序列化的时候只有2byte。
    具体数据类型参考 http://phoenix.apache.org/language/datatypes.html

    CREATE view "test" (
         "ROW" VARCHAR primary key, 
         "cf1"."name" VARCHAR, 
         "cf1"."sex" VARCHAR, 
         "cf1"."age" VARCHAR, 
         "cf2"."address" VARCHAR       
    );
    
    select * from "test";
    select avg(to_number("age")) as avg_age from "test";
    
    结果示例: image.png
    image.png

    说明:2E+1等于2乘以10的1次方

    • 创建表映射hbase,禁用列映射规则(column_encoded_bytes=0),否则查不出数据。
    CREATE table "test" (
         "ROW" VARCHAR primary key, 
         "cf1"."name" VARCHAR, 
         "cf1"."sex" VARCHAR, 
         "cf1"."age" VARCHAR, 
         "cf1"."pay" VARCHAR, 
         "cf1"."ct" VARCHAR 
    ) column_encoded_bytes=0;
    

    4、常见问题(FQA)

    http://phoenix.apache.org/faq.html#

    Q1:由于升级或旧版本残留导致phoenix无法自动创建表
    通过zookeeper客户端删除/hbase/table/SYSTEM* 开头的六张残留表信息,重新启动phoenix即可。

    二、安装SQuirrel客户端

    SQuirreL SQL客户端是一个图形化的Java程序,它允许您查看JDBC兼容数据库的结构、浏览表中的数据、发出SQL命令等等。

    1、下载安装

    官网下载:http://squirrel-sql.sourceforge.net/#overview

    选择安装Windows环境下的 SQuirrel客户端 image.png

    SQuirreL 客户端是基于java安装,基于这个前提当前操作系统需要安装java环境。
    在cmd命令行进入squirrel-sql-<version>-install.jar存放目录。执行以下命令

    java -jar squirrel-sql-3.9.0-install.jar
    
    image.png
    image.png
    修改安装路径 image.png
    image.png
    选择需要的插件,phoenix支持兼容jdbc连接的数据库,通过以下截图可以看出支持的数据库列表。可以选择你想要安装的数据库,全部安装也不费事,所以我选择了安装所有的,然后等待安装完成 image.png image.png image.png image.png
    安装完成 image.png
    下一步直接默认,完成 image.png

    2、配置Squirrel客户端

    step1: 添加phoenix服务器安装目录下的phoenix-[version]-client.jar(即phoenix-4.14.1-HBase-1.1-client.jar)到squirrel-sql安装目录lib/下
    step2: 添加驱动如下图所示

    image.png

    说明:
    1、选择“驱动程序”添加新的驱动程序
    2、填写驱动程序名称:Phoenix
    3、填写驱动地址示例:jdbc:phoenix:zk1host,zk2host,zk3host:2181 ,hbase通过zookeeper连接
    4、填写驱动类名:org.apache.phoenix.jdbc.PhoenixDriver
    5、确定完成


    image.png

    3、创建连接

    注意!!!
    必须在 C:\Windows\System32\drivers\etc\hosts中配置ip和服务器主机名映射,且zookeeper主机IP映射的主机名一定要和服务器主机名配置的一样,否则以下步骤就会连接不成功。

    image.png

    说明:
    1、创建好驱动后,选择别名新建连接
    2、点击+号新建
    3、填写连接名字(自定义),选择驱动程序Phoenix,填写地址jdbc:phoenix:hdc-data1,hdc-data2,hdc-data3:2181,有户名密码为Phoenix服务器的登录用户和密码,可以不填留空。
    4、选择自动登录,然后点击测试
    5、显示连接成功,若还出现问题。进行排查或者度娘解决

    再次提醒,写sql时 列名和表名去区分大小写,若要小写请用双引号括住,否则默认看成大写

    image.png

    三、Python Driver for Phoenix

    Apache Phoenix的Python驱动程序实现了Python DB 2.0 API,通过Phoenix查询服务器访问Phoenix。该驱动程序使用Python 2.7、3.5和3.6进行了测试。

    1、首先在Phoenix服务器启动python服务

    ./bin/queryserver.py
    

    2、安装

    way 1: 通过pip安装(方便直接)

    pip install phoenixdb
    

    way 2: 从github下载源码手动安装

    cd /path/to/python-phoenix-x.y.z/
    python setup.py install
    

    3、测试实例

    示例代码,注意区分大小写

    import phoenixdb
    
    with phoenixdb.connect('http://hdc-data4:8765/', autocommit=True) as connection:
        with connection.cursor() as cursor:
            cursor.execute("DROP TABLE IF EXISTS test")
            cursor.execute("CREATE TABLE test (id INTEGER PRIMARY KEY, text VARCHAR)")
            cursor.executemany("UPSERT INTO test VALUES (?, ?)", [[1, 'hello'], [2, 'world']])
            cursor.execute("SELECT * FROM test ORDER BY id")
            for row in cursor:
                print(row)
    
    
    image.png
    image.png

    相关文章

      网友评论

        本文标题:【phoenix-部署】Phoenix 快速开始(安装与使用)

        本文链接:https://www.haomeiwen.com/subject/mufrqqtx.html