不忘初心,砥砺前行 ——菜牛
Apache Phoenix在Hadoop中为低延迟应用程序支持OLTP和操作分析。
- 具有全ACID事务功能的标准SQL和JDBC api的强大功能(注:ACID指数据库事务正确执行的四个基本要素的缩写。包含:原子性、一致性、隔离性、持久性 )
- 通过利用HBase作为它的备份存储,可以灵活地使用NoSQL世界中的延迟绑定、模式读取功能
Phoenix是HBase的开源SQL应用层。您可以使用标准的JDBC api而不是常规的HBase客户机api来创建表、插入数据和查询HBase数据。
一、如何安装
安装环境:centos7
1、下载解压安装
下载地址http://phoenix.apache.org/download.html
选择相应hbase的版本下载 image.png
解压安装
wget http://mirror.bit.edu.cn/apache/phoenix/apache-phoenix-4.14.1-HBase-1.1/bin/apache-phoenix-4.14.1-HBase-1.1-bin.tar.gz
tar xvf apache-phoenix-4.14.1-HBase-1.1-bin.tar.gz -C /opt/
ln -s /opt/apache-phoenix-4.14.1-HBase-1.1-bin/ /opt/apps/phoenix
忽视
tar: Ignoring unknown extended header keyword `SCHILY.dev'
tar: Ignoring unknown extended header keyword `SCHILY.ino'
tar: Ignoring unknown extended header keyword `SCHILY.nlink'
2、添加 phoenix-[version]-server.jar 到所有master和regionserver的lib/下,并重启hbase
scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data4:/opt/apps/hbase/lib/
scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data5:/opt/apps/hbase/lib/
scp -r /opt/apps/phoenix/phoenix-4.14.1-HBase-1.1-server.jar root@hdc-data6:/opt/apps/hbase/lib/
3、启动phoenix
cd /opt/apps/phoenix/bin/
./sqlline.py hdc-data4,hdc-data5,hdc-data6:2181
image.png
自动生成Phoenix系统表
image.png
phoenix语法:http://phoenix.apache.org/language/index.html
3.1测试实例
- 创建hbase测试表及插入测试数据,在hbase shell下进行
create 'test','cf1', 'cf2'
put 'test', 'key1','cf1:name','zhangsan'
put 'test', 'key1','cf1:sex','男'
put 'test', 'key1','cf1:age','20'
put 'test', 'key1','cf2:address','beijing'
put 'test', 'key2','cf1:name','lisi'
put 'test', 'key2','cf1:sex','男'
put 'test', 'key2','cf1:age','21'
put 'test', 'key2','cf2:address','tianjin'
put 'test', 'key3','cf1:name','wangwu'
put 'test', 'key3','cf1:sex','女'
put 'test', 'key3','cf1:age','19'
put 'test', 'key3','cf2:address','guangdong'
image.png
- phoenix shell下创建view映射hbase表
注意:无论列名还是表名有大小写区分,若为小写需要用双引号,否则默认转大写。
这里就不阐述创建table或view映射hbase的区别了。另外hbase和phoenix的数据类型映射比较苛刻,比如实例中的age若创建成INTEGER会报错,因为INTEGER要求是4byte的二进制,二age的值序列化的时候只有2byte。
具体数据类型参考 http://phoenix.apache.org/language/datatypes.html
CREATE view "test" (
"ROW" VARCHAR primary key,
"cf1"."name" VARCHAR,
"cf1"."sex" VARCHAR,
"cf1"."age" VARCHAR,
"cf2"."address" VARCHAR
);
select * from "test";
select avg(to_number("age")) as avg_age from "test";
结果示例: image.png
image.png
说明:2E+1等于2乘以10的1次方
- 创建表映射hbase,禁用列映射规则(column_encoded_bytes=0),否则查不出数据。
CREATE table "test" (
"ROW" VARCHAR primary key,
"cf1"."name" VARCHAR,
"cf1"."sex" VARCHAR,
"cf1"."age" VARCHAR,
"cf1"."pay" VARCHAR,
"cf1"."ct" VARCHAR
) column_encoded_bytes=0;
4、常见问题(FQA)
http://phoenix.apache.org/faq.html#
Q1:由于升级或旧版本残留导致phoenix无法自动创建表
通过zookeeper客户端删除/hbase/table/SYSTEM* 开头的六张残留表信息,重新启动phoenix即可。
二、安装SQuirrel客户端
SQuirreL SQL客户端是一个图形化的Java程序,它允许您查看JDBC兼容数据库的结构、浏览表中的数据、发出SQL命令等等。
1、下载安装
官网下载:http://squirrel-sql.sourceforge.net/#overview
选择安装Windows环境下的 SQuirrel客户端 image.png
SQuirreL 客户端是基于java安装,基于这个前提当前操作系统需要安装java环境。
在cmd命令行进入squirrel-sql-<version>-install.jar存放目录。执行以下命令
java -jar squirrel-sql-3.9.0-install.jar
image.png
image.png
修改安装路径 image.png
image.png
选择需要的插件,phoenix支持兼容jdbc连接的数据库,通过以下截图可以看出支持的数据库列表。可以选择你想要安装的数据库,全部安装也不费事,所以我选择了安装所有的,然后等待安装完成 image.png image.png image.png image.png
安装完成 image.png
下一步直接默认,完成 image.png
2、配置Squirrel客户端
step1: 添加phoenix服务器安装目录下的phoenix-[version]-client.jar(即phoenix-4.14.1-HBase-1.1-client.jar)到squirrel-sql安装目录lib/下
step2: 添加驱动如下图所示
image.png
说明:
1、选择“驱动程序”添加新的驱动程序
2、填写驱动程序名称:Phoenix
3、填写驱动地址示例:jdbc:phoenix:zk1host,zk2host,zk3host:2181 ,hbase通过zookeeper连接
4、填写驱动类名:org.apache.phoenix.jdbc.PhoenixDriver
5、确定完成
image.png
3、创建连接
注意!!!
必须在 C:\Windows\System32\drivers\etc\hosts中配置ip和服务器主机名映射,且zookeeper主机IP映射的主机名一定要和服务器主机名配置的一样,否则以下步骤就会连接不成功。
image.png
说明:
1、创建好驱动后,选择别名新建连接
2、点击+号新建
3、填写连接名字(自定义),选择驱动程序Phoenix,填写地址jdbc:phoenix:hdc-data1,hdc-data2,hdc-data3:2181,有户名密码为Phoenix服务器的登录用户和密码,可以不填留空。
4、选择自动登录,然后点击测试
5、显示连接成功,若还出现问题。进行排查或者度娘解决
再次提醒,写sql时 列名和表名去区分大小写,若要小写请用双引号括住,否则默认看成大写
image.png
三、Python Driver for Phoenix
Apache Phoenix的Python驱动程序实现了Python DB 2.0 API,通过Phoenix查询服务器访问Phoenix。该驱动程序使用Python 2.7、3.5和3.6进行了测试。
1、首先在Phoenix服务器启动python服务
./bin/queryserver.py
2、安装
way 1: 通过pip安装(方便直接)
pip install phoenixdb
way 2: 从github下载源码手动安装
cd /path/to/python-phoenix-x.y.z/
python setup.py install
3、测试实例
示例代码,注意区分大小写
import phoenixdb
with phoenixdb.connect('http://hdc-data4:8765/', autocommit=True) as connection:
with connection.cursor() as cursor:
cursor.execute("DROP TABLE IF EXISTS test")
cursor.execute("CREATE TABLE test (id INTEGER PRIMARY KEY, text VARCHAR)")
cursor.executemany("UPSERT INTO test VALUES (?, ?)", [[1, 'hello'], [2, 'world']])
cursor.execute("SELECT * FROM test ORDER BY id")
for row in cursor:
print(row)
image.png
image.png
网友评论