美文网首页
hbase使用scan查询数据-指定时间范围和查询条数

hbase使用scan查询数据-指定时间范围和查询条数

作者: 彩色的炮灰 | 来源:发表于2024-08-06 14:23 被阅读0次

1、查看hbase数据,可以使用hbase shell。

2、登录阿里云服务器:xxxxxxxxxx

  • 进入目录:/mnt/hbase
  • 创建文件:test.py

3、脚本内容:vim test.py

import happybase    #导入包
import datetime     #导入包
 
# 连接HBase集群
connection = happybase.Connection('hb-xxxxxxxxxx.hbase.rds.aliyuncs.com', port=xxxx, timeout=120000 )
table = connection.table('xxxxxxxx')
 
# 读取前10条数据
limit = 10    #一定要提前设置变量,如果这里不配置,在for循坏里直接写数值不生效。
 
# 格式化时间
start_date = datetime.datetime(2024, 6, 20)
end_date = datetime.datetime(2024, 6, 30)
 
start_date_str = start_date.strftime('%Y-%m-%d %H:%M:%S')
end_date_str = end_date.strftime('%Y-%m-%d %H:%M:%S')
 
# for循坏
for key, data in table.scan(
        filter=f"SingleColumnValueFilter('xxxx', 'creationTime', >=, 'binary:{start_date_str}') AND SingleColumnValueFilter('xxxx', 'creationTime', <=, 'binary:{end_date_str}')",
        limit=limit    #这里一定要注意,必须是引用变量
        ):
    print(key, data)    #打印
 
# 关闭连接
connection.close()

4、执行脚本:python test.py

  • 可以看到对应时间的数据


    image.png

5、如、重新编写时间,写一个没有数据的时间,提示如下:

  • 这里其实是没有数据引起的。


    image.png

相关文章

  • 尚硅谷大数据技术之电信客服

    3.2.3 数据查询方式一 使用scan查看HBase中是否正确存储了数据,同时尝试使用过滤器查询扫描指定通话时间...

  • Sqlite封装9 - 查询模型

    拼接sql语句,查询 SqliteModelTool: 查询指定表的所有数据(N条数据) 根据某个字段在某个范围的...

  • 千万级数据查询:CK、ES、RediSearch怎么选?

    目录 前言 初版设计方案 CK 分页查询 使用ES Scroll Scan 优化深翻页 ES+Hbase 组合查询...

  • 【Go】sqlx操作

    sqlx使用指南 安装sqlx 基本使用 连接数据库 查询 查询单条数据 查询多条数据 插入、更新和删除 sqlx...

  • springboot+mybatis+phoenix的使用

    场景:使用phoenix查询hbase中的数据,解决hbase繁琐的api查询及分页查询很不方便,使用phoeni...

  • HBase学习笔记(二)

    HBase优化相关 HBase查询优化 1、设置scan缓存 scanner.SetCaching(10000) ...

  • python连接mysql

    一:安装mysql依赖包 二:日常使用 连接数据库,并设置游标: 查询多条数据: 查单条数据: 插入数据 指定列插...

  • es track_total_hits = true

    es7.x 版本默认最多只能查询10000 条数据。如果需要一次查询出大于10000 的条数据,需要指定 trac...

  • java mysql jdbcTemplate 使用

    1.查询数量、ID int类型数据 2.查询单条数据单个字段信息 3.查询单条数据 4.多条数据查询

  • Android SQLite 使用总结

    1.获取SQLiteOpenHelper 2.查询语句 查询多条数据 示例: 查询单条数据 示例: 模糊查询参考链...

网友评论

      本文标题:hbase使用scan查询数据-指定时间范围和查询条数

      本文链接:https://www.haomeiwen.com/subject/ewwfkjtx.html