美文网首页Python连接es
Python连接es笔记一之连接与查询es

Python连接es笔记一之连接与查询es

作者: vv安的浅唱 | 来源:发表于2023-04-24 20:35 被阅读0次

原文链接:Python连接es笔记一之连接与查询es

有几种方式在 Python 中配置与 es 的连接,最简单最有用的方法就是定义一个默认的连接,如果系统不是需要访问多个集群,最建议的方式就是使用 create_connection 方法创建连接,然后所有的操作都会自动使用这个连接。

以下是本篇笔记目录:

  1. 安装依赖
  2. 连接
  3. Search 查询
  4. Response 返回结果详解

1、安装依赖

我们使用的依赖名称为 elasticsearch_dsl,我们这里使用的 es 版本是 7.2.0,所以安装方式如下:

pip3 install elasticsearch_dsl==7.2.0

2、连接

默认连接方式

我们可以通过下面的方式来连接 es:

from elasticsearch_dsl import connections

connections.create_connection(hosts=["localhost"], timeout=20)

或者我们也可以加一个 alias,用作连接的别名,在后面可以很方便的用上:

from elasticsearch_dsl import connections

connections.create_connection(alias="new_conn", hosts=["localhost"], timeout=20)

多集群连接

如果我们想同时连接多个集群,可以使用 configure 方法:

connections.configure(
    default={"hosts": "localhost"},
    dev={
        "hosts": ["example.com:9200"],
        "sniff_on_start": True,
    }
)

使用别名

当使用多个连接的时候,我们可以使用别名,也就是前面的 alias 参数来指代连接:

s = Search(using="default")

3、Search 查询

接下来介绍下如何在 Python 中查询 es 数据。

注意下,当我们安装 elasticsearch_dsl 依赖的时候,系统会自动为我们安装 elasticsearch 模块,我们可以直接引用。

我们默认前面已经设置好了全局的 es 连接,之后的操作都基于这个连接:

from elasticsearch_dsl import connections
connections.configure(
    default={"hosts": "localhost:9200"},
)

我们来执行一下查询和打印操作:

response = Search(using="default").query("match", name="张三丰").execute()
print(response)

可以看到 response 就打印出了我们在之前往 es 的 exam 这个 index 中写入的数据:

<Response: [<Hit(exam/16): {'name': '张三丰', 'address': '一个苹果'}>]>

我们先来介绍下执行查询的操作。

链式操作

这个查询的 API 是链式操作,可以允许你链接多个操作,比如我们前面的 Search() 后直接跟了 query() 方法,然后直接 execute()。

我们分开执行也是可以的:

s = Search(using="default")
s = s.query("match", name="张三丰")
response = s.execute()

指定 index

在上面的 Search() 方法里,我们通过 using 指定了连接,但是没有指定 index,那么就默认搜索的是该连接的全部 index,我们可以通过 index() 函数指定 index,也可以向 Search() 中添加 index 参数来指定 index。

s = Search(using="default", index="exam").query("match", name="张三丰")
response = s.execute()

s = Search(using="default").index("exam").query("match", name="张三丰")
response = s.execute()

转换 es 查询语句

如果我们想要查看执行的语句转换成的 es 的语句,可以使用 to_dict() 方法:

s = Search(using="default", index="exam").query("match", name="张三丰")
print(s.to_dict())

# {'query': {'match': {'name': '张三丰'}}}

删除语句

前面介绍了 s = Search().query() 的 execute() 是执行,获取返回结果,to_dict() 是转换成 es 语句,如果是需要删除查询的数据,可以如下操作:

s = Search(using="default").index("exam").query("match", name="张三丰")
s.delete()

4、Response 返回结果详解

为了详细查看 response 中的详细情况,我们可以在 Python 的 shell 中挨个执行下面的命令,获得 response 对象,然后再操作 response,当然,前面记得创建 es 的连接:

>>> s = Search(using="default").index("exam").query("match", name="张三丰")
>>> response = s.execute()

对于 response,本身我们可以使用 Python 中的列表的形式来访问它,来获取它的数据,比如执行 print(response[0]) 可以看到这条数据本身的信息:

>>> print(response[1])
# <Hit(exam/24): {'name': '张三丰', 'address': '中国湖北省', 'age': 22}>

如果我们查看 type(response) 可以发现它来源于 <class 'elasticsearch_dsl.response.Response'> 定义了一个 iter() 方法,所以我们可以对这个对象使用迭代方法。

在这个方法内部它迭代的其实是 response.hits 属性,也就是我们 es 查询返回的数据。

所以我们执行 response[0] 和 response.hits[0] 是等效操作。

获取总数

因为我们上面的查询操作没有设置 size,所以默认最多返回的是 10 条数据,但如果我们想要获取符合我们查询条件的总数,我们可以这样获取:

count = response.hits.total.value

单条数据详情

上面介绍了我们可以通过 response[0] 获得单条数据,对于单条数据,我们还可以获取更多的详情信息。

hit = response.hits[0]

如果我们想一次性获取返回的数据的各个字段及相应的值,我们可以使用 to_dict() 方法:

hit.to_dict()

# {'name': '张三丰', 'address': '中国', 'age': 21}

获取单个值,比如 name,也可以直接:

print(hit.name)

也可以获取数据的 meta 信息,其中包含了这条数据所在的 index,id,匹配分值 score 等:

hit.meta

# {'index': 'exam', 'id': '23', 'score': 0.4700036, 'doc_type'...}

相关文章

  • ES连接查询

    第三方客户端kaizen,挺好用的 下载传送门https://www.elastic-kaizen.com/ 按照...

  • 连接es

    web端连接es 通过安装head插件,可以通过地址http://localhost:9200/_plugin/h...

  • python对es基础的增删改查

    安装API python对索引进行操作 建立es连接 创建索引 删除索引 判断索引存在 对索引加入mapping ...

  • ES查询相关

    ES查询相关 查询所有数据、搜索所有数据 或者 term与terms 查询name="python"的所有数据 t...

  • Linux查看某个端口的连接数

    查看哪些IP连接本机 查看TCP连接数 统计80端口连接数 统计httpd协议连接数 统计已连接上的,状态为“es...

  • SQL语句常用命令整理---多表查询

    多表查詢之关连查询 多表数据连接查询,简称连接查询。本篇我们来一同学习多表连接查询的相关用法,主要內容有: 内连接...

  • es问题及解决方案

    1. es客户端不能连接es集群 1.1 问题原因: 2. es用一段时间就会变得缓慢 2.1 问题原因:可能是e...

  • Transport Client 访问 es 常见问题

    es 连接出错,错误信息如下: [None of the configured nodes are availab...

  • ElasticSearch 7.x 聚合查询

    聚合查询 |ES 的聚合查询和MyQL的聚合查询类型,ES 的聚合查询相比MySQL 要强大的多,ES提供的统计数...

  • python操作mysql数据库的三种方式

    1、pymysql (1)连接 (2)查询 2、mysql-connector-python (1)连接 (2)查...

网友评论

    本文标题:Python连接es笔记一之连接与查询es

    本文链接:https://www.haomeiwen.com/subject/rsoljdtx.html