es搜索引擎优化,es搜索引擎原理详解

es的查询为什么那么快?

ES查询速度快主要得益于倒排索引、分布式架构、缓存机制等多个技术和机制。倒排索引：是全文搜索核心数据结构，类似书的索引，可快速定位某个词出现在哪些文档中。当文档被索引时，ES会将文档中的每个词进行分词处理，然后将词映射到文档的ID。

数据量大：查询一万条数据要从庞大的数据集中检索并返回结果。数据量庞大，ES要进行大量的计算和遍历，导致查询时间增加。查询复杂度高：查询请求包含复杂的查询条件、聚合操作或排序要求，ES要进行更多的计算和处理，增加查询时间。

ES比MySQL快的最大原因在特定场景下，如多维复杂查询、大数据量、多表关联查询等，ES的查询性能优势尤为明显。多维复杂查询：MySQL的联合索引在很大程度上需要遵循最左前缀原则，这意味着在多维复杂查询的某些场景中，可能需要通过排列组合创建联合索引的方式，才能保证查询操作可以完全命中索引。

ES本身不提供数据权限管理的功能，需要依赖外部系统或中间件来实现。这增加了系统的复杂性和运维成本。综上所述，ES在解决海量数据快速查询、复杂聚合查询和全文检索等方面具有显著优势，但同时也带来了字段类型无法修改、写入性能较低、不支持事务和JOIN操作、硬件资源消耗较高以及数据实时性有一定延迟等问题。

利用倒排索引提升查询效率 倒排索引机制：ES通过建立倒排索引，反转传统的查找方式。它将原始数据进行编号，并对文档进行分词处理，然后将词条与编号进行映射。当用户输入词条进行查询时，ES可以快速匹配词条索引，从而迅速找到对应的文档，极大提高了查询效率。

Elasticsearch查询快是因为使用了倒排索引的技术。倒排索引通过关键词来确定文档的位置，索引库中的词都是按照顺序排列，后期根据一个关键词查询的时候，可以利用类似折半查找的算法，查询效率非常高。 ES几种查询方式的对比 _local：查询操作首先在本地查找，如果本地没有再到其他节点进行查找。

在大数据量下提高查询效率的方法—ES搜索引擎

ES 提升查询效率的核心机制 倒排索引：从“正向查找”到“反向映射”传统数据库通过正向索引（如 B+ 树）逐行匹配关键词，数据量大时效率极低。ES 采用 倒排索引，将关键词与文档关联，实现快速定位。实现步骤：文档编号：对原始数据编号，形成文档列表。

在大数据量下提高查询效率，使用ES搜索引擎的方法主要包括以下几点： 利用倒排索引提升查询效率 倒排索引机制：ES通过建立倒排索引，反转传统的查找方式。它将原始数据进行编号，并对文档进行分词处理，然后将词条与编号进行映射。

ES通过建立倒排索引优化搜索效率。倒排索引将数据以关键词作为索引，用户输入关键词，系统根据索引快速查找匹配记录。首先，对所有数据进行编号，建立文档列表。其次，将文档分词，以词条作为索引，记录包含词条的文档编号。当用户搜索时，系统对输入数据分词，匹配倒排索引中的词条，获取包含词条的文档编号。

增加内存分配：ES的搜索引擎高度依赖于底层的filesystem cache。为了提高查询性能，应尽可能为filesystem cache分配更多的内存。理想情况下，机器的内存应至少能够容纳总数据量的一半，以确保索引数据文件主要驻留在内存中，从而显著提高查询速度。

ES查询优化之短语查询

1、ES查询优化之短语查询的要点如下：match_phrase查询：用途：用于解决中文搜索时的不相关问题，确保查询关键字分词后必须完整出现在查询字段分词上，且顺序一致。优点：提高了搜索的准确性，避免了因分词导致的不相关结果。缺点：条件较为苛刻，可能导致部分相关结果未被展示。

2、通过调整slop优化，允许分词之间存在一定距离，查询结果得到了满足。在颠倒关键词词序的情况下，slop值应设置为3，以确保查询结果的准确性。另外，当match_phrase查询无法满足需求时，可以尝试使用match_phrase_prefix。

3、用途：匹配短语查询，要求短语中的词项顺序一致。工作原理：搜索包含指定短语且词项顺序一致的数据。slop参数：允许搜索关键词出现顺序的偏差，通过指定错位数量来放宽匹配条件。其他相关查询：match_phrase_prefix查询：用于在已知数据前缀的情况下搜索完整数据。

4、match_phrase查询 匹配短语（match_phrase）搜索在不添加其他参数的情况下，会匹配包含这个短语、且顺序一致的数据。例如，对于address=read a book的数据，搜索read a、a book、read a book都可以筛选到这条数据。如果搜索book a，因为顺序不一致，无法筛选到数据。

5、phrase： [frez] 短语 ESx官方文档—匹配词组搜索 match_phrase搜索的数据类型为 text 类型，会将查询条件进行分词，但要求待匹配的文档需要同时包含分词后的数据。流程：query条件会进行分词，得到 go 和 redis 两个条件。去寻找同时包含这两个条件的文档。

ES在数据量很大的情况下(数十亿级别)如何提高查询效率

1、为了提高查询性能，应尽可能为filesystem cache分配更多的内存。理想情况下，机器的内存应至少能够容纳总数据量的一半，以确保索引数据文件主要驻留在内存中，从而显著提高查询速度。

2、定期对 ES 集群进行监控和调优，及时发现并解决性能瓶颈。以下是一张关于 filesystem cache 在 ES 查询中作用的示意图：综上所述，通过充分利用 filesystem cache、数据预热、冷热分离、优化 document 模型设计、分页性能优化以及其他优化措施，可以显著提高 ES 在数据量很大的情况下的查询效率。

3、如果在提交过程中，遇到 EsRejectedExecutionException 异常的话，则说明集群的索引性能已经达到极限了。这种情况，要么提高服务器集群的资源，要么根据业务规则，减少数据收集速度，比如只收集 Warn、Error 级别以上的日志。优化硬件设备一直是最快速有效的手段。

4、大数据量：在处理千万量级的数据记录时，ES的倒排索引机制能够更快地定位到相关的文档ID列表，从而提高查询性能。多表关联查询：在MySQL中，多表关联查询需要消耗大量的时间和资源。而在ES中，由于数据通常是以文档的形式存储的，因此可以更容易地进行跨字段、跨文档的查询操作。

继续浏览有关 es搜索引擎优化 的文章