https://rifewang.github.io/categories/elasticsearch/Recent content in Elasticsearch on 凌虚 BlogHugozh-CNAttribution-NonCommercial 4.0 International (CC BY-NC 4.0)Wed, 30 Oct 2024 00:49:37 +0800https://rifewang.github.io/2024-ece/Sun, 17 Mar 2024 22:18:54 +0800https://rifewang.github.io/2024-ece/<h2 id="背景说明">背景说明</h2> <p>大家好，我是凌虚。</p> <p>我于 2024 年 3 月 14 日参加了 Elastic Certified Engineer（ECE）认证考试，并与 18 日收到了考试通过的邮件。本文将会回顾我的考试过程、考试真题、个人感受。</p>https://rifewang.github.io/es-vector-search/Fri, 15 Apr 2022 00:00:00 +0800https://rifewang.github.io/es-vector-search/<h1 id="elasticsearch-向量搜索">Elasticsearch 向量搜索</h1> <p>本文将会介绍 Elasticsearch 向量搜索的两种方式。</p> <h2 id="向量搜索">向量搜索</h2> <p>提到向量搜索，我想你一定想知道：</p> <ol> <li>向量搜索是什么？</li> <li>向量搜索的应用场景有哪些？</li> <li>向量搜索与全文搜索有何不同？</li> </ol> <p>ES 的全文搜索简而言之就是将文本进行分词，然后基于词通过 BM25 算法计算相关性得分，从而找到与搜索语句相似的文本，其本质上是一种 term-based（基于词）的搜索。</p>https://rifewang.github.io/es-distribute-search-steps/Tue, 17 Nov 2020 00:00:00 +0800https://rifewang.github.io/es-distribute-search-steps/<h1 id="elasticsearch-分布式搜索的运行机制">Elasticsearch 分布式搜索的运行机制</h1> <p>ES 有两种 <code>search_type</code> 即搜索类型：</p> <ul> <li><code>query_then_fetch</code> （默认）</li> <li><code>dfs_query_then_fetch</code></li> </ul> <h2 id="query_then_fetch"><code>query_then_fetch</code></h2> <p><img class="lazyload" src="https://rifewang.github.io/svg/loading.min.svg" data-src="https://raw.githubusercontent.com/RifeWang/images/master/es-query-then-fetch.png" data-srcset="https://raw.githubusercontent.com/RifeWang/images/master/es-query-then-fetch.png, https://raw.githubusercontent.com/RifeWang/images/master/es-query-then-fetch.png 1.5x, https://raw.githubusercontent.com/RifeWang/images/master/es-query-then-fetch.png 2x" data-sizes="auto" alt="https://raw.githubusercontent.com/RifeWang/images/master/es-query-then-fetch.png" title="query_then_fetch" /></p> <ol> <li>用户发起搜索，请求到集群中的某个节点。</li> <li>query 会被发送到所有相关的 shard 分片上。</li> <li>每个 shard 分片独立执行 query 搜索文档并进行排序分页等，打分时使用的是分片本身的 <code>Local</code> Term/Document 频率。</li> <li>分片的 query 结果（只有元数据，例如 <code>_id</code> 和 <code>_score</code>）返回给请求节点。</li> <li>请求节点对所有分片的 query 结果进行汇总，然后根据打分排序和分页，最后选择出搜索结果文档（也只有元数据）。</li> <li>根据元数据去对应的 shard 分片拉取存储在磁盘上的文档的详细数据。</li> <li>得到详细的文档数据，组成搜索结果，将结果返回给用户。</li> </ol> <p>缺点：由于每个分片独立使用自身的而不是全局的 Term/Document 频率进行相关度打分，当数据分布不均匀时可能会造成打分偏差，从而影响最终搜索结果的相关性。</p>https://rifewang.github.io/es-search-template/Mon, 16 Nov 2020 00:00:00 +0800https://rifewang.github.io/es-search-template/<h1 id="elasticsearch-search-template">Elasticsearch Search Template</h1> <p>所谓 search template 搜索模板其实就是：</p> <ol> <li>预先定义好查询语句 DSL 的结构并预留参数</li> <li>搜索的时再传入参数值</li> <li>渲染出完整的 DSL ，最后进行搜索</li> </ol> <p>使用搜索模板可以将 DSL 从应用程序中解耦出来，并且可以更加灵活的更改查询语句。</p>https://rifewang.github.io/log-analyzer-system/Sat, 07 Nov 2020 00:00:00 +0800https://rifewang.github.io/log-analyzer-system/<h1 id="构造请求日志分析系统">构造请求日志分析系统</h1> <h2 id="请求日志记录哪些数据">请求日志记录哪些数据</h2> <ul> <li><code>time_local</code> : 请求的时间</li> <li><code>remote_addr</code> : 客户端的 IP 地址</li> <li><code>request_method</code> : 请求方法</li> <li><code>request_schema</code> : 请求协议，常见的 http 和 https</li> <li><code>request_host</code> : 请求的域名</li> <li><code>request_path</code> : 请求的 path 路径</li> <li><code>request_query</code> : 请求的 query 参数</li> <li><code>request_size</code> : 请求的大小</li> <li><code>referer</code> : 请求来源地址，假设你在 a.com 网站下贴了 b.com 的链接，那么当用户从 a.com 点击访问 b.com 的时候，referer 记录的就是 a.com ，这个是浏览器的行为</li> <li><code>user_agent</code> : 客户端浏览器相关信息</li> <li><code>status</code> : 请求的响应状态</li> <li><code>request_time</code> : 请求的耗时</li> <li><code>bytes_sent</code> : 响应的大小</li> </ul> <p>很多时候我们会使用负载网关去代理转发请求给实际的后端服务，这时候请求日志还会包括以下数据：</p>https://rifewang.github.io/es-function-score-query/Mon, 02 Nov 2020 00:00:00 +0800https://rifewang.github.io/es-function-score-query/<h1 id="elasticsearch-自定义打分-function-score-query">Elasticsearch 自定义打分 Function score query</h1> <p>Elasticsearch 会为 query 的每个文档计算一个相关度得分 score ，并默认按照 score 从高到低的顺序返回搜索结果。 在很多场景下，我们不仅需要搜索到匹配的结果，还需要能够按照某种方式对搜索结果重新打分排序。例如：</p>https://rifewang.github.io/logstash/Sun, 01 Nov 2020 00:00:00 +0800https://rifewang.github.io/logstash/<h1 id="logstash-入门">Logstash 入门</h1> <hr> <h2 id="logstash-是什么">Logstash 是什么</h2> <p>Logstash 就是一个开源的数据流工具，它会做三件事：</p> <ol> <li>从数据源拉取数据</li> <li>对数据进行过滤、转换等处理</li> <li>将处理后的数据写入目标地</li> </ol> <p>例如：</p> <ul> <li>监听某个目录下的日志文件，读取文件内容，处理数据，写入 influxdb 。</li> <li>从 kafka 中消费消息，处理数据，写入 elasticsearch 。</li> </ul> <h3 id="为什么要用-logstash-">为什么要用 Logstash ？</h3> <p>方便省事。</p>https://rifewang.github.io/es-guide/Sun, 29 Jul 2018 16:24:53 +0800https://rifewang.github.io/es-guide/<h3 id="引言">引言</h3> <p>Elasticsearch 是什么？一个开源的可扩展、高可用、分布式的全文搜索引擎。</p> <p>你为什么需要它？《人生一串》中有这样一段话：</p> <blockquote> <p>没了烟火气，人生就是一段孤独的旅程。</p> </blockquote> <p>而我们如何通过烟火气、人生或者旅程等这样的关键词来搜索出这部纪录片呢？显然无论是传统的关系型数据库，还是 NOSQL 数据库都无法实现这样的需求，而这里 Elasticsearch 就派上了用场。</p>