伍佰目录 短网址
  当前位置:海洋目录网 » 站长资讯 » 站长资讯 » 文章详细 订阅RssFeed

BAT 面试 Elasticsearch 必会知识点总结

来源:本站原创 浏览:91次 时间:2022-06-10

第一时间获取技术干货和业界资讯!

Elasticsearch 是上市公司 Elastic 开源的一个产品。而 Elasticsearch 支撑了整个 Elastic 公司的大约 50 亿美元的市值,这个市值超过大多数 A 股公司。这足以说明了 Elasticsearch 的商业价值和在整个互联网中的重要性。

对国内公司来说,Elasticsearch 基本上是主流公司的必用技术。目前,已知的是 BAT、滴滴、头条、美团等都有使用,所以如果你想去这些公司,Elasticsearch 是一道你必须要跨越的坎!

最近刚好群里有人在讨论 Elasticsearch,为了便于交流,我这里给没有基础,或者已有基础的 ES 使用者总结了一些知识点,大家一起精进!


整个知识点,可以用上面的这张图来总结。下面我针对部分知识点做一些白话解读,全是我一家之言,不妥之处,请加我微信:xttblog,帮我指正!

Near Realtime(NRT)

NRT 代表近实时,两个意思,从写入数据到数据可以被搜索到有一个小延迟(大概 1 秒);基于 es 执行搜索和分析可以达到秒级。这个特点很重要,举个例子,电商系统中,新上架一个商品,这个商品能立马被搜索到。下架一个商品,将立马不会显示在搜索中。和 Hadoop 相比,这一个优点非常的明显。

集群(Cluster)

集群,Cluster,包含多个节点,每个节点属于哪个集群是通过一个配置(集群名称,默认是 elasticsearch)来决定的,对于中小型应用来说,刚开始一个集群就一个节点很正常。elasticsearch 的集群搭建简单并且容易扩展。

节点(Node)

集群中的每一个节点也有一个名称(默认是随机分配的),节点名称很重要(在执行运维管理操作的时候),默认节点会去加入一个名称为“elasticsearch”的集群,如果直接启动一堆节点,那么它们会自动组成一个 elasticsearch 集群,当然一个节点也可以组成一个 elasticsearch 集群。

文档(Document)

文档是 es 中的最小数据单元,一个 document 可以是一条客户数据,一条商品分类数据,一条订单数据,通常用 JSON 数据结构表示,每个 index 下的 type 中,都可以去存储多个 document。一个 document 里面有多个 field,每个 field 就是一个数据字段。


说白了,你可以把一个 Document 看成是一个类。field 就是类中的属性。

与关系型数据库的对比:

索引(Index)

索引是包含一堆有相似结构的文档数据,比如可以有一个客户索引,商品分类索引,订单索引,索引有一个名称。一个 index 包含很多 document,一个 index 就代表了一类类似的或者相同的 document。比如说建立一个 product index,商品索引,里面可能就存放了所有的商品数据,所有的商品 document。

类型(Type)

每个索引里都可以有一个或多个 type,type 是 index 中的一个逻辑数据分类,一个 type 下的 document,都有相同的 field,比如博客系统,有一个索引,可以定义用户数据 type,博客数据 type,评论数据 type。

比如,商品 type。日化商品 type、电器商品 type、生鲜商品 type。

日化商品 type:product_id,product_name,product_desc,category_id,category_name 电器商品 type:product_id,product_name,product_desc,category_id,category_name,service_period 生鲜商品 type:product_id,product_name,product_desc,category_id,category_name,eat_period

每个商品 type 中可以包括多个 Document。

分片(Shard)

单台机器无法存储大量数据,es 可以将一个索引中的数据切分为多个 shard,分布在多台服务器上存储。有了 shard 就可以横向扩展,存储更多数据,让搜索和分析等操作分布到多台服务器上去执行,提升吞吐量和性能。每个 shard 都是一个 lucene index。分片的好处是:允许水平切分/扩展集群容量;可在多个分片上进行分布式的、并行的操作,提高系统的性能和吞吐量。

副本(replica)

任何一个服务器随时可能故障或宕机,此时 shard 可能就会丢失,因此可以为每个 shard 创建多个 replica 副本。replica 可以在 shard 故障时提供备用服务,保证数据不丢失,多个 replica 还可以提升搜索操作的吞吐量和性能。primary shard(建立索引时一次设置,不能修改,默认 5 个),replica shard(随时修改数量,默认1个),默认每个索引 10 个 shard,5 个 primary shard,5 个 replica shard,最小的高可用配置,是 2 台服务器。

副本主要解决单点问题,提高可用性和容错性: 某个节点失败时服务不受影响, 可以从副本中恢复;提高查询效率和查询时的吞吐量: 搜索可以在所有的副本上并行执行,提高了服务的并发量。主分片和副本分片不能存储在同一个节点中,因为这样做无法保证高可用。

数据源(river)

从其他存储方式 (如数据库) 中同步数据到ES的方法, 它是以插件方式存在的一个 ES 服务, 通过读取 river 中的数据并把它索引到 ES 中。官方的 river 有 CouchDB、RabbitMQ 等。

映射(mapping)

类似于关系数据库中的 Table 结构,每个 index 都有一个映射: 定义索引中每个字段的类型。所有文档在写进索引之前都会先进行分析,如何对文本进行分词、哪些词条又会被过滤,这类行为叫做映射(mapping)。映射可以提前定义,也可以在第一次存储文档时自动识别,一般由用户自己定义规则。类似于 Solr 中 schema.xml 约束文件的作用。

字段(field)

字段可以是一个简单的值(如字符串、数字、日期), 也可以是一个数组,还可以嵌套一个对象或多个对象。字段类似于关系数据库中表数据的列,每个字段都对应一个类型。可以指定如何分析某一字段的值,即对 field 指定分词器。

分词(analysis)

analysis 是将文本转换为索引词的过程,分析的结果依赖于分词器。

比如: 公众号 业余草、公众号-业余草和业余草 公众号可能会被分析成相同的索引词 业余草和公众号,然后被存储到 ES 的索引库中。当通过业余草进行全文搜索的时候,搜索引擎根据匹配计算也能在索引库中查找到相关的内容。

索引词(term)

在 ES 中,索引词(term)是一个能够被索引的精确值,可以通过 term query 进行准确搜索。比如: 业余草、xttblog、公众号都是不同的索引词。

文本(text)

文本是一段普通的非结构化文字,通长文本会被分析成多个 Term,存储在 ES 的索引库中。文本字段一般需要先分析再存储,查询文本中的关键词时,需要根据搜索条件搜索出原文本。

数据恢复(recovery)

数据恢复又叫数据重新分布。当有节点加入或退出时,ES 会根据机器的负载对索引分片进行重新分配,挂掉的节点重新启动时也会进行数据恢复。Kibana 工具中通过 GET _cat/health?v,就可以看到集群所处的状态。

时间关系,Elasticsearch 相关的各种核心概念和知识我就先总结到这里。后面有机会,我再总结一些 Elasticsearch 的使用场景,网关,Lucene,服务发现,支持的脚本,插件等模块做一些总结。

以上这些希望能够帮助到每一个人,一起精进!

  推荐站点

  • At-lib分类目录At-lib分类目录

    At-lib网站分类目录汇集全国所有高质量网站,是中国权威的中文网站分类目录,给站长提供免费网址目录提交收录和推荐最新最全的优秀网站大全是名站导航之家

    www.at-lib.cn
  • 中国链接目录中国链接目录

    中国链接目录简称链接目录,是收录优秀网站和淘宝网店的网站分类目录,为您提供优质的网址导航服务,也是网店进行收录推广,站长免费推广网站、加快百度收录、增加友情链接和网站外链的平台。

    www.cnlink.org
  • 35目录网35目录网

    35目录免费收录各类优秀网站,全力打造互动式网站目录,提供网站分类目录检索,关键字搜索功能。欢迎您向35目录推荐、提交优秀网站。

    www.35mulu.com
  • 就要爱网站目录就要爱网站目录

    就要爱网站目录,按主题和类别列出网站。所有提交的网站都经过人工审查,确保质量和无垃圾邮件的结果。

    www.912219.com
  • 伍佰目录伍佰目录

    伍佰网站目录免费收录各类优秀网站,全力打造互动式网站目录,提供网站分类目录检索,关键字搜索功能。欢迎您向伍佰目录推荐、提交优秀网站。

    www.wbwb.net