2 万字详解,彻底讲透 Elasticsearch( 四 )


为了避免脑裂现象的发生,我们可以从原因着手通过以下几个方面来做出优化措施:

  • 适当调大响应时间,减少误判 。通过参数
    discovery.zen.ping_timeout 设置节点状态的响应时间,默认为 3s,可以适当调大 。
如果 Master 在该响应时间的范围内没有做出响应应答,判断该节点已经挂掉了 。调大参数(如 6s,
discovery.zen.ping_timeout:6),可适当减少误判 。
  • 选举触发 。我们需要在候选集群中的节点的配置文件中设置参数
    discovery.zen.munimum_master_nodes的值 。
这个参数表示在选举主节点时需要参与选举的候选主节点的节点数,默认值是 1,官方建议取值(master_eligibel_nodes2)+1,其中master_eligibel_nodes为候选主节点的个数 。
这样做既能防止脑裂现象的发生,也能最大限度地提升集群的高可用性,因为只要不少于
discovery.zen.munimum_master_nodes个候选节点存活,选举工作就能正常进行 。
当小于这个值的时候,无法触发选举行为,集群无法使用,不会造成分片混乱的情况 。
  • 角色分离 。即是上面我们提到的候选主节点和数据节点进行角色分离,这样可以减轻主节点的负担,防止主节点的假死状态发生,减少对主节点“已死”的误判 。
 
分片(Shards)ES 支持 PB 级全文搜索,当索引上的数据量太大的时候,ES 通过水平拆分的方式将一个索引上的数据拆分出来分配到不同的数据块上,拆分出来的数据库块称之为一个分片 。
这类似于 MySQL 的分库分表,只不过 MySQL 分库分表需要借助第三方组件而 ES 内部自身实现了此功能 。
在一个多分片的索引中写入数据时,通过路由来确定具体写入哪一个分片中,所以在创建索引的时候需要指定分片的数量,并且分片的数量一旦确定就不能修改 。
分片的数量和下面介绍的副本数量都是可以通过创建索引时的 Settings 来配置,ES 默认为一个索引创建 5 个主分片, 并分别为每个分片创建一个副本 。
PUT /myIndex {"settings" : {"number_of_shards" : 5,"number_of_replicas" : 1}}ES 通过分片的功能使得索引在规模上和性能上都得到提升,每个分片都是 Lucene 中的一个索引文件,每个分片必须有一个主分片和零到多个副本 。
 
副本(Replicas)副本就是对分片的 Copy,每个主分片都有一个或多个副本分片,当主分片异常时,副本可以提供数据的查询等操作 。
主分片和对应的副本分片是不会在同一个节点上的,所以副本分片数的最大值是 N-1(其中 N 为节点数) 。
对文档的新建、索引和删除请求都是写操作,必须在主分片上面完成之后才能被复制到相关的副本分片 。
ES 为了提高写入的能力这个过程是并发写的,同时为了解决并发写的过程中数据冲突的问题,ES 通过乐观锁的方式控制,每个文档都有一个 _version(版本)号,当文档被修改时版本号递增 。
一旦所有的副本分片都报告写成功才会向协调节点报告成功,协调节点向客户端报告成功 。
2 万字详解,彻底讲透 Elasticsearch

文章插图
从上图可以看出为了达到高可用,Master 节点会避免将主分片和副本分片放在同一个节点上 。
假设这时节点 Node1 服务宕机了或者网络不可用了,那么主节点上主分片 S0 也就不可用了 。
幸运的是还存在另外两个节点能正常工作,这时 ES 会重新选举新的主节点,而且这两个节点上存在我们所需要的 S0 的所有数据 。
我们会将 S0 的副本分片提升为主分片,这个提升主分片的过程是瞬间发生的 。此时集群的状态将会为 Yellow 。
为什么我们集群状态是 Yellow 而不是 Green 呢?虽然我们拥有所有的 2 个主分片,但是同时设置了每个主分片需要对应两份副本分片,而此时只存在一份副本分片 。所以集群不能为 Green 的状态 。
如果我们同样关闭了 Node2 ,我们的程序依然可以保持在不丢失任何数据的情况下运行,因为 Node3 为每一个分片都保留着一份副本 。
如果我们重新启动 Node1 ,集群可以将缺失的副本分片再次进行分配,那么集群的状态又将恢复到原来的正常状态 。
如果 Node1 依然拥有着之前的分片,它将尝试去重用它们,只不过这时 Node1 节点上的分片不再是主分片而是副本分片了,如果期间有更改的数据只需要从主分片上复制修改的数据文件即可 。


推荐阅读