当前位置：首页 > news >正文

网站开发的意义和目的苏州网络公司

news 2025/7/16 20:46:49

网站开发的意义和目的,苏州网络公司,wordpress+采集小说,趣头条自媒体平台注册目录前言搭建ES集群集群状态监控分片备份节点角色脑裂问题分布式存储分布式查询故障转移前言单机的ES做数据存储必然会面临两个问题：海量数据存储问题、单机故障问题海量数据存储问题：将索引库从逻辑上拆分为N个分片(shard)&…

前言

搭建ES集群

集群状态监控

分片备份

节点角色

脑裂问题

分布式存储

分布式查询

故障转移

前言

单机的ES做数据存储必然会面临两个问题：海量数据存储问题、单机故障问题

海量数据存储问题：将索引库从逻辑上拆分为N个分片(shard)，存储到多个节点。

单机故障问题：将分片数据在不同节点备份(replica)

搭建ES集群

在Docker中部署三个ES节点。请确保虚拟机存在至少4G运行内存。

下面是docker-compose文件的内容

version: '2.2'
services:es01:image: elasticsearch:7.12.1container_name: es01environment:- node.name=es01- cluster.name=es-docker-cluster- discovery.seed_hosts=es02,es03- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data01:/usr/share/elasticsearch/dataports:- 9200:9200networks:- elastices02:image: elasticsearch:7.12.1container_name: es02environment:- node.name=es02- cluster.name=es-docker-cluster- discovery.seed_hosts=es01,es03- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data02:/usr/share/elasticsearch/dataports:- 9201:9200networks:- elastices03:image: elasticsearch:7.12.1container_name: es03environment:- node.name=es03- cluster.name=es-docker-cluster- discovery.seed_hosts=es01,es02- cluster.initial_master_nodes=es01,es02,es03- "ES_JAVA_OPTS=-Xms512m -Xmx512m"volumes:- data03:/usr/share/elasticsearch/datanetworks:- elasticports:- 9202:9200
volumes:data01:driver: localdata02:driver: localdata03:driver: localnetworks:elastic:driver: bridge

修改虚拟机配置

vi /etc/sysctl.conf
vm.max_map_count = 262144
#max_map_count文件包含限制一个进程可以拥有的VMA(虚拟内存区域)的数量

保存后刷新配置文件

sysctl -p

使用docker-compose启动三个容器

docker-compose up -d

集群状态监控

处理在浏览器访问9200、9201、9202端口外，还能使用一种ES集群可视化工具Cerebro。我们选择win版本的可视化工具。

下载地址为：Tags · lmenezes/cerebro (github.com)

启动时如果报错加载缓存错误，更换JDK版本即可。在cerebro.bat文件中添加如下代码

双击启动运行图如下

访问9000端口。

输入集群其中一个节点即可连接整个集群。节点名称前面的星号实心代表是主节点，空心代表是候选节点。

分片备份

可以使用Kibana或Cerebro来实现。

如果使用Kibana实现分片，那么在创建索引库时指定

PUT /索引库名
{"settings":{"number_of_shards":3, //分片数量"number_of_replicas":1//副本数量
},"mappings":{}
}

使用Cerebro时，则如下图所示

创建完成后

节点角色

节点类型	配置参数	默认值	节点职责
master eligible	node.master	true	备选主节点：主节点可以管理和记录集群状态，决定分片在哪个节点，处理创建和删除索引库的请求
data	node.data	true	数据节点：存储数据，搜索、聚合、CRUD
ingest	node.ingest	true	数据存储之前的预处理
coordinating	上面3个参数都为false则为coordinating节点	无	协调节点：路由请求到其他节点，合并其他节点处理的结果，返回给用户