# 实时数据存储(Elasticsearch)
实时数据存储(Elasticsearch)用于管理大规模时空型数据,实现实时数据的分布式存储和快速检索。
Elasticsearch 为各种数据类型提供实时的搜索和分析。不论是结构化或非结构化的文本、还是地理空间数据,Elasticsearch 能以支持快速搜索的方式高效地存储和索引它。随着数据和查询量的增长,Elasticsearch 分布式的特性能随着它无缝地增长匹配。
用户在使用实时数据存储(Elasticsearch)时,需先创建集群。在集群中创建数据库后,即可基于数据库进行数据导入、检索等相关操作。
# 相关主题
# 创建集群
# 操作说明
1. 在浏览器中输入“"http://ip:9091/",进入MapGIS DataStore管理页面。点击"集群管理"->"集群运维"->"创建集群"功能,可进入如下所示页面:
2. 选择集群类型"实时数据存储"->"Elasticsearch"。用户可自定义“集群名称”,然后点击"下一步";
3. 点击"新增节点",可新增一个集群节点。用户需进行如下参数设置:
【IP】:设置数据集群所在客户机的IP地址。
【执行用户/执行密码】:设置客户机执行用户的用户名及密码信息。目前仅支持root用户。
【安装用户】:安装用户,此用户创建在docker中,建议用默认值"MapGisDataStore"。
【SSH端口】:设置SSH服务端口,默认为22。
【安装目录】:设置安装目录,如/opt/app。
【数据目录】:设置数据存储目录,如/opt/data/es。
【全局配置】:为整个集群设置全局配置变量;
- es集群的名称:设置集群名称,如escluster。
【其他配置】:可自定义新增的每一个集群节点名称等信息,所有节点名称和集群名称均不能重复。
4. 根据需要的集群个数新增节点,可创建1个或N个。按照真实信息填写集群参数即可。
提示:
创建集群,各集群客户机安装要求同"系统安装要求",且需安装docker。
5. 点击"下一步"->"开始检查",查看基础配置是否通过,确保验证通过才能进行安装.如验证失败,界面会给出错误提示,用户可根据错误提示逐步修改,然后再次验证通过后,进行安装,直到安装全部完成。
6. 安装完成后,集群自动启动,页面左侧会挂接“Elasticsearch,右侧集群列表中,显示集群状态。
提示:
重启客户机后,启动DataStore时并不会自动启动Elasticsearch集群。若要使用,用户需手动启动。
# 集群运维
(1)启动/停止
控制数据库开启/关闭的操作。当开启状态下,运维列表中数据库展示“已开启”状态,可正常使用。反之,显示为“已停止”无法正常使用。
(2)查看集群信息
启动页面右上角"..."->"查看集群信息功能,弹出数据库的基础信息、配置信息及数据统计。用户可查看当前数据库的基本统计信息。
(3)启用密码
启动页面右上角"..."->"启用密码功能,用户可以自定义默认管理员用户密码,确认后即可生效。设置后在前端WEB应用及ETL数据转换中使用此数据库则需要密码验证。
(4)卸载集群
MapGISDataStore的数据存储都是创建在docker容器中,卸载集群时会从docker中卸载该数据存储,因此需慎用!
1. 启动页面右上角"..."->"卸载集群功能后,点击"确定"后,会弹出再次让用户确认卸载操作,输入"卸载"后,点击"卸载集群"会执行卸载操作,直到完成卸载。
提示:
只有关闭集群后,才能对集群进行卸载集群操作
(5)注销集群
注销集群仅从DataStore的"集群运维"界面中移除该数据存储,并不会停止或卸载该数据存储。
1. 启动页面右上角"..."->"注销集群功能,在将集群数据库信息从界面上删除。可以通过注册数据库集群再次将此集群数据库添加至界面应用。
(6)查看原生集群
在双击数据库运维界面右上角“查看源生数集群”功能,可直接跳转至集群原生自带的运维界面。
(7)注册集群
注册集群是将已有的数据存储注册到MapGIS DataStore的"集群运维"界面中进行统一管理。目前可支持用户独立安装的Elasticsearch数据存储、本机MapGIS DataStore安装的Elasticsearch数据存储和其他客户机上MapGIS DataStore安装的Elasticsearch数据存储 三种类型。
提示:
针对注册的集群,MapGIS DataStore仅可查看其信息,不能进行启动、停止、卸载等编辑操作。
1. 点击"集群管理"->"集群运维"->"注册集群"功能,可弹出如下面板:
2. 设置注册集群的基础信息:
- 【存储类型】:选择"Elasticsearch"类型;
- 【集群名称】:用户可自定义集群名称;
- 【集群IP】:设置Elasticsearch数据存储所在客户机的IP地址;
- 【用户/密码】:若Elasticsearch数据存储设置了用户/密码信息,此处需设置。若没有设置,此处可为空。
3. 若用户清晰了解Elasticsearch数据存储的参数配置信息,可通过"高级"设置,配置各参数信息。若用户不甚了解此信息,不建议使用。
4. 点击"确定",接口注册已部署的集群信息;点击"取消"则退出操作。
# 数据库管理及应用
(1)新建数据库
进入MapGIS DataStore管理页面,并依次点击页面左侧“存储管理”->“数据管理”,在左侧Elasticsearch的页面中,点击“新建数据库”。
在弹出的“新增数据库”窗口中填入新增的数据库名称,并单击"确定"按钮,数据库创建成功,支持创建多个数据库。
(2)新建数据集
进入到新创建的数据库中,可以创建单个或者多个不同类型得数据集。
提示:
用户需通过DatastoreETL工具将数据导入到Elasticsearch实时数据库中。
如:选择地名地址数据集进行创建。创建成功后数据库管理中显示此数据集。可以通过数据转换工具(ETL)进行数据转换存储数据,可参考MapGIS点图层地名转地名数据库章节介绍。
服务端数据库数据上传成功后,支持此数据基础数据、表结果、表属性及图形预览基本的查看及操作功能。
数据库管理界面还支持常规的编辑操作,如删除/刷新/查询数据库等。
提示:
在实际应用中主要还是通过ETL数据转换工具上传数据,为前端Web用户提供数据服务应用能力。ETL数据转换工具使用可参考MapGIS点图层地名转地名数据库章节介绍。
(3)注册数据库
当已存在数据库被注销,可以通过注册数据库将注销的数据库重新添加至数据库管理界面应用。