行百里er
行百里er
2022-08-20
目录

比快更快的 ELK 8 安装使用指南-Elasticsearch，Kibana，Logstash

作者：行百里er

博客：https://chendapeng.cn (opens new window)

提示

这里是 行百里er 的博客：行百里者半九十，凡事善始善终，吾将上下而求索！

# Elastic 8 的新特性

Elastic 8.0 版号称 比快更快 ，其新特性可参考 Elastic 官方博客：

Elastic 8.0 版：在速度、扩展、高相关性和简单性方面开启了一个全新的时代 (opens new window)

本篇文章就直接来安装一下 Elastic 8 版本来瞅瞅。

# 安装 Elastic 三剑客：Elasticsearch，Kibana，Logstash

本文安装 Elastic 版本：8.3.3。

# 通过安装包安装

# 安装 Elasticsearch

cd /usr/local
# 下载安装包，文件大小有500多M
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.3.3-linux-x86_64.tar.gz
# 校验文件，后面校验的时候确保文件传输过程中没有被损坏
wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-8.3.3-linux-x86_64.tar.gz.sha512
1
2
3
4
5

image-20220820115309399.png

如果无法使用 wget 下载，可先下载到本地，然后上传到服务器。

下载地址：https://www.elastic.co/downloads/elasticsearch

下载完成后，使用如下方式安装：

# 该步骤比较 tar.gz 安装包与发布的校验和，如果一直则输出 elasticsearch-8.3.3-linux-x86_64.tar.gz: OK
shasum -a 512 -c elasticsearch-8.3.3-linux-x86_64.tar.gz.sha512
# 解压
tar -xzf elasticsearch-8.3.3-linux-x86_64.tar.gz
1
2
3
4

解压之后的 elasticsearch-8.3.3 目录就是 ES 的家目录。

启动：

# 进入 ES 家目录
cd elasticsearch-8.3.3
# 使用如下命令启动 ES
./bin/elasticsearch
1
2
3
4

image-20220820120815982.png

这里有几个很明显的提示：

1. 有个告警：warning: ignoring JAVA_HOME=/usr/local/java; using bundled JDK ，Elasticsearch 安装包本身绑定使用的是 OpenJDK 。

Elasticsearch 使用 Java 构建，在每个发行版中都包含 OpenJDK 捆绑版本。 ES 推荐使用默认的 OpenJDK 的 JVM，该 JDK 位于$ES_HOME 的 jdk 目录中。

image-20220820121458160.png

当然也可以改成使用自己的 Java 版本，设置一下 ES_JAVA_HOME 环境变量，指向自己的 JDK 即可。

建议还是使用 ES 默认的 JDK 进行构建，无需其他额外的配置。

2. can not run elasticsearch as root ：不能使用 root 用户来运行 ES。

创建一个 elastic 用户，使用该用户启动。

# 为 Elasticsearch 添加用户
useradd elastic
# 设置用户密码
passwd elastic
(elA3T*c0)
# 设置 $ES_HOME 的拥有者为 elastic
chown -R elastic /usr/local/elasticsearch-8.3.3
1
2
3
4
5
6
7

切换到 elastic 用户启动：

su elastic
cd elasticsearch-8.3.3
./bin/elasticsearch
1
2
3

启动过程中，打印出了一大堆东西：

image-20220820123657438.png

这是关于几个密码安全设置的，先放这里后面有用。

控制台最后打印出了如下内容：

image-20220820123831496.png

这其实是一个 Bug，详见 issue：https://github.com/elastic/elasticsearch/issues/76586

我们可以通过配置文件设置不使用 GeoIpDownloader 。

另外，当我访问的时候：

image-20220820124255417.png

连接不上，我们可以设置 conf/elasticsearch.yml 的 network.host 配置项解决访问问题。

修改配置项：

# 修改 network.host
network.host: 0.0.0.0
# 添加如下配置项，禁用 GeoIpDownloader
ingest.geoip.downloader.enabled: false
1
2
3
4

然后再次启动：

image-20220820124853795.png

果然该来的还是回来（之前安装 elasticsearch 7.10 就遇到过此问题），报错了：

bootstrap check failure [1] of [3]: max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]
bootstrap check failure [2] of [3]: max number of threads [3795] for user [elastic] is too low, increase to at least [4096]
bootstrap check failure [3] of [3]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]
1
2
3

这几个问题我在 这些Elasticsearch 7.10部署的问题，你遇到过吗 (opens new window) 这篇文章中也有提及，这里再补充一下解决方案。

解决 max file descriptors 和 max number of threads 不够的问题：

# 在root用户下操作
vim /etc/security/limits.conf
# 修改最大进程数和最大线程数
# 在文件末尾添加
elastic hard nofile 65536
elastic soft nofile 65536
elastic hard nproc 4096
elastic soft nproc 4096
1
2
3
4
5
6
7
8

解决 max virtual memory areas vm.max_map_count 不够的问题：

# 在root用户下操作
vi /etc/sysctl.conf

# 在文件末尾添加
vm.max_map_count = 655360

# 保存退出
# 使之生效
sysctl -p
1
2
3
4
5
6
7
8
9

然后再次使用 elastic 用户启动就可以了。

启动完成之后我们来访问一下：http://192.168.242.15:9200 ，竟然还是显示如下错误访问不了：

image-20220820160227649.png

莫慌，我们再来浏览一下看一下 config/elasticsearch.yml 配置文件，看到这样一段配置：

# Enable encryption for HTTP API client connections, such as Kibana, Logstash, and Agents
xpack.security.http.ssl:
  enabled: true
  keystore.path: certs/http.p12
1
2
3
4

可以看到，ES 8 默认开启了 SSL ，我们可以把 xpack.security.http.ssl.enabled 设置为 false，再启动后就可以访问了。

但这里我们不修改这个配置，直接使用 https 访问，也是可以的：

image-20220820160841916.png

点“高级”，继续前往，选择信任就可以了，然后我们看到和之前的 ES 版本不同的是，这里需要输入密码：

image-20220820160928654.png

还记得前面第一次启动 ES 的时候有一堆密码的提示吧，那其中就有 elastic 登录密码。不过我们已经重启过好几次了，也没有保存密码，怎么办呢？

我们进入到 $ES_HOME/bin 目录下找找看有没有特别的工具：

image-20220820161358495.png

使用 elasticsearch-reset-password 可以修改密码，通常有两种方式：

1. 为 elastic 账号自动生成新的随机密码，输出至控制台

./elasticsearch-reset-password -u elastic
1

image-20220820161711447.png

2. 为 elastic 账号设置自定义密码

./elasticsearch-reset-password -u elastic -i
1

image-20220820161929240.png

OK，万事俱备了，现在再访问那个熟悉的 9200 ，输入用户名 elastic 和刚才自己设置的密码：

image-20220820162329779.png

这样就成功的安装了 Elasticsearch 8.3.3 了。

# 安装 Kibana

下面来通过安装包安装 Elastic 三剑客之一的 Kibana 。

Kibana 版本选择和 Elasticsearch 的版本一致即可，官方提供了一致的版本。

在确定 ES 的版本后，Kibana 和 Logstash 以及其他的一些组件均可以和 ES 的版本一致，这一点真是太爽了，不用考虑太多版本 Elastic 各个组件之间的兼容问题。

下载地址：https://www.elastic.co/downloads/kibana

和安装 ES 的步骤基本相同：

# 下载安装包
wget https://artifacts.elastic.co/downloads/kibana/kibana-8.3.3-linux-x86_64.tar.gz
# 下载校验文件
wget https://artifacts.elastic.co/downloads/kibana/kibana-8.3.3-linux-x86_64.tar.gz.sha512
# 校验
shasum -a 512 -c kibana-8.3.3-linux-x86_64.tar.gz.sha512
# 解压
tar -xzf kibana-8.3.3-linux-x86_64.tar.gz
1
2
3
4
5
6
7
8

Kibana 安装包大小 257 M。

以上步骤完成之后，通过安装 ES 的经验，我们先来看一下 kibana 的配置文件 config/kibana.yml，修改其中的 server.host，使其能够外网访问：

server.host: "0.0.0.0"
1

启动：

[root@elk8 kibana-8.3.3]# ./bin/kibana
Kibana should not be run as root.  Use --allow-root to continue.
1
2

这个就和 ES 的套路一样了，提示不应该用 root 用户启动，当然 Kibana 可用通过 --allow-root 用 root 用户启动。

不使用 root 用户登录的话，可以新建一个 kibana 用户，并设置 kibana-8.3.3 目录的拥有者为 kibana。

再次启动：

./bin/kibana --allow-root
1

image-20220820173737832.png

提示 Kibana 还未配置，我们按照提示，访问 http://192.168.242.15:5601/?code=263850 ：

image-20220820173904012.png

那么这个 token 从哪里来呢？

可以使用 ES 的 elasticsearch-create-enrollment-token 命令为 Elasticsearch 节点和 Kibana 实例创建注册令牌：

image-20220820174407148.png

执行命令：

./elasticsearch-create-enrollment-token
1

image-20220820174555896.png

提示 -s 为必填项，这里我们是要将 kibana 加入，所以可以这样创建 token：

# $ES_HOME/bin 目录下
./elasticsearch-create-enrollment-token -s kibana
1
2

image-20220820174811054.png

复制生成的 token，填写：

image-20220820174935538.png

然后就会自动配置：

image-20220820175006564.png

配置完了以后，他竟然让我输入用户名密码：

image-20220820175059083.png

输入在安装 ES 时设置的用户名密码，即可进入：

image-20220820175400563.png

找到我们熟悉的 Dev Tools：

image-20220820175553247.png

美滋滋啊有木有！

# 安装 Logstash

这个就简单了，直接下载安装包解压使用即可。

# 下载
wget https://artifacts.elastic.co/downloads/logstash/logstash-8.3.3-linux-x86_64.tar.gz
# 解压
tar -zxvf logstash-8.3.3-linux-x86_64.tar.gz
1
2
3
4

不同的用途有不同的配置，如果我们使用 Elasticsearch + Logstash 进行日志采集，可以这样配置：

拷贝一份 $LOGSTASH_HOME/config/logstash-sample.conf 配置文件，命名为 logstash-app-search.conf ，修改其内容为：

input {
  tcp {
    # Logstash 作为服务
    mode => "server"
    host => "192.168.242.15"
    # 开放9001端口进行采集日志
    port => 9001
    # 编解码器
    codec => json_lines
  }
}

output {
  elasticsearch {
    # 配置ES的地址
    hosts => ["https://192.168.242.15:9200"]
    # 在ES里产生的index的名称
    index => "app-search-log-collection-%{+YYYY.MM.dd}"
    user => "elastic"
    password => "elastic"
  }
  stdout {
    codec => rubydebug
  }
}
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

启动 Logstash ：

logstash -f $LOGSTASH_HOME/config/logstash-app-search.conf

# 后台启动
# nohup logstash -f $LOGSTASH_HOME/config/logstash-app-search.conf &
1
2
3
4

具体的使用方式可看我之前的这篇文章，

10分钟部署一个ELK日志采集系统 (opens new window)

有 Spring Boot 中用 ELK 采集日志 的说明。

以上，本次导航结束。

首发公众号 行百里er ，欢迎老铁们关注阅读指正。

#ELK#Elasticsearch
上次更新: 2022/09/05, 15:54:38
10分钟部署一个ELK日志采集系统

←

最近更新
01
重要数据不能丢！MySQL数据库定期备份保驾护航！
05-22
02
分布式事务解决方案之 Seata（二）：Seata AT 模式
09-09
03
Seata 番外篇：使用 docker-compose 部署 Seata Server（TC）及 K8S 部署 Seata 高可用
09-05
更多文章>
Theme by Vdoing | Copyright © 2020-2023 行百里er | MIT License | 豫ICP备2022020385号-1