ELK从入门到实践

Posted 昨天 Updated 昨天

By Administrator

13~16 min read

参考文章：

ELK 圣经：Elasticsearch、Logstash、Kibana 从入门到精通https://developer.aliyun.com/article/1639868

Elastic Stack（ELK）从入门到实践

https://www.bilibili.com/video/BV1iJ411c7Az?spm_id_from=333.788.player.switch&vd_source=d75f8514642af2f16d1d35d5be0812bb&p=2

ELK日志平台介绍

ELK指的是Elastic公司下面Elasticsearch、Logstash、Kibana三大开源框架首字母大写简称

Elasticsearch（存储）

Elasticsearch是一个高度可扩展的全文搜索和分析引擎，基于Apache Lucence（事实上，Lucence也是百度所采用的搜索引擎）构建，能够对大容量的数据进行接近实时的存储、搜索和分析操作。

Logstash（收集分析）

Logstash是一个数据收集引擎，它可以动态的从各种数据源搜集数据，并对数据进行过滤、分析和统一格式等操作，并将输出结果存储到指定位置上。Logstash支持普通的日志文件和自定义Json格式的日志解析。

负责日志清洗：日志过滤，格式处理，等等。有大量的自定义完成。

Kibana(可视化)

Kibana是一个数据分析和可视化平台，通常与Elasticsearch配合使用，用于对其中的数据进行搜索、分析，并且以统计图标的形式展示。

Beats

Beats是elastic公司开源的一款采集系统监控数据的代理agent，是在被监控服务器上以客户端形式运行的数据采集器的统称。

ELK架构优点如下：

处理方式灵活，配置相对简单、检索性能高、集群线性扩展、页面美观

安装部署

这里通过docker将ELK一键部署

打开 PowerShell（管理员），依次复制执行：

# 1. 创建专用网络
docker network create elk

# 2. 启动 Elasticsearch（单节点 + 1 GB 内存）
docker run -d --name elasticsearch --net elk `
  -p 9200:9200 -p 9300:9300 `
  -e "discovery.type=single-node" `
  -e "ES_JAVA_OPTS=-Xms1g -Xmx1g" `
  -e "xpack.security.enabled=false" `
  -v esdata:/usr/share/elasticsearch/data `
  elasticsearch:7.17.28

# 创建logstash.conf
@"
input { beats { port => 5044 } }
output { elasticsearch { hosts => ["elasticsearch:9200"] } }
"@ > logstash.conf

# 3. 启动 Logstash（带 beats 输入）
docker run -d --name logstash --net elk `
  -p 5044:5044 -p 9600:9600 `
  -e "LS_JAVA_OPTS=-Xms512m -Xmx512m" `
  -v ${PWD}/logstash.conf:/usr/share/logstash/pipeline/logstash.conf `
  logstash:7.17.28

# 4. 启动 Kibana，让docker自动寻找可用端口（随机）
docker run -d --name kibana --net elk `
  -p 5603:5601 `
  -e "ELASTICSEARCH_HOSTS=http://elasticsearch:9200" `
  kibana:7.17.28

如此就部署好了

#查看kibana映射
docker port kibana
#如5601/tcp -> 0.0.0.0:32768就是访问http://localhost:32768/

服务	URL	预期结果
Elasticsearch	http://localhost:9200	返回 JSON 集群信息
Kibana	http://localhost:32768	出现欢迎页面（无登录框）
Logstash	`docker logs logstash`	看到 Pipeline started