一、filebeat安装
1、下载filebeat8.4.1
cd /data
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-8.4.1-linux-x86_64.tar.gz
tar -zxvf filebeat-8.4.1-linux-x86_64.tar.gz
mv filebeat-8.4.1-linux-x86_64.tar.gz filebeat
2、编写filebeat.yaml文件
cd /data/filebeat
vim filebeat.yaml
filebeat.inputs:
- type: log
id: log
enabled: true
paths:
- /var/log/messages
tags: ["messages"] #定义标签
filebeat.config.modules:
path: ${path.config}/modules.d/*.yml
reload.enabled: true
setup.template.settings:
index.number_of_shards: 1
setup.template.name: "messages" #定义messages索引模板
setup.template.pattern: "messages-123-*" #定义messages索引数据流，如果需要直接定义索引，请改为messages-*
setup.template.enabled: true #允许自动生成index模板
setup.template.overwrite: false #如果存在模板则覆盖 ，创建数据流需要关闭
setup.ilm.enabled: false
setup.kibana:
output.elasticsearch:
hosts: ["192.168.80.79:9200"]
index: "messages-123-%{+yyyy.MM.dd}" #自定义创建以时间为格式的索引
username: "elastic"
password: "xxxxxxxx"
processors:
- add_host_metadata:
when.not.contains.tags: forwarded
- add_cloud_metadata: ~
- add_docker_metadata: ~
- add_kubernetes_metadata: ~
3、设置系统启动filebeat
vim /etc/systemd/system/filebeat.service
[Unit]
Description=filebeat
Wants=network-online.target
After=network-online.target
[Service]
User=root
ExecStart=/data/filebeat/filebeat -e -c
/data/filebeat/filebeat.yml #填写filebeat的安装路径
Restart=always
[Install]
WantedBy=multi-user.target
#启动filebeat和设置开机启动
systemctl daemon-reload && systemctl restart filebeat.service && systemctl enable filebeat.service
二、kibana设置
1、登陆kibana
http://192.168.80.79:5601/app/home#/
账号：elastic
密码：xxxxxxxx
2、查看filebeat索引模板是否已创建
因为用默认的模板，索引模板是创建成filebeat+版本号
Home——Management——Stack Management——数据——索引管理——索引模板
查看已创建了messages索引模板
在索引管理中查看是否已创建数据流，检查数据流messages-123-2022.10.19已创建，如果没有创建，检查filebeat.yaml文件中的output.elasticsearch: 下的index索引配置是否配置对了
3、创建数据视图
Home——Analytics——Discover——点击索引的下三角符号——点击创建数据视图——
检查刚创建的filebeat*数据数据视图，发现已经获取到日志信息
获取messages单行日志完成，如果想要获取多行日志，请看filebeat-4.8.1多行日志自定义索引配置