yum 安装 logstash
下载并安装公钥 sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 设置源 cat > /etc/yum.repos.d/logstash.repo 安装 yum install logstash #查看安装目录 rpm -ql lo…
Backend相关的开发实践、问题记录与技术笔记。
下载并安装公钥 sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 设置源 cat > /etc/yum.repos.d/logstash.repo 安装 yum install logstash #查看安装目录 rpm -ql lo…
把日志放到node节点的主机目录上,在到主机目录上配置rsyslog收集到专门的日志服务器。 从这个日志服务器启一个logstash或者filebeat写入es。 不建议直接从每个节点直接写入es。因为日志量大的时候可能es就会被弄死,另外这么多的filebeat也是要占用不少资源的。 如果觉得麻烦,就每个node写个…
必要条件 注意:要使用模拟器功能需要系统支持 kvm ,所以 Windows 和 Mac OS 系统只能使用虚拟机,推荐 Ubuntu Your machine need to support virtualization. To check it: sudo apt install cpu-checker kvm-o…
构建镜像 git clone git@github.com:apache/rocketmq-docker.git cd image-build sh build-image.sh 4.9.3 alpine sh build-image-dashboard.sh 1.0.0 centos docker-compose h…
当然,你可以使用 filebeat , logstash , fluentd 等,但相比之下 rsyslog 是系统自带的,资源占用低 第一种方法,配置 nginx https://nginx.org/en/docs/syslog.html vi /etc/nginx/nginx.conf # access_log /…
kafka没有重试机制不支持消息重试,也没有死信队列,因此使用kafka做消息队列时,如果遇到了消息在业务处理时出现异常,就会很难进行下一步处理。应对这种场景,需要自己实现消息重试的功能。 自己实现重试机制 cli #停止 kafka-server-stop.sh #前台启动 kafka-server-start.sh…
本文主要介绍一款nginx 日志仪表盘 —— AKA ES Nginx Logs ,非常的酷炫,基于Grafana 先看下效果 docker-compose https://github.com/chudaozhe/grafana-dashboard-nginx-logs Grafana 设置 http://local…
Beats 是轻量型数据采集器,Beats 是一个免费且开放的平台,集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。 docker-compose https://github.com/chudaozhe/docker-beats fil…
FileBeat 是一款轻量型日志采集器,当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时,请告别 SSH 吧。Filebeat 将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。 记住: 设置源有两种方式, Input 和 Module 二选一即可 FileBeat 支持多输…
问题描述 #索引mappings { "mappings": { "properties": { "datetime": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss" } } } } 通过 elasticsearch/elasticsearch 向 elastics…