Backend

输入 input { #标准输入 stdin { codec => "plain" } http { host => "0.0.0.0" port => "8099" } #rsyslog syslog{ type => "system-syslog" port => 514 } #beats系列，如filebeat beats { port => 5044 host => "0.0.0.0" ...

下载并安装公钥 sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch 设置源 cat > /etc/yum.repos.d/logstash.repo <<EOF [logstash-7.x] name=Elastic repository for 7.x packages baseurl=https://artifacts.elastic.co/packages/7.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticse...

把日志放到node节点的主机目录上，在到主机目录上配置rsyslog收集到专门的日志服务器。 从这个日志服务器启一个logstash或者filebeat写入es。 不建议直接从每个节点直接写入es。因为日志量大的时候可能es就会被弄死，另外这么多的filebeat也是要占用不少资源的。 如果觉得麻烦，就每个node写个文件监控。自动添加rsyslog的配置然后重启rsyslog。 这样可以保证日志不丢，还能有序插入es不会因为业务高峰把es弄死，还可以利用logstash再进行一些日志格式化的需求。 目前用这个方案，把istio的所有envoy访问日志、traefik、应用程序日志收集到es上...

必要条件 注意：要使用模拟器功能需要系统支持kvm，所以Windows和Mac OS系统只能使用虚拟机，推荐Ubuntu Your machine need to support virtualization. To check it: sudo apt install cpu-checker kvm-ok 不同的版本可能会有差异，我亲测可用的版本如下 androidsdk/android-31 Ubuntu Desktop 20.04.4 LTS scrcpy v1.23 系统设置 修改Ubuntu镜像源 https://developer.aliyun.com/mirror/ubunt...

构建镜像 git clone git@github.com:apache/rocketmq-docker.git cd image-build sh build-image.sh 4.9.3 alpine sh build-image-dashboard.sh 1.0.0 centos docker-compose https://github.com/chudaozhe/docker-rocketmq 访问仪表盘 http://localhost:6765/ php extension and library 这部分是不成熟的，未经测试 php extension https://gi...

当然，你可以使用filebeat, logstash, fluentd等，但相比之下rsyslog是系统自带的，资源占用低 第一种方法，配置 nginx https://nginx.org/en/docs/syslog.html vi /etc/nginx/nginx.conf # access_log /var/log/nginx/access.log main; access_log syslog:server=logstash:514,facility=local7,tag=nginx_access_log,severity=info; error_log s...

kafka没有重试机制不支持消息重试，也没有死信队列，因此使用kafka做消息队列时，如果遇到了消息在业务处理时出现异常，就会很难进行下一步处理。应对这种场景，需要自己实现消息重试的功能。 自己实现重试机制 cli #停止 kafka-server-stop.sh #前台启动 kafka-server-start.sh config/server.properties #守护进程 kafka-server-start.sh -daemon config/server.properties #新建名为test2的topic，包含2个分区，1个副本 kafka-topics.sh --boots...

本文主要介绍一款nginx 日志仪表盘 —— AKA ES Nginx Logs，非常的酷炫，基于Grafana 先看下效果 docker-compose https://github.com/chudaozhe/grafana-dashboard-nginx-logs Grafana 设置 http://localhost:3000/ admin admin 设置es数据源 导入仪表盘 Grafana 插件 安装两个插件 找到仪表盘，看效果

Beats 是轻量型数据采集器，Beats 是一个免费且开放的平台，集合了多种单一用途数据采集器。它们从成百上千或成千上万台机器和系统向 Logstash 或 Elasticsearch 发送数据。 docker-compose https://github.com/chudaozhe/docker-beats filebeat 主要收集并输出文件日志 metricbeat 将系统和服务的指标和统计数据(例如 CPU、内存、Redis 等等)发送至 Elasticsearch(或 Logstash) packetbeat Packetbeat 是一款轻量型网络数据包分析器，能够将主机和容器...

FileBeat 是一款轻量型日志采集器，当您要面对成百上千、甚至成千上万的服务器、虚拟机和容器生成的日志时，请告别 SSH 吧。Filebeat 将为您提供一种轻量型方法，用于转发和汇总日志与文件，让简单的事情不再繁杂。 记住： 设置源有两种方式，Input和Module二选一即可 FileBeat 支持多输入，单输出 Input 如下：容器Container，标准输入Stdin #------------------------------ Container input -------------------------------- - type: container enab...