https://github.com/gqcn/k8s-log

容器日志搜集套件。
https://github.com/gqcn/k8s-log

buffer docker filebeat golang k8s kafka kubernetes log logstash

Last synced: 11 months ago
JSON representation

容器日志搜集套件。

• Host: GitHub
• URL: https://github.com/gqcn/k8s-log
• Owner: gqcn
• Created: 2018-11-06T08:51:21.000Z (over 7 years ago)
• Default Branch: master
• Last Pushed: 2019-03-15T09:13:09.000Z (over 7 years ago)
• Last Synced: 2025-08-08T12:17:37.163Z (11 months ago)
• Topics: buffer, docker, filebeat, golang, k8s, kafka, kubernetes, log, logstash
• Language: Go
• Size: 105 KB
• Stars: 15
• Watchers: 1
• Forks: 8
• Open Issues: 0
• Metadata Files:
  • Readme: README.MD

Awesome Lists containing this project

README

          
# 容器日志搜集套件

## 依赖服务

`kafka`

## 组件介绍

日志搜集流程：

`log-agent` -> `kafka` -> `log-dumper` -> `log-archiver` & `log-cleaner`

其中，`kafka`支持多端消费，目前仅处理转储操作。

### `log-agent`

日志搜集客户端，与业务容器运行到同一个`Pod`中(使用`kubernetes`时)；或者与业务容器运行到同一个容器中；业务容器与搜集客户端需要共享日志文件存放目录路径；搜集到的内容发送到`kafka`中进行缓冲处理。

### `log-dumper`

日志搜集转储端，用于消费`kafka`中的日志，并转储到指定的磁盘下，按照搜集的路径进行存放。

### `log-archiver`

转储文件归档端，用于定期将原始日志文件进行压缩归档。

### `log-cleaner`

归档文件清理端，用于定期将归档的日志进行清理。