https://github.com/opvexe/elk

elk日志收集系统
https://github.com/opvexe/elk

es7 etcd kafka logagent

Last synced: about 1 year ago
JSON representation

elk日志收集系统

• Host: GitHub
• URL: https://github.com/opvexe/elk
• Owner: opvexe
• Created: 2020-02-18T07:42:40.000Z (over 6 years ago)
• Default Branch: master
• Last Pushed: 2020-02-19T04:35:17.000Z (over 6 years ago)
• Last Synced: 2024-06-20T16:58:16.896Z (about 2 years ago)
• Topics: es7, etcd, kafka, logagent
• Language: Go
• Size: 967 KB
• Stars: 5
• Watchers: 3
• Forks: 1
• Open Issues: 0
• Metadata Files:
  • Readme: README.md

Awesome Lists containing this project

README

          
## 日志收集项目架构设计及kafka介绍

### ELK 项目架构

![image-20200218124307456](asset/image-20200218124307456.png)

### ELK方案的问题

- 运维成本高，每增加一个日志收集项，都需要手动修改配置

- 监控缺失，无法准确获取logstash的状态

- 无法做到定制化开发和维护

### 架构设计

![image-20200218124557412](asset/image-20200218124557412.png)

### Kafka 原理:

Kafka选择分区模式(3种)：

- 指定往哪个分区写

- 指定key,kafka根据key做hash然后决定写哪个分区

- 轮询方式

生产者往kafka发送数据的模式(3种):

- `0 :` 把数据发送给Leader就成功，效率高，安全性最低

- `1 :`把数据发送给leader,等待leaader确认回ACK

- `all :`把数据发送给leader，确保follow从leader拉取数据回复ACK给leader,leader在回复ACK，安全性最高

### docker-compose 搭建elk

```shell

$ cd home/

$ git clone https://github.com/deviantony/docker-elk.git # 下载配置文件

$ docker-compose up -d  #启动elk 

$ docker-compose ps # 查看

$ docker-compose down 

$ docker-compose restart

```

###  kibana

```shell

http://127.0.0.1:5601

user:elastic # 用户

password:changeme#密码

```