Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/letran3691/graylog
Quản lý log tập trung và gửi mail cảnh khi có ghi nhận lỗi theo cấu hình
https://github.com/letran3691/graylog
Last synced: about 2 months ago
JSON representation
Quản lý log tập trung và gửi mail cảnh khi có ghi nhận lỗi theo cấu hình
- Host: GitHub
- URL: https://github.com/letran3691/graylog
- Owner: letran3691
- Created: 2019-03-30T16:06:40.000Z (almost 6 years ago)
- Default Branch: master
- Last Pushed: 2019-09-04T04:22:20.000Z (over 5 years ago)
- Last Synced: 2023-12-25T04:29:19.968Z (about 1 year ago)
- Homepage:
- Size: 10.7 KB
- Stars: 5
- Watchers: 2
- Forks: 7
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
## Mục lục
------
#### [1 Giới thiệu](#1)
- [1.1 Thành Phần](#1.1)
#### [2 Cài Đặt Centos7](#2)
- [2.1 Cài đặt packet](#2.1)
- [2.2 Cài Elasticsrach](#2.2)
- [2.3 Cài đặt Mongodb](#2.3)
- [2.4 Cài đặt Graylog](#2.4)
- [2.5 Cầu hình web interface](#2.5)
- [2.6 Cầu hình Rsyslog](#2.6)
- [2.7 Web GUI](#2.7)
- [2.8 Alert Mail](#2.8)
#### [3 Tham khảo](#3)
- [3.1 Liên hệ](#3.1)
-------------------
- Graylog là một nền tảng quản lí log mã nguồn mở với nhiều tính năng mạnh mẽ. Nó có khả năng gộp chung và giải nén các dữ liệu quan trọng từ server log, thứ thường được gửi sử dụng giao thức Syslog. Bên cạnh đó Graylog cũng hỗ trợ việc tìm kiếm và giúp bạn hình dung cấu trúc của log thông qua một giao diện web.
- Bài viết này sẽ hướng dẫn bạn cài đặt và cấu hình Graylog trên server **Centos7**, đồng thời thiết lập một đầu vào đơn giản dùng để ghi system log.
- **MongoDB**: Lưu trữ các cấu hình và thông tin meta
- **Elasticsearch**: Lữu trữ log và cung cấp dữ liệu tìm kiếm, phần chiếm nhiều tài nguyên các các hành động phần lớn sẽ được thự hiện tại đây.
- **GrayLog**: Phân tích cú pháp log và thu thập log từ các client gửi lên.
- **GrayLog Web interface**: Quản lý bằng giao diện web
### 2 Cài đặt
- Tắt vào firewalld
systemctl stop firewalld
systemctl disable firewalld
sudo setenforce 0
reboot
yum -y install epel-release
- Install java
- Elasticsearch dựa trên nên java nên cần cài đặt JDK
yum install java
### 2.2 Cài đặt Elasticsearch
- Import the GPG key
rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
- Tạo repo mới cho **Elasticseach**
vi /etc/yum.repos.d/elasticsearch.repo
- Pates nội dung sau vào file
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=https://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=https://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
- Hiện tại **Elasticseach** phiên bản mới nhất là 6.7.
- Tuy nhiên ở đây mình dùng bản 2.x, cụ thể hơn là 2.4. Vì đơn giản là bản 6.7 nó ngốn quá nhiều tài nguyện luôn.
- Với cấu hình như trên mình chạy bản 5.x mà được vài phút là **Elasticseach** lăn ra chết vì ko đủ RAM. nhưng với bản 2.4 thì chạy gần 1 năm nay ko bị sao cả.
- Cài đặt elasticsearch
yum -y install elasticsearch
- Cấu hình elasticsearch
systemctl daemon-reload
systemctl enable elasticsearch.service
- Cấu hình elasticsearch
vi /etc/elasticsearch/elasticsearch.yml
- Tìm đến dòng 17 sửa thành **graylog**
- Restart elasticsearch
systemctl restart elasticsearch.service
- Check lại thông tin elasticsearch
curl -X GET http://localhost:9200
- Kiểm tra tình trạng "sức khỏe" của elasticsearch
curl -XGET 'http://localhost:9200/_cluster/health?pretty=true'
- Nếu bạn thấy dòng **"status" : "green"** là ngon rồi.
### 2.3 Cài đặt Mongodb
- Creat repo
vi /etc/yum.repos.d/mongodb-org-3.6.repo
- Pates nội dung sau vào file
[mongodb-org-3.0]
name=MongoDB Repository
baseurl=http://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.0/x86_64/
gpgcheck=0
enabled=1
- Cài đặt Mongodb
yum -y install mongodb-org
- Nếu firewalldđang bật
yum -y install policycoreutils-python
semanage port -a -t mongod_port_t -p tcp 27017
- Nếu bạn ko muốn dùng firewalld
systemctl stop firewalld
systemctl disable firewalld
- Start và enable Mongodb
systemctl start mongod
systemctl enable mongod
### 2.4 Cài đặt Graylog
- Tạo repo
vi /etc/yum.repos.d/graylog.repo
- Pates nội dung sau vào file.
[graylog]
name=graylog
baseurl=https://packages.graylog2.org/repo/el/stable/2.4/$basearch/
gpgcheck=1
repo_gpgcheck=0
gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-graylog
- Cài đặt
yum -y install graylog-server
- Cấu hình
vi /etc/graylog/server/server.conf
- Tìm đến dòng 55 Thêm bất kì những ký tự nào đó trên bàn phím vào sau dâu = cũng được (có có ký tự đặc biệt)
VD: password_secret =fahiogbfaerogiboierahgowebgaw0eoigbwguoptgbobofrbwepiufbgierubgfwuipfbw
- Nếu bạn muộn thể hiện sự chuyên nghiệp thì bạn dùng lệnh sau để gen ra 1 chuỗi ngẫu nhiên rồi pates sau dấu =
yum -y install pwgen
pwgen -N 1 -s 96
- Tìm tiếp đến dòng 66 thay đoạn code vào sau dâu =
echo -n yourpassword | sha256sum
- Thay **yourpassword** bằng password của bạn
- Chú ý bỏ cài dấu - ở cuối dùng đi nhé
### 2.5 Cấu hình Graylog web interface
vi /etc/graylog/server/server.conf
- Tìm đến dòng 81 và 132 vào sửa lại ip cho hợp lý.
- Restart và enable graylog-server
systemctl daemon-reload
systemctl restart graylog-server
systemctl enable graylog-server
- Graylog hỗ trợ khá nhiều cách để có thể nhận được log từ client gửi lên. Tuy nhiên mình sẽ hướng dẫn mọi người các đơn giản nhất đó là dùng **rsyslog**
- Install rsyslog
yum install rsyslog
- Cấu hình.
vi /etc/rsyslog.conf
- Để có thể gửi log lên server bạn cần chỉnh sửa lại file
- Thêm đoạn code này vào file
$ModLoad imfile
- Cú pháp gửi log lên server
$InputFileName /var/log/httpd/xxxx_access.log
$InputFileTag xxxAccessLog:
$InputFileStateFile xxxx_acc.log.statefile
$InputFileFacility local3
$InputFileSeverity info
$InputRunFileMonitor
- InputFileName: Đường dẫn đến file log
- InputFileTag: Thẻ tab (đặt tên gì cũng được cốt là để dễ nhớ)
- InputFileFacility
### Tham khảo thêm về $ModLoad imfile tại đây
### Tham khảo về Facility và Severity level tại đây
- Trỏ về server log
local3.* @10.0.1.129:9999
- **local3** là Facility ở trên
- @10.0.1.129: là ip của server graylog
- 9999: là port của graylog
- Chú ý: Nếu firewalld đang mở nhớ mở port nhé
- Enable và start rsyslog
systemctl enable rsyslog && systemctl restart rsyslog
#### 2.7 Web GUI
- Truy cập
http://your_ip_server:9000
- user mặc định là **admin**
- pass bạn đã tạo ở bước trước "echo -n **yourpassword** | sha256sum "
- Đăng nhập xong bạn vào tab **SEARCH**
- Đây là nơi hiển thị toàn bộ log mà server thư thập được từ client gửi lên.
- Tab **Stream**
- Đây là nơi các bạn phân loại logs(access, error, warning...) để dễ quản lý.
- Tạo Stream mới, góc trên bên phải.
- Tạo Rules cho Stream.
- Nhìn lại tab Search 1 chút các bạn sẽ thấy nhưng thông tin này ở đó.
- Phần Field và phần value sẽ là điều kiện để ghi nhận log vào stream
- Như trong VD dưới đây Field mình chọn message và Value mình chọn WowzaError
- Tức là khi có log gửi lênh. Graylog sẽ check điều kiện để gắn message này vào stream nào
- Như Các bạn thấy trong Stream này mình có 2 điều kiện
- 1 Field facility must match regular expression local4
- 2 Field message must match regular expression WowzaError
- Nếu đủ 2 điều kiện này thì sẽ cho log này vào stream.
- Tab Alert này sẽ liên quan để phần cấu hình mail, mình sẽ nói cuối cùng
- Tab System -> input
- Tab này là nơi cấu hình để client gửi log lên.
- Bạn chọn **Raw/plantext UDP** hoặc **syslog UDP** rồi **LAUNCH NEW INPUT** ngay bên cạnh
- Điểm khác này của 2 cái này là gì.
- Syslog UDP: đơn giản là gửi theo cấu trúc của Rsyslog thôi.
- Raw/plantext UDP: Cài này các bạn chú ý này. nếu **client và graylog ko cùng timelocal**, thì các bạn phải dùng option này thì mới xem được log, nếu ko chọn cái này thì graylog vẫn ghi nhận có log nhưng nó ko hiện thị ra được vì giờ giữa client và nó ko đồng bộ được.
##### Syslog UDP
- Global: nếu bạn có nhiều client gửi log lên server bằng cơ chế Rsyslog.
- Title: Đặt tên thôi.
- Bin Address: Các bạn để 0.0.0.0 là cho phép tất cả các client gửi log lên.
- port: client sẽ gửi log qua port này. đã nói ở phần cấu hình **Rsyslog**
- Store Full Message: lưu lại toàn bộ log ở dạng full message mà ko xóa.
##### Raw/plantext UDP:
- Khá giống với **Syslog UDP**
- Nếu đơn giản chỉ là quản lý log tập trung thì có rất nhiều các tool khác, chả cần phải phục tạp thế này. Nhưng cái hay cảu Graylog là nó tích hợp sẵn mail cho người dùng, chỉ cần cấu hình là xong.
##### 2.8 Cấu hình Alert mail
- Cấu hình lại file config
vi /etc/graylog/server/server.conf
- Tìm đến dòng 497 **# Email transport** Đây là phần cấu hình liên quan đến gửi mail
497 #Email transport
498 #transport_email_enabled = false
499 #transport_email_hostname = mail.example.com
500 #transport_email_port = 587
501 #transport_email_use_auth = true
502 #transport_email_use_tls = true
503 #transport_email_use_ssl = true
504 #transport_email_auth_username = [email protected]
505 #transport_email_auth_password = secret
506 #transport_email_subject_prefix = [graylog]
507 #transport_email_from_email = [email protected]
- transport_email_enabled: cho phép gửi mail
- transport_email_hostname: server mail
- transport_email_port: port
- transport_email_use_auth = true
- transport_email_use_tls = true
- transport_email_use_ssl = true bật xác thực
- transport_email_auth_username: địa chỉ mail
- transport_email_auth_password: password mail
- transport_email_from_email: nhập lại địa chỉ mail.
- transport_email_web_interface_url: nhập ip (ip public) và port của server (nếu các bạn public graylog ra ngoài thì phải có dòng này nhé).
Tham khảo thêm tại đây.
- Restart lại graylog
systemctl daemon-reload
systemctl restart graylog-server
- Các bạn ko nên chỉnh sửa trực tiếp vào mẫu, mà nên copy ra để sửa tránh trường hợp cấu hình sai, lại ko biết sửa lại thể nào.
- Chú ý: ko nếu dùng Gmail hoặc Gsuite phần cho phép tài khoản đăng nhập từ ứng dụng kém an toàn tại đây
- Quay lại giao diện web
- Alert -> Manage conditions
- Add New Conditions **Alert on stream** và **Condition Type** -> Add Alert Condition
- Alert on stream: ở đây sẽ list ra toàn bộ các stream mà bạn đã tạo. bạn muốn nhận mail thông báo khi stream nào thì bạn chọn stream đó.
- Condition Type: Điểu kiện để gửi mail
- Alert -> Manage notification -> Add new notification
- Mục Notification -> Add Alert notification
- notifi on stream: các bạn chọn đúng cái stream mà các bạn đã chọn ở mục **Add Alert Condition**
- Notification Type: các bạn chọn kiểu Email Alert Callback để gọi đến hàm gửi mail
- sau khi **Add Alert notification** bạn sẽ có 1 popup như hình dưới
- Title: Đặt tên cho notifications
- Sender: Nhập địa chỉ email đã cấu hình trong file config ở trên (transport_email_auth_username = [email protected])
- Email receivers: nhập email nhập mail thông báo (nhập xong 1 email các bạn tab 1 cái để nhập emmail tiếp theo).
Cuối cùng là **Save**
- Giờ chúng ta cùng test alert mail.
- Mình echo 1 chuỗi vào file log để server ghi nhận.
- Kiểm tra lại trong phần Stream xem đã ghi nhận log chưa.
- Giờ ngồi đợi mail.
- Sau khoảng 1 phút thì đã nhận được mail của graylog rồi. Xử lý cũng khá nhanh.
Như vậy mình đã hướng dẫn xong Graylog server. Chúc các bạn thành công.
1. Cài đặt Graylog http://docs.graylog.org/en/3.0/pages/installation/os/centos.html
2. Cài đặt Mongodb https://docs.mongodb.com/manual/tutorial/install-mongodb-on-red-hat/
3. Cài đặt Elasticsearch https://www.digitalocean.com/community/tutorials/how-to-install-and-configure-elasticsearch-on-centos-7
4. Cài đặt Graylog server https://www.vultr.com/docs/how-to-install-graylog-server-on-centos-7
#### 3.1 Liên hệ.