Ecosyste.ms: Awesome
An open API service indexing awesome lists of open source software.
https://github.com/ttonys/Scrapy-CVE-CNVD
漏洞监控，基于scrapy，scrapy-redis，获取每日最新的CVE和CNVD漏洞，邮件通知
https://github.com/ttonys/Scrapy-CVE-CNVD
cnvd cve scrapy
Last synced: about 1 month ago
JSON representation
漏洞监控，基于scrapy，scrapy-redis，获取每日最新的CVE和CNVD漏洞，邮件通知
- Host: GitHub
- URL: https://github.com/ttonys/Scrapy-CVE-CNVD
- Owner: ttonys
- Archived: true
- Created: 2020-03-29T14:01:04.000Z (over 4 years ago)
- Default Branch: master
- Last Pushed: 2022-07-29T22:27:52.000Z (about 2 years ago)
- Last Synced: 2024-05-08T01:33:46.295Z (4 months ago)
- Topics: cnvd, cve, scrapy
- Language: Python
- Homepage:
- Size: 260 KB
- Stars: 189
- Watchers: 8
- Forks: 37
- Open Issues: 3
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
- awesome-hacking-lists - ttonys/Scrapy-CVE-CNVD - 漏洞监控，基于scrapy，scrapy-redis，获取每日最新的CVE和CNVD漏洞，邮件通知 (Python)
README
# Scrapy-CVE-CNVD
基于scrapy框架，获取每日最新的CVE和CNVD漏洞，主要目的用于安全研究，获取最新安全咨询，无任何漏洞利用细节，严禁用于非法活动。
为了保证信息的易读性，CVE漏洞详细信息主要参照CNNVD官网信息，可能导致部分CVE无法被收录。更多信息可以通过关注CVE官方的Twitter获取。
# Start
### Docker-compose部署
修改crontabfile配置邮箱等信息
```
PATH=/opt/someApp/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin
# 个人的账号信息
[email protected]
EMAIL_PASS=xxxxxxxxxxxxxx
[email protected]
# 10分钟执行一次
*/10 * * * * cd /root/vuls && ./run.sh >> /var/log/cron.log
```
构建（网络问题多重试几次）
```
cd Scrapy-CVE-CNVD
docker-compose build
```
运行（首次运行需等待一段时间）
```
docker-compose up -d
```
### 本地部署
下载项目
```
git clone https://github.com/ttonys/Scrapy-CVE-CNVD
```
安装依赖(python3环境)
```
pip install -r requirements.txt
```
redis安装----docker
```
docker pull redis
docker run -itd --name redis-test -p 6379:6379 redis
```
redis安装----本机
```
参照网上教程
```
修改配置，`Scrapy-CVE-CNVD/OnePiece/pipelines.py`文件36-38行，使用自己注册163邮箱，以及所获取的授权码（非个人密码）
```
fromaddr = '[email protected]'
password = 'xxxxxxxxxxxxxx'
toaddrs = '[email protected]'
```
修改配置，`Scrapy-CVE-CNVD/OnePiece/settings.py`文件，配置个人的redis服务器ip、端口和密码
```
REDIS_HOST = '127.0.0.1'
REDIS_PORT = 6379
REDIS_PARAMS = {
'password': '123456',
}
```
修改配置，`Scrapy-CVE-CNVD/run.sh`中，将路径修改为自己本机的路径，参照如下：
```
#!/bin/bash
cd /root/Scrapy-CVE-CNVD
/usr/local/bin/scrapy crawl all-redis
```
测试，将`Scrapy-CVE-CNVD`路径下文件改为755权限（chmod -R 755 Scrapy-CVE-CNVD），运行`./run.sh`，查看是否收到邮件通知
添加定时任务，注意使用绝对路径，按照本机实际路径填写，参考如下（每天下午2点半执行）：
```
30 14 * * * /root/Scrapy-CVE-CNVD/run.sh
```
# Source
国家信息安全漏洞共享平台
```
https://www.cnvd.org.cn/
```
国家信息安全漏洞库
```
http://www.cnnvd.org.cn/
```
today-cve
```
https://cassandra.cerias.purdue.edu/CVE_changes/today.html
```
cve官网
```
https://cve.mitre.org/
```
# Demo
数据保存
邮件内容
