https://github.com/alexqi/webphantom

面向 Web 数据采集任务的开源爬虫框架，支持接口调用、任务调度、会话管理等核心功能，适用于构建具备一定反爬能力的自动化采集系统（抖音｜小红书｜淘宝｜京东）
https://github.com/alexqi/webphantom

crawler douyin qps scheduler taobao xiaohonghsu

Last synced: about 2 hours ago
JSON representation

面向 Web 数据采集任务的开源爬虫框架，支持接口调用、任务调度、会话管理等核心功能，适用于构建具备一定反爬能力的自动化采集系统（抖音｜小红书｜淘宝｜京东）

• Host: GitHub
• URL: https://github.com/alexqi/webphantom
• Owner: alexQi
• License: mit
• Created: 2025-06-21T14:54:20.000Z (about 1 year ago)
• Default Branch: main
• Last Pushed: 2025-06-25T04:25:38.000Z (12 months ago)
• Last Synced: 2025-11-08T23:14:57.108Z (8 months ago)
• Topics: crawler, douyin, qps, scheduler, taobao, xiaohonghsu
• Language: Go
• Homepage:
• Size: 136 KB
• Stars: 6
• Watchers: 0
• Forks: 1
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: license

Awesome Lists containing this project

README

          
# 🕸️ WebPhantom ｜任务驱动的智能采集框架

> 🎯 WebPhantom 是一套面向 Web 数据采集任务的开源通用框架，支持接口调用、任务调度、会话管理等核心功能，适用于构建具备一定反爬能力的自动化采集系统。

> #### 本项目设计的结构是为了灵活应对各种业务场景，所以可能会有些复杂，如确有需要请联系我。以学习为目的的请自行摸索。

---

## ⚙️ 核心功能

| 模块               | 说明                                                                 |

|--------------------|----------------------------------------------------------------------|

| ✅ 接口调用调度     | 支持通过 API 发起数据采集任务，自动任务分发与管理                     |

| ✅ Session 管理     | 支持账号上下文、Cookie/Token 注入与轮换                              |

| ✅ 多任务队列       | 基于优先级的任务队列调度系统                                         |

| ✅ 状态管理         | 任务状态跟踪，支持失败重试、断点恢复                                 |

| ✅ 扩展能力         | 快速扩展到其他平台、自定义中间件与持久化存储逻辑                     |

> 📦 框架轻量、可嵌入其他系统，也可独立部署。

---

## 🚀 快速使用

```bash

git clone https://github.com/alexQi/webphantom.git

cd webphantom

go mod tidy

go run cmd/api/main.go

```

API 示例、配置说明等文档请查看 `api/` 内逻辑。

---

## 🧠 使用场景

- 电商、社媒、内容平台的中小规模数据采集  

- 内部运营分析、价格监控、品牌监测等自动化数据来源  

- 结合 AI 模型做数据供给（如训练语料、评论分析等）  

---

## 🌟 高级版本：WebPhantom Pro 

当前版本为基础功能开源版，如您需要以下高级能力，可联系我们获取 Pro 商业版本：

- 🔐 智能反爬机制绕过（滑块、行为检测、加密参数等）  

- 🧭 用户行为自动模拟（滚动、点击、输入、滑动等）  

- 📈 数据链路追踪与自动分类（自动解析关键响应）  

- 🧱 分布式采集调度 & 横向扩展部署  

- 🤖 集成 AI 判断模块进行采集筛选  

> 📄 [了解更多高级功能](PRO.md)

📩 **获取方式**：  

请通过邮件或私信联系作者，获取 Pro 版本试用或商务合作方案。

- **📧 Email**：alex.qiubo@qq.com  

- **💬 微信**：alexchou6818

---

## 📜 许可证与授权

WebPhantom 开源版采用 MIT License，允许用户在遵守许可证条款的前提下免费使用、修改和分发代码。详细条款请见 LICENSE 文件。

**授权说明**：

- **开源版**：适用于学习、个人项目和非商业用途。商用用户需保留原作者版权声明。

- **Pro版**：为商业用户提供高级功能，需通过作者授权获取。

限制：严禁将开源版代码用于违反平台协议、侵犯隐私或任何非法用途的行为。作者对不当使用导致的后果不承担责任。

---

## ⚠️ 免责声明

本项目仅供合法合规用途，严禁用于任何违反平台协议、侵犯隐私或法规的行为。使用所产生的风险与责任由使用者自行承担。

---

## ❤️ 支持项目

如果你觉得这个项目有帮助，欢迎 Star ⭐ 或 Fork 🔁 支持持续维护！