https://github.com/romkravets/ai-crawler
Interactive AI-based web crawler. Supported by Claude, Groq, Ollama, LM Studio.
https://github.com/romkravets/ai-crawler
anthropic anthropic-ai anthropic-api cheerio express openai-api pdf-parse playwright
Last synced: 7 days ago
JSON representation
Interactive AI-based web crawler. Supported by Claude, Groq, Ollama, LM Studio.
- Host: GitHub
- URL: https://github.com/romkravets/ai-crawler
- Owner: romkravets
- Created: 2026-04-20T11:23:04.000Z (3 months ago)
- Default Branch: main
- Last Pushed: 2026-04-20T15:33:13.000Z (3 months ago)
- Last Synced: 2026-06-09T08:38:37.525Z (about 1 month ago)
- Topics: anthropic, anthropic-ai, anthropic-api, cheerio, express, openai-api, pdf-parse, playwright
- Language: HTML
- Homepage: https://ai-crawler-mu.vercel.app
- Size: 170 KB
- Stars: 0
- Watchers: 0
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# 🕷 AI Crawler
Інтерактивний веб-crawler на базі ШІ. Підтримує **Claude, Groq, Ollama, LM Studio**.
## Провайдери
| Провайдер | Модель за замовчуванням | Потрібен ключ |
| --------- | ------------------------ | ------------------- |
| Anthropic | claude-sonnet-4-20250514 | `ANTHROPIC_API_KEY` |
| Groq | llama-3.3-70b-versatile | `GROQ_API_KEY` |
| Ollama | llama3.2 | — (локальний) |
| LM Studio | local-model | — (локальний) |
---
## Deploy на Vercel
```bash
# 1. Клонуй репо
git clone https://github.com/твій-юзер/ai-crawler
cd ai-crawler
# 2. Встанови Vercel CLI
npm i -g vercel
# 3. Задеплой
vercel
# 4. Додай змінні середовища
vercel env add ANTHROPIC_API_KEY
vercel env add GROQ_API_KEY # опційно
```
Або через Vercel Dashboard:
**Settings → Environment Variables** → додай ключі
---
## Локальний запуск
```bash
npm i -g vercel
vercel dev
# → http://localhost:3000
```
Для Ollama та LM Studio — просто запусти їх локально, вони підхоплюються автоматично.
---
## Структура проєкту
```
ai-crawler/
├── api/
│ └── crawl.js # Serverless proxy (Vercel)
├── public/
│ └── index.html # Фронтенд
├── .env.example # Шаблон змінних
├── .gitignore
├── vercel.json
└── README.md
```
---
## Безпека
- API ключі зберігаються **тільки** в Vercel Environment Variables
- Фронтенд ніколи не бачить ключів
- `.env` додано в `.gitignore`