https://github.com/xsa-dev/tlacml
torch and mlops
https://github.com/xsa-dev/tlacml
Last synced: 6 days ago
JSON representation
torch and mlops
- Host: GitHub
- URL: https://github.com/xsa-dev/tlacml
- Owner: xsa-dev
- Created: 2025-04-02T10:36:25.000Z (about 1 year ago)
- Default Branch: main
- Last Pushed: 2025-11-04T16:57:22.000Z (8 months ago)
- Last Synced: 2025-11-04T18:24:55.328Z (8 months ago)
- Language: HTML
- Size: 4.89 MB
- Stars: 2
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# Индекс заданий
Этот файл содержит описание всех заданий и проектов в репозитории.
## 📁 Структура проектов
### 1. F1 - Crypto Trading с ансамблем моделей и PPO
**Путь:** `F1/`
**Описание:**
Система торговли криптовалютой (BTC/USDT) с использованием ансамбля нейронных сетей для предсказания направления движения цены и опционального Deep Reinforcement Learning агента (PPO) для принятия торговых решений.
**Основные компоненты:**
- Ансамбль моделей: LSTM, GRU, 1D CNN, MLP
- PPO агент (опционально)
- PyTorch Lightning для обучения моделей
- ClearML для логирования экспериментов
- Система бэктестинга
**Технологии:**
- PyTorch Lightning
- ClearML
- CCXT (для работы с биржей Binance)
- Gymnasium (для торговой среды)
**Документация:**
- [README.md](F1/README.md) - основная документация
- [docs/README.md](F1/docs/README.md) - подробная документация
- [docs/TRADING_SETUP.md](F1/docs/TRADING_SETUP.md) - инструкции по настройке торговли
**Запуск:**
```bash
cd F1
make train # Обучение моделей
make train-ppo # Обучение с PPO агентом
make predict # Предсказания
```
---
### 2. M1_ClearML_practice-HARD - Классификация автомобилей с CatBoost
**Путь:** `Lightning_practice/M1_ClearML_practice-HARD/`
**Описание:**
Проект по классификации автомобилей с использованием CatBoost и отслеживанием экспериментов через ClearML. Оптимизирован для работы на Mac с чипом M1.
**Основные возможности:**
- Автоматическая загрузка и предобработка данных
- Визуализация данных с помощью Seaborn и Matplotlib
- Обучение модели классификации CatBoost
- Логирование метрик, параметров и артефактов в ClearML
- Сохранение и загрузка обученной модели
**Технологии:**
- CatBoost
- ClearML
- Seaborn, Matplotlib
**Документация:**
- [README.md](Lightning_practice/M1_ClearML_practice-HARD/README.md)
**Запуск:**
```bash
cd Lightning_practice/M1_ClearML_practice-HARD
make dev # Запуск в режиме разработки
make start # Запуск с пользовательскими параметрами
```
---
### 3. M2 - Классификация языка жестов с PyTorch Lightning
**Путь:** `Lightning_practice/M2/`
**Описание:**
Библиотека для работы с PyTorch и MLOps, включающая утилиты для работы с Lightning, кастомные слои и модели, инструменты для визуализации и анализа моделей.
**Основные компоненты:**
- Классификатор языка жестов на основе Sign MNIST датасета
- CNN архитектура с PyTorch Lightning
- Data Pipeline с аугментацией данных
- Автоматическое определение доступного ускорителя (CPU/GPU/Metal)
**Технологии:**
- PyTorch Lightning
- CNN (Convolutional Neural Networks)
- Sign MNIST dataset
**Документация:**
- [README.md](Lightning_practice/M2/README.md)
**Запуск:**
```bash
cd Lightning_practice/M2
make download_data # Загрузка датасета
make dev # Проверка
make start # Обучение
```
---
## 🚀 Быстрый старт
### Требования
- Python 3.9+ (для M1 и M2)
- Python 3.12+ (для F1)
- [uv](https://github.com/astral-sh/uv) - менеджер пакетов Python
- Аккаунт ClearML (для проектов с ClearML)
### Установка зависимостей
Для каждого проекта:
```bash
cd <путь_к_проекту>
uv sync
```
### Настройка ClearML
Для проектов, использующих ClearML (F1 и M1):
1. Создайте файл `.env` на основе `.env.example`
2. Укажите ваши ClearML credentials:
```env
CLEARML_API_ACCESS_KEY=your_access_key
CLEARML_API_SECRET_KEY=your_secret_key
CLEARML_WEB_HOST=https://app.clear.ml
CLEARML_FILES_HOST=https://files.clear.ml
```
---
## 📊 Сводная таблица проектов
| Проект | Технологии | Задача | Статус |
|--------|-----------|--------|--------|
| F1 | PyTorch Lightning, ClearML, PPO | Торговля криптовалютой | ✅ |
| M1 | CatBoost, ClearML | Классификация автомобилей | ✅ |
| M2 | PyTorch Lightning | Классификация языка жестов | ✅ |
---
## 📝 Примечания
- Все проекты используют современные инструменты MLOps (ClearML, PyTorch Lightning)
- Проекты оптимизированы для работы с различными платформами (CPU, GPU, Metal)
- Каждый проект содержит подробную документацию в README.md
- Для работы с реальной торговлей (F1) требуется тщательное тестирование на исторических данных
---
**Последнее обновление:** 2025-01-13