https://github.com/llm-grading-system/grading-experiments

Эксперименты с различными подходами для оценки практических заданий студентов
https://github.com/llm-grading-system/grading-experiments

langchain mistral pytest python uv

Last synced: 3 months ago
JSON representation

Эксперименты с различными подходами для оценки практических заданий студентов

README

## Эксперименты с автоматическим оцениванием

**Установка библиотек:**
```bash
uv sync
```

**Просмотр JSON-файлов**: https://jsonviewer.stack.hu/

### Эксперимент 1: простой критериальный подход

По каждому критерию проверяется его соблюдение с использованием CoT+SO

**Запуск оценивания:**
```bash
uv run python -m experiments.exp1.run
```

**Запуск тестов:**
```bash
uv run pytest experiments/exp1/test_solution.py -sv
```

### Эксперимент 2: мета-оценка кода

**Запуск оценивания:**
```bash
uv run python -m experiments.exp2.run
```