https://github.com/yurmary/student-activity-analytics
Аналитика активности студентов корпоративного клиента
https://github.com/yurmary/student-activity-analytics
python
Last synced: 10 months ago
JSON representation
Аналитика активности студентов корпоративного клиента
- Host: GitHub
- URL: https://github.com/yurmary/student-activity-analytics
- Owner: Yurmary
- Created: 2025-05-30T13:25:31.000Z (about 1 year ago)
- Default Branch: main
- Last Pushed: 2025-05-30T14:45:03.000Z (about 1 year ago)
- Last Synced: 2025-05-30T19:35:57.838Z (about 1 year ago)
- Topics: python
- Language: Python
- Homepage:
- Size: 317 KB
- Stars: 0
- Watchers: 0
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# Аналитика активности студентов корпоративного клиента
## Описание проекта
Разработка комплексного решения для сбора, обработки и анализа данных об активности студентов на образовательной платформе корпоративного клиента. Проект включает автоматизацию сбора данных, их обработку и предоставление отчётов в удобном формате.
## Используемые технологии и инструменты
- Python
- API взаимодействия с образовательной платформой
- requests, JSON
- PostgreSQL (psycopg2)
- Google Sheets API (gspread)
- smtplib для email-оповещения
## Шаги выполнения проекта
1. **Запрос к API образовательной платформы**
- Осуществление запросов через requests.
- Обработка полученных данных в формате JSON.
2. **Обработка данных**
- Парсинг passback_params с валидацией полей для обеспечения качества данных.
3. **Загрузка данных в PostgreSQL**
- Создание таблиц для хранения данных.
- Обработка ошибок при загрузке данных.
- Использование psycopg2 для взаимодействия с базой данных.
4. **Логирование**
- Настройка модуля logging для отслеживания работы скрипта.
- Автоматическое удаление старых логов (сохранение логов за 3 дня).
5. **Автоматизация выгрузки агрегированной статистики в Google Sheets**
- Использование API и библиотеки gspread для автоматической выгрузки данных.
6. **Добавление email-уведомлений**
- Реализация отправки уведомлений по электронной почте с использованием smtplib и SSL-шифрования.
## Работа с секретами
Для обеспечения безопасности при работе с Google Sheets используется секрет `CREDENTIALS`. Этот секрет содержит необходимые учётные данные для доступа к API Google Sheets и позволяет использовать их в процессе выполнения проекта без риска раскрытия.
## Ссылки
Google Sheets с агрегированными данными(https://docs.google.com/spreadsheets/d/1u_4KJ1bdyWHoDvX4eHNZ-GovTqfNFGvK46OAyNe1cEo/edit?usp=sharing)