{"id":28219790,"url":"https://github.com/quaddarv1ne/bmstu-data-architect","last_synced_at":"2026-06-18T23:31:18.648Z","repository":{"id":299399528,"uuid":"988272572","full_name":"QuadDarv1ne/BMSTU-Data-Architect","owner":"QuadDarv1ne","description":"Архитектор данных — это специалист, который проектирует, создаёт и управляет структурами данных организации, обеспечивая их эффективное хранение, обработку, интеграцию и безопасность. Он разрабатывает стратегии работы с данными, определяет стандарты, выбирает подходящие технологии (например, базы данных, облачные решения)","archived":false,"fork":false,"pushed_at":"2026-02-16T08:55:43.000Z","size":35860,"stargazers_count":2,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"master","last_synced_at":"2026-02-16T16:31:27.055Z","etag":null,"topics":["analytics","csv","csv-parser","database","excel","postgresql","powerbi","python","sql"],"latest_commit_sha":null,"homepage":"","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/QuadDarv1ne.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":null,"code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null,"zenodo":null,"notice":null,"maintainers":null,"copyright":null,"agents":null,"dco":null,"cla":null}},"created_at":"2025-05-22T09:58:47.000Z","updated_at":"2026-02-16T08:55:46.000Z","dependencies_parsed_at":"2025-06-16T11:37:47.811Z","dependency_job_id":"b6a86465-ded5-4d98-899f-dcb962a76260","html_url":"https://github.com/QuadDarv1ne/BMSTU-Data-Architect","commit_stats":null,"previous_names":["quaddarv1ne/bmstu-data-architect"],"tags_count":1,"template":false,"template_full_name":null,"purl":"pkg:github/QuadDarv1ne/BMSTU-Data-Architect","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/QuadDarv1ne%2FBMSTU-Data-Architect","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/QuadDarv1ne%2FBMSTU-Data-Architect/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/QuadDarv1ne%2FBMSTU-Data-Architect/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/QuadDarv1ne%2FBMSTU-Data-Architect/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/QuadDarv1ne","download_url":"https://codeload.github.com/QuadDarv1ne/BMSTU-Data-Architect/tar.gz/refs/heads/master","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/QuadDarv1ne%2FBMSTU-Data-Architect/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":286080680,"owners_count":34511617,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2026-05-26T15:22:16.424Z","status":"online","status_checked_at":"2026-06-18T02:00:06.871Z","response_time":128,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["analytics","csv","csv-parser","database","excel","postgresql","powerbi","python","sql"],"created_at":"2025-05-18T03:11:31.101Z","updated_at":"2026-06-18T23:31:18.643Z","avatar_url":"https://github.com/QuadDarv1ne.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"# Выпускная квалификационная работа \"Архитектор данных\"\n\n[![DOI](https://zenodo.org/badge/988272572.svg)](https://doi.org/10.5281/zenodo.17287964)\n[![ORCID](https://img.shields.io/badge/ORCID-0009--0007--7605--539X-green?logo=orcid\u0026logoColor=white)](https://orcid.org/0009-0007-7605-539X)\n\n![МГТУ им. Баумана](mgtu-bauman.png)\n\n![Центр дополнительного образования МГТУ им. Баумана](centr_dop_education.png)\n\n![Центр дополнительного образования МГТУ им. Баумана](centr_dop_education_1.png)\n\n## Описание репозитория\n\n**Архитектор данных** — это специалист, который проектирует, создаёт и управляет структурами данных организации, обеспечивая их эффективное хранение, обработку, интеграцию и безопасность.\n\nОн разрабатывает стратегии работы с данными, определяет стандарты, выбирает подходящие технологии (например, базы данных, облачные решения) и создаёт архитектурные модели, которые соответствуют бизнес-целям компании.\n\nЕго задачи включают оптимизацию данных для анализа, обеспечение масштабируемости систем и соблюдение регуляторных требований (например, `GDPR`).\n\n`Архитектор данных работает на стыке бизнес-анализа`, `ИТ-инфраструктуры` и `Data Science`\n\n**Центр дополнительного образования МГТУ им. Баумана** — это `подразделение Московского государственного технического университета`, которое предлагает программы профессиональной переподготовки, повышения квалификации и краткосрочные курсы для широкой аудитории: от студентов и выпускников до действующих специалистов и корпоративных заказчиков.\n\nЦентр фокусируется на технических, инженерных, IT-направлениях (например, `Data Science`, `робототехника`, `цифровые технологии`), а также на `управленческих` и `бизнес-дисциплинах`\n\n`Обучение здесь строится на базе научно-технической экспертизы МГТУ, с привлечением преподавателей-практиков и использованием современных образовательных методик`\n\n`Цель центра` — помочь слушателям актуализировать знания, освоить новые компетенции и адаптироваться к изменениям на рынке труда.\n\n### Структура репозитория\n\n```textline\nBMSTU-DATA-ARCHITECT/  \n├── ETL/                 # Скрипты ETL-процессов  \n├── ML_model/            # Код ML-модели и датасеты  \n├── Database/            # SQL-скрипты и ER-диаграммы  \n├── PowerBI/             # Файлы Power BI (.pbix)  \n├── docs/                # Пояснительная записка, презентация  \n└── README.md            # Описание проекта, инструкции  \n```\n\n### Глоссарий\n\n```textline\n1. Основные термины:\n\n1.1) ETL-процесс (Extract, Transform, Load)\nПроцесс извлечения данных из источников, их преобразования (очистка, нормализация) и загрузки в хранилище (DWH).\n\n1.2) DWH (Data Warehouse)\nЦентрализованное хранилище данных, оптимизированное для аналитики и отчетности.\n\n1.3) ML-модель (Machine Learning Model)\nАлгоритм, обученный на исторических данных для прогнозирования событий (например, риска отчисления студентов).\n\n1.4) LMS (Learning Management System)\nСистема управления обучением (например, Moodle, Google Classroom), используемая для организации учебного процесса.\n\n1.5) ERD (Entity-Relationship Diagram)\nДиаграмма сущностей и связей, визуализирующая структуру базы данных.\n\n2. Технологии и инструменты:\n\n2.1) Apache Airflow\nПлатформа для оркестрации ETL-пайплайнов.\n\n2.2) Power BI\nИнструмент для создания интерактивных дашбордов и визуализации данных.\n\n2.3) MySQL Workbench\nСреда для проектирования и администрирования реляционных баз данных.\n\n2.4) XGBoost\nБиблиотека градиентного бустинга, применяемая для задач классификации и регрессии.\n\n2.5) GitHub\nПлатформа для хранения и совместной разработки кода.\n\n3. Образовательная аналитика:\n\n3.1) Персонализация обучения\nАдаптация учебных материалов под индивидуальные потребности студента.\n\n3.2) Прогнозная аналитика\nИспользование данных и ML для предсказания будущих событий (например, успеваемости).\n\n3.3) Академическая успеваемость\nПоказатели студента: оценки, посещаемость, активность в LMS.\n\n3.4) Риск отчисления\nВероятность прекращения студентом обучения, рассчитанная ML-моделью.\n\n3.5) Дашборд (Dashboard)\nИнтерактивный интерфейс для визуализации ключевых метрик (например, успеваемости групп).\n\n4. Метрики качества:\n\n4.1) Точность (Accuracy)\n\n4.2) AUC-ROC\nПлощадь под ROC-кривой, оценивающая качество классификации (диапазон: 0.5–1.0).\n\n4.3) Гармоническое среднее точности и полноты (F1-Score)\n\n5. Примеры использования терминов:\n\n5.1) ETL-процесс использован для загрузки данных из LMS в DWH.\n\n5.2) ML-модель на основе XGBoost достигла AUC-ROC = 0.92.\n\n5.3) В Power BI создан дашборд для анализа академической успеваемости.\n\n```\n\n### Видео демонстрация\n\nВы можете посмотреть видео демонстрацию проекта по [этой ссылке](https://github.com/QuadDarv1ne/BMSTU-Data-Architect/blob/master/add_data_on_project.mp4).\n\n#### Загрузка в репозиторий\n\n`Git LFS` — это расширение для `Git`, которое позволяет эффективно управлять большими файлами, такими как видео, графические файлы, бинарные файлы и другие крупные данные, которые обычно не подходят для управления версиями в стандартном репозитории `Git`\n\n# Команды Git LFS\n\n| Команда | Описание |\n|---------|----------|\n| `git lfs env` | Показать окружение LFS |\n| `git lfs status` | Проверить состояние файлов |\n| `git lfs pull` | Скачать LFS-файлы после `git pull` |\n| `git lfs prune` | Удалить старые версии LFS-файлов |\n| `git lfs locks` | Работа с блокировками (для бинарников) |\n\n**Шаг №1: Установка Git LFS**\n\n- Скачайте и установите `Git LFS` с [официального сайта](https://git-lfs.com/)\n- `Убедитесь, что Git LFS установлен правильно, выполнив в командной строке:`\n\n   ```bash\n   git lfs install\n   ```\n\n**Шаг №2: Инициализация `Git LFS` в вашем репозитории**\n\n- Перейдите в корневую директорию вашего репозитория.\n- **Выполните команду для инициализации `Git LFS` в вашем репозитории:**\n\n   ```bash\n   git lfs install\n   ```\n\n**Шаг №3: Отслеживание больших файлов**\n\n- Укажите `Git LFS` отслеживать ваш большой файл.\n- **Например, если ваш файл называется `add_data_on_project.mp4`, выполните:**\n\n   ```bash\n   git lfs track \"add_data_on_project.mp4\"\n   ```\n\n   **Эта команда создаст или обновит файл .gitattributes, чтобы указать Git LFS на необходимость отслеживания указанного файла.**\n\n**Шаг №4: Добавление и коммит изменений**\n\n- **Добавьте файл `.gitattributes` и ваш большой файл в индекс:**\n\n   ```bash\n   git add .gitattributes\n   git add add_data_on_project.mp4\n   ```\n\n- **Сделайте коммит изменений:**\n\n   ```bash\n   git commit -m \"Add large file with Git LFS\"\n   ```\n\n**Шаг 5: Отправка изменений в удаленный репозиторий**\n\n- **Отправьте изменения в ваш удаленный репозиторий на GitHub:**\n\n   ```bash\n   git push origin master\n   ```\n\nТеперь ваш большой файл должен быть успешно загружен в репозиторий с использованием `Git LFS`\n\n---\n\n#### Экспорт данных в .csv формате\n\n![Экспорт данных в .csv формате](csv_export.png)\n\n---\n\n💼 **Автор:** Дуплей Максим Игоревич\n\n📲 **Telegram:** @quadd4rv1n7\n\n📅 **Дата:** 12.05.2025\n\n▶️ **Версия 1.0**\n\n```textline\n※ Предложения по сотрудничеству можете присылать на почту ※\n📧 maksimqwe42@mail.ru\n```\n\n[![Star History Chart](https://api.star-history.com/svg?repos=QuadDarv1ne/BMSTU-Data-Architect\u0026type=Date)](https://star-history.com/#QuadDarv1ne/BMSTU-Data-Architect\u0026Date)\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fquaddarv1ne%2Fbmstu-data-architect","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fquaddarv1ne%2Fbmstu-data-architect","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fquaddarv1ne%2Fbmstu-data-architect/lists"}