{"id":50393879,"url":"https://github.com/visiologyofficial/vixtract","last_synced_at":"2026-06-16T11:01:08.995Z","repository":{"id":41871412,"uuid":"276979069","full_name":"visiologyofficial/vixtract","owner":"visiologyofficial","description":null,"archived":false,"fork":false,"pushed_at":"2024-10-28T12:48:11.000Z","size":938,"stargazers_count":44,"open_issues_count":2,"forks_count":13,"subscribers_count":8,"default_branch":"master","last_synced_at":"2024-10-28T16:35:20.287Z","etag":null,"topics":["etl","etl-automation","etl-components","etl-framework","etl-job","etl-pipeline"],"latest_commit_sha":null,"homepage":"","language":"HTML","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"bsd-3-clause","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/visiologyofficial.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2020-07-03T20:07:15.000Z","updated_at":"2024-10-28T12:48:16.000Z","dependencies_parsed_at":"2024-10-21T14:45:03.658Z","dependency_job_id":null,"html_url":"https://github.com/visiologyofficial/vixtract","commit_stats":null,"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"purl":"pkg:github/visiologyofficial/vixtract","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/visiologyofficial%2Fvixtract","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/visiologyofficial%2Fvixtract/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/visiologyofficial%2Fvixtract/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/visiologyofficial%2Fvixtract/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/visiologyofficial","download_url":"https://codeload.github.com/visiologyofficial/vixtract/tar.gz/refs/heads/master","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/visiologyofficial%2Fvixtract/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":286080680,"owners_count":34402663,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2026-05-26T15:22:16.424Z","status":"online","status_checked_at":"2026-06-16T02:00:06.860Z","response_time":126,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["etl","etl-automation","etl-components","etl-framework","etl-job","etl-pipeline"],"created_at":"2026-05-30T20:00:23.489Z","updated_at":"2026-06-16T11:01:08.988Z","avatar_url":"https://github.com/visiologyofficial.png","language":"HTML","funding_links":[],"categories":["HTML"],"sub_categories":[],"readme":"# ViXtract\n \nУдобный ETL инструмент с открытым исходным кодом на основе Python.\n\nViXtract – это сборка на основе популярных открытых инструментов обработки данных, которая помогает аналитикам BI самостоятельно выгружать, очищать и преобразовывать данные без помощи ETL разработчиков. Главные принципы ViXtract – удобство работы аналитика и неограниченные возможности развития. В основе ViXtract лежат три ключевых компонента: Jupyter - интерактивная среда для работы с Python, PETL – простая в освоении библиотека преобразования данных, Cronicle - планировщик с функциями мониторинга и оркестрации задач.\n\n\n## Установка\n\nДля установки ViXtract на Ubuntu 18.04 LTS используйте команду ниже:\n\n\u003e sudo apt-get update \u0026\u0026 sudo apt-get install git -y \u0026\u0026 git clone https://github.com/visiologyofficial/vixtract \u0026\u0026 cd vixtract \u0026\u0026 sudo chmod +x *.sh \u0026\u0026 sudo ./install.sh\n\nДля установки на других ОС нужно вносить изменения в скрипт или производить установку вручную. Также есть форк с обновленными компонентами для установки на Debian 11 https://github.com/svnikolaev/vixtract\n\nЕсли планируется использовать ViXtract с публичным доменом и HTTPS, рекомендуется до установки ViXtract настроить домен на DNS-сервере. В этом случае при установке ViXtract можно будет сразу настроить получение SSL сертификата через Letsencypt. \n\nУстановщик запросит следующую информацию:\n1. Домен/hostname. Можно оставить пустым для доступа к серверу по IP, но в этом случае автоматическая настройка HTTPS будет недоступна.\n2. Согласие на автоматическую настройку HTTPS\n3. Имя пользователя и пароль для первой учетной записи. С помощью этой учетной записи можно будет сразу приступить к работе с ViXtract.\n3. Пароль для учетной записи администратора Cronicle ('admin')\n4. Пароль для учетной записи 'etl' в предустановленной PostgreSQL\n\nПосле установки ViXtract будет доступен в браузере по адресу http(s)://\\\u003cдомен или IP\\\u003e\n\nПри необходимости можно запускать скрипт install.sh многократно.\n\n## Начало работы\n\nРекомендуем начать знакомство с ViXtract в следующем порядке:\n1. Посмотрите вводный ролик по ViXtract (ссылка будет добавлена позже)\n2. Установите ViXtract или зарегистрируйтесь на публичном тестовом сервере\n2. Пройдите вводные уроки по ViXtract в формате Jupyter Notebook - папка 'tutorials'\n2. Ознакомьтесь со вводным курсом по Python, например \"Python за 15 минут\" https://www.youtube.com/watch?v=h8ajN8_XiBk\n5. Возьмите свою реальную задачу и попробуйте ее реализовать. При этом вам будут полезны:\n   1. Примеры реализации коннекторов - папка 'examples'\n   2. Чат сообщества ViXtract - https://t.me/vixtract_ru\n   3. Документация PETL - https://petl.readthedocs.io/en/stable/\n\n## Настройка ViXtract\n\nДля настройки ViXtract после установки предусмотрен скрипт 'conf.sh'. Доступны следующие ключи:\n\n'-u'\nДобавление учетной записи\n\n'-ssl'\nВключение/выключение HTTPS\n\n'-h'\nНастройка домена/hostname\n\n'-s'\nНастройка монтирования облачного хранилища по протоколу S3\n\n'-p'\nНастройка пароля учетной записи 'etl' в PostgreSQL\n\n'-a'\nНастройка пароля учетной записи 'admin' в Chronicle\n\n## Технические подробности состава сборки\n\nПри установке выполняются следующие действия:\n1. Установлен JupyterHub с интерфейсом JupyterLab\n2. Установлен менеджер окружений Anaconda\n3. Созданы два окружения - dev и prod, а также настроены соответствующие ядра в Jupyter\n4. В оба окружения установлен базовый набор пакетов, включая PETL и вспомогательные библиотек\n5. Установлен планировшик Cronicle и модуль исполнения papermill\n6. Установлен Nginx\n7. Установлен S3FS для монтирования облачного хранилища по протоколу S3\n7. Установлен и настроен PostgreSQL\n8. Создана база etl в PostgreSQL\n9. Сделаны дополнительные настройки, интегрирующие все компоненты сборки, в том числе настройки прав, systemd, nginx и др.\n\n## Известные проблемы\n\n1. В текущей версии ViXtract не поддерживает установку в окружении за корпоративным прокси с авторизацией. В таком случае необходимо до установки вручную прописать конфигурацию прокси для npm, anaconda, wget, причем для wget также может потребоваться отключение проверки сертификата 'check_certificate = off'\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fvisiologyofficial%2Fvixtract","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fvisiologyofficial%2Fvixtract","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fvisiologyofficial%2Fvixtract/lists"}