https://github.com/inzhenerka/scooters_data_generator
Generate data of scooter trips for analysis
https://github.com/inzhenerka/scooters_data_generator
data dbt generator
Last synced: 23 days ago
JSON representation
Generate data of scooter trips for analysis
- Host: GitHub
- URL: https://github.com/inzhenerka/scooters_data_generator
- Owner: Inzhenerka
- Created: 2024-03-24T23:14:53.000Z (over 2 years ago)
- Default Branch: main
- Last Pushed: 2025-03-13T23:36:17.000Z (over 1 year ago)
- Last Synced: 2025-03-14T00:28:52.379Z (over 1 year ago)
- Topics: data, dbt, generator
- Language: Python
- Homepage: https://inzhenerka.tech/dbt
- Size: 1.63 MB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- Changelog: CHANGELOG.md
Awesome Lists containing this project
README
# Генератор данных поездок на электросамокатах
Для курса-симулятора ["dbt для инженеров данных и аналитиков"](https://inzhenerka.tech/dbt)
## Установка зависимостей
```bash
pip install .
```
## Создание новой версии
Релиз GitHub создается автоматически при пуше в ветку main.
⚠️ Не забыть загрузить файлы с данными в S3 ⚠️
## Опубликованные датасеты
- [version.txt](https://inzhenerka-public.s3.eu-west-1.amazonaws.com/scooters_data_generator/version.txt) - файл с актуальной версией данных
- [events.parquet](https://inzhenerka-public.s3.eu-west-1.amazonaws.com/scooters_data_generator/events.parquet) - события из мобильного приложения кикшеринга
- [payments.parquet](https://inzhenerka-public.s3.eu-west-1.amazonaws.com/scooters_data_generator/payments.parquet) - оплаты поездок пользователями
- [trips.parquet](https://inzhenerka-public.s3.eu-west-1.amazonaws.com/scooters_data_generator/trips.parquet) - поездки пользователей на самокатах
- [users.parquet](https://inzhenerka-public.s3.eu-west-1.amazonaws.com/scooters_data_generator/users.parquet) - пользователи кикшеринга
- [scooters_raw.sql](https://inzhenerka-public.s3.eu-west-1.amazonaws.com/scooters_data_generator/scooters_raw.sql) - SQL-дамп с данными из parquet-файлов
- [weather.json](s3://inzhenerka-public/scooters_data_generator/weather.json) - погодные данные по дням
## Автоматизированная загрузка
- [dbt Data Bot](https://t.me/inzhenerka_dbt_bot) - телеграм-бот для загрузки данных в базу через интернет
- [scooters_data_uploader](https://github.com/Inzhenerka/scooters_data_uploader) - приложение для загрузки данных в локальную базу