https://github.com/zinal/yc-dataproc-snippets
YC Data Proc samples and snippets
https://github.com/zinal/yc-dataproc-snippets
hadoop spark yandex-cloud
Last synced: 3 months ago
JSON representation
YC Data Proc samples and snippets
- Host: GitHub
- URL: https://github.com/zinal/yc-dataproc-snippets
- Owner: zinal
- License: apache-2.0
- Created: 2022-10-28T06:30:28.000Z (almost 3 years ago)
- Default Branch: main
- Last Pushed: 2024-09-27T07:53:07.000Z (about 1 year ago)
- Last Synced: 2025-06-10T01:11:35.420Z (4 months ago)
- Topics: hadoop, spark, yandex-cloud
- Language: Java
- Homepage: https://cloud.yandex.ru/services/data-proc
- Size: 37.4 MB
- Stars: 8
- Watchers: 3
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# Материалы по Yandex Data Proc
В этом репозитории собраны документы и различные примеры для работы с сервисом [Yandex Data Proc](https://cloud.yandex.ru/services/data-proc).
Структура основных материалов:
* [Инструкция по диагностике работы заданий Spark](dataproc-spark-diag/)
* [Инструкция по настройке внешней базы данных Apache Hive Metastore](dataproc-hive/)
* [Настройка S3A Committers для оптимизации записи в Yandex Object Storage](dataproc-s3a-committers/)
* [Копирование дополнительных файлов на узлы Data Proc](dataproc-copy-files/)
* [Настройка кластера Data Proc для работы с Apache Kafka](dataproc-kafka/)
* [Использование автоскейлинга в заданиях Spark](dataproc-scaling/)
* [Управление дополнительными компонентами Python](dataproc-python-repo/)
* [Автоматизация настройки хранения ноутбуков Zeppelin в Object Storage](dataproc-zeppelin/)
* [Использование Delta Lake](https://github.com/yandex-cloud/yc-delta)
Примеры вспомогательных скриптов и программ:
* [Раскраска вычислительных ресурсов Data Proc](dp-compute-colorizer/)