https://github.com/yandex-cloud-examples/yc-data-proc-postgresql-data-import

Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Proc с помощью Sqoop.
https://github.com/yandex-cloud-examples/yc-data-proc-postgresql-data-import

data-proc postgresql yandex-cloud yandexcloud

Last synced: about 14 hours ago
JSON representation

Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Proc с помощью Sqoop.

• Host: GitHub
• URL: https://github.com/yandex-cloud-examples/yc-data-proc-postgresql-data-import
• Owner: yandex-cloud-examples
• License: apache-2.0
• Created: 2024-03-08T08:40:11.000Z (8 months ago)
• Default Branch: main
• Last Pushed: 2024-06-11T11:19:33.000Z (5 months ago)
• Last Synced: 2024-06-13T14:33:48.845Z (5 months ago)
• Topics: data-proc, postgresql, yandex-cloud, yandexcloud
• Language: HCL
• Homepage: https://cloud.yandex.ru/ru/docs/tutorials/dataplatform/sqoop-mpg
• Size: 9.77 KB
• Stars: 0
• Watchers: 2
• Forks: 0
• Open Issues: 0
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

        
# Импорт данных из Yandex Managed Service for PostgreSQL в Yandex Data Processing с помощью Sqoop

Утилита [Sqoop](https://yandex.cloud/ru/docs/data-proc/operations/sqoop-usage) позволяет импортировать данные из [Managed Service for PostgreSQL](https://yandex.cloud/ru/docs/managed-postgresql) в кластер [Yandex Data Processing](https://yandex.cloud/ru/docs/data-proc). В зависимости от конфигурации кластера Yandex Data Processing вы можете выполнить импорт в одно из следующих хранилищ:

* бакет [Yandex Object Storage](https://yandex.cloud/ru/docs/storage);

* директорию HDFS;

* Apache Hive;

* Apache HBase.

Подготовка инфраструктуры для виртуальной машины, Object Storage, Yandex Data Processing и Managed Service for PostgreSQL через Terraform описана в [практическом руководстве](https://yandex.cloud/ru/docs/tutorials/dataplatform/sqoop-mpg), необходимый для настройки конфигурационный файл [clusters-postgresql-data-proc-and-vm.tf](clusters-postgresql-data-proc-and-vm.tf) расположен в этом репозитории.