https://github.com/prefeitura-rio/queries-datario
Modelos do DBT utilizados para publicação de dados da PCRJ
https://github.com/prefeitura-rio/queries-datario
dbt government open-data python sql
Last synced: 5 months ago
JSON representation
Modelos do DBT utilizados para publicação de dados da PCRJ
- Host: GitHub
- URL: https://github.com/prefeitura-rio/queries-datario
- Owner: prefeitura-rio
- License: gpl-3.0
- Created: 2021-12-06T12:21:29.000Z (over 4 years ago)
- Default Branch: master
- Last Pushed: 2024-08-26T21:42:31.000Z (almost 2 years ago)
- Last Synced: 2024-08-27T00:35:26.407Z (almost 2 years ago)
- Topics: dbt, government, open-data, python, sql
- Language: CSS
- Homepage: https://prefeitura-rio.github.io/queries-datario/
- Size: 2.7 MB
- Stars: 4
- Watchers: 8
- Forks: 0
- Open Issues: 8
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# Queries Datario
Esse repositório contém os modelos do DBT utilizados para disponibilização de dados públicos da Prefeitura da Cidade do Rio de Janeiro no BigQuery.
## Como adicionar dados?
Faça os procedimentos a seguir em uma nova branch com nome descritivo.
1. Caso seja um `dataset-id` já existente, acesse `models/` e pule para o passo 4.
2. Caso seja um novo `dataset-id`, crie um novo diretório `models/`.
3. No arquivo `dbt_project.yml` registre o `dataset-id` junto aos já existentes, conforme exemplo abaixo:
```yaml
models:
emd:
dataset-id:
+materialized: view # Materialization type (view, table or incremental)
+schema: dataset-id # Overrides the default schema (defaults to what is set on profiles.yml)
```
4. Crie os modelos que desejar em `models/` como, por exemplo, `nome_da_tabela.sql`. Nesses arquivos, adicione o código SQL utilizado para gerar as tabelas desejadas. Quaisquer especificações de particionamento também devem ser inseridas ali.
5. Antes de fazer o merge da branch, garanta que os devidos metadados para a(s) nova(s) tabela(s) estão preenchidos no portal https://meta.dados.rio/, pois somente assim será possível gerar a documentação para publicação.