{"id":17293043,"url":"https://github.com/macmod/portaltransparenciabr","last_synced_at":"2025-09-19T17:39:06.900Z","repository":{"id":88881595,"uuid":"197286043","full_name":"Macmod/PortalTransparenciaBR","owner":"Macmod","description":"Extrator de dados do portal da transparência do governo brasileiro.","archived":false,"fork":false,"pushed_at":"2019-07-17T14:12:54.000Z","size":21,"stargazers_count":1,"open_issues_count":0,"forks_count":0,"subscribers_count":1,"default_branch":"master","last_synced_at":"2025-03-26T19:24:22.860Z","etag":null,"topics":[],"latest_commit_sha":null,"homepage":null,"language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"gpl-3.0","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/Macmod.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2019-07-17T00:29:43.000Z","updated_at":"2023-03-03T23:50:04.000Z","dependencies_parsed_at":"2023-06-12T23:15:29.110Z","dependency_job_id":null,"html_url":"https://github.com/Macmod/PortalTransparenciaBR","commit_stats":null,"previous_names":[],"tags_count":0,"template":false,"template_full_name":null,"purl":"pkg:github/Macmod/PortalTransparenciaBR","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Macmod%2FPortalTransparenciaBR","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Macmod%2FPortalTransparenciaBR/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Macmod%2FPortalTransparenciaBR/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Macmod%2FPortalTransparenciaBR/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/Macmod","download_url":"https://codeload.github.com/Macmod/PortalTransparenciaBR/tar.gz/refs/heads/master","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Macmod%2FPortalTransparenciaBR/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":275976905,"owners_count":25563249,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","status":"online","status_checked_at":"2025-09-19T02:00:09.700Z","response_time":108,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":[],"created_at":"2024-10-15T10:45:04.621Z","updated_at":"2025-09-19T17:39:06.839Z","avatar_url":"https://github.com/Macmod.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"# PortalTransparenciaBR\nExtrator de dados do portal da transparência do governo brasileiro.\nO propósito desse repositório é facilitar o acesso ao conjunto completo de dados do portal da transparência para fins de análise de dados offline. Se o seu propósito for a obtenção de respostas para pequenas consultas nos dados, utilize a [API do portal](http://www.portaltransparencia.gov.br/api-de-dados) ao invés.\n\n## Categorias\nAs categorias de dados disponíveis são aquelas listadas na seção [Download de Dados](https://www.portaltransparencia.gov.br/download-de-dados/) do portal e são identificadas pelo nome na URL, como `servidores`, `bolsa-familia-pagamentos`, `licitacoes`, etc.\n\n## Download\nDados de uma categoria podem ser baixados com o seguinte comando:\n```bash\n$ python ptfetcher.py \u003cCATEGORIA\u003e\n```\n\nOs dados comprimidos, como disponibilizados no site, serão baixados para o diretório `data`.\n\n## Desagrupamento\nO portal oferece dados agrupados por subcategorias, tais como ano, mês e origem. Para desagrupar os dados já baixados, obtendo um CSV único para cada conjunto de CSVs com as mesmas colunas, execute o comando:\n```bash\n$ python ptmerger.py \u003cCATEGORIA\u003e\n```\n\nOs dados extraídos serão inseridos no diretório `csv` e os dados desagrupados serão inseridos no diretório `output`. O diretório `log` serve apenas para registrar os nomes dos arquivos já extraídos para cada categoria, evitando a extração repetida de arquivos. Caso queira extrair a categoria inteira novamente, remova o diretório `log` e re-execute o comando.\n\n## Observação\nOs dados de algumas categorias do portal podem ser muito grandes, na casa de dezenas de gigabytes. Observe a utilização de disco durante a execução do programa.\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fmacmod%2Fportaltransparenciabr","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fmacmod%2Fportaltransparenciabr","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fmacmod%2Fportaltransparenciabr/lists"}