{"id":14982348,"url":"https://github.com/vitorm3/ecommerce-ed","last_synced_at":"2026-03-12T07:33:41.001Z","repository":{"id":244471765,"uuid":"812079889","full_name":"VitorM3/Ecommerce-ED","owner":"VitorM3","description":"Generalist E-Commerce model for testing data pipelines and projects best practices","archived":false,"fork":false,"pushed_at":"2024-06-28T21:56:34.000Z","size":7624,"stargazers_count":1,"open_issues_count":0,"forks_count":3,"subscribers_count":1,"default_branch":"main","last_synced_at":"2025-02-02T01:31:49.239Z","etag":null,"topics":["apache-airflow","apache-spark","astro-cli","mkdocs","python","sql"],"latest_commit_sha":null,"homepage":"https://vitorm3.github.io/Ecommerce-ED/","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"mit","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/VitorM3.png","metadata":{"files":{"readme":"README.md","changelog":"CHANGELOG.md","contributing":"CONTRIBUTING.md","funding":null,"license":"LICENSE","code_of_conduct":"CODE_OF_CONDUCT.md","threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":"SECURITY.md","support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2024-06-07T23:12:53.000Z","updated_at":"2024-06-28T21:55:35.000Z","dependencies_parsed_at":"2024-06-27T01:12:26.964Z","dependency_job_id":"8384c63e-392c-47ef-b09f-edb9e636a924","html_url":"https://github.com/VitorM3/Ecommerce-ED","commit_stats":{"total_commits":42,"total_committers":12,"mean_commits":3.5,"dds":0.5952380952380952,"last_synced_commit":"b5f766903cb49bb71c68a7abc0f656d851bef51a"},"previous_names":["vitorm3/ecommerce-ed"],"tags_count":1,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/VitorM3%2FEcommerce-ED","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/VitorM3%2FEcommerce-ED/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/VitorM3%2FEcommerce-ED/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/VitorM3%2FEcommerce-ED/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/VitorM3","download_url":"https://codeload.github.com/VitorM3/Ecommerce-ED/tar.gz/refs/heads/main","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":238825725,"owners_count":19537117,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["apache-airflow","apache-spark","astro-cli","mkdocs","python","sql"],"created_at":"2024-09-24T14:05:14.615Z","updated_at":"2025-10-29T12:31:34.917Z","avatar_url":"https://github.com/VitorM3.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"# Ecommerce \u0026middot; [![License](https://img.shields.io/badge/License-MIT-blue.svg)](LICENSE) ![Release](https://img.shields.io/github/v/release/VitorM3/Ecommerce-ED) [![Deploy MkDocs to GitHub Pages](https://github.com/VitorM3/Ecommerce-ED/actions/workflows/deploy-mkdocs.yml/badge.svg)](https://github.com/VitorM3/Ecommerce-ED/actions/workflows/deploy-mkdocs.yml)\n\n\nUm modelo genérico de E-commerce para validação de conhecimentos da matéria de Engenharia de Dados.\n\n## Começando\n\nEssas instruções permitirão que você obtenha uma cópia do projeto em operação na sua máquina local para fins de desenvolvimento e teste.\n\n\n## Desenho de Arquitetura\n\n![System Architecture](./assets/System_Architecture.png \"Arquitetura do Sistema\")\n\n## Pré-requisitos\n\nPara que o projeto funcione devidamente é necessário que seja instalado em um computador com as seguintes configurações:\n\n```\nMemoria Ram: 16gb\nProcessador: Intel Core i5 6gh ou superior\nEspaço em disco: 6gb\n```\n\nAlém disto é necessário a prévia instalação e configuração do Docker:\nhttps://docs.docker.com/engine/install/\n\n## Instalação\n\nPara realizar a instalação, rode o comando \n\n```bash\ndocker compose up \n```\nEste comando irá subir todos os containers que farão o processo funcionar devidamente\n\n## Implantação\n\nApós instalado, será necessário a configuração das conexões do Apache Spark e do banco base PostgreSql. Esta configuração poderá ser feita dentro da aba de conexões do Apache Airflow, localizada em:\n\n\u003e admin \u003e Connections\n\n## Ferramentas utilizadas\n\n\u003cdiv align=\"center\"\u003e\n\n# [![Postgres](https://img.shields.io/badge/PostgreSQL-316192?style=for-the-badge\u0026logo=postgresql\u0026logoColor=white)](https://www.postgresql.org/) [![Python](https://img.shields.io/badge/Python-3776AB?style=for-the-badge\u0026logo=python\u0026logoColor=white)](https://www.python.org/) [![Docker](https://img.shields.io/badge/Docker-2496ED?style=for-the-badge\u0026logo=docker\u0026logoColor=white)](https://www.docker.com/) [![Spark](https://img.shields.io/badge/Apache%20Spark-E25A1C?style=for-the-badge\u0026logo=apache-spark\u0026logoColor=white)](https://spark.apache.org/) [![AirFlow](https://img.shields.io/badge/Airflow-017CEE?style=for-the-badge\u0026logo=Apache%20Airflow\u0026logoColor=white)](https://airflow.apache.org/) [![Visual Studio Code](https://img.shields.io/badge/Visual_Studio_Code-0078D4?style=for-the-badge\u0026logo=visual%20studio%20code\u0026logoColor=white)](https://code.visualstudio.com/) [![Astro CLI](https://img.shields.io/badge/Astro%20CLI---?style=for-the-badge\u0026color=%235468ff)](https://www.astronomer.io/docs/astro/cli/overview) [![MinIO](https://img.shields.io/badge/MinIO---?style=for-the-badge\u0026logo=MinIO\u0026color=rgb(199%2044%2072))](https://min.io/)\n\n\n\n\u003c/div\u003e\n\n- **PostgreSQL** - Banco de dados relacional \n- **Python** - Linguagem de programação utilizada para criar os scripts de extração, transformação e carga de dados\n- **Docker** - Containerização de aplicações\n- **Apache Spark** - Processamento de dados em larga escala\n- **Apache Airflow** - Orquestrador de tarefas\n- **Visual Studio Code** - Editor de código\n- **Astro CLI** - Ferramenta de linha de comando para gerenciamento de infraestrutura\n- **Minio** - Armazenamento de objetos\n\n## Colaboração\nO principal intuíto deste projeto é a validação de conhecimentos adquiridos na matéria de Engenharia de Dados, por isso, a colaboração é essencial para o desenvolvimento do projeto. \n\nLeia abaixo como você pode colaborar com o projeto e ajudar compartilhando seu conhecimento e experiência.\n\n### Código de Conduta\nNosso código de conduta é derivado do [Contributor Covenant](https://www.contributor-covenant.org/), versão 2.1, disponível em [CODE OF CONDUCT](CODE_OF_CONDUCT.md).\n\n### Guia de Colaboração\nLeia o [CONTRIBUTING](CONTRIBUTING.md) para entender o processo de contribuição ao desenvolvimento do nosso projeto, auxiliando com possíveis bugfixes e melhorias. \n\n### Boas primeiras Issues\nPara se familiarizar com o projeto, você pode começar verificando as issues com o rótulo \"[good first issue](https://github.com/VitorM3/Ecommerce-ED/labels/good%20first%20issue)\". Estas possuem bugs ou aprimoramentos mais simples de serem resolvidos, geralmente com escopos limitados e perfeito para quem está começando a contribuir com o nosso projeto.\n\n## Versão\n\nO versionamento é feito com base na metodologia [SEMVER](https://semver.org/lang/pt-BR/). Explore as [tags neste repositório](https://github.com/VitorM3/Ecommerce-ED/tags) para ver todas as versões disponíveis e o [CHANGELOG.md](CHANGELOG.md) para saber mais sobre as alterações em cada versão.\n\n## Autores\n\n* **[Angelo José da Rosa](https://github.com/angelum23)** - *Orquestração*\n* **[Danilo Formanski](https://github.com/danilean)** - *Documentação*\n* **[João Victor Miotelli Vitali](https://github.com/JoaoMiotelli)** - *Orquestração*\n* **[Lucas de Oliveira Alano](https://github.com/LucasAlano)** - *Orquestração*\n* **[Vinicius Albino dos Santos](https://github.com/Shinguek0)** - *Data Visualization*\n* **[Vitor Loch Mafei Rosa](https://github.com/VitorM3)** - *DBA*\n* **[Vitor Loch Mafei Rosa](https://github.com/VitorLMR)** - *DBA*\n* **[Vitor Minatto Barp](https://github.com/Minattoo)** - *Data Visualization*\n* **[Yuri Lopes Machado](https://github.com/YuriLopesM)** - *Documentação*\n\nVocê também pode ver a lista de todos os [colaboradores](COLABORATORS.md) que participaram deste projeto.\n\n## Licença\n\nEste projeto está sob a licença MIT - veja o arquivo [LICENSE](./LICENSE) para detalhes.\n\n## Referências\n\n* **[Documentação Apache Spark](https://spark.apache.org/docs/latest/)**\n* **[Documentação Apache Airflow](https://airflow.apache.org/docs/)**\n* **[Documentação Delta Lake](https://delta.io/)**\n* **[Bíblia Sagrada](https://www.bibliaonline.com.br/)**\n\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fvitorm3%2Fecommerce-ed","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fvitorm3%2Fecommerce-ed","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fvitorm3%2Fecommerce-ed/lists"}