{"id":31692390,"url":"https://github.com/gftf2011/mevo-challenge","last_synced_at":"2025-10-08T14:06:16.784Z","repository":{"id":316288422,"uuid":"1062717491","full_name":"gftf2011/mevo-challenge","owner":"gftf2011","description":null,"archived":false,"fork":false,"pushed_at":"2025-09-23T18:36:07.000Z","size":6,"stargazers_count":0,"open_issues_count":0,"forks_count":0,"subscribers_count":0,"default_branch":"main","last_synced_at":"2025-09-23T19:32:28.695Z","etag":null,"topics":[],"latest_commit_sha":null,"homepage":null,"language":"TypeScript","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"mit","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/gftf2011.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null,"zenodo":null,"notice":null,"maintainers":null,"copyright":null,"agents":null,"dco":null,"cla":null}},"created_at":"2025-09-23T16:18:17.000Z","updated_at":"2025-09-23T18:36:11.000Z","dependencies_parsed_at":"2025-09-23T19:32:31.993Z","dependency_job_id":null,"html_url":"https://github.com/gftf2011/mevo-challenge","commit_stats":null,"previous_names":["gftf2011/mevo-challenge"],"tags_count":null,"template":false,"template_full_name":null,"purl":"pkg:github/gftf2011/mevo-challenge","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/gftf2011%2Fmevo-challenge","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/gftf2011%2Fmevo-challenge/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/gftf2011%2Fmevo-challenge/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/gftf2011%2Fmevo-challenge/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/gftf2011","download_url":"https://codeload.github.com/gftf2011/mevo-challenge/tar.gz/refs/heads/main","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/gftf2011%2Fmevo-challenge/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":278956330,"owners_count":26075221,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","status":"online","status_checked_at":"2025-10-08T02:00:06.501Z","response_time":56,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":[],"created_at":"2025-10-08T14:06:14.816Z","updated_at":"2025-10-08T14:06:16.779Z","avatar_url":"https://github.com/gftf2011.png","language":"TypeScript","funding_links":[],"categories":[],"sub_categories":[],"readme":"# mevo-challenge\n\nurl do desafio: [https://github.com/brunolobo-mevo/](https://github.com/brunolobo-mevo/dGVzdGU6bWV2b2JhY2tlbmQ/blob/main/README.md)\n\n## Instalação\n\nPara o projeto foi utilizado Node.JS v22.19.0\n\n### Requisitos\n- Node.JS v22.19.0\n- Docker\n- Docker Compose\n- K6\n\nRode o comando:\n```\nnpm install\n```\n\n## Como rodar o projeto\n\nPara rodar use os comandos em ordem:\n\n```\nnpm run docker:up\n```\n\n```\nnpm run build\n```\n\n```\nnpm run start\n```\n\n## Como rodar os testes\n\nPara rodar os testes será necesário ter o `docker` instalado e como há a utilização de `testcontainers` é necessário rodar o comando abaixo:\n\n```\ndocker login\n```\n\nApós isso será possível rodar os testes tendo o docker rodando usando o comando:\n\n```\nnpm run test\n```\n\n## Como rodar o teste de fumaça\n\nPara rodar o testes de fumaça será ncessário a instalação do K6.\n\nEm um terminal rode os comandos abaixo:\n\n```\nnpm run build\n```\n\n```\nnpm run start\n```\n\nDepois abra outro terminal e rode o comando para rodar os testes de fumaça:\n\n```\nnpm run perf:smoke\n```\n\n---\n\n## Validação dos dados - Checkpoint\n\n- [x] Verificar se Prescricao tem duração maior que 0\n- [x] Verificar se Prescricao NÃO CONTROLADA tem duração máxima de 90 dias\n- [x] Verificar se Prescricao CONTROLADA tem duração máxima de 60 dias\n- [x] Verificar se Prescricao CONTROLADA tem notas do médico\n- [x] Verificar se Prescricao tem CÓDIGO DE UNIDADE FEDERATIVA válido\n- [x] Verificar se Prescricao tem CPF de paciente válido\n- [x] Verificar se Prescricao tem CRM do médico com 6 caracteres válidos\n\n## Validações dos fluxos - Checkpoint\n\n- [x] Cenário de arquivos de dados válidos\n- [x] Cenário de arquivos de dados inválidos\n- [x] Cenário de arquivos mal formatados (linhas em branco)\n- [x] Cenário de arquivo corrompido\n\n## Implementações\n\n- [x] Node.JS streams\n- [x] Node.JS child_process\n- [x] elasticsearch\n- [x] kibana\n- [x] APM Server\n\n## Estimativas\n\n### Armazenamento de dados\n\n\u003e Precrições\n\nA Mevo conta com mais de `25000` farmácias e clínicas, sendo que estas tem acesso aos arquivos que seriam digitalizados !\n\nO armazenamento do dado deve ser armazenado por no mínimo `20 anos` contando a partir da data colocada na prescrição caso faça parte do prontuário, de acordo com o Conselho Federal de Medicina (CFM), a Agência Nacional de Vigilância Sanitária (ANVISA) e o Ministério da Saúde !\n\nSupondo que cada farmácia tenha um arquivo com as informações de `1000000` prescrições de cada ano. E tenham os arquivos dos últimos `20 anos` !\n\nUsando como base o arquivo fornecido para o teste, é possível estimar que um arquivo de 200 linhas tenha em média `25KB` !\n\nOs arquivos CSV de `1000000` registros devem ter em média, aproximada `125MB`\n\nCada farmácia submeteria (20 x 125MB) = `2,5GB` de dados, de forma aproximada\n\nContando todas as `25000` farmácias parceiras da Mevo (25000 x 2,5GB) - de forma aproximada = `62TB` com retenção de `20 anos`\n\n## Dados\n\n### Banco de dados\n\n- Elasticsearch\n\n### Modelagem de dados\n\n\u003e prescriptions\n\n```\n{\n  id: string(UUID),\n  date: string,\n  patient_cpf: string(CHAR(11)),\n  doctor_crm: string,\n  doctor_uf: string(CHAR(2)),\n  medication: string,\n  controlled: True | False,\n  dosage: string,\n  frequency: string,\n  duration: number,\n  notes: string\n}\n```\n\n\u003e upload-status\n\n```\n{\n  id: string(UUID),\n  upload_id: string(UUID),\n  status: pending | processing | completed | failed,\n  total_records: number,\n  processed_records: number,\n  valid_records: number,\n}\n```\n\u003e upload-status-errors\n\n```\n{\n  id: string(UUID),\n  upload_id: string(UUID),\n  message: string,\n  field: string,\n  line: number,\n  value: string\n}\n```\n\n\u003e audit-logs\n\n```\n{\n  id: string(UUID),\n  type: HTTP | JOB,\n  resource: string,\n  status: SUCCESS | PROCESSING | ERROR | CLOSED,\n  ip: string,\n  timestamp: string\n}\n```\n\n## Decisões Técnicas\n\n### Utilização de \"streams\" para leitura de dados\n\nComo o sistema irá lidar com \"arquivos grandes\" será necessário ler o arquivo sob demanda para não carregar toda a informação direto na memória da aplicação !\n\n### Processamento em batch\n\nComo o sistema irá lidar com um grande volume de escritas e de \"arquivos grandes\" é necesário processar o arquivo em partes para não sobrecarregar a memória do processo.\n\n### Utilização de \"child_process\"\n\nPara permitir o processamento em background será utilizado \"child_process\" pra mover o processamneto do arquivo para outro processo para permitir um retorno mais rápido dos endpoints para o cliente !\n\n### Utilização do \"elasticsearch\"\n\nPara utilização do elasticsearch justificativas:\n\n- Acesso a bulk insert, o que é prioritário dado a cenário de procesamento em batch\n- Alta disponibilidade e acesso a integração com AWS OpenSearch permitindo integração com projetos nativos da AWS\n- Possibilidade de sobrescrita de dados já existentes, dado ao cenário de falha caso o arquivo tenha prescrições duplicadas\n- Suporte a dados não estruturados sendo que a forma como as prescrições são armazenadas pode ter variações\n\n### Utilização do \"express\"\n\nComo seria utilizado o módulo de \"child_process\" , foi escolhido a utilização do \"express\" devido a sua simplicidade, em contrapartida para o \"Nest.JS\" seria necessário a criação de um serviço e módulo apenas para a utilização de \"child_process\" !\n\n## Benchmark\n\n\u003e Máquina: MacBook PRO - APPLE M2 - 8 GB\n\n| Número de Arquivos | Batch Size | Tipo de Arquivo | Número de Registros |             endpoint            | Tempo de Processamento |\n|:------------------:|:----------:|:---------------:|:-------------------:|:-------------------------------:|:----------------------:|\n| 1                  | 1000       | .csv            | 1.300.000           |  POST - api/prescription/upload | 2m                     |\n| 1                  | 2000       | .csv            | 1.300.000           |  POST - api/prescription/upload | 1m, 30s                |\n| 1                  | 3000       | .csv            | 1.300.000           |  POST - api/prescription/upload | 1m, 25s                |\n| 1                  | 4000       | .csv            | 1.300.000           |  POST - api/prescription/upload | 1m, 15s                |\n| 3                  | 1000       | .csv            | 1.300.000           |  POST - api/prescription/upload | 4m, 45s                |\n| 3                  | 2000       | .csv            | 1.300.000           |  POST - api/prescription/upload | 4m, 15s                |\n| 3                  | 3000       | .csv            | 1.300.000           |  POST - api/prescription/upload | 4m, 25s                |\n| 3                  | 4000       | .csv            | 1.300.000           |  POST - api/prescription/upload | 4m, 20s                |\n\n__OBS.: Tempo de Processamento é o tempo para fazer toda a leitura do arquivo, e não o tempo de resposta da API !__\n\n## endpoints\n\n### `POST - api/prescription/upload`\n\n\u003e #### Cenários - 201\n\n- __Cenário de arquivo com valores válido__ - Deverá processar todo o arquivo em background, as prescrições serão armazenadas\n- __Cenário de arquivo com valores inválidos__ - Deverá processar todo arquivo em background, as prescrições serão armazenadas e erros contabilizados\n- __Cenário de arquivo mal formatado (linhas em branco)__ - Deverá processar todo arquivo em background, ignorando as linhas em branco, as prescrições serão armazenadas e erros contabilizados\n- __Cenário de arquivo corrompido__ - Irá processar o que for possível e atualizará o processo de upload como `failed`\n\n\u003e #### Cenários - 400\n\n- __Cenário de arquivo com extensão que não seja `.csv`__ - Deverá retornar um erro\n\n### `GET - api/prescription/upload/:id`\n\n\u003e #### Cenários - 200\n\n- __Cenário de upload que existe__ - Deverá retornar o status sendo os status possíveis sendo `pending | processing | completed | failed`\n\n\u003e #### Cenários - 404\n\n- __Cenário de upload NÃO que existe__ - Deverá retornar um erro\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fgftf2011%2Fmevo-challenge","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fgftf2011%2Fmevo-challenge","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fgftf2011%2Fmevo-challenge/lists"}