{"id":22353518,"url":"https://github.com/dp6/penguin-datalayer","last_synced_at":"2025-07-30T08:34:12.086Z","repository":{"id":37952333,"uuid":"327712675","full_name":"DP6/penguin-datalayer","owner":"DP6","description":"Crawler assistido para validação de objetos enviados à camada de dados (Data Layer)","archived":false,"fork":false,"pushed_at":"2023-03-07T13:27:46.000Z","size":1057,"stargazers_count":7,"open_issues_count":13,"forks_count":5,"subscribers_count":25,"default_branch":"master","last_synced_at":"2025-07-05T00:58:18.994Z","etag":null,"topics":["data-quality","data-quality-checks","datalayer","dp6","gtm","hacktoberfest","json-schema","nodejs","raft-suite"],"latest_commit_sha":null,"homepage":"https://dp6.github.io/penguin-datalayer","language":"JavaScript","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":null,"status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/DP6.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":"CONTRIBUTING.md","funding":null,"license":null,"code_of_conduct":"CODE_OF_CONDUCT.md","threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null,"zenodo":null}},"created_at":"2021-01-07T20:02:13.000Z","updated_at":"2022-02-02T14:05:53.000Z","dependencies_parsed_at":"2025-05-03T10:34:30.058Z","dependency_job_id":"dddb544c-48b6-4d03-9c67-f6c2f36f1231","html_url":"https://github.com/DP6/penguin-datalayer","commit_stats":null,"previous_names":[],"tags_count":4,"template":false,"template_full_name":null,"purl":"pkg:github/DP6/penguin-datalayer","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/DP6%2Fpenguin-datalayer","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/DP6%2Fpenguin-datalayer/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/DP6%2Fpenguin-datalayer/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/DP6%2Fpenguin-datalayer/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/DP6","download_url":"https://codeload.github.com/DP6/penguin-datalayer/tar.gz/refs/heads/master","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/DP6%2Fpenguin-datalayer/sbom","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":264925185,"owners_count":23684087,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["data-quality","data-quality-checks","datalayer","dp6","gtm","hacktoberfest","json-schema","nodejs","raft-suite"],"created_at":"2024-12-04T13:08:52.308Z","updated_at":"2025-07-30T08:34:11.687Z","avatar_url":"https://github.com/DP6.png","language":"JavaScript","funding_links":[],"categories":[],"sub_categories":[],"readme":"# Penguin DataLayer\n\n\u003cdiv align=\"center\"\u003e\n\u003cimg src=\"https://raw.githubusercontent.com/DP6/templates-centro-de-inovacoes/main/public/images/centro_de_inovacao_dp6.png\" height=\"100px\" /\u003e\n\n\u003c/div\u003e\n\u003cp align=\"center\"\u003e\n  \u003ca href=\"#badge\"\u003e\n    \u003cimg alt=\"semantic-release\" src=\"https://img.shields.io/badge/%20%20%F0%9F%93%A6%F0%9F%9A%80-semantic--release-e10079.svg\"\u003e\n  \u003c/a\u003e\n  \u003ca href=\"https://www.codacy.com/gh/DP6/penguin-datalayer/dashboard?utm_source=github.com\u0026amp;utm_medium=referral\u0026amp;utm_content=DP6/penguin-datalayer\u0026amp;utm_campaign=Badge_Grade\"\u003e\u003cimg src=\"https://app.codacy.com/project/badge/Grade/afcd617698e744cb8f6f44f4cdc8ddd9\"/\u003e\u003c/a\u003e\n\u003c/p\u003e\n\nO Penguin DataLayer é uma ferramenta Open Source desenvolvida pela DP6 que tem como intuito auxiliar no processo de validação da implementação da camada de dados (Data Layer), através de um modelo de dados (schema) que represente com fidelidade as chaves, valores, tipos de dados esperados.\nA ferramenta atua como um crawler, acompanhando os disparos efetuados para o Data Layer, e validando cada objeto enviado com base no schema entregue à esta.\n\n## Conteúdo\n\n- [Conteúdo](#conteúdo)\n  - [Instalação](#instalação)\n  - [Como Utilizar](#como-utilizar)\n  - [JSON Schema](#json-schema)\n    - [Tipos Suportados](#tipos-suportados)\n    - [Regras de validação](#regras-de-validação)\n    - [Estrutura do JSON Schema](#estrutura-do-json-schema)\n\n### Instalação\n\nPara instalar a versão atual:\n\n` npm install -i`\n\nApós a instalação da biblioteca, a estrutura de diretórios deve ser a seguinte:\n\n```bash\n├── config\n├── lib\n├── results\n└── schema\n```\n\n### Como Utilizar\n\nO DataLayer Penguin realiza a validação de hits enviados para a Camada de Dados (Data Layer).\nPara garantir que o hit que foi enviado está estruturado da forma correta e com os valores esperados, faz-se necessária a inclusão de dois arquivos que são gerados manualmente, sendo estes:\n\n- JSON Schema\n- Config\n\nTanto o JSON Schema quanto o arquivo de config são gerados através da seguinte planilha:\n[Ludwig - Schema \u0026 Config](https://docs.google.com/spreadsheets/d/1U1YbPmRQDvUv4X8m0I8GYNr8pXR8ADYttzKw79NIlcQ/edit#gid=631532070)\n\nO arquivo de configurações para a execução do DataLayer Penguin deve ser inserido na pasta **config**, e o JSON Schema na pasta **schema**, respectivamente\n\n```bash\n├── config\n│   ├── config_example.json\n├── results\n└── schema\n    ├── schema_example.json\n```\n\nPara execução do validador, é esperado como parâmetro o arquivo de configuração, conforme demonstrado no exemplo a seguir:\n\n`npm start config_example.json`\n\nPara a execução do validador com o adblock pausado basta seguir o exemplo a seguir:\n\n`npm start config_example.json stopAdBlock`\n\nApós executar o comando, o validador iniciará uma instância do _Chromium_, lendo as configurações da URL de início, nome da camada de dados e o JSON Schema para validação.\n\nOs hits que forem disparados de forma automática para a camada de dados e estiverem declarados no JSON Schema serão validados de forma automática. Entretanto, o validador necessitará de interação humana caso haja algum hit que necessita de uma ação (click, preenchimento de form, etc.) para ser disparado.\n\nPor padrão, os logs com a validação serão disponibilizados na pasta **results**, em pdf ou xlsx, dependendo do parâmetro que for passado na linha de comando que executa o DataLayer Penguin, como por exemplo:\n\n```nodejs\nnpm start config_example.json pdf\n```\n\nou\n\n```nodejs\nnpm start config_example.json xlsx\n```\n\n### JSON Schema\n\nO JSON Schema é uma estrutura que permite a **validação** de documentos JSON. Esta estrutura é utilizada no projeto pois permite a declaração dos formatos de dados esperados dentro da camada de dados.\n\n#### Tipos Suportados\n\nOs seguintes tipos de dados são suportados:\n\n- String\n- Number\n- Boolean\n- Object\n- Array\n\n#### Regras de validação\n\nAs seguintes regras para validação são aceitas:\n\n- **Enum (Equals)**: A ser utilizada quando houver a necessidade de validar a **igualdade** entre o valor informado no schema _versus_ o que foi enviado para a camada de dados\n- **Pattern (Regex - String)**: É possível criar expressões regulares para validar valores das chaves\n- **minItems (Array)**: Valida o número mínimo de itens contidos no array\n- **Required**: Quando houver a obrigatoriedade de validar uma determinada chave\n\n#### Estrutura do JSON Schema\n\nA estrutura a seguir é um exemplo de um JSON Schema:\n\n```json\n{\n  \"$schema\": \"\",\n  \"title\": \"Schema example\",\n  \"array\": {\n    \"$id\": \"#/properties/schema\",\n    \"type\": \"array\",\n    \"items\": [\n      {\n        \"type\": \"object\",\n        \"properties\": {\n          \"event\": {\n            \"type\": \"string\",\n            \"enum\": [\"teste\"]\n          },\n          \"key1\": {\n            \"type\": \"object\",\n            \"properties\": {\n              \"key1_sub1\": {\n                \"type\": \"number\"\n              },\n              \"key1_sub2\": {\n                \"type\": \"string\",\n                \"pattern\": \"teste|test|.*\"\n              },\n              \"key1_sub3\": {\n                \"type\": \"string\",\n                \"enum\": [\"producao\"]\n              },\n              \"key1_sub4\": {\n                \"type\": \"boolean\"\n              }\n            },\n            \"required\": [\"key1_sub1\", \"key1_sub2\", \"key1_sub3\", \"key1_sub4\"]\n          }\n        },\n        \"required\": [\"event\"]\n      }\n    ]\n  }\n}\n```\n\n## Como contribuir\n\nPull requests são bem-vindos! Nós vamos adorar ajuda para evoluir esse modulo. Senta-se livre para navegar por open issues buscando por algo que possa fazer. Caso temha uma nova feature ou bug, por favor abra uma nova issue para ser acompanhada pelo nosso time.\n\n### Requisitos obrigatórios\n\nSó serão aceito as contribuições que estiverem seguindo os seguintes requisitos:\n\n- [Padrão de commit](https://www.conventionalcommits.org/en/v1.0.0/)\n\n## Suporte:\n\n**DP6 Koopa-troopa Team**\n\n_e-mail: \u003cmailto:koopas@dp6.com.br\u003e_\n\n\u003cimg src=\"https://raw.githubusercontent.com/DP6/templates-centro-de-inovacoes/main/public/images/koopa.png\" height=\"100\" /\u003e\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fdp6%2Fpenguin-datalayer","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fdp6%2Fpenguin-datalayer","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fdp6%2Fpenguin-datalayer/lists"}