https://github.com/esscova/data-cleaning-python
https://github.com/esscova/data-cleaning-python
Last synced: 8 months ago
JSON representation
- Host: GitHub
- URL: https://github.com/esscova/data-cleaning-python
- Owner: esscova
- Created: 2023-12-15T20:24:40.000Z (almost 2 years ago)
- Default Branch: main
- Last Pushed: 2023-12-15T20:36:04.000Z (almost 2 years ago)
- Last Synced: 2024-12-29T18:36:40.656Z (9 months ago)
- Language: Jupyter Notebook
- Size: 1.7 MB
- Stars: 0
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
Awesome Lists containing this project
README
# Limpeza e tratamento de dados
A limpeza de dados é o processo de encontrar e corrigir dados imprecisos em um conjunto de dados. Isso envolve identificar e remover inconsistências, preencher campos vazios, corrigir erros estruturais e garantir que os dados sejam precisos, completos e consistentes.
## Apresentação
Os dados podem apresentar uma variedade de problemas, incluindo:
* Dados duplicados: quando um mesmo dado é registrado duas ou mais vezes.
* Problemas de consistência: quando os dados apresentam inconsistências entre si, como valores diferentes para o mesmo atributo.
* Problemas de completude: quando os dados estão incompletos, com valores faltantes.
* Problemas de conformidade: quando os dados não atendem aos requisitos de um determinado padrão ou formato.
* Problemas de integridade: quando os dados estão corrompidos ou danificados.
## Objetivo
O tratamento e limpeza de dados envolvem uma série de técnicas e ferramentas, como:
* Limpeza de dados: remoção de dados duplicados, inconsistências, valores faltantes e outros problemas.
* Transformação de dados: conversão dos dados para um formato mais adequado para análise.
* Padronização de dados: definição de regras para garantir que os dados sejam consistentes.
* Enriquecimento de dados: inclusão de informações adicionais aos dados para melhorar a sua qualidade.
## Tecnologias utilizadas
* Linguagem: Python
* IDE: Jupyter Notebook
* Packs: Pandas, Seaborn e Statistics
## Aprendizado com o projeto
Para descrever e resumir um conjunto de dados, aplicamos técnicas de estatística descritiva,
portanto aplicar estas técnicas é entender a ciência que se dedica à coleta, análise e interpretação de dados.