https://github.com/pzim-devdata/data-developer
All my DATA developer projects
https://github.com/pzim-devdata/data-developer
correlation data-analysis data-mining data-science data-visualization database folium folium-maps mongodb mysql python spark sql
Last synced: 2 months ago
JSON representation
All my DATA developer projects
- Host: GitHub
- URL: https://github.com/pzim-devdata/data-developer
- Owner: pzim-devdata
- License: mit
- Created: 2020-03-11T00:29:39.000Z (over 5 years ago)
- Default Branch: master
- Last Pushed: 2023-05-31T09:36:43.000Z (over 2 years ago)
- Last Synced: 2025-04-02T05:47:36.226Z (6 months ago)
- Topics: correlation, data-analysis, data-mining, data-science, data-visualization, database, folium, folium-maps, mongodb, mysql, python, spark, sql
- Language: HTML
- Size: 56.4 MB
- Stars: 1
- Watchers: 1
- Forks: 0
- Open Issues: 0
-
Metadata Files:
- Readme: README.md
- License: LICENSE
Awesome Lists containing this project
README
# Projets effectués en tant que Dev Python DATA :
    [](https://github.com/pzim-devdata/DATA-developer/issues)     
[Mes attestations et diplômes de formation 🎓](https://github.com/pzim-devdata/Skills-and-training-certificates)
## Table des matières :
- [Words of the day](#--words-of-the-day)
- [Chef-d-oeuvre](#--chef-d-oeuvre)
- [Work experience in a company](#--work-experience)
- [Data Viz](#--data-viz)
- [Creation of a huge SQL database](#--creation-of-a-huge-sql-database)
- [Other projects](#--other-projects)
- [Licence](#--licence)
- [Contact](#--contact-email)
--------------------------------------------------------
## - [Words of the day](https://github.com/pzim-devdata/Git_repo)
Voici les mots tendances dans l'actu Twitter. Ceci est mis à jour automatiquement depuis un serveur distant. Je suis le créateur de ce code écrit en Python.
--------------------------------------------------------
## - [Chef-d-oeuvre](https://github.com/pzim-devdata/DATA-developer/tree/master/chef-d'oeuvre)
Il s'agit du projet de fin de formation utilisant Python, MongoDB et MySQL
[Télécharger le projet :inbox_tray:](https://github.com/pzim-devdata/dev-data/raw/master/chef-d'oeuvre/chef_d_oeuvre.zip)
Voici le rapport du projet :
:blue_book:
[Télécharger le rapport :inbox_tray:](https://github.com/pzim-devdata/dev-data/raw/master/chef-d'oeuvre/Rapport.pdf)
Le projet consiste à :
- Scraper sur Wikipédia l'ensemble des villes d'île de France, leurs code postaux et leurs coordonnées (latitude, longitude)
- Scraper grâce à l'API Google Maps les temps de parcours et distances vers Paris en transport en commun, en voiture aux heures de pointes et en trafic normal et en vélo
- Sauvegarder les données non expolitées sur mySQL dans differentes tables, par département, avec en clé étrangère le nom des villes
- Nettoyer les données pour les expoliter et créer de la DataViz pour en dégager une problématique
- Sauvegarder les données assemblées et nettoyées sur MongoDB
--------------------------------------------
## - [Work experience](https://github.com/pzim-devdata/DATA-developer/tree/master/work%20experience)
Il s'agit des programmes effectués durant mon stage en entreprise
[Télécharger tout le projet :inbox_tray:](https://github.com/pzim-devdata/DATA-developer/releases/download/v1.0.0/work-experiencer.zip)
Voici les 3 programmes effectués durant le stage :
- [scrape-iscid-master](https://github.com/pzim-devdata/DATA-developer/tree/master/work%20experience/scrape-icsid-master)
- [scrape-pca-master](https://github.com/pzim-devdata/DATA-developer/tree/master/work%20experience/scrape-pca-master)
- [scrape-unctad-master](https://github.com/pzim-devdata/DATA-developer/tree/master/work%20experience/scrape-unctad-master)
Le projet consiste à :
- Scraper trois sites Internet avec BeautifullSoup et Selenium
- Repérer si ces sites ont été modifiés grâce à des sauvegardes en CSV
- Mettre en forme ces modifications afin de les notifier par mail pour les integrer dans une base de données
--------------------------------------------
## - [Data Viz](https://github.com/pzim-devdata/DATA-developer/tree/master/data-viz)
Il s'agit d'un projet de Data Viz écrit en Python qui analyses les éléctions présidentielles de 2012
[Télécharger tout le projet :inbox_tray:](https://github.com/pzim-devdata/DATA-developer/releases/download/V1.0.0/data-viz.zip)
:blue_book:
[Télécharger le notebook Python:inbox_tray:](https://github.com/pzim-devdata/DATA-developer/raw/master/data-viz/Projet%20%C3%A9l%C3%A9ctions.pdf)
Le projet consiste à :
- Nettoyer et ordonner des données avec Python importées depuis des sources Internet comme l'INSEE
- Créer de la DataViz avec les libraires matplotlib, pandas et numpy
- Créer une carte interative avec folium
- Etudier les corrélations avec seaborn
- Rendre les données exploitables pour un Data Anlayst à travers une application Flask
--------------------------------------------
## - [Creation of a huge SQL database](https://github.com/pzim-devdata/DATA-developer/tree/master/creation%20of%20a%20huge%20SQL%20database)
Il s'agit de créer une base de données SQL pour une chaine commerciale avec un grand nombre de données
[Télécharger le projet :inbox_tray:](https://github.com/pzim-devdata/DATA-developer/releases/download/V1.0.0/creation.of.a.huge.SQL.database.zip)
Le projet consiste à :
- Créer un script pour le schéma avec 9 tables en se basant sur un MCD
- Créer un script pour les constraintes et les clés étrangéres pour s'assurer de la cohérence des donnés
- Générer des données aléatoires (je me suis aidé du site : https://www.generatedata.com/#generator qui permet de créer toutes sortes de données)
- Nettoyer les données
- Créer un script pour insérer un grand nombre de données (10888 lignes)
- Créer un script de requêtes pour tester la base de données
- Sauvegarder la base de données
--------------------------------------------
## - [Other projects](https://drive.google.com/open?id=1cQq2cGvo1ENwOm2BFHG41D25A-qA1RSS)
Vous pouvez consulter la totalité des travaux sur mon [Drive :blue_book:](https://drive.google.com/open?id=1cQq2cGvo1ENwOm2BFHG41D25A-qA1RSS)
Vous y trouverez :
- Les TP
- Les veilles
- Les projets en groupe
--------------------------------------------
## - [Licence](https://github.com/pzim-devdata/DATA-developer/raw/master/LICENSE)
MIT License
Copyright (c) 2019 pzim-devdata
--------------------------------------------
## - [Contact :email:](mailto:contact@pzim.fr?subject=Contact%20from%20Github)
Created by [@pzim](https://www.pzim.fr/) - feel free to contact me!