{"id":23119463,"url":"https://github.com/rsc-labs/see-open-data","last_synced_at":"2025-04-04T02:41:21.368Z","repository":{"id":203776627,"uuid":"710387156","full_name":"RSC-Labs/see-open-data","owner":"RSC-Labs","description":"Show www.dane.gov.pl in user friendly format. Generate flourish data or other data visualizations.","archived":false,"fork":false,"pushed_at":"2024-01-05T15:27:59.000Z","size":3196,"stargazers_count":0,"open_issues_count":0,"forks_count":0,"subscribers_count":0,"default_branch":"main","last_synced_at":"2025-02-09T14:23:27.044Z","etag":null,"topics":["data","data-visualization","flourish","government","poland"],"latest_commit_sha":null,"homepage":"","language":"TypeScript","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"apache-2.0","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/RSC-Labs.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null}},"created_at":"2023-10-26T15:36:33.000Z","updated_at":"2023-11-28T16:46:45.000Z","dependencies_parsed_at":"2023-11-09T18:25:51.613Z","dependency_job_id":"70d1b6fe-79ac-4a25-aeee-75642153e560","html_url":"https://github.com/RSC-Labs/see-open-data","commit_stats":null,"previous_names":["rsc-labs/draw-open-data"],"tags_count":0,"template":false,"template_full_name":null,"repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/RSC-Labs%2Fsee-open-data","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/RSC-Labs%2Fsee-open-data/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/RSC-Labs%2Fsee-open-data/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/RSC-Labs%2Fsee-open-data/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/RSC-Labs","download_url":"https://codeload.github.com/RSC-Labs/see-open-data/tar.gz/refs/heads/main","host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":247112739,"owners_count":20885605,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["data","data-visualization","flourish","government","poland"],"created_at":"2024-12-17T05:36:05.670Z","updated_at":"2025-04-04T02:41:21.348Z","avatar_url":"https://github.com/RSC-Labs.png","language":"TypeScript","funding_links":[],"categories":[],"sub_categories":[],"readme":"# see-open-data\nEnglish on request\n\nsee-open-data to projekt stworzony, aby w łatwy sposób przedstawiać i wizualizować dane pochodzące z www.dane.gov.pl.\n\nPrzykłady:\n\nhttps://public.flourish.studio/visualisation/15959761/\n\nhttps://public.flourish.studio/visualisation/15798657/\n\nhttps://public.flourish.studio/visualisation/15686678/\n\n#### Po co to?\n\nDane znajdujące się na www.dane.gov.pl mają różne struktury, różne formaty oraz przedstawiają jedynie wycinek rzeczywistości. Przykładowo jesteśmy w jednym miejscu pobrać informację o liczbie uczniów w każdym województwie, natomiast w innym miejscu o liczbie uczniów uczących się w domu. Aby pokazać jaki jest stosunek liczby uczniów uczących się w domu do liczby uczniów w województwie musimy pobrać obie dane oraz odpowiednio je zmanipulować, a jeśli chcemy, następnie jest przedstawić.\nProjekt ten ma na celu stworzenie narzędzia do łatwego manipulowania danych oraz generowania danych wizualnych.\n\n## Jak to działa?\n\n![alt text](./docs/see-open-data-readme.PNG \"Title\")\n\n### Datasets/resource oraz funkcje normalizujące\n\nDatasets/resource są to dane pobrane ze strony www.dane.gov.pl.\n\nFunkcja normalizująca to funkcja, która transformuje dane, aby były mogły być użyte następnie do stworzenia raportu.\n\nFolder \"datasets\" zawiera ponumerowane \"datasets\" wraz z \"resource\". Mapuje się to bezpośrednio z www.dane.gov.pl. Przykładowo:\nhttps://dane.gov.pl/pl/dataset/1963,nauczanie-domowe/resource/45532/table?page=1\u0026per_page=20\u0026q=\u0026sort=\nOznacza, że funkcja normalizowania danych znajdująca się w 1963/45532 normalizuje dane znajdujące się w powyższym linku.\n\nNa ten moment funkcje normalizujące jako wejście dostają pliki *.csv ściągnięte z www.dane.gov.pl, ale w przyszłości pojawaią się też takie, które wykorzystują API.\n\n\n### Generacje danych oraz dane do wizualicji\n\nFunkcja, która pobiera dane przetransformowane przez funkcje normalizujące. Może używać jednej lub wielu funkcji. Przykładowo funkcja znajdująca się w report/education/students-in-home wykorzystuje dwie funkcje normalizujące (212/45734 oraz 1963/45532) aby stworzyć raport.\nGeneracja danych na wyjściu daje dane do wizualizacji.\n\n\n### Flourish\n\nNa ten moment narzędzie skupia się na generowaniu danych do map dla Flourish (https://flourish.studio/)\n\n\n## Jak mogę tego użyć?\n\nNajłatwiej jest użyć dostępnych już funkcji generacji danych do wizualizacji, odpalając np. plik \"reports/education/students-in-home.ts\" i podając ścieżki do danych dla funkcji normalizujących. Wyjściowe dane należy użyć razem z plikiem .geojson odpowiednim dla danych (np. z folderu /other_data/geo/provinces-medium.geojson).\n\n\n### Przykład\n\nOdpalenie komendy:\n\n\u003ccode\u003ets-node results/education/students-from-ukraine.ts studentsFromUkraine.csv allStudents.csv\u003c/code\u003e\n\nwygeneruje plik Regions.json. \n\nNastępnie w Flourish wybrać \"Projection Map\" i jako \"data\" wczytać Regions.json do \"Regions\" oraz /other_data/geo/provinces-medium.geojson do \"Regions_geometry\".\n\n## Implementacja\n\nImplementację można zacząć w każdym miejscu, tzn.\n1) Stworzyć funkcję normalizująca dane\n2) Dodać dane do wyjścia funkcji normalizującej\n3) Stworzyć funkcję generacji danych (raportu)\nitd.\n\nKażda funkcja normalizacji jest odseparowana i może wyglądać zupełnie inaczej. Warto jednak trzymać się następującej konwencji:\n1) W przypadku pobierania danych z pliku, funkcja powinna posiadać ścieżkę do pliku jako argument\n2) Funkcja powinna zwracać najlepiej Map\u003cstring, any\u003e, gdzie \"string\" jest kluczem wykorzystywanym potem do generacji raportu. Np. wykorzystuje się \"terytId\" aby zmapować dane dla województw.\n\n## Plany\n\n- kolejne funkcje normalizujące oraz generowania danych\n- wsparcie API aby zautomatyzować proces pobierania danych\n- testy\n\n## Współpraca\n\nPull requesty mile widziane.\n\nWsparcie komercyjne - labs@rsoftcon.com\n\n## Sponsor\n\n© 2023 RSC https://rsoftcon.com/\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Frsc-labs%2Fsee-open-data","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Frsc-labs%2Fsee-open-data","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Frsc-labs%2Fsee-open-data/lists"}