{"id":28606146,"url":"https://github.com/amsterdam/dataselectie","last_synced_at":"2025-10-06T02:15:27.982Z","repository":{"id":15530403,"uuid":"61791722","full_name":"Amsterdam/dataselectie","owner":"Amsterdam","description":"Dataselectie systeem voor datapunt APIs","archived":false,"fork":false,"pushed_at":"2025-04-14T15:46:58.000Z","size":1499,"stargazers_count":1,"open_issues_count":6,"forks_count":2,"subscribers_count":26,"default_branch":"master","last_synced_at":"2025-06-11T20:14:03.612Z","etag":null,"topics":["bag","brk","csv-export","django","django-rest-framework","elasticsearch","geolocation-api","handelsregister","team-datadiensten"],"latest_commit_sha":null,"homepage":"https://api.data.amsterdam.nl/dataselectie/","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"mpl-2.0","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/Amsterdam.png","metadata":{"files":{"readme":"README.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null,"zenodo":null}},"created_at":"2016-06-23T09:13:34.000Z","updated_at":"2025-04-14T15:47:00.000Z","dependencies_parsed_at":"2023-11-07T13:39:52.533Z","dependency_job_id":"849f3e43-150c-4d4c-8808-3ac9e0a2f9fc","html_url":"https://github.com/Amsterdam/dataselectie","commit_stats":null,"previous_names":[],"tags_count":2,"template":false,"template_full_name":null,"purl":"pkg:github/Amsterdam/dataselectie","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Amsterdam%2Fdataselectie","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Amsterdam%2Fdataselectie/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Amsterdam%2Fdataselectie/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Amsterdam%2Fdataselectie/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/Amsterdam","download_url":"https://codeload.github.com/Amsterdam/dataselectie/tar.gz/refs/heads/master","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/Amsterdam%2Fdataselectie/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":278547821,"owners_count":26004775,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2022-07-04T15:15:14.044Z","status":"online","status_checked_at":"2025-10-06T02:00:05.630Z","response_time":65,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["bag","brk","csv-export","django","django-rest-framework","elasticsearch","geolocation-api","handelsregister","team-datadiensten"],"created_at":"2025-06-11T19:36:13.906Z","updated_at":"2025-10-06T02:15:27.976Z","avatar_url":"https://github.com/Amsterdam.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"# dataselectie\nDe service Dataselectie maakt het mogelijk om collecties te selecteren uit de Datapunt data.\n\n## Gebruik doelen\nVia [Data en Informatie](http://data.amsterdam.nl) is het mogelijk om met een enkel object te werken. Echter is er binnen de gemeente Amsterdam\nook een behoefte om een collectie te kunnen selecteren (b.v. nummeraanduidingen binnen een buurtcombinatie) om\nmee te werken. Dataselectie is de interface voor die behoefte. Het is ook een andere manier om de data die via Data en Informatie beschikbaar\nis te vertonen in een tabel format i.p.v op een kaart.\n\n## Technische beschrijving\nDe dataselectie service is een indexeren- en zoeken-service boven op data van andere services. Het maakt gebruik van de\ndata in andere services om ze in een andere manier te bieden.\n\nVoor HR (Handelsregister) wordt gebruik gemaakt van brondata gegenereerd in HR, waarbij de index in Dataselectie is opgenomen.\nDe koppeling is gerealiseerd door een tabel met als id vestiging_id en de api-json die gepresenteerd moet worden.\nIn Elastic is een 1 op n opgenomen, waarbij er n vestigingen (HR) per locatie (BAG) zijn opgenomen.\nOmdat Elastic alleen tellingen kan maken van parent naar child is de selectie in Elastic en wordt teruggewerkt\nnaar vestigingen.\n\n### Project setup\nDataselectie gebruikt data van de andere services en heeft geen eigen import process.\nHet maakt wel eigen indices in Elastic.\n\nOp dit moment worden de BAG, HR en BRK databases gebruikt, omdat daar de data is opgeslagen.\nDie moeten ook via docker compose starten.\n\n### Lokaal setup\nLokale setup voor Dataselectie\n\n`Let op dat dat er voldoende geheugen gealloceerd is voor Elasticsearch docker (min. 4GB)`\n\n```\n$ docker-compose up -d\n\n$ docker-compose exec database update-db.sh bag \u003cyour username\u003e\n$ docker-compose exec database update-db.sh dataselectie \u003cyour username\u003e\n$ docker-compose exec database update-table.sh handelsregister hr_dataselectie public dataselectie \u003cyour username\u003e\n\n$ docker-compose exec elasticsearch clean-el.sh\n$ docker-compose exec elasticsearch update-el.sh bag \u003cyour username\u003e\n$ docker-compose exec elasticsearch update-el.sh ds_bag_index \u003cyour username\u003e\n$ docker-compose exec elasticsearch update-el.sh ds_hr_index \u003cyour username\u003e\n$ docker-compose exec elasticsearch update-el.sh ds_brk_index \u003cyour username\u003e\n```\n\nIndien je zelf de index van scratch wilt bouwen kan dat als volgt. Let op dat dit ruim zes uur in beslag neemt\n\n```\n$ docker-compose exec -T dataselectie python manage.py elastic_indices --recreate\n$ docker-compose exec -T dataselectie python manage.py elastic_indices --build\n```\n\nJe kan ook `--partial=1/1000` toevoegen om een partiële index te maken.\n\n### API Authorizatie\n\nTesting with authorization. For BAG and HR we need scope HR/R and for BRK we need scope BRK_RSN (lees alle kadaster\ndata voor natuurlijke personen)\n\nTijdens ontwikkelen kan in `settings.py` `ALWAYS_OK` op `LOCAL` worden gezet.\n\nOm de authorisatie te testen kan op localhost met het script\n`web/dataselectie/test/localauth/mktoken_superemployee_local.py`\neen token worden gemaakt om in te loggen. Bijv.\n\n```\ntoken=`test/localauth/mktoken_superemployee_local.py`\ncurl -XGET -H \"Authorization: Bearer ${token}\" http://localhost:8000/dataselectie/brk/?stadsdeel_naam=Zuidoost\n```\n\n ## Links\n - [Dokuwiki documentatie](https://dokuwiki.datapunt.amsterdam.nl/doku.php?id=start:datapunt:dataselectiesconfluence)\n - [API endpoint](https://api.data.amsterdam.nl)\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Famsterdam%2Fdataselectie","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Famsterdam%2Fdataselectie","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Famsterdam%2Fdataselectie/lists"}