{"id":50244862,"url":"https://github.com/IndoNLP/nusa-crowd","last_synced_at":"2026-06-29T20:00:55.833Z","repository":{"id":37028719,"uuid":"497307552","full_name":"IndoNLP/nusa-crowd","owner":"IndoNLP","description":"A collaborative project to collect datasets in Indonesian languages.","archived":false,"fork":false,"pushed_at":"2024-06-02T18:05:33.000Z","size":2623,"stargazers_count":252,"open_issues_count":37,"forks_count":60,"subscribers_count":6,"default_branch":"master","last_synced_at":"2024-06-02T19:51:32.333Z","etag":null,"topics":["crowdsourcing","datasets","hacktoberfest","indonesian"],"latest_commit_sha":null,"homepage":"","language":"Jupyter Notebook","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"apache-2.0","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/IndoNLP.png","metadata":{"files":{"readme":"README.id.md","changelog":null,"contributing":"CONTRIBUTING.md","funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":".github/CODEOWNERS","security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null}},"created_at":"2022-05-28T12:11:06.000Z","updated_at":"2024-06-02T18:05:37.000Z","dependencies_parsed_at":"2023-12-16T04:52:40.524Z","dependency_job_id":null,"html_url":"https://github.com/IndoNLP/nusa-crowd","commit_stats":null,"previous_names":[],"tags_count":1,"template":false,"template_full_name":null,"purl":"pkg:github/IndoNLP/nusa-crowd","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/IndoNLP%2Fnusa-crowd","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/IndoNLP%2Fnusa-crowd/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/IndoNLP%2Fnusa-crowd/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/IndoNLP%2Fnusa-crowd/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/IndoNLP","download_url":"https://codeload.github.com/IndoNLP/nusa-crowd/tar.gz/refs/heads/master","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/IndoNLP%2Fnusa-crowd/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":286080680,"owners_count":34941027,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2026-05-26T15:22:16.424Z","status":"online","status_checked_at":"2026-06-29T02:00:05.398Z","response_time":58,"last_error":null,"robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":true,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":["crowdsourcing","datasets","hacktoberfest","indonesian"],"created_at":"2026-05-26T23:00:19.776Z","updated_at":"2026-06-29T20:00:55.827Z","avatar_url":"https://github.com/IndoNLP.png","language":"Jupyter Notebook","funding_links":[],"categories":["NLP per Language"],"sub_categories":["Models"],"readme":"# Selamat datang di NusaCrowd!\n\n\u003ch3\u003e143 datasets telah terdaftar di NusaCrowd\u003c/h3\u003e\n\n![Dataset claimed](https://progress-bar.dev/83/?title=Datasets%20Claimed%20(119%20Datasets%20Claimed))\n\n\u003c!-- milestone starts --\u003e\n![Milestone 1](https://progress-bar.dev/100/?title=Milestone%201%20(30%20Datasets%20Completed))\n\n![Milestone 2](https://progress-bar.dev/100/?title=Milestone%202%20(60%20Datasets%20Completed))\n\n![Milestone 3](https://progress-bar.dev/100/?title=Milestone%203%20(100%20Datasets%20Completed))\n\n![Milestone 4](https://progress-bar.dev/84/?title=Milestone%204%20(150%20Datasets%20Completed))\n\u003c!-- milestone ends --\u003e\n\n*Read this README in [English](README.md).*\n\nNLP Indonesia kurang terwakili dalam komunitas riset, dan salah satu alasannya adalah kurangnya akses ke dataset publik ([Aji et al., 2022](https://aclanthology.org/2022.acl-long.500/)). Untuk mengatasi masalah ini, kami memulai\n**NusaCrowd**, kolaborasi bersama untuk mengumpulkan dataset NLP untuk bahasa Indonesia. Bantu kami mengumpulkan dan memusatkan dataset NLP Indonesia, dan menjadi rekan penulis makalah penelitian kami yang akan datang.\n\n## Bagaimana Cara Menggunakan NusaCrowd\n### Install NusaCrowd\nInstall `nusacrowd` di dalam python environment dengan menggunakan command berikut\n```\npip install nusacrowd\n```\n\n### Cara Penggunaan NusaCrowd\nUntuk menggunakan NusaCrowd, `import` library `nusacrowd` di dalam kode dengan menggunakan kode berikut:\n```\nimport nusacrowd as nc\n````\n\n#### Fungsi untuk List \u0026 Load Dataset\nNusaCrowd menyediakan fungsi-fungsi untuk list \u0026 load setiap datasets yang sudah diimplementasikan di NusaCrowd\n```\n# List all datasets\ndset_names = nc.list_datasets()\n\n# Load a single dataset based on the dataset name\nsmsa_dset = nc.load_dataset('smsa')\n\n# Load multiple datasets based on the dataset names\ndset_dict = nc.load_dataset(['emot', 'smsa'])\n```\n\n#### List \u0026 Load Benchmark Functions\nDisamping fungsi-fungsi diatas, NusaCrowd juga menyediakan fungsi-fungsi tambahan untuk melakukan list \u0026 load NLP benchmark dalam bahasa Indonesia\n```\n# List all benchmarks\nbenchmark_names = nc.list_benchmarks()\n\n# Load all dataset in a benchmark\nnusanlu_dsets = nc.load_benchmark('NusaNLU')\n```\n\n## Bagaimana cara berkontribusi?\n\nAnda dapat berkontribusi dengan mengajukan **set data NLP yang tidak terdaftar** di [catatan kami](https://indonlp.github.io/nusa-catalogue/). [Cukup isi formulir ini](https://forms.gle/31dMGZik25DPFYFd6), dan kami akan memeriksa dan menyetujui entri Anda.\n\nKami akan memberikan **poin kontribusi** berdasarkan beberapa faktor, antara lain: **kualitas dataset**, **kelangkaan bahasa**, atau **kelangkaan downstream task**.\n\nAnda juga dapat mengajukan dataset dari pekerjaan Anda yang lampau, yang masih belum terbuka untuk umum. Pada kasus ini, Anda harus membuat dataset Anda terbuka dengan cara meng-uploadnya ke publik, misalnya melalui Github atau Google Drive.\n\nAnda dapat mengirimkan beberapa entri, dan jika total **poin kontribusi** sudah di atas ambang batas, kami akan menyertakan Anda sebagai rekan penulis (Umumnya cukup mengajukan 1-2 dataset). Baca metode penghitungan poin selengkapnya [di sini](POINTS.id.md).\n\n\u003e **Catatan**: Kami tidak mengambil kepemilikan dari dataset yang disubmit. Lihat FAQ di bawah.\n\n## Ada cara lain untuk membantu?\n\nYa! Selain pengumpulan dataset baru, kami juga memusatkan dataset yang ada dalam satu skema yang memudahkan peneliti untuk menggunakan dataset NLP Indonesia. Anda dapat membantu kami di sana dengan membuat pemuat dataset. Untuk detail lebih lanjut tentang itu, bisa ditemukan [di sini](DATALOADER.md).\n\nSebagai alternatif, kami juga mendata paper-paper riset NLP di bahasa-bahasa Indonesia yang mana mereka masih belum membuka datasetnya. Kami akan menghubungi para penulis paper-paper tersebut nanti untuk terlibat di NusaCrowd. Lebih lanjut tentang ini ada di [Slack server](https://join.slack.com/t/nusacrowd/shared_invite/zt-1bbvt4och-JkC7tzeL_eUk4UD6tl3kDg) kami.\n\n\n## FAQ\n\n#### Siapa yang menjadi pemilik dataset yang disubmit?\n\nNusaCrowd **tidak** membuat duplikat atau salinan dari dataset yang disubmit. Maka, pemilik dataset yang disubmit tetap berada di author asli. NusaCrowd hanya sebatas membuat dataloader, yaitu pengunduh file dan pembaca data untuk menyederhanakan dan mengstandarisasi proses pembacaan data. Kami juga hanya mengumpulkan metadata dari dataset yang disubmit untuk ditampilkan di [katalog kami](https://indonlp.github.io/nusa-catalogue/) agar dataset Anda lebih mudah ditemukan!\nSitasi ke pemilik data asli juga disediakan baik di NusaCrowd atau di katalog kami.\n\n#### Bagaimana cara menemukan lisensi yang sesuai untuk dataset saya?\n\nLisensi untuk dataset tidak selalu jelas. Berikut adalah beberapa strategi yang bisa dicoba dalam pencarian Anda,\n\n* periksa file seperti README atau LICENSE yang mungkin didistribusikan dengan dataset itu sendiri\n* periksa halaman web dataset\n* periksa makalah penelitian atau publikasi yang mengumumkan rilis dataset\n* periksa situs web organisasi yang menyediakan dataset\n\nJika tidak ada lisensi resmi yang tercantum di mana pun, tetapi Anda menemukan halaman web yang menjelaskan kebijakan penggunaan data umum untuk dataset, Anda dapat kembali menyediakan URL tersebut dalam variabel `_LICENSE`. Jika Anda tidak dapat menemukan informasi lisensi apa pun, harap dicatat di PR Anda dan masukkan `_LICENSE=\"Unknown\"` di script dataset Anda.\n\n#### Bagaimana jika dataset saya belum tersedia untuk umum?\n\nAnda dapat mengunggah dataset Anda secara publik terlebih dahulu, mis. di Github.\n\n#### Bisakah saya membuat PR jika saya punya ide / mengajukan perubahan kode pada repository nusa-crowd?\n\nJika Anda memiliki ide untuk repositori nusa-crowd, silakan buat `issue` dan mintalah `umpan balik` sebelum memulai PR apa pun.\n\n#### Saya bingung, dapatkah Anda membantu saya?\n\nYa, kamu dapat kirimkan pertanyaanmu di kanal komunitas NusaCrowd! Silakan bergabung ke kanal komunitas NusaCrowd di [grup WhatsApp kami](https://chat.whatsapp.com/Jn4nM6l3kSn3p4kJVESTwv) dan [server Slack](https://join.slack.com/t/nusacrowd/shared_invite/zt-1bbvt4och-JkC7tzeL_eUk4UD6tl3kDg).\n\n\n## Terima kasih!\n\nKami sangat menghargai bantuan Anda!\n\nArtefak hackathon ini akan dijelaskan dalam makalah penelitian akademis mendatang yang menargetkan machine learning atau NLP audiens. Silakan merujuk ke [bagian ini](#contribution-guidelines) untuk imbalan kontribusi Anda karena membantu Nusantara NLP. Kami menyadari bahwa beberapa dataset memerlukan lebih banyak upaya daripada yang lain, jadi hubungi kami jika Anda memiliki pertanyaan. Tujuan kami adalah menjadi inklusif dengan kredit!\n\n\n## Sitasi NusaCrowd\n```\n@misc{cahyawijaya2022nusacrowd,\n      title={NusaCrowd: Open Source Initiative for Indonesian NLP Resources}, \n      author={Samuel Cahyawijaya and Holy Lovenia and Alham Fikri Aji and Genta Indra Winata and Bryan Wilie and Rahmad Mahendra and Christian Wibisono and Ade Romadhony and Karissa Vincentio and Fajri Koto and Jennifer Santoso and David Moeljadi and Cahya Wirawan and Frederikus Hudi and Ivan Halim Parmonangan and Ika Alfina and Muhammad Satrio Wicaksono and Ilham Firdausi Putra and Samsul Rahmadani and Yulianti Oenang and Ali Akbar Septiandri and James Jaya and Kaustubh D. Dhole and Arie Ardiyanti Suryani and Rifki Afina Putri and Dan Su and Keith Stevens and Made Nindyatama Nityasya and Muhammad Farid Adilazuarda and Ryan Ignatius and Ryandito Diandaru and Tiezheng Yu and Vito Ghifari and Wenliang Dai and Yan Xu and Dyah Damapuspita and Cuk Tho and Ichwanul Muslim Karo Karo and Tirana Noor Fatyanosa and Ziwei Ji and Pascale Fung and Graham Neubig and Timothy Baldwin and Sebastian Ruder and Herry Sujaini and Sakriani Sakti and Ayu Purwarianti},\n      year={2022},\n      eprint={2212.09648},\n      archivePrefix={arXiv},\n      primaryClass={cs.CL}\n}\n```\n\n\u003c!--\n## Ucapan Terima Kasih\n\nPanduan hackathon ini sangat terinspirasi oleh [BigScience Datasets Hackathon](https://github.com/bigscience-workshop/data_tooling/wiki/datasets-hackathon).\n --\u003e\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2FIndoNLP%2Fnusa-crowd","html_url":"https://awesome.ecosyste.ms/projects/github.com%2FIndoNLP%2Fnusa-crowd","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2FIndoNLP%2Fnusa-crowd/lists"}