{"id":46732014,"url":"https://github.com/datascienceuibk/wikihint","last_synced_at":"2026-03-09T15:31:04.225Z","repository":{"id":266101645,"uuid":"897392866","full_name":"DataScienceUIBK/WikiHint","owner":"DataScienceUIBK","description":"WikiHint: A Human-Annotated Dataset for Hint Ranking and Generation","archived":false,"fork":false,"pushed_at":"2025-07-27T13:45:49.000Z","size":12902,"stargazers_count":2,"open_issues_count":0,"forks_count":1,"subscribers_count":1,"default_branch":"main","last_synced_at":"2025-09-11T10:35:24.501Z","etag":null,"topics":[],"latest_commit_sha":null,"homepage":"","language":"Python","has_issues":true,"has_wiki":null,"has_pages":null,"mirror_url":null,"source_name":null,"license":"mit","status":null,"scm":"git","pull_requests_enabled":true,"icon_url":"https://github.com/DataScienceUIBK.png","metadata":{"files":{"readme":"README.de.md","changelog":null,"contributing":null,"funding":null,"license":"LICENSE","code_of_conduct":null,"threat_model":null,"audit":null,"citation":null,"codeowners":null,"security":null,"support":null,"governance":null,"roadmap":null,"authors":null,"dei":null,"publiccode":null,"codemeta":null,"zenodo":null,"notice":null,"maintainers":null,"copyright":null,"agents":null,"dco":null,"cla":null}},"created_at":"2024-12-02T14:54:43.000Z","updated_at":"2025-07-27T13:45:52.000Z","dependencies_parsed_at":"2025-09-11T09:05:15.558Z","dependency_job_id":"afce3194-7c04-401f-8895-1e122d27eaaf","html_url":"https://github.com/DataScienceUIBK/WikiHint","commit_stats":null,"previous_names":["datascienceuibk/wikihint"],"tags_count":0,"template":false,"template_full_name":null,"purl":"pkg:github/DataScienceUIBK/WikiHint","repository_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/DataScienceUIBK%2FWikiHint","tags_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/DataScienceUIBK%2FWikiHint/tags","releases_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/DataScienceUIBK%2FWikiHint/releases","manifests_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/DataScienceUIBK%2FWikiHint/manifests","owner_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners/DataScienceUIBK","download_url":"https://codeload.github.com/DataScienceUIBK/WikiHint/tar.gz/refs/heads/main","sbom_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories/DataScienceUIBK%2FWikiHint/sbom","scorecard":null,"host":{"name":"GitHub","url":"https://github.com","kind":"github","repositories_count":286080680,"owners_count":30301109,"icon_url":"https://github.com/github.png","version":null,"created_at":"2022-05-30T11:31:42.601Z","updated_at":"2026-03-09T14:33:48.460Z","status":"ssl_error","status_checked_at":"2026-03-09T14:33:48.027Z","response_time":61,"last_error":"SSL_read: unexpected eof while reading","robots_txt_status":"success","robots_txt_updated_at":"2025-07-24T06:49:26.215Z","robots_txt_url":"https://github.com/robots.txt","online":false,"can_crawl_api":true,"host_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub","repositories_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repositories","repository_names_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/repository_names","owners_url":"https://repos.ecosyste.ms/api/v1/hosts/GitHub/owners"}},"keywords":[],"created_at":"2026-03-09T15:31:03.063Z","updated_at":"2026-03-09T15:31:03.818Z","avatar_url":"https://github.com/DataScienceUIBK.png","language":"Python","funding_links":[],"categories":[],"sub_categories":[],"readme":"[English](README.md) | [中文](README.zh.md) | [Deutsch](README.de.md) | [Français](README.fr.md) | [Русский](README.ru.md)\n\n# WikiHint: Ein von Menschen annotierter Datensatz für Hinweisbewertung und -generierung\n\u003ca href=\"https://huggingface.co/datasets/JamshidJDMY/WikiHint\"\u003e\u003cimg alt=\"Huggingface\" src=\"https://img.shields.io/static/v1?label=Dataset\u0026message=WikiHint\u0026logo=data:image/png;base64,iVBORw0KGgoAAAANSUhEUgAAABAAAAAQCAMAAAAoLQ9TAAAAIGNIUk0AAHomAACAhAAA+gAAAIDoAAB1MAAA6mAAADqYAAAXcJy6UTwAAAIoUExURQAAAP/////57v/67xUVFf/clv+KAP/uzf/sxv8AAP9TAP/ltP///v/ouP/////////////////////////////8+v/pvP/biP/Vbf/Vbv/cif/qv//9+//////////03v/Yev/Zfv/14//25v/Uav/Vbv/46//////dkf/gmP/////04P/25//pvP/sxf/////lr//ouP/qwP/tyf/msv/ntf/+/P/36f/LUf/36P/w0v/w0//w0//w0//78//gm//QZv/RZv/gm//78v/////14v/nt//gnP/hn//w0f/////w0f/hn//gnP/nt//14v/////////////////LLv/MGv/PGf/LL//LG//THP/THv/SHv/UHv/LGv/LH/7SHuK8JOzDIuW+I+jAI//LHv/PTP/NF/PBG3BkOpyGMvrOH4R0NoV0NvzJGv/MF//QT//MLv/LGPu/FNayJu7FIdq2Jf7DFP/JF//ML//LJurCIsCiKujCIubAI7+hK/DHIf/LJ//HK//NGf/SHeS9IlxSP25QQmtOQmVZPu3DIf/RHf/HLP++Kf/AD/++EP3EFNCfLNhpQthrQdinKv/FFP/AEP+/K/++Dv/BEv+/Ef/CE//MIf/NIP/MGf++D//KTP/FOP/DE//PG//PHP/JGP/EFP/EM//BDf/TH//GFP/CEP/DEP/EEv/BDv/MS//IJ//JHf/JHP/JP//IQf/IHP/IJv/LSf///7SHOh0AAABUdFJOUwAAAAAAAAAAAAAAAAAABiZCQykIAUGn3/Hy4q5KAwRy7vJ/Yfb7cR/X4ipkdpepAqi5mavM2z5v/pGTtZS2QtP4999bIGyry8yUR4fJzbJ2BRIRE9ZoIHEAAAABYktHRAH/Ai3eAAAAB3RJTUUH6AIGEyohVAr+rAAAARZJREFUGNNjYGBgZGTi4xcQFBJmZmRkYQDxRUTFxCUkpaRlZBkZQXw5eYWQ0LCw0HBFJWGgCCOrskpEZFR0dExkrKoaG1BAXSMuPiExOjopOSpFU4uRgV07NS09IzMqKzsnNy9fh4OBU7egsKi4JCo6ubSsvEJPlkHfoDIqqqq6prauPiqqwVCYgcuosam5pbWtvaOzq6nbWJZBy6Snt69/wsRJk6f0TZ1masZgbjF9xsxZhbPnzJ01c8a8+ZYMVgt6F5aHLly0eGHokqVTl1kz2CxYXhi1YuWq1WuiouauXWbLYGe/bv2GjZscHDdv2bh1m5MzA7eLq5u7h6eXoLePr5+/ENDpjBwBgYH6PIyMQcF8vIyMAKnZUpQQgaV4AAAAJXRFWHRkYXRlOmNyZWF0ZQAyMDI0LTAyLTA2VDE5OjQyOjI1KzAwOjAwybP6HAAAACV0RVh0ZGF0ZTptb2RpZnkAMjAyNC0wMi0wNlQxOTo0MjoyNSswMDowMLjuQqAAAAAodEVYdGRhdGU6dGltZXN0YW1wADIwMjQtMDItMDZUMTk6NDI6MzMrMDA6MDBAgVbbAAAAAElFTkSuQmCC\u0026color=20BEFF\"/\u003e\u003c/a\u003e\n\u003ca href=\"https://doi.org/10.1145/3726302.3730284\"\u003e\u003cimg src=\"https://img.shields.io/static/v1?label=Paper\u0026message=ACM%20SIGIR\u0026color=green\u0026logo=arxiv\"\u003e\u003c/a\u003e\n\u003ca href=\"https://colab.research.google.com/github/DataScienceUIBK/WikiHint/blob/main/HintRank/Demo.ipynb\"\u003e\u003cimg src=\"https://img.shields.io/static/v1?label=Colab\u0026message=Demo\u0026logo=Google%20Colab\u0026color=f9ab00\"\u003e\u003c/a\u003e\n[![License](https://img.shields.io/badge/License-CC%20BY%204.0-blue)](https://creativecommons.org/licenses/by/4.0/)\n\u003cimg src=\"https://github.com/DataScienceUIBK/WikiHint/blob/main/WikiHint/Pipeline.png\"\u003e\n\nWikiHint ist ein **von Menschen annotierter Datensatz**, der für die **automatische Generierung und Bewertung von Hinweisen** bei Faktfragen entwickelt wurde. Der Datensatz basiert auf Wikipedia und enthält **5.000 Hinweise zu 1.000 Fragen**. Er unterstützt die Forschung in den Bereichen **Hinweisbewertung, -ranking und -generierung**.\n\n## \u003cimg src=\"https://github.com/DataScienceUIBK/TriviaHG/blob/main/Framework/gif-dan.gif\" width=\"32\" height=\"32\"/\u003e Achtung \u003cimg src=\"https://github.com/DataScienceUIBK/TriviaHG/blob/main/Framework/gif-dan.gif\" width=\"32\" height=\"32\"/\u003e\n\nAb **Februar 2025** empfehlen wir die Nutzung von **HintEval**, dem Framework für **Hinweiserzeugung und -bewertung**. HintEval enthält den **WikiHint-Datensatz** sowie die Evaluationsmetriken aus der WikiHint-Publikation und macht die Arbeit mit Hinweisen so einfach wie nie zuvor.\n\nHier geht’s zu HintEval:  \n- 📖 **[HintEval-Dokumentation](http://hinteval.readthedocs.io/)**  \n- 📦 **[HintEval PyPI-Installation](https://pypi.org/project/hinteval/)**  \n- 💻 **[HintEval GitHub-Repository](https://github.com/DataScienceUIBK/HintEval)**  \n- 📜 **[HintEval-Paper (arXiv)](https://doi.org/10.48550/arXiv.2502.00857)**  \n\nFür eine **nahtlose Integration** von Hinweiserzeugung und -bewertung empfehlen wir dringend den **Umstieg** auf **HintEval**!\n\n## 🗂 Überblick\n\n- **1.000 Fragen** mit **5.000 manuell erstellten Hinweisen**.\n- Hinweise werden von **menschlichen Annotatoren** nach Nützlichkeit bewertet.\n- Evaluierung durch **LLMs (LLaMA, GPT-4)** und **Studien zur menschlichen Leistung**.\n- Unterstützt **Hinweisranking** und **automatische Hinweisbewertung**.\n\n## 🔬 Wissenschaftliche Beiträge\n\n✅ **Erster von Menschen annotierter Datensatz** für die Generierung und Bewertung von Hinweisen.  \n✅ **HintRank:** Eine leichtgewichtige Methode zur automatischen Hinweisbewertung.  \n✅ **Human-Studie** zur Bewertung der Effektivität von Hinweisen für Benutzer.  \n✅ **Feinabstimmung von Open-Source-LLMs** (LLaMA-3.1, GPT-4) zur Hinweisgenerierung.  \n\n## 📈 Zentrale Erkenntnisse\n\n- **Antwortbewusste Hinweise** verbessern die Effektivität.  \n- **Feinabgestimmte LLaMA-Modelle** erzeugen bessere Hinweise als Standardmodelle.  \n- **Kürzere Hinweise** sind tendenziell **effektiver** als längere.  \n- **Von Menschen erstellte Hinweise** übertreffen LLM-generierte Hinweise in Klarheit und Ranking.\n\n## 🚀 Erste Schritte\n\n### 1️⃣ Repository klonen\n\n```sh\ngit clone https://github.com/DataScienceUIBK/WikiHint.git\ncd WikiHint\n```\n\n### 2️⃣ Datensatz laden\n\n```python\nimport json\n\nwith open(\"./WikiHint/training.json\", \"r\") as f:\n    training_data = json.load(f)\n\nwith open(\"./WikiHint/test.json\", \"r\") as f:\n    test_data = json.load(f)\n\nprint(f\"Trainingsset: {len(training_data)} Fragen\")\nprint(f\"Testset: {len(test_data)} Fragen\")\n```\n\n## 🏆 HintRank: Eine leichtgewichtige Methode zur Hinweisbewertung\n\nHintRank ist eine **automatische Methode zur Bewertung von Hinweisen**, die auf **BERT-basierten Modellen** beruht. Sie nutzt **paarweise Vergleiche**, um die **relative Nützlichkeit von Hinweisen** zu bestimmen.\n\n\u003cp align=\"center\"\u003e\n    \u003cimg src=\"https://raw.githubusercontent.com/DataScienceUIBK/WikiHint/main/HintRank/EvaluationMethod.png\" width=\"35%\"\u003e\n\u003c/p\u003e\n\n### ✨ Funktionen:\n✔ **Leichtgewichtig**: Läuft lokal ohne hohen Rechenaufwand.  \n✔ **LLM-freie Bewertung**: Funktioniert ohne **große generative Modelle**.  \n✔ **An Menschen ausgerichtetes Ranking**: Hohe Korrelation mit **von Menschen zugewiesenen Hinweisbewertungen**.  \n\n### 🔍 Funktionsweise:\n1. **Verknüpft Frage \u0026 zwei Hinweise** → Konvertiert sie in ein BERT-kompatibles Format.  \n2. **Berechnet die Qualität der Hinweise** → Bestimmt, welcher Hinweis **nützlicher** ist.  \n3. **Erstellt ein Hinweisranking** → Vergibt Platzierungen basierend auf paarweisen Vergleichen.  \n\n## 📌 Nutzung von `HintRank` zur Hinweisbewertung\n\nDas `HintRank`-Modul dient zur **automatischen Bewertung von Hinweisen** anhand ihrer Nützlichkeit mit **BERT-basierten Modellen**.\n\n### 🚀 HintRank-Demo in Google Colab ausführen\n\nDu kannst **HintRank** einfach in deinem Browser über **Google Colab** ausprobieren, ohne eine lokale Installation vornehmen zu müssen. Starte einfach das **[Colab-Notebook](https://colab.research.google.com/github/DataScienceUIBK/WikiHint/blob/main/HintRank/Demo.ipynb)** und erkunde **HintRank** interaktiv.\n\n### 1️⃣ Abhängigkeiten installieren\n\nFalls du `HintRank` lokal ausführst, installiere die erforderlichen Abhängigkeiten:\n\n```sh\npip install transformers torch numpy scipy\n```\n\n### 2️⃣ HintRank importieren und initialisieren\n\nNavigiere in das `HintRank`-Verzeichnis und importiere das `hint_rank`-Modul:\n\n```python\nfrom HintRank.hint_rank import HintRank\n\n# HintRank-Modell initialisieren\nranker = HintRank()\n```\n\n### 3️⃣ Hinweise für eine Frage bewerten\n\n```python\nquestion = \"Was ist die Hauptstadt von Österreich?\"\nanswer = \"Wien\"\nhints = [\n    \"Mozart und Beethoven haben hier gelebt.\",\n    \"Es ist eine große Stadt in Europa.\",\n    \"Österreichs größte Stadt.\"\n]\n\n# Beispiel für paarweisen Vergleich\nbetter_hint_answer_aware = ranker.pairwise_compare(question, hints[1], hints[2], answer)\nbetter_hint_answer_agnostic = ranker.pairwise_compare(question, hints[0], hints[1])\n\nprint(f\"Antwortbewusst: Hinweis {2 if better_hint_answer_aware == 1 else 3} ist besser als Hinweis {3 if better_hint_answer_aware == 0 else 2}.\")\nprint(f\"Antwortagnostisch: Hinweis {1 if better_hint_answer_agnostic == 1 else 2} ist besser als Hinweis {2 if better_hint_answer_agnostic == 0 else 1}.\")\n```\n\n### 4️⃣ Listweises Hinweisranking\n\nMehrere Hinweise auf einmal bewerten:\n\n```python\nprint(\"\\nAntwortbewusst gerankte Hinweise:\")\nranked_hints_answer_aware = ranker.listwise_compare(question, hints, answer)\nfor i, (hint, _) in enumerate(ranked_hints_answer_aware):\n    print(f\"Rang {i + 1}: {hint}\")\n\nprint(\"\\nAntwortagnostisch gerankte Hinweise:\")\nranked_hints_answer_agnostic = ranker.listwise_compare(question, hints)\nfor i, (hint, _) in enumerate(ranked_hints_answer_agnostic):\n    print(f\"Rang {i + 1}: {hint}\")\n```\n\n### 📌 Erwartete Ausgabe\n\n```\nPaarweiser Hinweisvergleich\n\tAntwortbewusst: Hinweis 3 ist besser als Hinweis 2.\n\tAntwortagnostisch: Hinweis 2 ist besser als Hinweis 1.\n\nListweises Hinweisranking\n\tAntwortbewusst gerankte Hinweise:\n\t\tRang 1: Österreichs größte Stadt.\n\t\tRang 2: Mozart und Beethoven haben hier gelebt.\n\t\tRang 3: Es ist eine große Stadt in Europa.\n\n\tAntwortagnostisch gerankte Hinweise:\n\t\tRang 1: Es ist eine große Stadt in Europa.\n\t\tRang 2: Österreichs größte Stadt.\n\t\tRang 3: Mozart und Beethoven haben hier gelebt.\n```\n\n---\n\n## 📊 🆚 Vergleich zwischen WikiHint und TriviaHG-Dataset\n\nDie folgende Tabelle vergleicht **WikiHint** mit **TriviaHG**, dem bisher größten Datensatz zur Hinweisgenerierung. WikiHint zeigt eine **bessere Konvergenz**, **kürzere Hinweise** und **höhere Qualität**, basierend auf mehreren Evaluierungskriterien.\n\n| **Datensatz** | **Subset** | **Relevanz** | **Lesbarkeit** | **Konvergenz** | **Vertrautheit** | **Länge** | **Antwort-Leckage (Ø)** | **Antwort-Leckage (Max.)** |\n|--------------|-----------|--------------|----------------|----------------|----------------|----------|----------------|----------------|\n| TriviaHG     | Gesamter Datensatz | 0.95 | 0.71 | 0.57 | 0.77 | 20.82 | 0.23 | 0.44 |\n| WikiHint     | Gesamter Datensatz | 0.98 | 0.72 | 0.73 | 0.75 | 17.82 | 0.24 | 0.49 |\n| TriviaHG     | Training | 0.95 | 0.73 | 0.57 | 0.75 | 21.19 | 0.22 | 0.44 |\n| WikiHint     | Training | 0.98 | 0.71 | 0.74 | 0.76 | 17.77 | 0.24 | 0.49 |\n| TriviaHG     | Test | 0.95 | 0.73 | 0.60 | 0.77 | 20.97 | 0.23 | 0.44 |\n| WikiHint     | Test | 0.98 | 0.83 | 0.72 | 0.73 | 18.32 | 0.24 | 0.47 |\n\n📌 **Wichtige Erkenntnisse**:\n- **WikiHint übertrifft TriviaHG** in der **Konvergenz**, was bedeutet, dass seine Hinweise Benutzern **effektiver helfen**, zur richtigen Antwort zu gelangen.\n- **WikiHint enthält kürzere Hinweise**, die eine **präzisere und effektivere Unterstützung** bieten.\n\n---\n\n## 📊🤖 Bewertung der generierten Hinweise\n\nDie folgende Tabelle zeigt die **Bewertung der generierten Hinweise** verschiedener **LLMs (LLaMA-3.1, GPT-4)** anhand von **Relevanz, Lesbarkeit, Konvergenz, Vertrautheit, Hinweislänge und Antwort-Leckage**. Sie gibt Einblick, wie sich **Feinabstimmung (FT)** und **Antwortbewusstsein (wA)** auf die Qualität der Hinweise auswirken.\n\n| **Modell** | **Konfiguration** | **Verwendet Antwort?** | **Relevanz** | **Lesbarkeit** | **Konvergenz (LLaMA-8B)** | **Konvergenz (LLaMA-70B)** | **Vertrautheit** | **Länge** | **Antwort-Leckage (Ø)** | **Antwort-Leckage (Max.)** |\n|-----------|----------------|------------------|------------|-------------|------------------|------------------|--------------|---------|----------------|----------------|\n| **GPT-4**    | Vanilla  | ✅      | 0.91         | 1.00           | 0.14             | 0.48             | 0.84         | 26.36   | 0.23           | 0.51           |\n| **GPT-4**    | Vanilla  | ❌      | 0.92         | 1.10           | 0.12             | 0.47             | 0.81         | 26.93   | 0.24           | 0.52           |\n| **LLaMA-3.1-405b** | Vanilla  | ✅ | 0.94         | 1.49           | 0.11             | 0.47             | 0.76         | 41.81   | 0.23           | 0.50           |\n| **LLaMA-3.1-405b** | Vanilla  | ❌| 0.92         | 1.53           | 0.10             | 0.45             | 0.78         | 50.91   | 0.23           | 0.50           |\n| **LLaMA-3.1-70b**  | FTwA    | ✅ | 0.88         | 1.50           | 0.09             | 0.42             | 0.84         | 43.69   | 0.22           | 0.48           |\n| **LLaMA-3.1-70b**  | Vanilla  | ✅ | 0.86         | 1.53           | 0.05             | 0.42             | 0.80         | 45.51   | 0.23           | 0.50           |\n| **LLaMA-3.1-70b**  | FTwoA   | ❌ | 0.86         | 1.50           | 0.08             | 0.38             | 0.80         | 51.07   | 0.22           | 0.51           |\n| **LLaMA-3.1-70b**  | Vanilla  | ❌ | 0.87         | 1.56           | 0.06             | 0.38             | 0.76         | 53.24   | 0.22           | 0.50           |\n| **LLaMA-3.1-8b**   | FTwA    | ✅ | 0.78         | 1.63           | 0.05             | 0.37             | 0.79         | 50.33   | 0.22           | 0.52           |\n| **LLaMA-3.1-8b**   | Vanilla  | ✅ | 0.81         | 1.72           | 0.05             | 0.32             | 0.80         | 54.38   | 0.22           | 0.50           |\n| **LLaMA-3.1-8b**   | FTwoA   | ❌ | 0.76         | 1.70           | 0.03             | 0.32             | 0.80         | 55.02   | 0.22           | 0.51           |\n| **LLaMA-3.1-8b**   | Vanilla  | ❌ | 0.78         | 1.76           | 0.04             | 0.30             | 0.83         | 52.99   | 0.22           | 0.50           |\n\n📌 **Wichtige Erkenntnisse**:\n- **Relevanz**: **Größere Modelle (405b, 70b) generieren bessere Hinweise** als kleinere (8b).\n- **Lesbarkeit**: **GPT-4 erzeugt die am besten lesbaren Hinweise**.\n- **Konvergenz**: **Antwortbewusste Hinweise (wA) verbessern die Qualität der Hinweise**.\n- **Vertrautheit**: Größere Modelle erstellen **vertrautere Hinweise**, basierend auf allgemeinem Wissen.\n- **Hinweislänge**: **Feinabgestimmte Modelle (FTwA, FTwoA) erzeugen kürzere und bessere Hinweise**.\n\n---\n\n## 📂 Verzeichnisstruktur\n\n```\n📂 WikiHint/                                                # 🗂 Datensatzdateien\n│   ├── 📄 Pipeline.png                                     # 📊 Visualisierung der Datensatz-Pipeline\n│   ├── 📄 training.json                                    # 📊 Trainingsdatensatz (900 Fragen, 4500 Hinweise)\n│   ├── 📄 test.json                                        # 📊 Testdatensatz (100 Fragen, 500 Hinweise)\n│\n├── 📂 Experiments/                                         # 🧪 Modellgenerierte Hinweise\n│   ├── 📄 GPT-4-Vanilla-answer-agnostic.json\n│   ├── 📄 LLaMA-3.1-70b-FTwA-answer-aware.json\n│\n├── 📂 HintRank/                                            # 🏆 Methode zur Hinweisbewertung\n│   ├── 📄 EvaluationMethod.png                             # 📊 Visualisierung der HintRank-Methode\n│   ├── 📄 hint_rank.py                                     # 📜 HintRank-Implementierung\n│\n├── 📂 HumanEvaluation/                                     # 👨‍🔬 Menschliche Evaluationsdaten\n│   ├── 📂 Person_1/  \n│   │   ├── 📑 Part_1.xlsx\n│   │   ├── 📑 Part_2.xlsx\n│\n│   ├── 📂 Person_2/ (Gleiche Struktur wie Person_1)\n│   ├── 📂 Person_3/ (Gleiche Struktur wie Person_1)\n│\n└── 📘 README.md                                            # 📖 Diese Datei\n```\n\n---\n\n## 📜 Lizenz\n\nDieses Projekt steht unter der **Creative Commons Attribution 4.0 International License (CC BY 4.0)**. Sie können den Datensatz frei nutzen, teilen und anpassen, solange eine korrekte Quellenangabe erfolgt.\n\n---\n\n## 📑 Zitation\n\nFalls Sie unsere Arbeit nützlich finden, zitieren Sie bitte [📜 unser Paper](https://doi.org/10.1145/3726302.3730284):\n\nJamshid Mozafari, Florian Gerhold, and Adam Jatowt. 2025. WikiHint: A Human-Annotated Dataset for Hint Ranking and Generation. In Proceedings of the 48th International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR '25). Association for Computing Machinery, New York, NY, USA, 3821–3831. https://doi.org/10.1145/3726302.3730284\n\n### 📄 BibTeX:\n```bibtex\n@inproceedings{10.1145/3726302.3730284,\n\tauthor = {Mozafari, Jamshid and Gerhold, Florian and Jatowt, Adam},\n\ttitle = {WikiHint: A Human-Annotated Dataset for Hint Ranking and Generation},\n\tyear = {2025},\n\tisbn = {9798400715921},\n\tpublisher = {Association for Computing Machinery},\n\taddress = {New York, NY, USA},\n\turl = {https://doi.org/10.1145/3726302.3730284},\n\tdoi = {10.1145/3726302.3730284},\n\tbooktitle = {Proceedings of the 48th International ACM SIGIR Conference on Research and Development in Information Retrieval},\n\tpages = {3821–3831},\n\tnumpages = {11},\n\tkeywords = {hint dataset, hint evaluation, hint generation, hint ranking},\n\tlocation = {Padua, Italy},\n\tseries = {SIGIR '25}\n}\n```\n\n---\n\n## 🙏 Danksagungen\n\nVielen Dank an unsere Mitwirkenden und die Universität Innsbruck für die Unterstützung dieses Projekts. 🚀\n","project_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fdatascienceuibk%2Fwikihint","html_url":"https://awesome.ecosyste.ms/projects/github.com%2Fdatascienceuibk%2Fwikihint","lists_url":"https://awesome.ecosyste.ms/api/v1/projects/github.com%2Fdatascienceuibk%2Fwikihint/lists"}