https://github.com/leo848/deversai

Quelltext für das Jugend forscht-Projekt "DEversAI: Training und Visualisierung deutsch lokalisierter direktionalkomplementärer LLMs"
https://github.com/leo848/deversai

ai german-language gpt-2 jugend-forscht llm llm-training pytorch

Last synced: 6 months ago
JSON representation

Quelltext für das Jugend forscht-Projekt "DEversAI: Training und Visualisierung deutsch lokalisierter direktionalkomplementärer LLMs"

• Host: GitHub
• URL: https://github.com/leo848/deversai
• Owner: leo848
• License: agpl-3.0
• Created: 2024-11-28T08:10:03.000Z (11 months ago)
• Default Branch: main
• Last Pushed: 2025-03-22T20:18:56.000Z (7 months ago)
• Last Synced: 2025-03-22T20:29:34.224Z (7 months ago)
• Topics: ai, german-language, gpt-2, jugend-forscht, llm, llm-training, pytorch
• Language: Python
• Homepage: https://deversai.vercel.app
• Size: 12.8 MB
• Stars: 3
• Watchers: 1
• Forks: 0
• Open Issues: 4
• Metadata Files:
  • Readme: README.md
  • License: LICENSE

Awesome Lists containing this project

README

          
# DEversAI – Training und Visualisierung deutsch lokalisierter direktionalkomplementärer LLMs

> Im Projekt DEversAI untersuche ich, ob KI-Sprachmodelle besser funktionieren, wenn sie Texte vorwärts oder rückwärts verarbeiten. Dazu habe ich zwei KI-Modelle auf Deutsch trainiert: eines erzeugt Text vorwärts, das andere rückwärts. Ziel ist es, herauszufinden, ob Rückwärts-Modelle neue Möglichkeiten eröffnen und ob Erkenntnisse aus englischer Forschung im Deutschen gelten.

> 

> Die Ergebnisse sind vielversprechend. Das Vorwärts-Modell liefert präzisere Vorhersagen, aber das neue Rückwärts-Modell kann auch gute Texte vom Ende aus verfassen - so bei Kochrezepten, Gesetzen und Bundestagsreden. Eigene komplexe Visualisierungen der Modellstrukturen zeigen, dass beide sprachliche Muster lernen, aber sich in Aufbau und Ausgabe unterscheiden.

> 

> In der entwickelten interaktiven Webanwendung kann die KI ausprobiert und getestet werden. Die Resultate belegen, dass Textverarbeitungsrichtung einen wesentlichen Einfluss auf die Leistungsfähigkeit von KI in der Sprachverarbeitung hat.