In der griechischen Mythologie war die Göttin Iris dafür zuständig, wichtige Botschaften des Göttervaters Zeus zu überbringen. Heute beantwortet sie offenbar im Auftrag von Stephan Krusche, Professor für Software Engineering, Fragen der Studierenden am TUM Campus Heilbronn. Mit seinem Team hat er den Chatbot “Iris” für die Lehre entwickelt, speziell für Programmierkurse. Eine der Voraussetzungen dafür wurden bereits 2016 geschaffen. Da Prof. Krusche die optimale Förderung aller Studierenden am Herzen liegt, entwickelte er bereits damals die Lernplattform Artemis, benannt nach der griechischen Göttin der Jagd, für die Technische Universität München. „Wir überlegen immer, wie wir die Plattform weiterentwickeln können, um die Lehre zu verbessern“, sagt er. Heute beantworten vor allem menschliche Tutoren die Fragen der Studierenden, aber: „Die sind nicht 24 Stunden an sieben Tagen der Woche erreichbar.“
Jederzeit hilfsbereit
Das wird nun durch Iris verbessert, die jederzeit bei Problemen und Fragen helfen kann. Neben der Erreichbarkeit spielen bei der Entwicklung auch die unterschiedlichen Persönlichkeitsmerkmale der Studierenden eine wichtige Rolle: „Wir wollen, dass Studierende, denen Kommunikation schwerfällt, trotzdem die Möglichkeit haben, Feedback zu bekommen." Ein Dilemma dabei: „Eigentlich müssten wir genau diesen Studierenden beibringen, ihre Komfortzone zu verlassen und sich zu trauen, Fragen zu stellen.“ Erste Forschungsergebnisse deuten darauf hin, dass der Chatbot die grundsätzliche Hemmschwelle senkt, um Hilfe zu bitten. Wenn die manchmal etwas unsicheren Jungakademiker:innen merken, dass ihre Anliegen nicht banal sind, könnte das ihr Selbstbewusstsein stärken und die Kommunikation im Studienalltag fördern.
Antworten einer allwissenden Göttin
Seit Oktober 2023 nimmt Iris diese Rolle ein: „Die Studierenden bekommen Nachrichten von der allwissenden Göttin“, sagt Prof. Krusche und lacht. Die größte Herausforderung bei einem didaktischen Chatbot ist, dass Iris nicht einfach die Lösung für ein Problem liefern darf. Stattdessen sollte sie lediglich Denkanstöße bereitstellen, die die Nutzerinnen und Nutzer in die richtige Richtung lenken, genauso wie sich ein menschlicher Tutor verhalten würde. Der Chatbot muss also erst einmal entscheiden, ob die Frage überhaupt sinnvoll ist, und erst dann eine didaktisch sinnvolle Antwort geben. Klingt einfach, ist aber technisch komplex und erfordert intelligentes Prompt Engineering. An der Schnittstelle zu den großen Sprachmodellen sind klare Vorgaben das A und O. Die Bearbeitung der Frage erfolgt in drei Schritten: „Mit dem ersten Prompt validieren wir, ob die Frage sinnvoll ist, also der Zielerreichung dient oder nicht. Dann wird sie im zweiten Schritt mit unseren Vorgaben beantwortet. Und im dritten Schritt bewerten wir noch einmal, ob die Antwort didaktisch sinnvoll ist und die Vorgaben eingehalten werden.“
Dabei ist eine große Herausforderung, dass die Sprachmodelle manchmal dazu neigen, Ungenauigkeiten überzeugend zu vermitteln. Diese Eigenschaft ist auch unter der Bezeichnung „Halluzinieren“ bekannt.
Papagei mit Halluzinationen
Doch wie funktionieren Chatbots eigentlich? Prof. Krusche erklärt das am Beispiel von ChatGPT: „Große Sprachmodelle eignen sich sehr viel Wissen an, bestehend aus Texten aus dem Internet, Büchern und Dokumenten, die online zugänglich sind, bis hin zu Quellcodes großer Unternehmen.“Die Sprachmodelle werden also mithilfe von vielen Milliarden Zeilen Text trainiert. Am Ende können sie Fragen beantworten, indem sie mit statistischer Wahrscheinlichkeit erkennen, welche Antwort am ehesten der gestellten Frage entspricht.
Dabei arbeitet das System nicht immer fehlerfrei: „Manche Kritiker sagen, Chatbots seien statistische Papageien, die nur wiederholen können, was irgendwo schon einmal so ähnlich geschrieben wurde, und dabei womöglich falsche Fakten erzeugen“, erklärt Prof. Krusche. Chatbots können kein wirklich neues Wissen generieren, sondern beziehen sich auf die Vergangenheit. Möglichkeiten, die Wahrscheinlichkeit für korrekte Antworten zu erhöhen, sind mehr Training, die Feinabstimmung auf bestimmte Anwendungsbereiche sowie die exakte Auswahl der Informationen, die das Modell als Kontext erhält. Genau daran arbeiten er und sein Team momentan.
Zukunftsvisionen
Die hohen Nutzerzahlen seit dem Start von Iris bestätigen Prof. Krusche auf seinem Weg, dennoch sieht er Optimierungsbedarf: „Wir wollen zum einen den Datenschutz erhöhen und zum anderen noch individueller auf die Bedürfnisse und Kenntnisse der Nutzerinnen und Nutzer eingehen.“ Der Plan ist, unter Einsatz von großen Sprachmodellen in ein paar Jahren passende Aufgabenvarianten für unterschiedliche Wissensstände generieren zu können und so gezielt die Stärken und Schwächen der Nutzerinnen und Nutzer zu adressieren.
„Wir arbeiten daran, Iris auch dafür zu nutzen, die Motivation der Studierenden zu steigern“, sagt Prof. Krusche. Dabei soll Personalisierung helfen. Für das Erreichen bestimmter Lernziele sollen individuelle, lobende Nachrichten verschickt werden. Eine längere Inaktivität auf der Plattform könnte auf eine Überforderung der Studierenden hinweisen. In diesem Fall würde das System nachfragen, wo der Schuh drückt. Iris kann also in Zukunft nicht nur beim Lösen von Aufgaben helfen, sondern könnte auch zur Individualisierung der Lehre beitragen und somit die Motivation und den Lernerfolg steigern.
Textquelle: Mindshift, 8. Ausgabe
Herausgeber: TUM Campus Heilbronn, Bildungscampus 9, 74076 Heilbronn