Open Source LLMs

Warum Open Source LLMs für Hochschulen unerlässlich sind

In einer Zeit, in der der technologische Fortschritt rasant voranschreitet, wird die digitale Souveränität immer wichtiger – besonders für Bildungseinrichtungen. Open-Source-LLMs (Large Language Models) bieten Hochschulen die Möglichkeit, unabhängig von großen Tech-Konzernen zu agieren und eigene Lösungen zu entwickeln, die ihren spezifischen Anforderungen gerecht werden. Dies fördert nicht nur den Datenschutz, sondern stärkt auch die Kontrolle über eigene Daten und Prozesse.

Ein weiterer entscheidender Vorteil von Open-Source-LLMs ist die Möglichkeit zur Eigenverantwortung. Hochschulen können die Modelle auf ihren eigenen Servern hosten oder sich in Verbünden zusammenschließen, um die Nutzung und die damit verbundenen Kosten gemeinsam zu tragen. Dies macht die Nutzung langfristig günstiger, da lediglich Betriebskosten wie Strom und Wartung anfallen, während Lizenzgebühren entfallen.

Dank einer Kooperation mit der Gesellschaft für wissenschaftliche Datenverarbeitung mbH Göttingen (GWDG) bieten wir allen Hochschulen, die unser HAWKI-Interface nutzen, kostenlosen Zugang zu Open-Source-LLMs. Diese Kooperation stellt sicher, dass Hochschulen nicht nur datenschutzkonforme, sondern auch wirtschaftlich nachhaltige Lösungen einsetzen können.

Mit der neuesten Version von HAWKI haben wir außerdem zusätzliche Funktionen eingebaut, die die Flexibilität weiter erhöhen. Ein Dropdown-Menü erlaubt die Auswahl verschiedener Modelle, sodass Lehrende und Forschende das am besten geeignete LLM für ihre Zwecke auswählen können. Zusätzlich kann der Systemprompt individuell angepasst werden, was nicht nur Transparenz fördert, sondern auch didaktische Freiheit schafft. Dadurch lässt sich das Verhalten des KI-Systems gezielt steuern, um es optimal an die jeweilige Lehr- oder Lernumgebung anzupassen.

Das Ziel: Hochschulen sollen sich auf ihre Kernaufgaben – Lehre und Forschung – konzentrieren können, ohne sich von externen Anbietern abhängig zu machen oder hohe Kosten für den Betrieb generativer KI zu tragen. Open-Source-LLMs sind damit ein zukunftssicherer Baustein für mehr Unabhängigkeit und Zusammenarbeit im Bildungssektor.

---

Gruppenchat

Der HAWKI-Gruppenchat: Mehr als nur Kommunikation

Mit dem neuen Gruppenchat-Feature von HAWKI bieten wir Hochschulmitgliedern einen Raum, in dem Studierende, Lehrende, Forscher und Verwaltungsmitarbeitende zusammenkommen und sich austauschen können. Der besondere Vorteil liegt in der Flexibilität: Gruppen können nicht nur innerhalb einer Zielgruppe gebildet werden, sondern auch gemischte Gruppen ermöglichen. So können beispielsweise Lehrpersonen und Studierende in einem gemeinsamen Austausch stehen, um Themen effizient zu diskutieren.

Doch der HAWKI-Gruppenchat bietet weit mehr als nur Kommunikation. Wird im Chat das Kürzel "@ HAWKI" verwendet, antwortet die generative KI auf die Eingabe. Diese Funktion eröffnet neue Möglichkeiten für die Zusammenarbeit: Die KI kann Ideen der Gruppe evaluieren, Gespräche zusammenfassen oder bei internationalen Gruppen Übersetzungen liefern. Damit wird der didaktische Einsatz vielfältig und flexibel gestaltbar.

Unser Ziel bei HAWKI ist es, einen Raum zu schaffen, der die Interaktionsmöglichkeiten nur von der Vorstellungskraft der Teilnehmenden begrenzt. Durch den Einsatz der KI können Gruppen kollaborativ arbeiten, während die KI als Unterstützung fungiert – ob als Übersetzer, Ideengeber oder Diskussionshelfer. Besonders interessant ist der Einsatz für Peer-to-Peer-Qualifikationen: Erfahrene Nutzer können gezielt Prompts an die KI geben, während alle anderen Gruppenmitglieder den Prompt und die entsprechende Antwort sehen. So lernen alle gemeinsam, wie die Interaktion mit der KI funktioniert, und können ihre eigenen Fähigkeiten verbessern.

Mit dem Gruppenchat-Feature setzen wir ein weiteres Zeichen dafür, dass unser Projekt HAWKI nicht nur die technischen Möglichkeiten der KI in den Hochschulalltag integriert, sondern einen lebendigen Raum schafft, in dem Kollaboration und Innovation im Vordergrund stehen.

---

Geräteübergreifende Speicherung

Geräteübergreifende Speicherung für maximale Transparenz und Sicherheit

Mit dem kommenden Update unserer HAWKI-Plattform führen wir ein neues, entscheidendes Feature ein: die geräteübergreifende Speicherung von Chatverläufen. Alle Chats werden direkt auf dem Endgerät verschlüsselt und auf sicheren Hochschulservern gespeichert. Beim Einloggen auf einem anderen Gerät – sei es Smartphone, Tablet oder Arbeitsrechner – werden die Daten automatisch heruntergeladen und entschlüsselt. So bleibt der Zugriff auf die generierten Inhalte jederzeit sicher und geschützt.

Dieses Verfahren stellt sicher, dass niemand unbefugten Zugriff auf die Inhalte der Chats erhält, und gewährleistet dennoch volle Flexibilität, indem Chatverläufe überall und auf jedem Gerät verfügbar bleiben. Besonders aus Gründen der Transparenz und Nachvollziehbarkeit spielt dieses Feature eine zentrale Rolle, da Lehrende und Studierende jederzeit auf vergangene Unterhaltungen zurückgreifen können, egal von welchem Gerät aus sie auf die Plattform zugreifen.

Die Kombination aus starker Verschlüsselung und flexibler Speicherung ermöglicht es uns, höchste Datenschutzstandards zu wahren, ohne auf den Komfort der plattformübergreifenden Nutzung zu verzichten.

---

RAGs zur Optimierung des Hochschulwissens

Nutzung von RAGs zur Optimierung des Hochschulwissens

Aktuell arbeiten wir daran, eine entscheidende Funktion in HAWKI zu integrieren: die Möglichkeit, dass jede Hochschule ihre eigenen Dateien vektorisieren kann. Das bedeutet, dass das gesamte Wissen der Hochschule – von Forschungsarbeiten bis hin zu Verwaltungshandbüchern – direkt im HAWKI-Interface dialogisch verfügbar wird.

Diese Funktion eröffnet eine Vielzahl von Vorteilen:

• Bessere Recherche: Forschungsarbeiten und andere Dokumente werden durch die Vektorisierung leichter auffindbar und auswertbar. Statt sich durch unzählige PDFs zu kämpfen, kann HAWKI relevante Inhalte direkt herausfiltern und passende Antworten liefern.

• Synergien schaffen: Verschiedene Projekte und Arbeiten innerhalb der Hochschule können leichter miteinander verknüpft werden. HAWKI könnte Zusammenhänge erkennen und Vorschläge machen, welche Forschungsteams zusammenarbeiten sollten oder welche Projekte ähnliche Ziele verfolgen.

• Vereinfachung der Bürokratie: Hochschulverwaltungen sind oft von sich wiederholenden Anfragen und Prozessen belastet. Durch die Vektorisierung von Verwaltungshandbüchern und Richtlinien können Routineanfragen direkt von HAWKI beantwortet werden, was die Bürokratie deutlich entschlackt. Das entlastet die Mitarbeitenden und lässt ihnen mehr Zeit für komplexere Aufgaben.

Wir planen, diesen Prozess umfassend zu dokumentieren und allen Hochschulen zur Verfügung zu stellen, sodass sie eigenständig innerhalb von HAWKI Dateien vektorisieren können. Damit wird HAWKI zu einem noch mächtigeren Tool, das die Verwaltung und das akademische Wissen effizienter macht.

Was ist eine Vektordatenbank?

Stellen Sie sich eine Vektordatenbank wie eine riesige, gut sortierte Bibliothek vor. Jedes Dokument, das in diese Bibliothek gelangt, wird in seine wichtigsten Informationen "übersetzt" und in Form eines Vektors gespeichert. Ein Vektor ist wie ein Fingerabdruck des Dokuments – er enthält die relevantesten Informationen, sodass das LLM (Large Language Model) darauf zugreifen kann, um präzise Antworten zu geben. Das LLM nutzt diese Vektoren, um das Wissen aus den Dokumenten zu extrahieren, anstatt nur auf allgemeine Informationen zurückzugreifen.

Dieses System hilft nicht nur, schneller und genauer auf spezifische Inhalte zuzugreifen, sondern verhindert auch, dass die KI "halluziniert", also falsche oder ungenaue Antworten gibt. Indem das LLM die Vektordatenbank konsultiert, basiert es seine Antworten auf verifizierten und gespeicherten Informationen der Hochschule.

---

Eine Plattform für flexible Forschung und Innovation

Der modulare Aufbau von HAWKI

Unsere HAWKI-Plattform wurde bewusst modular gestaltet, sodass sie jederzeit durch einzelne, maßgeschneiderte Module erweitert werden kann. Hochschulen in Deutschland legen Wert darauf, personelle Ressourcen vor Ort zu bündeln, um auf ihren spezifischen Fachgebieten den Einsatz generativer KI zu erforschen. HAWKI bietet eine solide Grundlage, auf der diese individuellen Module entwickelt werden können, ohne die gesamte Plattform neu aufbauen zu müssen.

Jede Hochschule hat so die Möglichkeit, eigene Forschungsgelder zu beantragen, um Module zu entwickeln, die für ihre speziellen Bedürfnisse relevant sind – sei es im Bereich der Verwaltung, Lehre oder Forschung. Der große Vorteil dieses modularen Ansatzes besteht darin, dass alle entwickelten Module problemlos in das Grundgerüst von HAWKI integriert werden können. So können auch andere Hochschulen von den Ergebnissen profitieren und diese Module direkt nutzen.

Durch diesen kollaborativen Ansatz wird verhindert, dass parallele Entwicklungen an verschiedenen Hochschulen stattfinden. Stattdessen können die bundesweiten Ressourcen optimal genutzt werden, um innovative Werkzeuge zu entwickeln, die das Potenzial der generativen KI voll ausschöpfen. So entsteht ein Ökosystem, in dem Hochschulen voneinander lernen und gemeinsam die Zukunft der KI im Bildungssektor gestalten.

---