Der VÖBB-Chatbot im Test: Teil 3/3

Stellt man sich noch einmal die Frage, was der VÖBB-Bot besser kann als ChatGPT oder ein Katalog, so ist es zunächst hilfreich sich anzuschauen, was positive Aspekte sind.  

Positiv zu erwähnen ist:

• rund um die Uhr verfügbar
• Autonomität, d.h. man kann allein suchen

Dies trifft allerdings auch auf Kataloge zu. Weitere Punkte, die man nennen könnte, sind:

• sehr hilfsbereit und freundlich
• konsistente Kommunikation
• Suche und Antwort in unterschiedlichen Sprachen möglich

Hierbei handelt es sich um Punkte, die auch bei Nutzung von ChatGPT zum Tragen kommen würden.

Schauen wir also weiter, was wirkliche Alleinstellungsmerkmale angehen könnte:  

• Auskünfte zu Bibliothekservices

Auch hier kann ChatGPT i.d.R. bessere/gleichwertige Ergebnisse liefern. Fragen zu den Bibliotheken oder Services waren durchweg überzeugend und können vom VÖBB-Bot in diesem Umfang nicht beantwortet werden. Bei der Frage nach Öffnungszeiten einer Bibliothek versagt der VÖBB-Bot ganz, während man sich in einem normalen Bot tabellarische Übersichten zu den Öffnungszeiten der Berliner Bibliotheken anzeigen lassen kann, um es einmal etwas zugespitzt zu formulieren.  

Wie sieht es mit den folgenden Punkten aus?

• unterschiedliche Auswahl zu einem Thema (auch Fachliteratur)
• teilweise werden Alternativen genannt (auch mit Links)

Dies sind Punkte, bei denen die Beschränkung auf die existierende Literatur des VÖBB eine KI-Halluzination unterbinden können müsste. Allerdings muss man auch hier festhalten, dass sich die LLMs in dieser Hinsicht rasch weiterentwickeln und verbessern.

Ein mögliches Alleinstellungsmerkmal ist sicherlich ist die Einbindung der Katalogdaten, die eine aktuellere Empfehlung an Literatur (gegenüber einem reinen Chatbot) ermöglicht. Je aktueller der Trainingsstand der LLM ist, desto weniger besonders ist dieses allerdings. Es kommt ein weiterer Punkt hinzu. Dadurch, dass der VÖBB so groß ist, werden die Literaturempfehlungen eines normalen Chatbots mit hoher Wahrscheinlichkeit auch im VÖBB-Katalog zu finden sein. Solange der VÖBB-Chatbot keine standortbezogenen Empfehlungen geben kann, sondern einen auf eine wilde Reise durch die Magazine Berlins scheucht (siehe Teil 2), verpufft auch dieser mögliche Vorteil.

Bleibt als nächster Punkt:

• Entlastung der Mitarbeitenden

Hier sind wir bei einer spannenden Frage angelangt. Laut Engelkenmeier sind die Aufgaben der „Auskunftgebenden […] es, den Nutzenden bei der Suche nach

• bestimmten Informationen,
• nach konkreten Titeln oder
• Literatur zu einem Thema zu helfen,
• oder sich im Gebäude zurechtzufinden.“[1]

Auf der Beschreibungsseite des VÖBB-Chatbots finden wir als Auskunft darüber was er kann folgende Antworten:

• „Der Chatbot weiß nicht auf alles eine Antwort, aber bei vielen Fragen kann er helfen, gerade wenn es um Empfehlungen geht. […] Er kann immer dann am besten helfen, wenn Sie einfach auf der Suche nach Empfehlungen sind, wie einem „Roman für den Urlaub, der am Meer spielt.“[2]
• „Der Chatbot beantwortet Fragen auf der Basis des Bibliotheksbestands. Er kann auch grundlegende Fragen zur Funktionsweise des VÖBB und der Bibliotheken beantworten.“[3]

Beim Erwartungsmanagement stapelt man also eher tief und fokussiert sich auf „Empfehlungen“ und „grundlegende Fragen“. Wer ohne konkrete Vorstellung oder Hintergrundwissen an ein Thema nach Empfehlungen fragt, wird Antworten erhalten. Wir haben im letzten Teil aber bereits gesehen, dass die Qualität hier nicht immer zufriedenstellend ist in Bezug auf Aktualität und Relevanz der Titel.

Auch eine Orientierung im Raum kann der Bot nicht leisten. Über weitere „Mängel“ in Bezug auf konkrete Auskünfte zu Verfügbarkeiten haben die vorherigen Teile bereits Auskunft gegeben.

Er kann eine Auskunft also nicht ersetzen. Er kann auch einen Katalog nicht ersetzen. Die Frage, ob er es noch nicht kann, bleibt allerdings im Raum stehen. Denn die Entwicklung im Bereich LLMs schreitet rasant voran und es ist vorstellbar, dass sich zukünftig auch Raumpläne einbinden und live-Schnittstellen zum Katalog einbinden lassen, mit denen die Grenzen immer weiter verschwimmen werden.

Fragt man sich also aktuell, was genau das Alleinstellungsmerkmal des VÖBB-Bots ist, so bleiben nicht viele Punkte übrig.

Der VÖBB-Bot ist eine spannende Idee und es bleibt abzuwarten, ob die weitere Entwicklung Verbesserungen vornehmen kann, die einen größeren Mehrwert für die Nutzenden bieten.

Folgende Dinge sind als besonders störend aufgefallen:

• bei erneuter Frage wird mehrfach dieselbe Auswahl angezeigt,
• die Fragenanzahl ist begrenzt, d.h. die Konversation muss ggf. neu gestartet werden. Dies ist besonders ärgerlich, wenn man z.B. in leichter Sprache oder eine Fremdsprache gechattet hat und dies nun erneut „befehlen“ muss
• zu wenige Informationen (Standort, Signatur, Status) in der Antwort
• zu wenige Rückfragen, daher teilweise sehr unpassende Empfehlungen

Bekommt man hier Verbesserungen hin und schafft man es auch, bei den schon angesprochenen Themen Relevanzsortierung und Verfügbarkeitsanzeige für bestimmte Bibliotheken Fortschritte zu erzielen, kann der Bot eine immer wichtigere Ergänzung werden und Nutzenden bei unspezifischen Suchen helfen und Mitarbeitende entlasten. Man darf sich allerdings keine Illusionen darüber machen, dass die Entwicklung zu einer weiteren Abschaffung und Reduktion menschlicher Auskunftsdienste führen wird.

[1] Engelkenmeier, Ute: Information, Auskunft und Beratung. In: Handbuch Bibliothekspädagogik, Ute Engelkenmeier (Hrsg.) et al., 2024. S. 325 f.

[2] https://www.voebb.de/aDISWeb/app?service=direct/0/Home/$DirectLink&noRedir&sp=SPROD00&sp=SWI01000406

[3] Ebd.

Grafik: DALL-E 3 (Promt: „Ein Chatbot hilft in einem Computer einem Nutzenden Bücher zu einem Thema zu finden.“) vom 12.01.2025