Testen nicht vergessen - wie man zuverlässige Chatbots baut

Dr. Marcus Ciolkowski ist Lead IT Consultant und Head of Division bei der QAware. Er verantwortet den fachlichen und technischen Projekterfolg im Bereich Aftersales beim Kunden BMW. Er hat an der Technischen Universität Kaiserslautern Informatik studiert und später am Fraunhofer Institut für Experimentelles Software Engineering und der TU Kaiserslautern promoviert. 2011 startete er bei QAware als Projektleiter. Seine aktuellen Schwerpunktthemen sind Softwarequalität, Technische Schulden, Künstliche Intelligenz und Data Value.

QAware ist ein unabhängiges Beratungs- und Projekthaus für Softwaretechnik mit Sitz in München und Mainz und einem weiteren Office in Rosenheim. Sie analysieren, renovieren, erfinden und realisieren Softwaresysteme für Kunden, deren Erfolg maßgeblich von IT abhängt. Die 210 Mitarbeiter:innen verfolgen das Ziel, ihren Kunden den entscheidenden Business-Vorteil durch digitale Prozesse und Produkte, wie innovative Cloud-native Anwendungen, zu verschaffen.

Traditionelle Test-Ansätze funktionieren bei vielen AI-Anwendungen nicht - besonders wenn Large Language Models (LLMs) involviert sind. Wie kannst Du zum Beispiel beabsichtigte Variationen einer Chatbot-Antwort von Halluzination unterscheiden? Was macht eine “gute” Chatbot-Antwort aus, und wie erkennst Du die überhaupt? Dafür gibt es noch keine Universalantwort. In seiner Session zeigt Dir Marcus, wie er und sein Team automatisiertes Testen in einem Kundenprojekt umgesetzt haben und wieso das immer noch eine Herausforderung ist.