Bestandssoftware trifft auf Künstliche Intelligenz

SIVAS.ERP umfasst über 2500 Tabellen, 900 Programme und wird täglich von über 5000 Usern verwendet. Diese Komplexität macht deutlich: ein Chatbot, der sämtliche Funktionen der Software kennt und Fragen dazu beantworten kann, hätte das Potenzial, den Arbeitsalltag erheblich zu erleichtern. Ob die vorhandenen Daten jedoch geeignet sind, um einen solchen Chatbot zu realisieren, lässt sich nicht auf den ersten Blick beurteilen. Deshalb folgte nach dem Ideation Workshop der AI Exploration Sprint, in dem wir die Idee gleich getestet und in einem Proof-of-Concept umgesetzt haben. Ein solches Proof-of-Concept ermöglicht eine realistische Bewertung der Idee anhand echter Daten. So lassen sich der Aufwand, die zu erwartende Qualität und sinnvolle nächste Schritte fundiert einschätzen.

Es gibt verschiedene Methoden, ein Sprachmodell mit firmeninternem Wissen zu füttern. Für welche Methode man sich entscheidet, hängt vom Anwendungsfall, den Kosten und der benötigten Anpassungsfähigkeit ab: 

• Beim In-Context Learning werden dem Modell direkt in der Eingabe (Prompt) Informationen mitgegeben, die dem Modell beim Beantworten der Frage oder Lösen der Aufgabe helfen. Das Modell wird dabei nicht verändert und man kann schnell verschiedene Dinge ausprobieren. Allerdings ist die Länge der Eingabe begrenzt.

• Fine-Tuning verändert die Modellparameter durch zusätzliches Training auf spezifischen Daten, was dauerhafte Anpassungen ermöglicht, aber rechenintensiv und teuer ist. Zudem können die Inhalte der Daten später nicht mehr geändert werden.

• Der Retrieval-Augmented-Generation-Ansatz kombiniert ein Sprachmodell mit einer Wissensdatenbank, aus der relevante Informationen abgerufen und dem Modell zur Verfügung gestellt werden. Das Modell kann (wie beim In-Context-Learning) die mitgelieferten Informationen nutzen, um die Antworten zu verbessern, ohne dass das Modell selbst verändert wird. Die Wissensdatenbank kann jederzeit aktualisiert werden, sodass immer die neuesten Informationen zur Verfügung stehen.

Ein Chatbot, der firmeninterne Daten schnell und präzise abrufbar macht, wäre für Mitarbeitende aller Ebenen eine enorme Erleichterung. Er soll Fragen beantworten wie:

• “In welchem Monat der letzten zwei Jahre hatten wir den höchsten Umsatz mit X? Wie hat sich das seitdem entwickelt?”

• “Wie lange dauert die Nachbestellung von Verbrauchsmaterialien X und Y im Schnitt?”

• “Wie viele Überstunden haben sich bei uns angesammelt und ist das im Jahresvergleich mehr oder weniger als in den Jahren zuvor?”

Diese Unterstützung wollten wir bieten und haben ein Proof-of-Concept für schrempp edv entwickelt. Unser System wandelt natürliche Sprache in SQL-Abfragen um, extrahiert die relevanten Informationen aus der Datenbank und bereitet sie mit einem Sprachmodell in der gewünschten Form auf. So erhalten Nutzende direkt verwertbare Antworten – ob als Text, Tabelle oder Diagramm. Besonders für Teams ohne SQL-Kenntnisse bedeutet das einen erheblichen Effizienzgewinn, da wichtige Daten schneller und unkomplizierter verfügbar sind.