Künstliche Intelligenz stößt an Grenzen: SEC-Filings zu kompliziert für ChatGPT und andere Modelle

Seit OpenAI im November 2022 ChatGPT vorgestellt hat, haben sich Künstliche Intelligenzen (KI) zu einem absoluten Trend-Thema entwickelt. Es wird erwartet, dass sie künftig einen großen Einfluss auf die Arbeitswelt haben werden. In Deutschland nutzt etwa jedes achte Unternehmen künstliche Intelligenz, wie aus einer Erhebung hervorgeht, die das Statistische Bundesamt im November veröffentlicht hat. Die häufigsten Einsatzfelder seien hierbei Buchführung sowie IT-Sicherheit.

Elon Musk rechnet sogar damit, dass KI-Technologie alle Jobs überflüssig machen wird, wie er in einer Rede vor britischen Politikern im Lancaster House erklärte: "Es ist schwer zu sagen, wann genau dieser Zeitpunkt ist, aber es wird ein Punkt kommen, an dem keine Arbeit mehr gebraucht wird", so der Tesla-CEO. Er argumentierte, dass KI das Potenzial habe, die "disruptivste Kraft der Geschichte" zu werden. "Wir werden etwas haben, das zum ersten Mal klüger ist als der klügste Mensch", zitiert "CNBC" den Tech-Visionär.

ChatGPT & Co scheitern an SEC-Filing

Doch bis dahin dürfte noch einige Zeit vergehen - falls es denn überhaupt soweit kommt. Denn derzeit kämpfen Unternehmen - vor allem in regulierten Branchen wie dem Finanzsektor - noch mit enormen Herausforderungen bei ihren Versuchen KI in ihren Betrieb zu integrieren.

So berichtete "CNBC" unter Berufung auf Forschungsergebnisse des Startups Patronus AI, dass große Sprachmodelle (Large Language Models - LLMs), welche die Grundlage für Dienste wie ChatGPT bilden, derzeit noch weit davon entfernt sind Fragen, die sich aus den Unterlagen der Börsenaufsichtsbehörde SEC ergeben, völlig selbständig beantworten zu können. SEC-Filings sind voll von wichtigen Daten, und wenn ein Bot sie genau zusammenfassen oder schnell Fragen zu ihrem Inhalt beantworten könnte, würde er seinem Benutzer einen klaren Vorsprung in der Finanzbranche verschaffen. Doch wie Patronus AI nun mittels eines neuen Tests festgestellt hat, konnte selbst die beste getestete KI-Modellkonfiguration, OpenAIs GPT-4-Turbo, nur 79 Prozent der Fragen richtig beantworten. Oftmals verweigerten die LLMs aber auch die Antwort oder "halluzinierten" Zahlen und Fakten, die gar nicht in den SEC-Filings enthalten waren.

"Diese Art von Leistungsrate ist einfach absolut inakzeptabel", kommentierte Patronus AI-Mitbegründer Anand Kannappan diese Ergebnisse gegenüber CNBC. "Sie muss viel, viel höher sein, damit sie wirklich automatisiert und produktionsreif funktionieren kann". Und Rebecca Qian, eine weitere Mitbegründerin ergänzte: "Es gibt einfach keine akzeptable Fehlertoleranz, denn selbst wenn das Modell nur in einem von 20 Fällen eine falsche Antwort gibt, ist das immer noch nicht genau genug".

Die Testergebnisse im Einzelnen

In der Einzelbetrachtung konnte das Sprachmodell GPT-4-Turbo von OpenAI beim "Closed Book"-Test, bei dem es keinen Zugang zu einem SEC-Quelldokument erhielt ganze 88 Prozent der 150 gestellten Fragen nicht beantworten und gab nur 14 Mal eine korrekte Antwort. Nach Bereitstellung langer Zusammenhänge konnte der GPT-4-Turbo immerhin 79 Prozent der Fragen richtig beantworteten und gab nur noch bei 17 Prozent der Fragen eine falsche Antwort.

Llama 2, ein von Meta entwickeltes Open-Source-KI-Modell stach mit einigen der schlimmsten "Halluzinationen" hervor und gab in 70 Prozent der Fälle falsche und lediglich in 19 Prozent der Fälle richtige Antworten, wenn es Zugang zu einer Reihe von zugrunde liegenden Dokumenten hatte.

Claude 2 von Anthropic konnte immerhin gut abschneiden, wenn es einen "langen Kontext" erhielt, bei dem fast das gesamte relevante SEC-Filing zusammen mit der Frage enthalten war. Dann konnten 75 Prozent der Fragen beantworten werden, während bei 21 Prozent eine falsche Antwort ausgespuckt wurde und 3 Prozent nicht beantwortet werden konnten.

Zukunftsoptimismus

Doch auch wenn es derzeit noch große Probleme gibt, so ist man bei Patronus AI dennoch optimistisch, dass Sprachmodelle künftig Finanzanalysten oder Investoren helfen werden können. "Die Modelle werden mit der Zeit immer besser werden. Wir sind sehr zuversichtlich, dass auf lange Sicht vieles davon automatisiert werden kann. Aber heute braucht man auf jeden Fall mindestens einen Menschen, der den Arbeitsablauf unterstützt und leitet", so Anand Kannappan.

Redaktion finanzen.at