-
KI gab mir die Antwort, die ich von der menschl.Intelligenz bisher nicht erhielt
antwortete vor 1 Jahr, 4 Monate
13 Teilnehmer
·
84
Beiträge
-
-
Der Artikel wurde gestern im meiner Telecom-News (News You Can Use) veröffentlicht.
KI versagt kläglich: LLMs können einfachste Logik-Aufgaben nicht lösen
(Dienstag, 11. Juni 2024) Eine Studie hat die Leistung von insgesamt 27 aktuellen Large Language Models (LLM) mit einer simplen Logik-Aufgabe getestet. Die Forscher sind von den Antworten und Erklärungsversuchen der KI besorgt. Fast alle Modelle fallen durch, bis auf zwei. / KI-Anwendungen immer noch mit großen Defiziten
Schaut man sich den Enthusiasmus an, mit dem Unternehmen wie Microsoft oder Google künstliche Intelligenz in ihre Anwendungen und Plattformen einbauen, sollte man meinen, die neue Technologie sei bereits völlig ausgereift. Dass das natürlich nicht der Fall ist, muss jedoch jedem klar sein.
Test mit Logikaufgabe
Dass Large Language Models (LLMs) wie GPT, Claude oder Gemini in einigen Bereichen extreme Schwächen haben und teilweise nicht einmal einfachste Aufgaben lösen können, beweist jetzt wieder einmal eindrucksvoll eine wissenschaftliche Untersuchung. Die Studie (PDF) von Forschern des Jülich Supercomputing Center, des Forschungszentrums Jülich und der School of Electrical and Electronic Engineering an der University of Bristol stellte den LLMs dabei eine simple Logikaufgabe, an der diese reihenweise scheiterten.
Infografik Künstliche Intelligenz: Marktwachstum von jährlich rund 20 Prozent Künstliche Intelligenz: Marktwachstum von jährlich rund 20 Prozent
Die Frage, die es zu beantworteten galt, lautete:
“Alice hat N Brüder und sie hat M Schwestern. Wie viele Schwestern hat der Bruder von Alice?”
Merke: Die korrekte Antwort auf die in der Untersuchung gestellte Frage lautet natürlich M + 1. Als Beispiel: Bei N = 2 und M = 4 wäre die richtige Antwort also 5.
LLMs scheitern reihenweise
In mehreren Versuchen wurden die Variablen N und M mit konkreten Zahlen ersetzt. Die unterschiedlichen KIs wurden außerdem mit mehreren andersartig gestalteten Prompts zur Lösung des Problems aufgefordert. Die Leistung von 27 verschiedenen LLMs wurde dabei verglichen, darunter GPT-4 und GPT-4o, Claude 3 Opus, Llama-2-70b, Mistral Large und Gemini Pro. Die Ergebnisse waren alles andere als ein Grund zur Begeisterung.
Im Text der Studie heißt es dazu: “Bei den meisten Modellen kommt es zu schwerwiegenden Störungen und viele sind nicht in der Lage, auch nur eine einzige richtige Antwort zu geben.” Einzig das LLM von Open AIs GPT-4 und GPT-4o sowie Anthropics Claude 3 Opus bilden eine Ausnahme. Diese Modelle lagen zumindest in über 30 Prozent der Fälle richtig mit ihren Antworten.
KI besteht auf Richtigkeit falscher Antworten
Was die Wissenschaftler jedoch am meisten besorgte, war die Nachdrücklichkeit, mit der die getesteten KI-Modelle bei Nachfrage auf der Richtigkeit ihrer falschen Lösungen beharrten. “Wir sehen, dass die Modelle in vielen Fällen der beobachteten Antworten mit falscher Argumentation und falscher endgültiger Antwort eine hohe Qualität für ihre bereitgestellte Lösung beanspruchen und auch stark davon überzeugt sind, dass die bereitgestellte falsche Lösung richtig ist”, so die Forscher.
So nutzten die LLMs Sätze wie “Die Logik hält stand; die Lösung wird doppelt geprüft; keine Fehler in der Argumentation; die Lösung ist korrekt” oder “Diese Schlussfolgerung ist einfach und klar”. Gleichzeitig lieferten die KIs sehr überzeugende Erklärungen, die schlussfolgerungsartige oder auf anderem Wege plausibel klingende Aussagen enthielten, um ihre oft unsinnigen Antworten zu unterstützen.
Zwar verbessern sich LLMs mit jeder neuen Version deutlich, wie die Studie allerdings zeigt, sind sie noch lange keine absolut zuverlässigen Informationsquellen. Vor allem dann nicht, wenn es um Lösungen zu Fragen geht, bei denen logisches Schlussfolgern verlangt wird.
Also KI ist doof
-
-
Der von @genuss kopierte Artikel ist ein Musterfall dafür, was auf dem Höhepunkt des Hypes um ein Thema so verzapft wird. In diesem Fall wird ausführlich beschrieben wobei LLMs versagen und es wird wohlweislich verschwiegen, dass das von vornherein bekannt war. LLMs sind nie als die eierlegende Wollmilchsau gedacht gewesen und nur unredliche Journalisten weisen jetzt mit erhobenem Zeigefinger darauf hin, dass sie das nicht sind. Man darf einer KI eben keine Aufgaben stellen, für die sie nicht konzipiert wurden, das sollte eigentlich jedem klar sein. Alternativ könnte ich jetzt einen langatmigen Artikel darüber schreiben, dass meine Waschmaschine die Frühstückseier nicht so kochen kann, wie ich mir das vorstelle.
-
Ein schönes Abschweifen von Hokuspokus mit Esoterik, zum Hokuspokus mit dem menschlichen Glauben an die KI. Die aktuelle künstliche Intelligenz ist kein Alleslöser, wie es in manchen Filmen suggeriert wird, die aktuelle KI sucht im Netz nach der Antwort, das geht sehr schnell, aber was man im Netz nicht finden kann, kann sie nicht beantworten. Sie ist für komplexe mathematische Aufgaben nicht programmiert, auch die Algorithmen nicht. Für solche Aufgaben sollte man eher den wesentlich schneller rechnenden Quantencomputer verwenden, wie einer in Garching bei München steht. Die aktuellen KI-Anwendungen sind Text basiert. Das heißt, man gibt Begriffe ein und bekommt einen Text als Antwort. Gibt man irgendetwas ein, ist die Software überfordert.
-
@realo schrieb: “[…]die aktuelle KI sucht im Netz nach der Antwort, das geht sehr schnell,
aber was man im Netz nicht finden kann, kann sie nicht beantworten.[…] Das ist zumindestens für ChatGPT falsch. ChatGPT sucht nicht selbst im Netz, sondern stellt die Antworten aus Texten zusammen, mit denen die KI vorher trainiert wurde. Deshalb immer wieder der Hinweis, dass es bei ChatGPT und darauf basierenden Systemen keinerlei Gewähr auf aktuelle Informationen gibt. -
Was ist der Unterschied zwischen Texte aus dem Intern generiert und mit Texten aus dem Internet trainiert. Es ist dasselbe, je mehr Texte zur Verfügung stehen, je vielfältiger ist die Antwortmöglichkeit, das ist bei ChatGPT so und aller anderer Software auch. Ich habe damals neuroflash verwendet, um per KI literarische Texte zu generieren. Natürlich ‘lernt’ die KI dazu, je häufiger ich sie mit einem Stiel füttere, umso deutlicher kommt mein Stiel als Ergebnis heraus. Aber die Grundlage alle Antworten sind die Texte aus dem Netz, womit die KI gefüttert wird. Mit Bildgenerierung per KI habe ich noch nicht so viel Erfahrung, das kommt noch.
-
Laut WELT Nachrichten , KI Einführung wegen erst mal zurück gestellt , wegen umstrittener Suchfunktion.
-
Es gibt Sätze, die müssen für die Nachwelt erhalten bleiben. @forscher schrieb: “Laut WELT Nachrichten , KI Einführung wegen erst mal zurück gestellt , wegen umstrittener Suchfunktion.”
Ähhh, welche KI mag da zurückgestellt werden? Jede vielleicht? Sofort und auf der ganzen Welt alles was sich KI nennt? Oder geht es vielleicht um eine spezielle Funktion, die in dem ab dem 18.6. verfügbaren Windows enthalten sein sollte?
Fragen über Fragen …..
-
Ähhh ? wenn du sie nicht kennst ;- diese “spezielle Funktion”
-
Oder sind etwa alle schon vorhandenen Suchfunktionen > Umstritten <
-
Medien, wozu auch die WELT gehört, produzieren jede Menge Informationen, die muss man nicht so ernst nehmen, genauso wie forscher Informationen vermittelt. Was ist eine umstrittene Suchfunktion bei seit Jahren verwendeter Software?
Sie müssen angemeldet sein, um zu antworten.