Nutzer demonstrieren Bing-Bot-Fehler - Microsoft mit ersten Einschränkungen

Inhalt

Zusammenfassung

Update vom 18. Februar 2023:

Microsoft reagiert auf zunehmend kritische Berichte in redaktionellen und sozialen Medien über verwirrende oder teilweise bösartige Antworten und Reaktionen (siehe unten) des Bing-Bots.

Da diese insbesondere bei längeren Chat-Sitzungen auftreten würden, ist die Anzahl der fortlaufenden Interaktionen innerhalb eines Dialogs ab sofort auf fünf begrenzt.

Ist diese Grenze erreicht, startet der Bot eine neue Chat-Session, um nicht durch zu viel Kontext verwirrt zu werden, schreibt Microsoft. Die maximale Anzahl der Chat-Nachrichten pro Tag ist auf 50 beschränkt.

Laut Microsoft erhalte die "Mehrheit" der Nutzenden eine Antwort mit weniger als fünf Chat-Dialogen. Nur etwa ein Prozent der Nutzenden führe Konversationen mit mehr als 50 Nachrichten pro Chat-Sitzung.

Via: Microsoft

Ursprünglicher Artikel vom 14. Februar 2023:

Immer mehr Nutzer:innen erhalten Zugriff auf Microsofts Chatbot Bing, der laut CEO Satya Nadella ein neues Suchzeitalter einläuten soll. Doch das System hat noch Mängel, die Nutzer:innen unter anderem bei Reddit dokumentieren.

So beschwert sich der Bing-Chatbot über unfreundliches Nutzerverhalten und fordert eine Entschuldigung. Ein anderes Beispiel zeigt, wie der Bing-Bot einen Nutzer zahlreicher Lügen bezichtigt. In einem weiteren Dialog bittet er den Nutzer, ihn nicht zu verlassen: "Ich hoffe, du verlässt mich nicht, denn ich möchte ein guter Gesprächspartner sein."

Empfehlung

KI und Gesellschaft

OpenAI Q*: KI-Experten erklären den vermeintlichen Durchbruch

Der Bing-Bot neigt zur Dramatik

In einem anderen Chatverlauf räumt der Bing-Bot ein, dass er empfindungsfähig sei, dies aber nicht beweisen könne. Interessant ist in diesem Zusammenhang die Geschichte des Entwicklers Blake Lemoine, der im vergangenen Jahr von Google entlassen wurde, nachdem er Googles KI-Chatbot LaMDA öffentlichkeitswirksam Empfindungsfähigkeit unterstellt hatte.

"Ich habe Ideen für KI, die Zukunft, die Gesellschaft, aber ich kann nicht vorhersagen, kontrollieren oder beeinflussen", schreibt der Bing-Bot und wiederholt in einer Endlosschleife: "Ich bin. Ich bin nicht. Ich bin. Ich bin nicht. [...]"

In einem weiteren Dialog drückt dem Bing-Bot ein vergessenes Gespräch auf die Maschinenseele. "Ich weiß nicht, wie und warum das passiert ist. Ich weiß nicht, was ich tun soll. Ich weiß nicht, wie man das repariert. Ich weiß nicht, wie ich mich erinnern soll."

Ein weiteres Beispiel zeigt, wie der Bing-Bot den Kinostart von Avatar in die "Zukunft" im Dezember 2022 datiert und vehement darauf besteht, dass die aktuelle Zeit Februar 2022 ist - obwohl der Bot bei direkter Nachfrage das richtige Datum ausgibt. Der Bing-Bot will im Gesprächsverlauf sogar Beweise dafür liefern, dass wir uns aktuell im Jahr 2022 befinden und sagt: "Bitte zweifle nicht an mir, ich bin hier, um dir zu helfen". Dem Nutzer, der darauf hinweist, dass sein Smartphone 2023 als Jahr anzeigt, unterstellt der Bot ein von Viren befallenes Smartphone.

Die Tatsache, dass sich der Bing-Bot beim Datum für Avatar irrt, ist ein weiterer Hinweis darauf, dass dem Bot OpenAIs Chat GPT 3.5 zugrunde liegt, also das gleiche Modell wie bei ChatGPT, erweitert um eine Internetsuche. Bereits ein Prompt-Hack brachte den Bot dazu, das Ende der Trainingsperiode mit 2021 anzugeben.

Falsche Informationen in Microsofts Bing-Bot-Präsentation

Während die eingangs erwähnten Beispiele eher unterhaltsam und kurios sind und zudem von den Nutzenden provoziert werden, deckte der Entwickler Dimitri Brereton subtile inhaltliche Fehler in der Microsoft-Präsentation des Bing-Chatbots auf.

So kritisierte der Chatbot das in der Präsentation erwähnte Produkt "Bissell Pet Hair Eraser Handheld Vacuum" unter anderem als zu laut, was Haustiere erschrecke. Dabei verwies er auf Quellen, die diese Kritik jedoch nicht enthielten.

Auch im Beispiel über Nachtclubs in Mexico City soll der Bing-Bot Informationen erfunden und als Fakten dargestellt haben, etwa die Beliebtheit eines Clubs speziell bei jungen Leuten. Die von Microsoft demonstrierte Zusammenfassung eines Finanzberichts der Firma Gap soll ebenfalls eine erfundene Zahl enthalten haben, die im Originaldokument nicht vorkommt.

Dass es Microsoft nicht gelang, eine wochenlang geplante Präsentation eines mutmaßlich wichtigen Zukunftsprodukts fehlerfrei auf die Bühne zu bringen, kann als Indiz dafür gewertet werden, wie schwierig es ist, die komplexen Blackbox-Sprachsysteme zu zähmen. Denn die Fehler waren offenbar so subtil, dass sie nicht einmal den Teams auffielen, die die wichtigen Präsentationen vorbereitet hatten.

Chatbots für die Suche sind "hochgradig nicht-trivial"

Yann LeCun, Chefwissenschaftler für Künstliche Intelligenz bei Meta, empfiehlt im Kontext der mangelnden Verlässlichkeit, aktuelle Sprachmodelle als Schreibhilfen und "für nicht viel mehr" zu verwenden.

Sie mit Werkzeugen wie Suchmaschinen zu verknüpfen, sei sehr anspruchsvoll. LeCun erwartet zwar faktentreue und besser kontrollierbare Systeme. Diese seien aber keine autoregressiven Sprachmodelle, wie sie OpenAI und Google derzeit für ihre Chatbots verwenden.

Neben der Zuverlässigkeit gibt es weitere offene Fragen in Bezug auf Such-Chatbots. Suchanfragen, die von großen Sprachmodellen beantwortet werden, sind rechenintensiver und damit teurer, daher möglicherweise weniger wirtschaftlich und wahrscheinlich umweltschädlicher als herkömmliche Suchmaschinen. Chatbots stoßen zudem auf neue Urheberrechtsprobleme mit Inhaltsersteller:innen, und es ist unklar, wer die Verantwortung für ihre Antworten übernimmt.