Read full article about: ChatGPT schlägt Bing und Bard bei der Beantwortung physiologischer Fallbeispiele
Eine Vergleichsstudie der Leistung von OpenAI ChatGPT (GPT-3.5), Google Bard und Microsoft Bing (Präzisionsmodus) bei der Beantwortung von 77 physiologischen Fallvignetten zeigte, dass ChatGPT die anderen signifikant übertraf (ChatGPT 3.19±0.3, Bard 2.91±0.5, Bing Chat 2.15±0.6 auf einer Skala von 0 bis 4). Zwei Physiologen bewerteten unabhängig voneinander die Genauigkeit der Antworten der LLMs.
Während die Ergebnisse das Potenzial für die Integration von KI-Systemen in die medizinische Ausbildung aufzeigen, weist die Studie auch auf die Notwendigkeit weiterer Forschung hin, um die Effektivität dieser Modelle in verschiedenen medizinischen Bereichen zu untersuchen. Es ist auch möglich, dass spezielle KI-Modelle, die auf medizinische Aufgaben zugeschnitten sind, das Rennen machen werden, wie das kürzlich von Google vorgestellte Med-PaLM M, das auch maschinelles Sehen einbezieht.
Read full article about: Diese zwei Wörter können KI-Fehler in ChatGPT reduzieren
Forschende der Johns Hopkins University haben eine einfache Methode gefunden, um Halluzinationen in großen Sprachmodellen zu verringern und die Genauigkeit ihrer Antworten zu verbessern. Durch das Hinzufügen von "according to" in Prompts ist es wahrscheinlicher, dass die Sprachmodelle gelernten Text zitieren und sachliche Informationen liefern, anstatt Antworten zu fabrizieren.
Eine Prüfung der Antworten verschiedener Sprachmodelle zeigt, dass die Genauigkeit der zitierten Informationen um 5 bis 15 % steigt, wenn Prompts wie "according to Wikipedia..." verwendet werden. Während die Technik bei verschiedenen LLMs gut funktioniert, ist sie bei größeren, auf Instruktionen abgestimmten Modellen am effektivsten.