Eine randomisierte klinische Studie [1] hat gezeigt, dass der Einsatz eines kommerziell verf\u00fcgbaren LLM-Chatbots die diagnostische Urteilsfindung von \u00c4rzten bei komplexen klinischen F\u00e4llen nicht verbessert hat, obwohl das LLM allein signifikant bessere Ergebnisse erzielte als die teilnehmenden \u00c4rzte.
Dieses Ergebnis war \u00fcber verschiedene Untergruppen von \u00c4rzten (unterschiedliche Ausbildungsstufen und Erfahrungen mit dem Chatbot) hinweg konsistent. Die Studie legt nahe, dass der alleinige Zugang zu LLMs die diagnostische Urteilsfindung in der Praxis nicht verbessert, was besonders relevant ist, da viele Gesundheitssysteme solche Chatbots oft ohne ausreichende Schulung anbieten.<\/p>\n\n\n\n
Es gab keine signifikanten Unterschiede im Zeitaufwand f\u00fcr die Falll\u00f6sung. Die \u00fcberlegene Leistung des LLM allein k\u00f6nnte auf die Sensitivit\u00e4t der Ergebnisse gegen\u00fcber der Formulierung der Prompts zur\u00fcckzuf\u00fchren sein. Schulungen f\u00fcr Kliniker im Prompting oder die Nutzung vordefinierter Prompts k\u00f6nnten die Leistung verbessern. Auch Anpassungen in der Interaktion zwischen LLM und Mensch, wie das Hervorheben nicht passender Merkmale, k\u00f6nnten die diagnostische Leistung steigern.<\/p>\n\n\n\n
Die Autoren betonen, dass medizinische Ausbildungs- und Praxisrahmen \u00fcberdacht werden m\u00fcssen, um neue Technologien optimal zu nutzen. Die Ergebnisse bedeuten jedoch nicht, dass LLMs autonom zur Diagnose eingesetzt werden sollten; \u00e4rztliche Aufsicht bleibt unerl\u00e4sslich. Die Studie verwendete kuratierte Fallvignetten, was nicht alle Aspekte der klinischen Urteilsfindung (z.B. Patientengespr\u00e4ch, Datenerhebung, Kontextverst\u00e4ndnis) abbildet.<\/p>\n\n\n\n
Ein neuartiger Beitrag der Studie ist die Entwicklung eines Bewertungsinstruments basierend auf strukturierter Reflexion, das eine gute \u00dcbereinstimmung zwischen Bewertern und interne Reliabilit\u00e4t zeigte. Dies stellt einen Fortschritt gegen\u00fcber fr\u00fcherer LLM-Forschung dar, die sich oft auf weniger klinisch relevante Benchmarks konzentrierte. Mit der zunehmenden Integration von KI in die Klinik wird eine zuverl\u00e4ssige Messung der diagnostischen Leistung mit realistischen Methoden immer wichtiger.<\/p>\n\n\n\n
[1] Goh, E., Gallo, R., Hom, J., Strong, E., Weng, Y., Kerman, H., Cool, J. A., Kanjee, Z., Eine randomisierte klinische Studie untersuchte den Einfluss von LLM-Chatbots auf die diagnostische Urteilsfindung von \u00c4rzten. Die Studie ergab, dass die Nutzung eines LLM-Chatbots die diagnostische Leistung der \u00c4rzte nicht verbesserte, obwohl das LLM allein signifikant bessere Ergebnisse erzielte. <\/p>\n","protected":false},"author":3,"featured_media":911,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"advanced_seo_description":"","jetpack_seo_html_title":"","jetpack_seo_noindex":false,"_jetpack_memberships_contains_paid_content":false,"footnotes":"","jetpack_publicize_message":"","jetpack_publicize_feature_enabled":true,"jetpack_social_post_already_shared":true,"jetpack_social_options":{"image_generator_settings":{"template":"highway","default_image_id":0,"font":"","enabled":false},"version":2}},"categories":[44,81,72],"tags":[],"class_list":["post-909","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-artificial-intelligence","category-llm","category-recommendation",""],"acf":[],"jetpack_publicize_connections":[],"jetpack_featured_media_url":"https:\/\/i0.wp.com\/www.spotseven.de\/wp-content\/uploads\/2025\/05\/goh24a.jpg?fit=1244%2C402&ssl=1","jetpack_likes_enabled":true,"jetpack_sharing_enabled":true,"jetpack-related-posts":[],"jetpack_shortlink":"https:\/\/wp.me\/p2DCPK-eF","_links":{"self":[{"href":"https:\/\/www.spotseven.de\/index.php?rest_route=\/wp\/v2\/posts\/909","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.spotseven.de\/index.php?rest_route=\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.spotseven.de\/index.php?rest_route=\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.spotseven.de\/index.php?rest_route=\/wp\/v2\/users\/3"}],"replies":[{"embeddable":true,"href":"https:\/\/www.spotseven.de\/index.php?rest_route=%2Fwp%2Fv2%2Fcomments&post=909"}],"version-history":[{"count":3,"href":"https:\/\/www.spotseven.de\/index.php?rest_route=\/wp\/v2\/posts\/909\/revisions"}],"predecessor-version":[{"id":914,"href":"https:\/\/www.spotseven.de\/index.php?rest_route=\/wp\/v2\/posts\/909\/revisions\/914"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.spotseven.de\/index.php?rest_route=\/wp\/v2\/media\/911"}],"wp:attachment":[{"href":"https:\/\/www.spotseven.de\/index.php?rest_route=%2Fwp%2Fv2%2Fmedia&parent=909"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.spotseven.de\/index.php?rest_route=%2Fwp%2Fv2%2Fcategories&post=909"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.spotseven.de\/index.php?rest_route=%2Fwp%2Fv2%2Ftags&post=909"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}
Parsons, A. S., Ahuja, N., Horvitz, E., Yang, D., Milstein, A., Olson, A. P. J., Rodman,
A., and Chen, J. H. Large language model influence on diagnostic reasoning: A randomized clinical
trial. JAMA Network Open 7, 10 (10 2024), e2440969\u2013e2440969.<\/em> https:\/\/doi.org\/10.1001\/jamanetworkopen.2024.40969<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"