Hintergrund
Die fortschreitende Komplexität, Interaktion und Nutzerakzeptanz von generativen Modellen der künstlichen Intelligenz (KI) kann zu unerwarteten, gefährlichen Handlungen oder Aktionen führen, welche konträr zum beabsichtigten Programmierzweck der KI-Anwendung sind. Ziel dieses narrativen Reviews ist es, Beispiele für solche abtrünnige KI (englisch Rogue AI) zu finden, deren mögliche Auswirkungen auf die Anästhesiologie zu skizzieren und Lösungsansätze aufzuzeigen.
Methodik
Für ein narrativen Review erfolgte eine PubMed- und eine Google-Scholar-Suche mit den Suchstrings „Artificial intelligence / Machine learning AND / OR Rogue AI“ sowie eine Suche mit Google nach exemplarischen Rogue-AI-Fällen. Einbezogen wurden Fachartikel, journalistische Beiträge sowie graue Literatur.
Ergebnisse
Es konnten insgesamt zwölf exemplarische Fachartikel, ein Fallbericht, drei Sicherheitsberichte, eine Berufsverbandsstellungnahme und neun journalistische Berichte gefunden werden. Diese umfassten manipulatives oder erpresserisches Verhalten durch KI-Modelle, Fehldiagnosen durch Halluzinationen oder unzureichend trainierte oder validierte Modelle, Beispiele für rassistischen Bias aufgrund unzureichender Datengrundlagen, Verweigerungen von Eingabebefehlen oder unlösbare Verschlüsselungen. Beim Thema Cybersicherheit fanden sich Studien zu versteckten Hintertüren, Hacking sowie zur Manipulation des Quellcodes oder der Trainingsdaten. Ebenso kann die Steuerung von Wirtschaftsprozessen durch KI mit finanziellen Verlusten einhergehen. Keine Rogue AI war direkt im medizinischen Bereich installiert. Für die Anästhesie wären bspw. dadurch Probleme in der Arzt-Patienten-Interaktion, der Fehlsteuerung bzw. Übernahme von Medizinprodukten durch KI, Über- oder Untertherapien durch Bias-Probleme, Fehldiagnosen und eine gestörte Arzt-KI- bzw. Patienten-KI-Interaktion denkbar.
Schlussfolgerung
Abtrünniges, nicht zweckdienliches Verhalten von KI kann bereits heute auftreten. Das Problem könnte sich in Zukunft durch selbstlernende und selbstoptimierende KIs, welche auf allen Ebenen im Krankenhaus vernetzt sind, noch verschärfen. Lösungsansätze bestehen in der Einhaltung von biomedizinischen ethischen Richtlinien, Fairness, Transparenz, Gesetzesvorlagen wie dem EU AI Act sowie erweiterten Cybersicherheitsmaßnahmen zum Schutz vor externen Angriffen oder unkontrollierter interner Anwendung. Neben einer suffizienten Nutzerschulung müssen eine menschliche Kontroll- und Korrekturinstanz sowie eine Überwachung im laufenden Betrieb konsequent gewährleistet sein.
Background
The increasing complexity, interaction, and user acceptance of generative artificial intelligence models (AI) can lead to unexpected, dangerous actions or behaviours that run counter to the models’ intended purpose. The aim of this narrative review is to identify examples of such rogue AI, outline the implications they might have for the field of anaesthesiology, and to find approaches to solutions.
Methods
For a narrative review, a PubMed and a Google Scholar search were conducted with the strings “Artificial intelligence /Machine learning AND/OR Rogue AI“ as well as a Google search for exemplary cases of rogue AI. Scientific articles, journalistic reports as well as grey literature were included.
Results
A total of 12 exemplary scientific articles, one case and three security reports, one professional association communication and 9 journalistic reports were identified. These included manipulative or extortionate behaviour of AI models, misdiagnoses caused by hallucinations or insufficiently trained or validated models, examples of racist bias due to inadequate datasets, refusals to execute input commands, and unsolvable encryptions. In the field of cybersecurity, studies reported on hidden backdoors, hacking, and manipulation of source code or training data. The control of economic processes by AI could also lead to potential financial losses. No rogue AI was found to be directly implemented in the medical field. In anaesthesiology, for example, this could lead to problems affecting doctor-patient interactions, the malfunction or takeover of medical devices by AI, over- or undertreatment due to bias issues, misdiagnoses, and a disrupted doctor-AI or patient-AI interaction.
Conclusion
The fundamental aspects of the rogue AI problem already exist today. In the future, the problem could worsen with self-learning and self-optimising AI systems
that are interconnected at all levels within hospitals. Approaches needed to solve these problems consist in complying with biomedical ethical guidelines, principles of fairness, transparency, legislative frameworks like the EU AI Act, and extended cybersecurity against external attacks and uncontrolled internal usage. Next to an effective user training, continuous human oversight and correction mechanisms, as well as real-time monitoring during operation, should also be consistently ensured.