Konzeptpaper · Spring 2026

Regulatory & Compliance Intelligence (RCI) in Pharma/MedTech

Entwicklung eines konzeptionellen, AI-gestützten Vorprüfungs- und Dokumentationsansatzes für AI-Use-Cases im Rahmen einer Studienarbeit am Karolinska Institutet (keine Implementierung oder regulatorische Freigabe).

Kurzfassung

RCI beschleunigt Compliance-Triage, ersetzt aber keine fachliche Freigabe

Das RCI-Konzept adressiert eine wiederkehrende Governance-Aufgabe in Pharma und MedTech: Neue AI-Vorhaben – etwa Chatbots, Predictive Models, Workflow-Optimierer, automatisierte Dokumentations- oder kundenspezifische Projekte – müssen gegen ein überlappendes regulatorisches Umfeld geprüft werden. Dazu zählen insbesondere EU AI Act, Datenschutz, Medizinprodukterecht, pharmazeutische GMP-Erwartungen und interne Standards. RCI ist deshalb nicht als autonomes Compliance-Urteil zu verstehen, sondern als strukturierte, AI-gestützte Vorprüfung: Das System sammelt Use-Case-Daten, klassifiziert das regulatorische Risiko vorläufig, ruft relevante Normen und Leitlinien ab und erstellt einen prüffähigen Compliance-Memo-Entwurf. Die Freigabe bleibt beim Menschen.[1-7]
Prozessvisualisierung

Darstellung des RCI Triage-Prozesses

Schritt-für-Schritt-Visualisierung des vollständigen RCI-Workflows: Use-Case-Eingabe, Risikoklassifikation (Ampellogik), regulatorisches Retrieval und Human-in-the-Loop-Freigabe.

Prozess ansehen →
Grundprinzip

Vom manuellen Fragenkatalog zum lernenden Compliance-Workflow

Die regulatorische Prüfung von AI-Vorhaben ist anspruchsvoll, weil dieselbe Anwendung gleichzeitig Fragen zu AI-Risikoklasse, Datenverarbeitung, medizinischer Zweckbestimmung, Qualitätsmanagement, Transparenz, menschlicher Aufsicht und Post-Market-Monitoring auslösen kann. Eine strukturierte Triage reduziert diese Komplexität, ersetzt aber nicht die fachliche Bewertung durch Regulatory, Legal, Datenschutz, Quality und klinische bzw. medizinische Expert:innen.[1-6]

Die Kernlogik ist risikobasiert: Interne Tools ohne Patientenkontakt werden anders behandelt als HCP- oder patientennahe Anwendungen, Systeme mit medizinischer Zweckbestimmung, personenbezogenen Gesundheitsdaten oder komplexen Vendor-Konstellationen. RCI wird damit zum Steuerungsinstrument für Innovation unter Compliance-Bedingungen: schneller bei niedrigerem Risiko, gründlicher bei Anwendungen mit potenzieller Wirkung auf Patient:innen, Grundrechte, Produktqualität oder regulatorische Pflichten.[1,3,5,6]

Risiken, Automation Bias & Validierung

Systemrisiken, Gegenmaßnahmen und Performance-Metriken

Systemrisiken

  • Trainings- und Bewertungsdaten können bestehende Verzerrungen aus Versorgung, Dokumentation oder Organisation übernehmen und verstärken.[6,9,10]
  • Eine Unterklassifikation kritischer Fälle kann dazu führen, dass notwendige vertiefte Prüfungen zu spät oder gar nicht erfolgen.[1,3,5,6]
  • Eine Überklassifikation bindet knappe Regulatory-, Legal-, Quality- und klinische Prüfressourcen und kann Innovation verzögern.
  • Generative Memo-Komponenten können ohne Retrieval, Quellenbindung und Review unzutreffende oder nicht belegte Aussagen erzeugen.[7,8]

Automation Bias & Gegenmaßnahmen

Human-in-the-loop-Design verhindert Automation Bias nicht automatisch. Entscheidend sind Rollen, Review-Pflichten, Training, geeignete Darstellung von Unsicherheit und post-deployment Evaluation.[12,13,17]

  • Alle Outputs als „DRAFT — PENDING REVIEW“ markiert
  • Unsicherheit, Datenbasis und Begründung explizit sichtbar
  • Kalibrierungsschulungen für Reviewer verpflichtend
  • Override-Rate, Review-Qualität und Eskalationen als Monitoring-Signale dokumentiert[14]

Performance-Metriken

Primäres Ziel: HIGH-Class Recall — Fehlklassifikation als LOW/MEDIUM ist gefährlicher als Überklassifikation.

  • Klassifikation: Recall für HIGH-Risk-Fälle, Precision, Fehlklassifikationsanalyse und Review-Override-Rate
  • Generativ: Quellenabdeckung, Zitatgenauigkeit, Halluzinationsrate und Nachvollziehbarkeit der abgerufenen Normen[7,8]
  • Reporting orientiert an etablierten Standards für Vorhersagemodelle und an nachvollziehbarer technischer Dokumentation.[1,3,15]
  • Ongoing: Drift-, Performance-, Sicherheits- und Compliance-Monitoring über den Lebenszyklus.[1,3,14]
  • Konzeptstatus: Die konkrete Zeitersparnis und Verteilung von LOW/MEDIUM/HIGH-Fällen muss in einem Pilotprojekt empirisch gemessen werden.
Haftungsverteilung

Wer trägt Verantwortung?

Das finale Compliance-Memo bleibt eine fachlich verantwortete menschliche Entscheidung. Der EU AI Act unterscheidet Rollen und Pflichten von Anbietern und Betreibern bzw. Deployern; daraus folgt für RCI, dass Systemgrenzen, Review-Entscheidungen, Eskalationen, Quellenstand und Audit Trail dokumentiert werden müssen. Konkrete Haftungsfragen sind organisations- und use-case-spezifisch juristisch zu prüfen.[1,3,14,16]

↗ EU AI Act (Reg. EU 2024/1689) — Volltext auf EUR-Lex
Literaturverzeichnis

Quellen

Sofern nicht anders angegeben, Abrufzeitpunkt: April 2026. RCI ist ein Konzeptvorschlag, keine bereits klinisch oder regulatorisch validierte Software.

  1. European Parliament, Council of the European Union. Regulation (EU) 2024/1689 of 13 June 2024 laying down harmonised rules on artificial intelligence. Official Journal of the European Union. 2024 Jul 12;L2024/1689.
  2. European Parliament, Council of the European Union. Regulation (EU) 2016/679 of 27 April 2016 on the protection of natural persons with regard to processing of personal data and on the free movement of such data. Official Journal of the European Union. 2016 May 4;L119:1-88.
  3. Aboy M, Minssen T, Vayena E. Navigating the EU AI Act: implications for regulated digital medical products. NPJ Digit Med. 2024;7:237. doi:10.1038/s41746-024-01232-3.
  4. Gilbert S. The EU passes the AI Act and its implications for digital medicine are unclear. NPJ Digit Med. 2024;7:135. doi:10.1038/s41746-024-01116-6.
  5. Niazi SK. Regulatory perspectives for AI/ML implementation in pharmaceutical GMP environments. Pharmaceuticals. 2025;18:901. doi:10.3390/ph18060901.
  6. Lekadir K, Quaglio G, Tselioudis Garmendia A, Gallin C. Artificial intelligence in healthcare: applications, risks, and ethical and societal impacts. Brussels: European Parliamentary Research Service; 2022. Available from: https://www.europarl.europa.eu/thinktank/en/document/EPRS_STU(2022)729512.
  7. Yang R, et al. Retrieval-augmented generation for generative artificial intelligence in health care. NPJ Health Syst. 2025;2:2. doi:10.1038/s44401-024-00004-1.
  8. Iqbal U, Tanweer A, Rahmanti AR, Greenfield D, Lee LTJ, Li YCJ. Impact of large language model (ChatGPT) in healthcare: an umbrella review and evidence synthesis. J Biomed Sci. 2025;32:45. doi:10.1186/s12929-025-01131-z.
  9. Yang Y, Lin M, Zhao H, Peng Y, Huang F, Lu Z. A survey of recent methods for addressing AI fairness and bias in biomedicine. J Biomed Inform. 2024;154:104646. doi:10.1016/j.jbi.2024.104646.
  10. Obermeyer Z, Powers B, Vogeli C, Mullainathan S. Dissecting racial bias in an algorithm used to manage the health of populations. Science. 2019;366(6464):447-453. doi:10.1126/science.aax2342.
  11. Wells BJ, et al. A practical framework for appropriate implementation and review of artificial intelligence (FAIR-AI) in healthcare. NPJ Digit Med. 2025;8:514. doi:10.1038/s41746-025-01900-y.
  12. Brunyé TT, et al. Artificial intelligence and computer-aided diagnosis in diagnostic decisions: five questions for medical informatics and human-computer interface research. J Am Med Inform Assoc. 2026;33:543-550. doi:10.1093/jamia/ocaf123.
  13. Olawade DB, et al. Human in the loop artificial intelligence in healthcare: applications, outcomes, and implementation challenges. Int J Med Inform. 2026;213:106362. doi:10.1016/j.ijmedinf.2026.106362.
  14. Palama V, Kadiri C, Babarinde AO, Nwanze J, Adekoya AF, Ejuone OG. Auditing and monitoring artificial intelligence systems in healthcare: a multilayer framework for bias detection, explainability, and regulatory compliance. Cureus. 2026;18(3):e104547. doi:10.7759/cureus.104547.
  15. Collins GS, Reitsma JB, Altman DG, Moons KGM. Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD): the TRIPOD statement. Ann Intern Med. 2015;162:55-63.
  16. Chau MT, Spuur KM, White S, et al. Malpractice in the machine age: legal and ethical responses to machine learning in medical imaging. Radiography. 2026;32:103339. doi:10.1016/j.radi.2026.103339.
  17. Goddard K, Roudsari A, Wyatt JC. Automation bias: a systematic review of frequency, effect mediators, and mitigators. J Am Med Inform Assoc. 2012;19(1):121–127. doi:10.1136/amiajnl-2011-000089.
← Startseite