Die neue KI-VO – wenn Personen von automatisierten Entscheidungen betroffen sind

April 30, 2025

Viele KI-Anwendungen erstellen Profile von Personen oder treffen automatisierte Entscheidungen (oder Entscheidungsvorhersagen). Hier greift Art. 22 DSGVO. Dieser regelt automatisierte Entscheidungen im Einzelfall, die rechtliche oder ähnlich erhebliche Auswirkungen auf Personen haben.

Zum Beispiel: Eine KI entscheidet vollautomatisch über die Kreditvergabe, eine Versicherungspolice, eine Einstellung oder Ablehnung eines Bewerbers, oder stuft einen Kunden in eine Risikoklasse ein, wodurch er andere Konditionen erhält.

Gemäß Art. 22 hat die betroffene Person das Recht, nicht einer ausschließlich automatisierten Entscheidung unterworfen zu sein, die sie erheblich beeinträchtigt – es sei denn, eine der folgenden Bedingungen ist erfüllt:

Die Entscheidung ist für den Abschluss oder die Erfüllung eines Vertrags erforderlich (und angemessene Maßnahmen zum Schutz der Rechte der Person sind getroffen).
Sie ist aufgrund eines Gesetzes der EU oder eines Mitgliedstaats zulässig (das Gesetz muss dann auch Schutzmaßnahmen vorsehen).
Die Person hat ausdrücklich eingewilligt.

Selbst wenn eine dieser Ausnahmen greift, muss man der Person die Möglichkeit geben, einen menschlichen Eingriff zu verlangen, seinen Standpunkt darzulegen und die Entscheidung anzufechten.

Praktisch bedeutet das: Wenn Ihre Firma z.B. eine KI einsetzen will, um Kreditanträge vorzuentscheiden, sollte das Ergebnis nicht unüberprüft als endgültige Entscheidung an den Kunden gehen. Es muss ein Mensch zumindest kontrollierend eingreifen können, sonst verstoßen Sie gegen Art. 22 (sofern keine Einwilligung oder gesetzliche Erlaubnis vorliegt).

Profiling an sich (ohne vollautomatische Entscheidung) unterliegt den allgemeinen DSGVO-Grundsätzen, erfordert Transparenz und ggf. eine Interessenabwägung nach Art. 6(1)f. Auch hier gilt: Je gewichtiger die Folgen des Profilings, desto eher muss die Person informiert und ggf. ihre Zustimmung eingeholt werden.

Aus Unternehmenssicht sollte man bei KI-Entscheidungen über Menschen immer vorsichtig sein. Oft ist es besser, KI als Entscheidungsunterstützung einzusetzen (der Mensch entscheidet final), statt komplett auf Autopilot zu schalten – nicht nur aus rechtlichen Gründen, sondern auch um Haftungsrisiken zu reduzieren. Außerdem schreibt die KI-VO bei Hochrisiko-KI oft eine menschliche Aufsicht vor, sodass rein automatische Entscheidungen vermieden werden sollen.

Auftragsverarbeitung und Datenschutzvorgaben

In vielen Fällen werden Unternehmen nicht alle KI-Systeme selbst hosten oder entwickeln, sondern Dienste von Drittanbietern nutzen (Cloud-KI, SaaS-Angebote usw.). Sobald personenbezogene Daten an einen externen Dienst übermittelt werden, ist das datenschutzrechtlich entweder eine Auftragsverarbeitung (wenn der Dienst die Daten nur in ihrem Auftrag verarbeitet) oder eine Weitergabe an einen eigenverantwortlichen Dritten.

Beispiel: Sie verwenden einen KI-Textanalysedienst über eine API und senden Kundendaten dorthin, damit der Dienst eine Auswertung macht. In der Regel wird dieser Dienstleister als Auftragsverarbeiter für Sie tätig sein müssen, weil Sie die Zwecke vorgeben. Das bedeutet, Sie brauchen einen Auftragsverarbeitungsvertrag (AVV) mit dem Anbieter, der die DSGVO-Anforderungen erfüllt (Art. 28 DSGVO). Darin muss geregelt sein, welche Daten verarbeitet werden, zu welchem Zweck, und dass der Dienstleister geeignete Sicherheitsmaßnahmen trifft, nur auf Weisung handelt etc.

Gerade bei innovativen KI-Startups ist ein AVV nicht immer selbstverständlich vorhanden – das muss aber eingefordert werden. Seriöse KI-Anbieter haben mittlerweile Datenschutzbedingungen und bieten den Abschluss eines AV-Vertrags an. Wenn ein Anbieter das nicht bietet oder nicht bereit ist, vertragsgemäß zuzusichern, dass er Ihre Daten nur im Rahmen Ihrer Vorgaben nutzt, sollten Sie keine personenbezogenen Daten an diesen Dienst schicken.

Neben dem Vertraglichen ist wichtig: Technische und organisatorische Maßnahmen beim Anbieter. KI-Verarbeitung kann sehr sensibel sein (man denke an ein KI-System, das Gesundheitsdaten analysiert). Achten Sie auf Zertifizierungen, Verschlüsselung, Zugriffsbegrenzung und darauf, dass der Anbieter keine Daten unbefugt mitliest oder weiterverwendet. Im AVV sollte idealerweise stehen, dass die Daten nur zur Erbringung der KI-Funktion genutzt und danach gelöscht werden, nicht etwa zum Training der KI des Anbieters (es sei denn, das haben Sie ausdrücklich erlaubt und die Nutzer informiert).

Datentransfer und Compliance-Anforderungen

Eng verbunden mit der Auftragsverarbeitung ist das Thema Datenübermittlung in Drittländer. Viele der leistungsfähigsten KI-Dienste stammen aus den USA (Beispiel: OpenAI/ChatGPT, Microsoft Cognitive Services, Google Cloud AI). Wenn Sie solche Dienste nutzen, fließen personenbezogene Daten möglicherweise in die USA oder andere Länder außerhalb der EU. Die DSGVO erlaubt Datentransfers aber nur, wenn ein angemessenes Schutzniveau sichergestellt ist (Art. 44 ff. DSGVO).

Aktuell sind die USA datenschutzrechtlich problematisch, da kein genereller Angemessenheitsbeschluss (mehr) gilt – allerdings wurde Ende 2022/2023 das „EU-US Data Privacy Framework“ aufgesetzt, das für zertifizierte US-Unternehmen ein angemessenes Niveau anerkennt. Unabhängig davon werden oft Standardvertragsklauseln (SCC) mit den Anbietern geschlossen. Als Geschäftsleitung müssen Sie dieses Thema nicht im Detail lösen, aber wissen: Wenn KI-Dienste außerhalb der EU sitzende Server/Anbieter nutzen, muss der Datenschutzbeauftragte prüfen, ob SCCs oder andere Garantien vorliegen. Andernfalls bewegen Sie sich in rechtlich unsicherem Fahrwasser (Stichwort Schrems II, US-Überwachungsproblematik).

Praktisch sollten Sie möglichst Dienste nutzen, die eine Datenverarbeitung in der EU anbieten, insbesondere für sensible Daten. Einige Cloud-Anbieter haben mittlerweile EU-Rechenzentren oder spezielle „EU-Module“ für KI-Dienste. Wenn das nicht geht, müssen Sie zumindest die Risiken kommunizieren (ggf. in der Datenschutzerklärung) und eventuell Zusatzmaßnahmen ergreifen (Verschlüsselung vor dem Transfer, Verkürzung von IP-Adressen, Pseudonymisierung etc.).

Häufige Frage: Dürfen wir Kundendaten in ein KI-Tool wie ChatGPT eingeben? – Antwort: Nur mit großer Vorsicht. Idealerweise werden gar keine personenbezogenen Daten in öffentliche KI-Systeme eingeben, zumindest nicht ohne Zustimmung. ChatGPT etwa speichert standardmäßig alle eingegebenen Daten und nutzt sie weiter, was aus Datenschutzsicht problematisch ist. Wenn es sich nicht vermeiden lässt, sollten Sie die Daten anonymisieren oder abstrahieren. Außerdem müssten Sie die Betroffenen informieren, dass ihre Daten an einen Dienst wie ChatGPT gehen (Datenschutzerklärung). Da das kaum umfassend möglich ist – man weiß ja selbst nicht genau, was mit den Daten im KI-Modell passiert – lautet die Empfehlung vieler Experten: Keine vertraulichen oder personenbezogenen Informationen in solche KI-Tools einspeisen! Ihre Mitarbeiter sollten dafür sensibilisiert werden (z.B. keine Kundennamen oder ganze Dokumente in den Chatbot kopieren). Alternativ könnte man nach datenschutzkonformen Lösungen suchen, etwa lokale KI-Modelle oder EU-basierte Dienste mit klaren Verträgen.

Informationspflichten gegenüber Nutzern und Betroffenen

Transparenz ist ein zentrales Prinzip im Datenschutz und in der KI-Verordnung. Worauf müssen Sie achten?

DSGVO-Transparenz: Wenn Sie personenbezogene Daten mittels KI verarbeiten, müssen Sie die Betroffenen in der Datenschutzerklärung oder individuell darüber informieren (Art. 13/14 DSGVO). Das umfasst z.B. die Angabe, dass Sie automatisierte Verfahren oder Profiling einsetzen, den Zweck (z.B. „Analyse von Nutzerverhalten mittels KI, um unser Angebot zu verbessern“), ggf. die zugrundeliegende Logik in groben Zügen und die Folgen für die Person.
Beispiel: Eine Versicherung, die einen KI-Algorithmus zur Risikoeinstufung einsetzt, muss Bewerbern um Versicherungsschutz mitteilen, dass eine automatisierte Bewertung erfolgt. Wenn eine automatisierte Entscheidung im Sinne von Art. 22 vorliegt, ist zusätzlich zu informieren, dass man das Recht auf menschliches Eingreifen hat.
Auskunftsrechte: Betroffene können nach Art. 15 DSGVO Auskunft verlangen, ob sie „Gegenstand einer automatisierten Entscheidung“ waren und welche Logik dahintersteckt. Sie müssen dann zumindest erklären können, nach welchen Faktoren die KI grob entscheidet (vollständige Algorithmen-Enthüllung ist nicht verlangt, aber eine verständliche Aufklärung in verständlicher Form). Geschäftsleitungen sollten sicherstellen, dass das Unternehmen vorbereitet ist, solche Anfragen zu beantworten.
KI-VO-Transparenz: Die KI-Verordnung verlangt, dass Nutzer informiert werden, wenn sie mit einer KI interagieren, es sei denn, dies ist offensichtlich. D.h. sobald ein Kunde oder Mitarbeiter es mit einem KI-System zu tun hat (Chatbot, Entscheidungssystem), sollte irgendwo kenntlich sein, dass es KI-gestützt ist. Außerdem müssen bei generativer KI die erzeugten Inhalte als solche erkennbar sein. Für Unternehmen heißt das: In kundenbezogenen Prozessen lieber KI-Nutzung offenlegen, z.B. „Dieses Schreiben wurde automatisiert erstellt“ oder „Virtueller Assistent“ als Absender angeben.
Meldepflichten: Die KI-VO sieht vor, dass Anbieter schwerwiegende Zwischenfälle mit KI ihren Behörden melden müssen. Für Nutzer gibt es z.B. Meldepflichten, wenn durch die Nutzung eines Hochrisiko-KI-Systems rechtwidrige Handlungen begangen wurden (Details hierzu sind noch auszuarbeiten). Bei Datenschutzverstößen bleibt es bei der DSGVO: Datenpannen durch KI sind wie andere Data Breaches zu behandeln (Meldung binnen 72h etc.).

Zusammenfassung

Transparenz ist nicht nur Pflicht, sondern auch Kür: Sie fördert das Vertrauen bei Nutzern. Wenn Ihre Kunden wissen, dass z.B. eine Entscheidung mit KI-Unterstützung getroffen wurde, und Sie ihnen ggf. die Möglichkeit geben nachzufragen, schafft das Glaubwürdigkeit. Im Mitarbeiterkontext sollten Sie ebenfalls offen kommunizieren, wo KI zum Einsatz kommt – auch um Akzeptanz zu erreichen und unbegründete Ängste abzubauen.

Sie haben Fragen zum Einsatz von KI und Datenschutz? Kontaktieren Sie uns gerne.

Weitere Artikel aus unserer Reihe „Die neue KI-Verordnung“: