Die neue KI-Verordnung – Wann gilt eine KI als hochriskant?

Die KI-Verordnung definiert Hochrisiko-KI-Systeme als solche, die ein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte von Personen darstellen können. In Anhang III der Verordnung sind konkrete Anwendungsfelder aufgelistet, die als hochriskant eingestuft werden. Ein KI-System gilt als hochriskant, wenn es zu einer der dort genannten Anwendungen gehört – teils insbesondere, wenn es dabei eine Profilbildung von Personen vornimmt.

Hier einige wichtige Beispiele für hochriskante KI aus der Praxis:

• Kreditwürdigkeit & Finanzdienste: KI-Systeme, die über die Vergabe von Krediten entscheiden oder Scoring für Banken durchführen. Etwa ein Algorithmus, der basierend auf verschiedenen Datenpunkten automatisch Kreditlimits vergibt. Das wird als hochriskant angesehen, weil Fehlentscheide gravierende Auswirkungen auf die finanzielle Lebenslage einer Person haben können.

• Versicherungstarifierung: KI-Systeme zur Risikobewertung bei Kranken- oder Lebensversicherungen sind hochriskant, da sie über Prämien oder den Abschluss von Versicherungen bestimmen könnten.

• Personalmanagement: Viele HR-Anwendungen fallen in die Kategorie hochriskant – z.B. KI zur Bewertung von Bewerbungen oder zur Beförderungsentscheidung.

• Der Einsatz von KI in der Personalauswahl (Recruiting) wird explizit als Hochrisiko eingestuft, weil hier über das berufliche Fortkommen entschieden wird. Ein KI-Tool, das Bewerberrankings erstellt, unterliegt also strengen Anforderungen. Auch KI zur Überwachung von Mitarbeitern (Produktivitätstracking, Emotionserkennung am Arbeitsplatz) wäre entweder hochriskant oder sogar unzulässig.

• Bildungswesen: KI-Systeme, die im Bildungs- oder Prüfungsbereich eingesetzt werden, z.B. zur Bewertung von Tests oder zur Steuerung des Lernverhaltens. Hier steht die Zukunft von Schülern/Studenten auf dem Spiel, daher Hochrisiko.

• Öffentliche Dienstleistungen & Soziales: KI, die bestimmt, ob jemand eine staatliche Unterstützung erhält (z.B. Arbeitslosengeld), oder die im Asylverfahren eingesetzt wird. Solche Systeme können massiv in Grundrechte eingreifen und werden daher hochreguliert.

• Strafverfolgung und Justiz: KI für polizeiliche Zwecke (etwa Tools, die Rückfallrisiken bewerten oder Fahndungen unterstützen), für Grenzkontrollen (Lügendetektoren, Risiko-Profiling von Reisenden) oder in der Gerichtsbarkeit (Urteilsvorschläge). Diese werden als Hochrisiko klassifiziert, denn Fehler oder Bias an dieser Stelle sind gesellschaftlich besonders brisant.

• Biometrische Systeme: Gesichtserkennung, Fingerabdruck- oder Stimmerkennung, wenn sie zur Fernidentifizierung von Personen eingesetzt werden (z.B. Überwachungskameras mit Gesichtserkennung in Echtzeit) – das ist sogar teils verboten (Echtzeit-Erkennung in öffentlichen Räumen ist grundsätzlich untersagt, mit engen Ausnahmen). Nicht-Echtzeit biometrische Identifizierung (z.B. Abgleich nachträglich) gilt als Hochrisiko, ebenso biometrische Kategorisierung von Personen (Gruppierung nach Eigenschaften).

Diese Liste ist nicht abschließend, gibt aber ein Gefühl: Hochrisiko-KI greift in wichtige Lebensbereiche oder Grundrechte ein. Wenn Ihre Firma KI in einem dieser Kontexte einsetzt, müssen Sie ab 2026 die strengen Auflagen (Konformitätsbewertung, laufendes Risikomanagement etc.) erfüllen.

Häufige Frage: Ist ChatGPT oder generative KI auch „hochriskant“?

Antwort: Nicht per se. Generative KI wie ChatGPT wird als KI mit allgemeinem Verwendungszweck betrachtet. Sie fällt nicht automatisch unter Hochrisiko, solange sie nicht für einen der oben genannten Zwecke eingesetzt wird. Wenn Sie ChatGPT z.B. nur zur Texterstellung fürs Marketing verwenden, ist das kein Hochrisiko-Einsatz. Aber: Nutzen Sie eine generative KI, um automatisiert Lebensläufe zu bewerten oder medizinische Diagnosen zu stellen, würde das in den Hochrisiko-Bereich fallen. Es kommt also auf den Anwendungsfall an. Unabhängig davon gelten für generative KI spezielle Transparenzregeln, damit ihr Output als KI erkennbar ist.

Fazit

Ob eine KI als hochriskant gilt, hängt stark vom Einsatzbereich ab. Die KI-Verordnung stuft Systeme als hochriskant ein, wenn sie maßgeblich in Grundrechte, Sicherheit oder wirtschaftliche Existenzen eingreifen – etwa bei der Kreditvergabe, im Personalmanagement oder in der Strafverfolgung. Unternehmen, die KI in diesen Bereichen nutzen, müssen strenge regulatorische Anforderungen erfüllen, darunter Konformitätsprüfungen und laufendes Risikomanagement. Eine generative KI wie ChatGPT fällt nicht automatisch unter Hochrisiko, kann es aber je nach Anwendung werden. Entscheidend ist also immer der konkrete Nutzungskontext. Unternehmen sollten ihre KI-Anwendungen frühzeitig überprüfen, um rechtliche Risiken zu vermeiden.

Brauchen Sie eine Einschätzung zu Ihrem KI-System? Wir beraten Sie gerne.

Weitere Artikel aus unserer Reihe „Die neue K-Verordnung“:

1. Die neue KI-Verordnung (EU AI Act) – Was bedeutet sie für Unternehmen?
2. Die neue KI-Verordnung – Konkrete Pflichten für Unternehmen und Geschäftsleitungen

4. Allgemeine KI-Modelle (GPAI): Risiken und Transparenzpflichten