Der Einsatz von KI im Unternehmen ist längst kein Zukunftsthema mehr. Ob im Personalbereich, im Kundenservice, in der Qualitätssicherung oder bei internen Assistenzsystemen: KI-Anwendungen können Prozesse beschleunigen, Entscheidungen unterstützen und Kosten reduzieren. Zugleich werfen sie erhebliche rechtliche Fragen auf, insbesondere im Beschäftigtendatenschutz, bei Transparenzpflichten, bei generativer KI und unter der KI-Verordnung der EU.
Für Unternehmen ist deshalb nicht entscheidend, ob „KI“ eingesetzt wird, sondern wie das System funktioniert, welche Daten verarbeitet werden und in welchem Kontext es zum Einsatz kommt. Ein gutes Beispiel ist die Transkription von Meetings, wo es einen Unterschied machen kann, ob die Gespräche aufgezeichnet werden oder direkt transkribiert werden ohne Aufzeichung. Vom Kontext hängt ab, ob nur die allgemeinen Pflichten der DSGVO gelten, ob zusätzliche Informationspflichten nach der KI-Verordnung ausgelöst werden oder ob der Einsatz sogar in den Bereich verbotener KI-Praktiken fällt.
Datenschutz als Ausgangspunkt
Sobald ein KI-System personenbezogene Daten verarbeitet, ist zunächst die DSGVO maßgeblich. Das gilt etwa für Bewerberdaten, Kundengespräche, Support-Tickets, Chatverläufe, Beschäftigtendaten oder Auswertungen von Leistungs- und Verhaltensinformationen. Unternehmen müssen dann insbesondere eine tragfähige Rechtsgrundlage, einen klar bestimmten Zweck, angemessene Löschfristen und geeignete technische und organisatorische Maßnahmen vorhalten.
Im Beschäftigungskontext ist zudem sorgfältig zu prüfen, ob die Verarbeitung auf Art. 6 DSGVO gestützt werden kann und ob ergänzend nationale arbeitsrechtliche Vorgaben, Mitbestimmungsrechte oder kollektivrechtliche Regelungen zu beachten sind. KI ist insoweit kein Sonderrecht, sondern verstärkt die Anforderungen an Transparenz, Zweckbindung und Verhältnismäßigkeit.
Informationspflichten gegenüber Beschäftigten
Nach geltendem Datenschutzrecht besteht keine eigenständige Pflicht, Beschäftigte ausdrücklich darüber zu informieren, dass personenbezogene Daten „in einem KI-System“ verarbeitet werden. Art. 13 DSGVO verlangt zwar Informationen über Zweck, Rechtsgrundlage, Speicherdauer und Empfänger oder Kategorien von Empfängern, nicht aber eine gesonderte Kennzeichnung der eingesetzten Technologie als solche.
Praktisch bedeutet das aber nicht, dass der KI-Einsatz im Verborgenen bleiben dürfte. Der Transparenzgrundsatz verlangt eine hinreichend bestimmte Beschreibung der Empfängerkategorien. Pauschale Formeln wie „IT-Dienstleister“ werden bei KI-Anbietern oft zu unscharf sein, wenn die Verarbeitung funktional deutlich über klassisches Hosting oder technischen Support hinausgeht. In der Praxis ist daher häufig eine eigene Kategorie wie „KI-Dienstleister“ sachgerechter.
Im Beschäftigtendatenschutz empfiehlt sich ohnehin eine präzisere Kommunikation. Beschäftigte sollten nachvollziehen können, zu welchem Zweck KI eingesetzt wird, welche Daten verarbeitet werden, ob ein externer Anbieter eingebunden ist und ob Ergebnisse für Personalentscheidungen, Leistungsbewertung oder Qualitätskontrolle verwendet werden.
Zusätzliche Pflichten nach der KI-Verordnung
Die KI-Verordnung führt neben der DSGVO ein eigenständiges Regime ein. Für den Arbeitskontext besonders wichtig ist die Kategorie der Hochrisiko-KI-Systeme. Nach Anhang III der KI-Verordnung sind insbesondere Systeme relevant, die für Einstellung, Auswahl, Leistungsbewertung oder Überwachung von Arbeitnehmern eingesetzt werden.
Ist ein solches System betroffen, treffen den Arbeitgeber als Betreiber zusätzliche Transparenzpflichten. Vor der Inbetriebnahme müssen Arbeitnehmervertreter und betroffene Beschäftigte darüber informiert werden, dass sie der Verwendung eines Hochrisiko-KI-Systems unterliegen werden. Diese Pflicht ist arbeitsplatzbezogen und geht über die klassische Datenschutzinformation hinaus.
Damit ist klar: Wer KI im Personalbereich oder in der Mitarbeitersteuerung einsetzt, muss nicht nur datenschutzrechtlich sauber arbeiten, sondern auch die Risikoklassifizierung nach der KI-Verordnung dokumentieren. Die zentrale Frage lautet dann nicht mehr nur „Dürfen wir das?“, sondern auch „Ist das ein Hochrisiko-System und falls ja, sind die besonderen Pflichten erfüllt?“.
Wann ein Hochrisiko-System vorliegt
Ein Hochrisiko-System liegt nicht schon deshalb vor, weil ein Tool „intelligent“ arbeitet oder Sprache auswertet. Entscheidend ist der konkrete Verwendungszweck. Im Beschäftigungskontext sind vor allem Systeme relevant, die Bewerber vorselektieren, Beschäftigte bewerten, Arbeitsergebnisse ranken oder Leistungen kontinuierlich überwachen.
Typische Beispiele sind automatisiertes Screening von Bewerbungen, Scoring von Beschäftigten anhand von Gesprächs- oder Leistungsdaten, KI-gestützte Qualitätskontrolle im Callcenter sowie Tools, die aus Verhaltensmustern Personalentscheidungen ableiten. Sobald KI nicht nur unterstützt, sondern faktisch zur Grundlage personeller Entscheidungen wird, steigen die Risiken erheblich. Was KI-Rechtlich dann vielleicht auch noch irgendwie, z.B. im Rahmen des Art. 86 KI-VO, regelbar ist, kann dann schnell an den Grenzen des Art. 22 DSGVO (automatisierte Entscheidungen) scheitern.
Gelten die Regeln für Hochrisiko-KI-Systeme bereits?
Ja, jedenfalls in wesentlichen Teilen. Die KI-Verordnung ist seit 1. August 2024 in Kraft und sieht ein gestaffeltes Inkrafttreten vor. Während bestimmte Verbote und erste Pflichten bereits früher gelten, wird der Großteil der Regelungen ab dem 2. August 2026 anwendbar; für einzelne Produktgruppen gelten längere Übergangsfristen.
Für Unternehmen bedeutet das: Die Frage ist nicht, ob man sich erst nach einem deutschen Umsetzungsgesetz mit Hochrisiko-KI befassen muss. Maßgeblich ist vielmehr, ob ein System nach Art. 6 i.V.m. Anhang III KI-VO als Hochrisiko-System einzustufen ist und ob die jeweiligen Pflichten dann bereits anwendbar oder jedenfalls vorbereitend zu beachten sind.
Verbotene Systeme: emotionale und biometrische Auswertung
Besonders sensibel sind Systeme zur Emotionserkennung. Die KI-Verordnung enthält im Anhang III Nr. 1 lit. c) Emotionserkennung ausdrücklich als Hochrisiko-Kategorie. Sie untersagt zugleich bestimmte emotionale Auswertungen am Arbeitsplatz, soweit sie in den verbotenen Bereich fallen Art. 5 lit. f) KI-VO. Entscheidend ist dabei, ob biometrische Daten verarbeitet werden und ob die Anwendung in einem arbeitsbezogenen Kontext stattfindet.
Für die Praxis ist die Abgrenzung wichtig: Nicht jede Analyse von Tonfall, Wortwahl oder Gesprächsverhalten ist automatisch verboten. Kritisch wird es dort, wo mit Kamera-, Sprach- oder sonstigen biometrischen Daten versucht wird, den emotionalen Zustand von Beschäftigten zu erfassen, um sie zu überwachen, zu bewerten oder zu steuern.
Callcenter als Praxisfall
Gerade im Contact-Center-Umfeld verschwimmen die Grenzen zwischen zulässiger Analyse und unzulässiger Überwachung. Viele Anbieter werben mit Sentiment Analysis, Agent Assist, Conversation Intelligence, Speech Analytics oder Customer Experience Scoring. Juristisch ist dabei nicht der Marketingbegriff entscheidend, sondern die konkrete technische Funktion.
Wenn ein Tool Gesprächsinhalte auswertet, Themen clustert, Transkripte analysiert oder anhand sprachlicher Muster Hinweise auf Gesprächsqualität liefert, ist das zunächst kein automatisches Verbot. Sobald jedoch biometrische Daten zur Erkennung emotionaler Zustände verwendet werden, wird die Lage deutlich kritischer.
Generative KI und KI-Agenten
Ein besonders wichtiger Zusatzpunkt ist der Einsatz generativer KI-Modelle und KI-Agenten. Unternehmen müssen bei der Einführung solcher Systeme den genauen Nutzungsrahmen klären: Welche Daten sollen verarbeitet werden, wer soll mit dem System arbeiten, welche Lizenz wird genutzt und darf der Anbieter Eingaben zu Trainingszwecken verwenden.
Wesentlich ist außerdem, ob sich der Einsatz auf eine Business- oder Enterprise-Variante stützt und ob damit eine Auftragsverarbeitung sauber abgebildet werden kann. Nach dem Beitrag ist das relevant, weil viele Unternehmen sonst unbeabsichtigt private Einzelaccounts oder unkontrollierte Parallelnutzungen zulassen.
Besonders heikel sind KI-Agenten, weil sie nicht nur Texte erzeugen, sondern eigenständig auf Datenquellen, Ordner oder Schnittstellen zugreifen können. Dann greifen die Grundsätze der Datenminimierung und Zweckbindung noch strenger; Rechte müssen nach Need-to-know vergeben, dokumentiert und regelmäßig überprüft werden. Für die Praxis bedeutet das: KI-Agenten sind keine bloßen Chat-Tools, sondern oft bereits Infrastruktur mit eigenem Zugriffsradius.
Praktische Einordnung für Unternehmen
Unternehmen sollten KI-Projekte nicht isoliert als IT-Beschaffung betrachten. Erforderlich ist eine strukturierte Vorprüfung, die mindestens folgende Fragen beantwortet:
-
Welche Aufgabe übernimmt das System?
-
Welche personenbezogenen Daten verarbeitet es?
-
Handelt es sich um Beschäftigten-, Bewerber- oder Kundendaten?
-
Erfolgt eine Bewertung, Überwachung oder Selektion von Personen?
-
Werden biometrische Daten verwendet?
-
Gibt es einen externen Anbieter, und in welcher Rolle?
-
Werden Ergebnisse für Personalmaßnahmen genutzt?
-
Greift ein KI-Agent auf interne Datenquellen zu?
-
Wie wurden die Datenquellen im Vorfeld auf Eignung für Verfügbarmachung bewertet?
Je mehr eine Anwendung in Richtung Entscheidungsvorbereitung, Leistungsbewertung oder Verhaltenskontrolle geht, desto eher sind Hochrisiko-Pflichten oder sogar Verbotsfragen berührt. Unternehmen sollten daher nicht erst beim Rollout, sondern bereits in der Projektphase eine rechtliche Bewertung vornehmen.
Sanktionen nach Art. 99 KI-VO
Die KI-Verordnung enthält bereits ein abgestuftes Sanktionsregime. Art. 99 verpflichtet die Mitgliedstaaten zwar, ihre Durchsetzungsregeln zu erlassen, die materiellen Bußgeldrahmen stehen aber schon unionsrechtlich fest. Für Verstöße gegen verbotene KI-Praktiken drohen Geldbußen von bis zu 35 Mio. EUR oder bei Unternehmen bis zu 7% des weltweiten Jahresumsatzes; für bestimmte andere Verstöße bis zu 15 Mio. EUR oder 3%; und für falsche oder irreführende Informationen bis zu 7,5 Mio. EUR oder 1%.
Für die Praxis wichtig ist: Diese Bußgeldrisiken hängen nicht davon ab, ob ein nationales Umsetzungsgesetz bereits vollständig verabschiedet ist. Die EU-Verordnung ist seit 1. August 2024 in Kraft und wird nach dem Stufenmodell der Verordnung schrittweise anwendbar; die Sanktionsnorm ist Teil dieses unionsrechtlichen Rahmens. Das nationale Recht betrifft vor allem die behördliche Ausgestaltung und Zuständigkeit, nicht aber die Existenz der unionsrechtlichen Verbots- und Bußgeldarchitektur.
Im Zuge des sogenannten Digitalen Omnibus zur KI-Verordnung werden insbesondere die Anwendungsfristen für Hochrisiko-KI-Systeme verschoben; dies betrifft jedoch nicht die grundsätzliche Risikoklassifizierung oder die in Art. 99 KI-VO angelegte Sanktionsarchitektur.
Wer verbotene Systeme einsetzt oder Hochrisiko-Pflichten ignoriert, setzt sich erheblichen Compliance-Risiken aus, auch wenn die nationale Detailausgestaltung noch im Fluss ist.
Empfehlungen aus der Praxis
Für die Praxis empfiehlt sich ein abgestuftes Vorgehen:
-
KI-Inventar anlegen. Alle eingesetzten oder geplanten KI-Systeme sollten zentral erfasst werden, einschließlich Zweck, Anbieter, Datenarten und betroffener Nutzergruppen.
-
Risikoklasse prüfen. Jede Anwendung ist daraufhin zu bewerten, ob sie in den Bereich Hochrisiko-KI fällt oder verbotene Funktionen enthalten könnte.
-
Datenschutzhinweise aktualisieren. Beschäftigte und, soweit erforderlich, Bewerbende sollten transparent über Zwecke, Empfängerkategorien und wesentliche Funktionsweisen informiert werden.
-
Anbieterrollen sauber klären. Es ist zu prüfen, ob der externe KI-Anbieter Auftragsverarbeiter, eigenständig Verantwortlicher oder sonstiger Empfänger ist.
-
Mitbestimmung und interne Regeln beachten. Soweit Betriebsrat, Personalrat oder andere kollektive Gremien beteiligt sind, sollten Regelungen frühzeitig abgestimmt werden.
-
Keine Biometrics „nebenbei“. Gerade bei Voice- oder Video-Analyse ist zu prüfen, ob ungewollt biometrische Auswertung stattfindet.
-
Personelle Folgen nicht automatisieren. KI-Ergebnisse sollten nicht ungeprüft zu Sanktionen, Ablehnungen oder Bewertungen führen.
- Legal, Datenschutz und Compliance einbeziehen.
FAQ
Muss der KI-Einsatz in der Datenschutzerklärung ausdrücklich genannt werden?
Nicht zwingend als eigene Kategorie. Nach der DSGVO muss aber klar und verständlich über Zwecke, Empfänger und die wesentlichen Verarbeitungsrahmen informiert werden. In der Praxis ist eine eigene Kategorie „KI-Dienstleister“ häufig sinnvoller als eine pauschale Sammelbezeichnung. Wer das versucht zu verschleiern, widerspricht dem grundsätzlichen Transparenzverständnis. Auch sind Dienstleister zu benennen. Vertretbar könnte noch sein, hier mit Kategorieren zu arbeiten. Wir haben da aufgrund der inhaltsgleichen Formulierung in Art. 15 DSGVO, wo es bereits Rechtsprechung zu gibt, für fraglich.
Wann ist ein KI-System im Unternehmen hochriskant?
Vor allem dann, wenn es für Einstellung, Auswahl, Leistungsbewertung oder Überwachung von Arbeitnehmern eingesetzt wird. Maßgeblich ist der konkrete Zweck, nicht die bloße Tatsache, dass es KI ist.
Sind alle Callcenter-Analysen verboten?
Nein. Verboten ist vor allem biometrische Emotionserkennung am Arbeitsplatz mit KI. Reine Speech- oder Sentiment-Analytics können zulässig sein, wenn sie keine verbotene biometrische Auswertung enthalten und die übrigen rechtlichen Voraussetzungen eingehalten werden. Gemeint ist damit vor allem die Auswertung von Stimme, Mimik oder sonstigen verhaltensbezogenen Merkmalen, sofern daraus mittels technischer Verarbeitung Rückschlüsse auf Emotionen oder innere Zustände gezogen werden; eine bloße Analyse des Gesprächsinhalts oder der Tonalität ist davon abzugrenzen. Bei der Bewertung ist auch immer klar zwischen den Anrufenden und den Mitarbeitenden zu differenzieren.
Dürfen Arbeitgeber Beschäftigte über KI-Tools einfach informieren, ohne Details zu nennen?
Eine bloße Minimalinformation reicht regelmäßig nicht aus. Je stärker ein System in Beschäftigtendaten eingreift, desto konkreter muss die Information sein. Beschäftigte sollen nachvollziehen können, was mit ihren Daten passiert und welche Rolle das KI-System spielt. Die KI-VO sieht übrigens beim Einsatz von Hochrisikosystemen ein eigenes Informationsrecht für den Betriebsrat vor, vgl. Art. 26 Abs. 7 KI-VO.
Welche Sanktionen drohen nach Art. 99 KI-VO?
Je nach Verstoß drohen Bußgelder von bis zu 35 Mio. EUR oder 7% des weltweiten Jahresumsatzes, bis zu 15 Mio. EUR oder 3% sowie bis zu 7,5 Mio. EUR oder 1% bei falschen oder irreführenden Informationen.
Schlussbemerkung
Für Unternehmen ist KI rechtlich kein Freifahrtschein, aber auch kein generelles Tabu. Wer den Einsatz sauber dokumentiert, den Beschäftigten transparent begegnet, generative Systeme und KI-Agenten kontrolliert und Hochrisiko- sowie Verbotsfragen früh prüft, kann KI rechtssicher und praktikabel einsetzen.
Die sicherste Linie ist: erst rechtlich klassifizieren, dann technisch konfigurieren, dann transparent einführen.
Als Kanzlei mit ausgewiesener Expertise in Datenschutz, IT‑Compliance und regulatorischer Begleitung von KI‑Projekten unterstützen wir Sie praxisnah bei der Klassifizierung Ihrer Systeme, der Durchführung von DPIAs und Risikoanalysen, der Ausgestaltung von AV‑Verträgen und Betriebsvereinbarungen sowie bei der Vorbereitung auf Melde‑, Informations‑ und Dokumentationspflichten nach DSGVO und KI‑VO; sprechen Sie uns an, damit wir gemeinsam eine rechtssichere und operationell umsetzbare KI‑Governance für Ihr Unternehmen entwickeln.

