30. April 2019

Der Computer in Erklärungsnot

Dieser Artikel an sich ist eine Innovation. Er ist das Ergebnis der Zusammenarbeit der MACH AG mit der Universität zu Lübeck. Der Rahmen dieser Zusammenarbeit ist das Joint Innovation Lab, das im Dezember 2018 als Kooperation zwischen der Universität zu Lübeck, dem Land Schleswig-Holstein und der MACH AG eröffnet wurde. Der Inhalt dieses Artikels wurde ursprünglich für Vorträge im Rahmen des IT-Planungsrat-Kongresses in Lübeck und für die KI-Konferenz in Kiel erarbeitet. Bei beiden Veranstaltungen wurden die Vorträge gemeinsam durch die beiden Autoren gehalten. Zudem ist er im Rahmen des Tagungsbandes der KI-Konferenz in Kiel erschienen.

KI in der öffentlichen Verwaltung

Die Künstliche Intelligenz (KI) in der öffentlichen Verwaltung ist ein derzeit viel beachtetes Thema mit großen Hoffnungen, verschiedensten Befürchtungen, und vielen Unklarheiten. Dabei ist KI nicht gleich KI, und die richtige Zusammenarbeit zwischen künstlicher und natürlicher Intelligenz ist entscheidend für den Erfolg.

Grundsätzlich ist KI ein Werkzeug für den Menschen. Gerade bei Aufgaben, die die Kapazität der menschlichen Informationsverarbeitung stark belasten oder übersteigen, kann KI ein sehr hilfreiches Werkzeug sein. Sich wiederholende, datenintensive und regelgeleitete Aufgaben können besonders gut mittels KI automatisiert und überwacht werden. KI ist damit Teil eines "Automatisierungs-Werkzeugkastens" für die Verwaltung.

Die Automatisierung ist ein stufenweiser Prozess (vgl. "levels of automation", Sheridan & Verplank, 1978) ausgehend von “der Mensch erledigt alle Tätigkeiten”, über Vorschläge des Systems (mehrere, dann einen, dann einen der ausgeführt wird, wenn der Mensch nicht eingreift), bis hin zu weitgehend autonomer Ausführung von Prozessen und einer Informationen von Nutzern nur bei Problemen.

Automatisierung heißt nicht vollständiges Abgeben von Aufgaben. Die Automatisierung ist ein stufenweiser Prozess.

Über diese Stufen hinweg können Erfahrungswerte gebildet werden, geleitet von den Fragen:

Was kann bzw. sollte schon automatisiert verarbeitet werden?
Was benötigt noch stärkere Kontrolle durch den Menschen?

Nur so können zuverlässige Systeme entwickelt und das Vertrauen der Nutzer gewonnen werden.

Die KI darf nicht zu einer Allmacht werden, die sagt, was richtig oder falsch ist, sondern muss die Gründe für diese Entscheidungen transparent machen.

Nachvollziehbare Systementscheidungen

Hierbei ist entscheidend, dass KI Systeme nicht nur zuverlässig arbeiten, sondern dass die Systementscheidungen ab einer gewissen Relevanz auch nachvollziehbar und erklärbar sind. Die Nachvollziehbarkeit und Erklärbarkeit von Entscheidungen ist in der öffentlichen Verwaltung unabdingbar. Mit Artikel 22 der DSGVO ist dies für Bürger inzwischen sogar gesetzlich verankert.

Bezüglich der Erklärbarkeit unterscheiden sich KI Systeme aber grundlegend und lassen sich in drei Stufen einteilen. Welche System-Stufen sich für die öffentliche Verwaltung eignen, hängt vom Anwendungsfall und vor allem von der Tragweite der Entscheidung ab.

3 Stufen der Erklärbarkeit von KI

Mainstream-KI

Interpretierbare KI

Erklärbare KI

Mainstream-KI

Blackbox-Systeme, die meistens auf neuronalen Netzen oder anderen Machine Learning Verfahren basieren. Sie sind mit großen Datenmengen gut trainierbar, aber nicht nachvollziehbar. In der öffentlichen Verwaltung eignen sie sich z. B. für Texterkennung bei der maschinellen Dokumentenerfassung, bei der auf eine Herleitung verzichtet werden kann. Auch bei der Analyse von Auffälligkeiten kommt es weniger auf die Nachvollziehbarkeit der Ergebnisse an, weil die Begründung meist in der Fragestellung oder der Auswahl des Algorithmus liegt (z. B. Welche Eingangsrechnungen weisen einen auffällig hohen Betrag auf?).

Interpretierbare KI

Erweiterte Systeme der 1. Stufe, die zumindest eine Aussage über die Qualität des Systems erlauben. In der Verwaltung ist diese KI z. B. bei Vorschlagssystemen häufig ausreichend, da die Qualität der Vorhersagen relevant ist und beurteilt werden kann (wenn z. B. Sachkonten zum Verbuchen eines Belegs vorgeschlagen werden).

Erklärbare KI

Whitebox-Systeme oder besser Glassbox-Systeme, deren Ergebnisfindung nachvollziehbar ist. Aktuell nur mit klassischen symbolischen Systemen möglich. Diese KI ist unumgänglich, wenn z. B. Entscheidungen über einen Antrag getroffen werden. Dann ist Nachvollziehbarkeit und Erklärbarkeit sowohl rechtlich wie auch ethisch erforderlich.

Aus diesem Stufenmodell ergibt sich eine Verfeinerung der Aussage, dass KI mehr als ein Werkzeug ist: Es ist eine Sammlung von Werkzeugen, die jeweils einer der Erklärbarkeitsstufen zugeordnet werden können. Diese Werkzeuge haben bestimmte Formen bzw. Bezeichnungen.

Stufe 1: Text- /Bilderkennung und die Ausreißeranalyse
Stufe 2: Vorhersage
Stufe 3: regelbasiertes Entscheidungssystem.

Die Werkzeuge können einzeln oder auch in Kombination stufenübergreifend angewendet werden — immer unter Beachtung der notwendigen Nachvollziehbarkeit des Anwendungsfalls.

KI muss nicht nur gebrauchstauglich sein, d. h. effektiv, effizient und zufriedenstellend für die Nutzer. KI muss so gestaltet werden, dass sich ein positives Nutzererleben bei einer möglichst großen Zahl unterschiedlichster Nutzer einstellt.

Der Mensch im Fokus

Die Entwicklung, Auswahl und Einsatz dieser Werkzeuge muss intensiv menschzentriert erfolgen und damit einem nutzerzentrierten Entwicklungsprozess folgen. Gerade die Personen, die Teile ihrer Arbeit auf automatisierte KI-Systeme übertragen, müssen von Anfang an in die KI-Entwicklung eingebunden werden — gerade auch, da der Einsatz von KI-Systemen Arbeitsprozesse grundlegend verändern kann und dabei zentrale menschliche Bedürfnisse wie Autonomie und Kompetenz beeinflussen kann (z. B. Änderung von Rollenbildern).

Etablierte Methoden der menschzentrierten Gestaltung, z. B. der menschzentrierte Gestaltungsprozess der ISO 9241-210, bilden hierfür eine gute Basis. Bezüglich maschineller Entscheidungen weisen Aspekte wie Vertrauen und Nachvollziehbarkeit allerdings noch einen hohen Forschungsbedarf auf. Unter den genannten Aspekten ergeben sich damit drei zentrale Bedingungen, damit KI in der öffentlichen Verwaltung positiv eingesetzt werden kann:

Bedingungen zum Einsatz von KI in der Öffentlichen Verwaltung

Law to code

Change Management

Agile nutzerzentrierte Projekte

Law to code

Gesetze und Verordnungen müssen in maschinen-interpretierbaren Regeln abgebildet werden (können), um z. B. automatisierte Entscheidungssysteme zu implementieren. Hier ist ggf. die Legislative mit einer zeitnahen Anpassung von Vorgaben gefragt.

Change Management

Die zunehmende Mensch-KI-Interaktion verändert die Arbeitswelt. Hier ist es wichtig, die Mitarbeiter z. B. durch Fortbildungen zum Thema Künstliche Intelligenz aufzuklären und mitzunehmen. Es werden zudem neue Rollen und Aufgaben auf die Mitarbeiter zukommen, die sich mit dem Betrieb und der Wartung von KI-Systemen beschäftigen. In diesen Prozess der Rollendefinition sollten die Mitarbeiter eingebunden werden, um in Zeiten des Fachkräftemangels gemeinsam attraktive Arbeitsplätze zu schaffen.

Agile nutzerzentrierte Projekte

Aufgrund der Komplexität und der vielen Unbekannten beim Einsatz von KI in der Verwaltung sollte die Einführung von KI iterativ erfolgen. D. h. kleine Projekte, in denen menschzentriert gestaltet wird und die im Sinne des Lean Startup aufgesetzt werden (Bauen-Messen-Lernen).

Werden diese Bedingungen erfüllt, dann lassen sich die Chancen maximieren, dass sich die aktuell in KI gesetzten Erwartungen tatsächlich erfüllen und die Befürchtungen der Nutzer und anderen Stakeholder adressiert werden können – und damit eine erfolgreiche Nutzung von künstlicher Intelligenz in der öffentlichen Verwaltung realisiert werden kann.