Haftungsrisiken des automatisierten und autonomen Fahrens

§ 2 Zur Terminologie

Eine zielführende Erörterung juristischer Fragestellungen erfordert zunächst einen terminologischen Konsens. Im Bereich der selbstfahrenden Fahrzeuge sind es insbesondere die Begrifflichkeiten der „Automatisierung“ und „Autonomie“, die ein gewisses Maß an Erklärungsbedürfnis hervorrufen und umgangssprachlich häufig vermischt und vereinheitlicht werden. Ergänzt durch relativ bedeutungsarme Zusätze wie „intelligent“ oder „smart“ ergibt sich dann häufig nur ein sehr vages Bild des technologischen Fortschritts, der aber gerade auch in der rechtlichen Aufarbeitung einen entscheidenden Unterschied bei der Bewertung einzelner juristischer Probleme darstellen kann. Das betrifft im Übrigen nicht nur den Bereich der selbstfahrenden Fahrzeuge, sondern durchzieht gleichermaßen die gesamte Industrie („Industrie 4.0“) und Privathaushalte („Internet der Dinge“).

A. Künstliche Intelligenz

Der wohl verbreitetste Ausdruck für das branchenübergreifende technologische Gesamtphänomen lautet „künstliche Intelligenz“ (KI).2 Der Begriff ist durch die ihm zuteil werdende wissenschaftliche und mediale Aufmerksamkeit mittlerweile so verbreitet, dass ein gänzlicher Verzicht, wie teilweise gefordert,3 unmöglich erscheint.4 Ein genaueres Verständnis von KI und seiner wesentlichen Kerneigenschaften kann deshalb helfen, die Technologie zu verstehen und ihr Potential zu erkennen.

I. Ansätze einer Definition

Der Begriff der „künstlichen Intelligenz“5 ist schon durch seine Wortzusammensetzung sehr auslegungsbedürftig6 und deshalb in der Wissenschaft nicht unumstritten.7 Wir verbinden mit ihm üblicherweise eine ganze Fülle von (zukünftigen) technischen Errungenschaften, die Verhaltensweisen an den Tag legen können, die bis dato dem Menschen vorbehalten waren.8 Die Definitionsversuche sind vielfältig und lassen erkennen, dass ein gemeinsamer Nenner wohl nur schwer zu finden sein wird.

So beschreiben Erhardt und Mona künstliche Intelligenz als einen nicht durch Evolution entstandenen, sondern künstlich erschaffenen intelligenten Akteur.9 Böhringer versteht künstliche Intelligenz als einen Algorithmus, der in einem nichteindeutigen Umfeld eigenständig Entscheidungen trifft.10 Nach John beschäftigt sich künstliche Intelligenz mit der Verarbeitung von Wissen, ohne dabei wie klassische informatische Systeme auf einen Lösungsalgorithmus zurückzugreifen, sondern Wissen neu zu akquirieren.11 Die Liste der Definitionsversuche könnte noch sehr lange fortgeführt werden und soll durch diese Arbeit nicht um einen weiteren Eintrag ergänzt werden. Klar ist jedenfalls, dass es sich bei KI nicht um ein Lebewesen handeln kann, sie dem biologischen Vorbild aber insbesondere durch die Eigenschaft der Lernfähigkeit ähneln kann. Handelnder ist dabei eine Software, genauer ein Algorithmus, der vielerorts auch als „Agent“ bezeichnet wird.12

II. Allgemeine und spezialisierte künstliche Intelligenz

Wichtiger als eine punktgenaue Definition ist, dass zwischen zwei völlig unterschiedlichen Zweckbestimmungen einer KI differenziert werden muss. Unterschieden wird zwischen der allgemeinen (oder auch „starken“) und der spezialisierten (oder auch „schwachen“) KI.13 Die allgemeine KI ist dem Menschen in seiner gesamten intellektuellen Fertigkeit und Gefühlswelt nachempfunden; hier geht es um nicht weniger als das Schaffen einer Maschine mit einem Ich-Bewusstsein, auf Grundlage dessen sie Entscheidungen treffen und reflektieren kann.14 Sie ist Nährboden zahlreicher Science-Fiction-Visionen, die thematisieren, ob Maschinen eines Tages die Autorität des Menschen in Frage stellen könnten.15 Mit der Realität hat das aber aktuell noch wenig zu tun. Die heutige Forschung beschäftigt vielmehr die spezialisierte KI, die einen anwendungsbezogenen Algorithmus beschreibt.16 Anders als die starke ist die schwache KI lediglich in der Lage, nur ganz konkrete Anwendungsprobleme algorithmisch zu lösen.17 Man findet diese Form spezialisierter KI bereits seit einigen Jahren etwa in der Sprach- und Bilderkennung18 oder bei sog. Expertensystemen.19 In naher Zukunft wird mit einer allmählichen Erweiterung der Anwendungsfelder auf größere Aufgabengebiete gerechnet; komplexe Robotik-Systeme sollen ehemals menschliche Tätigkeiten in Industrie und Haushalt teilweise in Gänze übernehmen können.20

III. Eigenschaften künstlicher Intelligenz

Der Versuch einer begrifflichen Konkretisierung führt also zunächst zu der Feststellung, dass die aktuelle wissenschaftliche Diskussion um die technische und rechtliche Realisierung einer KI – die auch Thema dieser Arbeit ist – eigentlich nur einen kleinen Teil des gesamten Phänomens betrifft. Nichtsdestotrotz nimmt der Aspekt der „Intelligenz“ auch im Rahmen der „schwachen“ Form einer KI eine Schlüsselrolle ein. Unter Intelligenz (lat.: intelligentia) wird für gewöhnlich die Fähigkeit verstanden, „abstrakte Beziehungen herzustellen und zu erfassen sowie neue Situationen durch problemlösendes Verhalten zu bewältigen.“21 In Bezug auf Intelligenz von Computern stellte Alan Turing bereits 1950 im Rahmen des berühmten „Turing-Tests“ die These auf, dass sich das Verhalten intelligenter Computer durch ihre Ähnlichkeit zu menschlichem Verhalten auszeichnet.22 70 Jahre später erscheint dieser Befund angesichts intelligenter Softwaresysteme aktueller denn je; die Forschung hat sich im Wesentlichen auf drei charakteristische Kerneigenschaften verständigt:

Erstens müssen sie in der Lage sein, die Umwelt mittels geeigneter Hardware überhaupt wahrzunehmen, diese Wahrnehmungen zu interpretieren und bei Veränderungen das eigene Verhalten aktiv anzupassen (Reaktion).23 Zweitens ist es erforderlich, dass der Agent in Kommunikation mit Mensch und Maschine treten kann, also „vernetzt“ ist (Kooperation).24 Drittens kann der Agent aus seinen Erfahrungen lernen, ohne dass dazu eine Anpassung der Software durch den Menschen notwendig ist (Proaktion).25 Gerade letzterer Aspekt soll in den kommenden Jahren durch die Entwicklung sog. künstlicher neuronaler Netze möglich gemacht werden, die dem biologischen Vorbild nachempfunden sind26 und durch die Systeme einen technischen Lernprozess durchlaufen können.

IV. Determinismus und Vorhersehbarkeit

Eigenständige Lernprozesse wecken nicht nur beim Laienanwender künstlicher Intelligenz das Bedürfnis, proaktive Lernmuster und die Ursache bestimmter maschineller Verhaltensweise zu verstehen.27 Bei herkömmlichen Computerprogrammen ist der Zusammenhang von Ursache und Wirkung noch vergleichsweise einfach feststellbar, weil auf einen Befehl nur eine eindeutig feststellbare Anzahl möglicher Wirkungen folgen kann. Sie zeigen deshalb ein klar deterministisches Verhalten. Künstliche neuronale Netze haben demgegenüber keinen eindeutigen Output, sondern durchsuchen zunächst vorher antrainierte Datensätze in mehreren Schichten („Layers“) nach vorher festgelegten Eigenschaften (daher „deep learning“).28 Zwischen den „Input“- und den „Output-Layers“ kann auf die Funktionsweise der sog. „Hidden-Layers“ Einfluss genommen werden, indem mathematische Funktionen die Gewichtung einzelner Informationen bestimmen.29 Diese Algorithmen sind aber derart variabel, dass nach dem heutigen Stand der Technik der herausgegebene Output weder vorherzusehen noch ex post nachzuvollziehen ist.30 Obwohl an technischen Methoden gearbeitet wird, um das Ergebnis eines Lernprozesses erklärbar zu machen und die möglichen Ursachen eines konkreten Resultats zumindest eingrenzen zu können (sog. „explainable AI“),31 bleiben diese Möglichkeiten auf das nachträgliche Nachvollziehen eines bereits durchlaufenen Prozesses beschränkt.32 Die „Unerklärbarkeit“ der neuronalen Prozesse bedeutet indes nicht, dass diese nicht nur den Menschen mathematisch determiniert sind.

2 Erstmals wurde der Begriff 1956 von John McCarthy auf einer Konferenz in Hanover, New Hampshire, verwendet, Konrad, in: Siefkes/Eulenhöfer/Stach/Städler, Sozialgeschichte der Informatik, S. 287. 3 Für die juristische Literatur etwa Herberger, NJW 2018, 2825 (2826). 4 So auch Jakl, MMR 2019, 711 (712). 5 Aus dem Englischen „artificial intelligence“; teilweise wird eine zu ungenaue Übersetzung ins Deutsche kritisiert; vgl. John, Haftung für künstliche Intelligenz, S. 6; Herberger, NJW 2018, 2825 (2826). 6 Vgl. Lohmann, ZRP 2017, 169 (169); zur Terminologie im Einzelnen Herberger, NJW 2018, 2825 (2825); Erhardt/Mona, in: Gless/Seelmann, Intelligente Agenten und das Recht, S. 62, 65. 7 Viele Kritiker bevorzugen die Bezeichnung „Maschinenlernen“ (machine learning), vgl. Stroh, Markt&Technik 35/2019, 22 (24); Ramge, Mensch und Maschine, S. 18; Zech, in: Deutscher Juristentag, Verhandlungen des 73. Deutschen Juristentages, Band I, A 31. 8 Vgl. Jakl, MMR 2019, 711 (712). 9 Erhardt/Mona, in: Gless/Seelmann, Intelligente Agenten und das Recht, S. 65. 10 Böhringer, RAW 2019, 13 (13). 11 John, Haftung für künstliche Intelligenz, S. 62. 12 Erhardt/Mona, in: Gless/Seelmann, Intelligente Agenten und das Recht, S. 65; Kirn, WI 2002, 53 (53ff.); Teubner, AcP 2018, 155 (156); Keßler, MMR 2017, 589 (589). 13 Stroh, Markt&Technik 35/2019, 22 (24). 14 Ramge, Mensch und Maschine, S. 19; Fraunhofer-Allianz Big Data, Zukunftsmarkt künstliche Intelligenz – Potenziale und Anwendungen, S. 5; Sesink, Menschliche und künstliche Intelligenz, unter 8.1. 15 Ramge, Mensch und Maschine, S. 81ff. 16 Stroh, Markt&Technik 35/2019, 22 (24). 17 Scherk/Pöchhacker-Tröscher/Wagner, Künstliche Intelligenz – Artificial Intelligence, S. 20. 18 V. Bünau, in: Breidenbach/Glatz, Rechtshandbuch Legal Tech, 47 (51); Moeser, Starke KI, schwache KI – was kann künstliche Intelligenz?, https://jaai.de/starke-ki-schwache-ki-waskann-kuenstliche-intelligenz-261/. 19 Expertensysteme simulieren menschliches Expertenwissen auf einem eng begrenztem Aufgabengebiet, dazu Puppe, Einführung in Expertensysteme, S. 2. 20 Bundesregierung, Strategie künstliche Intelligenz der Bundesregierung, S. 4f. 21 Shala, Die Autonomie des Menschen und der Maschine, S. 33; vgl. auch Duden, https://www.duden.de/rechtschreibung/Intelligenz. 22 Der Turing-Test besteht darin, dass ein menschlicher Fragensteller lediglich über Bildschirm und Tastatur mit zwei Gesprächspartnern kommuniziert, einem Menschen und einem Computer. Bestanden ist der Test, wenn der Fragensteller den Computer am Ende einer ausführlichen Befragung nicht eindeutig identifizieren kann, vgl. Rimscha, Algorithmen kompakt und verständlich, S. 129; Graevenitz, ZRP 2018, 238 (240); Lämmel/Cleve, Künstliche Intelligenz, S. 12. 23 Sester/Nitschke, CR 2004, 548 (548); Wendt/Oberländer, InTeR 2016, 58 (59); Zech, in: Gless/Seelmann, Intelligente Agenten und das Recht, S. 170; Teubner, AcP 2018, 155 (170); Mayinger, Die künstliche Person, S. 14. 24 Sester/Nitschke, CR 2004, 548 (549); Teubner, AcP 2018, S. 155 (169f.); Pieper, InTeR 2016, S. 190; Kirn/Müller-Hengstenberg, MMR 2014, 225 (227); v. Westphalen, ZIP 2019, 889 (889). 25 Kirn/Müller-Hengstenberg, MMR 2014, 225 (226); Specht/Herold, MMR 2018, 40 (41); Lohmann, ZRP 2017, 168 (169); Grapentin, NJW 2019, 181 (183); Paulus/Matzke, ZfPW 2018, 431 (442); Wachenfeld/Winner, in: Maurer/Gerdes/Lenz/Winner, Autonomes Fahren, S. 468; Zech, in: Gless/Seelmann, Intelligente Agenten und das Recht, S. 170f. 26 Brause, Neuronale Netze, S. 15; Rimscha, Algorithmen kompakt und verständlich, S. 157; Lämmel/Cleve, Künstliche Intelligenz, S. 190; Grapentin, NJW 2019, 181 (183); Matthias, Automaten als Träger von Rechten, S. 25. 27 Biran/Cotton, Explanation and Justification in Machine Learning: A Survey, unter 1.; Miller, Explanation in Artificial Intelligence: Insights from the Social Sciences, S. 14. 28 Käde/v. Maltzan, CR 2020, 66 (69); Zech, ZfPW 2019, 198 (201). 29 Käde/v. Maltzan, CR 2020, 66 (69); Stiemerling, CR 2015, 762 (764). 30 Käde/v. Maltzan, CR 2020, 66 (69); Zech, ZfPW 2019, 198 (202). 31 Dazu eingehend Holzinger, Informatik-Spektrum 2018 (Vol. 41 Iss. 2), 138ff.; Zech, in: Deutscher Juristentag, Verhandlungen des 73. Deutschen Juristentages, Band I, A 33f. 32 Käde/v. Maltzan, CR 2020, 66 (69).

B. Automatisierung und Autonomie

Während sich die künstliche Intelligenz mit der Frage beschäftigt, welche Qualität das maschinelle Verhalten an den Tag legt und diese „Handlungsqualität“ mit der des Menschen verglichen wird, fragt der Grad der Automatisierung nach dem Umfang des menschlichen Einflusses auf diese Handlungen.33 Das höchste Maß an Automatisierung ist die Autonomie, wobei auch in der Wissenschaft nicht immer ganz trennscharf zwischen den Begrifflichkeiten differenziert wird. Die rechtswissenschaftliche Literatur jedenfalls nimmt die Begrifflichkeit des „autonomen Systems“ bislang eher als selbstverständlich und wenig diskussionswürdig an. Wenn überhaupt wird sie mit der Frage nach der Rechtssubjektivität („e-Person“) verknüpft.34 Sie darf (und sollte) sich dabei der Erkenntnisse anderer wissenschaftlicher Disziplinen bedienen, weil sie schlichtweg auf diese Befunde angewiesen ist.35 So wie sich geltendes Recht oftmals an wissenschaftlichen Tatsachen orientiert,36 so muss auch hier der interdisziplinäre Diskurs berücksichtigt werden.

I. Automatisierung

Unter Automatisierung wird der Einsatz von Automaten verstanden.37 Seinen begrifflichen Ursprung hat der „Automat“ im altgriechischen Adjektiv „automatos“, das „Dinge, die sich von selbst bewegen“ bezeichnet.38 Strenggenommen begann die Automatisierung des Straßenverkehrs damit bereits mit dem Umstieg vom Pferd auf den Verbrennungsmotor.39 Heute verstehen wir unter „automatisch“ für gewöhnlich einen meist computerbasierten Vorgang, der von selbst abläuft und der keine oder nur wenig Überwachung benötigt.40 Die (softwarebasierten) Automaten befolgen dabei ein Computerprogramm und treffen anhand der Vorgaben dieser Software Entscheidungen.41 Automatische Systeme sind daher streng durch den Menschen determiniert. Ihr Verhalten lässt sich jederzeit auf die Software zurückführen, sei es durch Funktion oder Fehlfunktion ebendieser.42

II. Autonomie in Wissenschaft und Technik

„Autonomie“43 assoziieren wir dagegen mit Selbständigkeit und Freiheit von äußerlicher Fremdeinwirkung,44 wobei dieses Verständnis je nach wissenschaftlicher Disziplin ganz unterschiedliche Formen annehmen kann. Nach der Kant’schen Moralphilosophie ist Autonomie Ausdruck moralischer Freiheit, das „oberste Prinzip der Sittlichkeit.“45 Sie ist demzufolge das Handeln nach Maximen, die sich der Mensch selbst auferlegt und dadurch zum „Gesetz“ erhebt. Dieser Selbstgesetzgebung durch moralische Vernunft, die Kant als den „kategorischen Imperativ“ bezeichnet,46 steht ein Zustand der Abhängigkeit von Naturgesetzen gegenüber, der einzig und allein auf dem Prinzip von Ursache und Wirkung basiert, mithin fremdgesteuert ist (Heteronomie).47 Legt man diese Unterscheidung zugrunde, so ist die Existenz von autonomen Maschinen unmöglich. Zwar ist durchaus vorstellbar, dass selbstfahrende Kraftfahrzeuge in Dilemmasituationen zwangsweise zwischen mehreren Handlungsoptionen eine moralische bewertbare Entscheidung treffen müssen; allerdings basiert eine solche Entscheidung nicht auf einem freien Willensentschluss, sondern einzig und allein auf den Vorgaben des – wenn auch intransparenten – Algorithmus.48 Die Reaktion des Fahrzeugs ist also lediglich die naturgesetzliche Folge einer mathematischen Formel, die zu keiner moralischen Abwägung imstande ist.

Von moralischer Wertung gänzlich entkoppelt ist der technische Autonomiebegriff. Autonomie zeichnet sich in der Informatik und den Ingenieurswissenschaften zunächst durch die Fähigkeit aus, hochkomplexe Aufgaben ohne oder nur mit geringfügiger Hilfe durch den Menschen zu bewältigen.49 Bei mobilen Robotern kommt der räumliche Aspekt der Bewegungsfreiheit hinzu, also das Navigieren auch in unbekannter Umgebung ohne menschliche Steuerung.50 Auch das Europäische Parlament hat sich in seinen Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik vom 27.01.2017 für ein technisches Verständnis ausgesprochen.51 Danach ist Autonomie die Fähigkeit, „Entscheidungen zu treffen und diese in der äußeren Welt unabhängig von externer Steuerung oder Einflussnahme umzusetzen.“52

Es zeigt sich, dass das technische Konzept von Autonomie graduell ist. Es fragt nicht im Sinne einer Ausschließlichkeitsentscheidung danach, ob eine Maschine entweder autonom ist oder nicht, sondern in welchem Abhängigkeitsverhältnis sie zur menschlichen Kontrolle steht. Ausgehend von diesem Grundverständnis ist es im Ergebnis durchaus denkbar, dass technische Systeme autonom handeln können. Die menschliche Beherrschbarkeit endet nämlich dort, wo maschinelle Verhaltensweisen ex ante nicht mehr vollständig vorhersehbar und ex post nicht mehr vollständig nachvollziehbar sind.

33 Voigt, Automatisierung, https://wirtschaftslexikon.gabler.de/definition/automatisierung-27138/version-25080; vgl. Simanski, in: VDE, Biomedizinische Technik, S. 9. 34 Siehe unter § 8 D. 35 Teubner, AcP 2018, 155 (171). 36 Etwa bei emissionsrechtlichen Grenzwertregelungen, Teubner, AcP 2018, 155 (171). 37 Voigt, Automatisierung, https://wirtschaftslexikon.gabler.de/definition/automatisierung-27138/version-250801. 38 Dwds, https://www.dwds.de/wb/Automat. 39 Feldle, Notstandsalgorithmen, S. 49. 40 Vgl. Linke, in: Heinrich/Linke/Glöckler, Grundlagen Automatisierung, S. 2. 41 Voigt, Automatisierung, https://wirtschaftslexikon.gabler.de/definition/automatisierung-27138/version-250801; Kagermann, in: 56. Deutscher Verkehrsgerichtstag, S. XXXIX. 42 Siehe oben unter § 2 A. IV. 43 Der ebenfalls aus dem altgriechischen stammende Begriff „autonomos“ setzt sich zusammen aus „autos“ (selbst) und „nomos“ (Ordnung, Gesetz), Dwds, https://www.dwds.de/wb/autonom; Müller-Hengstenberg/Kirn, Rechtliche Risiken autonomer und vernetzter Systeme, S. 97. 44 Vgl. Nitschke, Verträge unter Beteiligung von Softwareagenten, S. 9; Müller-Hengstenberg/Kirn, Rechtliche Risiken autonomer und vernetzter Systeme, S. 97. 45 Kant, Grundlegung zur Metaphysik der Sitten, S. 68, „Autonomie des Willens ist die Beschaffenheit des Willens, dadurch derselbe ihm selbst (unabhängig von aller Beschaffenheit der Gegenstände des Wollens) ein Gesetz ist. Das Prinzip der Autonomie ist also: nicht anders zu wählen, als so, daß die Maximen seiner Wahl in demselben Wollen zugleich als allgemeines Gesetz mit begriffen sein.“ 46 Vgl. Kant, Grundlegung zur Metaphysik der Sitten, S. 69; Hilgendorf, in: 53. Deutscher Verkehrsgerichtstag, S. 56. 47 Shala, Die Autonomie des Menschen und der Maschine, S. 13; Noller, Die Bestimmung der Freiheit: Kant und das Autonomie-Problem, S. 3; Erhardt/Mona, in: Gless/Seelmann, Intelligente Agenten und das Recht, S. 71. 48 Vgl. Grunwald, SVR 2019, 81 (85). 49 „Autonomous Robots are designed to perform high level tasks on their own, or with very limited external control.“, Bensalem/Gallien/Ingrand/Kahloul/Nguyen, Toward a More Dependable Software Architecture for Autonomous Robots, S. 1; vgl. Lämmel/Cleve, Künstliche Intelligenz, S. 20; Maier, Grundlagen der Robotik, S. 50; Bauer, Elektronische Agenten in der virtuellen Welt, S. 6. 50 Vgl. Maier, Grundlagen der Robotik, S. 50. 51 Das Europäische Parlament weist sogar explizit darauf hin, dass die Autonomie „rein technischer Art“ ist, Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik (2015/2103 (INL)), http://www.europarl.europa.eu/doceo/document/A-8-2017-0005_DE.html, unter AA; vgl. auch Teubner, AcP 2018, 155 (174); Matthias, Automaten als Träger von Rechten, S. 35; Lohmann, ZRP 2017, 168 (169); Spindler, JZ 2016, 805 (816); Zech, in: Gless/ Seelmann, Intelligente Agenten und das Recht, S. 170; Erhardt/Mona, in: dies., Intelligente Agenten und das Recht, S. 68. 52 Europäisches Parlament, Empfehlungen an die Kommission zu zivilrechtlichen Regelungen im Bereich Robotik (2015/2103 (INL)), http://www.europarl.europa.eu/doceo/document/A-8-2017-0005_DE.html, unter AA.