Waymo, ein führendes Unternehmen für selbstfahrende Autos, sah sich in Austin, Texas, mit einer beunruhigenden Realität konfrontiert: Seine Fahrzeuge konnten wiederholt nicht vor Schulbussen anhalten, während ihre Lichter blinkten und die Stopparme ausgefahren waren. Trotz Software-Updates und sogar eines bundesstaatlichen Rückrufs blieb das Problem bestehen und wirft ernsthafte Fragen über die Grenzen der autonomen Technologie auf und darüber, wie schnell sie sich an reale Gefahren anpassen kann. Die vom Austin Independent School District (AISD) dokumentierten und vom National Transportation Safety Board (NTSB) untersuchten Vorfälle zeigen, dass selbst fortschrittliche KI mit scheinbar einfachen Sicherheitsprotokollen zu kämpfen haben kann.
Wiederholte Ausfälle trotz Intervention
Monatelang sollen Waymo-Autos in mindestens 19 Fällen illegal an Schulbussen vorbeigefahren sein und dabei Kinder gefährdet haben, wenn diese in die Fahrzeuge ein- oder ausstiegen. Das Unternehmen bestätigte der National Highway Traffic Safety Administration (NHTSA) mindestens zwölf dieser Vorfälle und gab im Dezember einen Rückruf heraus, um das Problem zu beheben. Doch auch nach dem Rückruf kam es weiterhin zu Verstößen, und AISD meldete bis Mitte Januar vier weitere Vorfälle. Schulbeamte stellten fest, dass menschliche Fahrer, die gegen Verkehrsregeln verstoßen, das Vergehen in der Regel nicht wiederholen, doch das System von Waymo schien trotz mehrerer Software-Updates nicht in der Lage zu sein, aus seinen Fehlern zu lernen.
Bemühungen zur Datenerfassung scheiterten
Um das Problem zu lösen, arbeitete AISD mit Waymo zusammen und veranstaltete eine „Datenerfassungsveranstaltung“, bei der Schulbusse und Stoppsignale gesammelt wurden, damit das Unternehmen sie analysieren konnte. Der Bezirk stellte Waymo sogar detaillierte Spezifikationen für die Beleuchtungssysteme seiner Busse zur Verfügung. Trotz dieser Bemühungen kam es immer wieder zu Zwischenfällen, was die Grenzen des KI-Trainings in kontrollierten Umgebungen im Vergleich zu unvorhersehbaren Bedingungen in der realen Welt deutlich machte. Der vorläufige Bericht des NTSB ergab, dass in einem Fall ein Waymo-Fernbedienungsbetreiber dem Fahrzeug fälschlicherweise mitteilte, dass die Signale des Schulbusses inaktiv seien, was zu sechs weiteren Verstößen führte.
Grundlegende technologische Herausforderungen
Experten wie Missy Cummings von der George Mason University erklären, dass selbstfahrende Software lange Zeit Schwierigkeiten damit hatte, blinkende Notlichter und Verkehrssicherheitsgeräte zu erkennen, insbesondere solche mit langen, dünnen Armen. Philip Koopman von der Carnegie Mellon University fügt hinzu, dass Stoppschilder in verschiedenen Kontexten unterschiedliche Bedeutungen haben, was es für die KI schwierig macht, sie konsistent zu interpretieren. Das Problem besteht nicht nur darin, ein Objekt zu erkennen, sondern auch darin, seine Relevanz in einer dynamischen Umgebung zu verstehen.
Dass Waymo dieses Problem nicht beheben konnte, unterstreicht eine umfassendere Herausforderung bei der Entwicklung autonomer Fahrzeuge: Maschinen beizubringen, mit dem „letzten 1 Prozent“ unvorhersehbarer Szenarien umzugehen. Eine Sicherheit von 99 Prozent zu erreichen ist relativ einfach; Der letzte Prozentsatz erfordert die Behandlung von Grenzfällen, die beim Testen schwer vorherzusehen oder zu reproduzieren sind. Dieser Vorfall deutet darauf hin, dass die aktuellen Ansätze des maschinellen Lernens möglicherweise nicht ausreichen, um in komplexen Umgebungen konsistente Sicherheit zu gewährleisten.
Die Situation wird weiterhin vom NTSB untersucht, wobei Waymo eine Stellungnahme ablehnt. Die Vorfälle werfen grundlegende Fragen hinsichtlich der Bereitschaft autonomer Fahrzeuge für einen breiten Einsatz auf, insbesondere in Gebieten mit gefährdeten Bevölkerungsgruppen wie Schulkindern.
