Waymo, wiodący producent samochodów autonomicznych, stanął w obliczu niepokojącej rzeczywistości w Austin w Teksasie: jej pojazdy wielokrotnie nie zatrzymywały się do autobusów szkolnych, gdy migały światła stopu i wydłużały się tuleje hamulcowe. Pomimo aktualizacji oprogramowania, a nawet wycofania produktu przez władze federalne, problem nadal występował, rodząc poważne pytania dotyczące ograniczeń technologii autonomicznej i szybkości, z jaką może ona dostosować się do zagrożeń w świecie rzeczywistym. Incydenty udokumentowane przez Niezależny Okręg Szkolny w Austin (AISD) i zbadane przez Krajową Radę Bezpieczeństwa Transportu (NTSB) pokazują, że nawet zaawansowana sztuczna inteligencja może mieć trudności z pozornie prostymi protokołami bezpieczeństwa.
Powtarzające się awarie pomimo interwencji
W ciągu kilku miesięcy pojazdy Waymo rzekomo nielegalnie minęły autobusy szkolne co najmniej 19 razy, narażając dzieci na niebezpieczeństwo podczas wsiadania i wysiadania z pojazdów. Firma przyznała się do co najmniej 12 z tych incydentów Krajowej Administracji Bezpieczeństwa Ruchu Drogowego (NHTSA), wystosowując w grudniu wezwanie do wycofania pojazdów w celu rozwiązania problemu. Jednak nawet po wycofaniu naruszenia nadal występowały, a do połowy stycznia AISD zgłosiło cztery dodatkowe incydenty. Władze szkoły zauważyły, że kierujący ludźmi, którzy łamią przepisy ruchu drogowego, zazwyczaj nie powtarzają tego wykroczenia, ale system Waymo najwyraźniej nie był w stanie uczyć się na swoich błędach pomimo licznych aktualizacji oprogramowania.
Wysiłki związane z gromadzeniem danych były niewystarczające
Próbując rozwiązać ten problem, AISD nawiązał współpracę z Waymo, organizując „imprezę gromadzenia danych”, podczas której pobrano autobusy szkolne i światła hamowania do analizy firmy. Okręg dostarczył nawet firmie Waymo szczegółowe specyfikacje systemów oświetlenia swoich autobusów. Pomimo tych wysiłków zakłócenia nadal występowały, co uwypukliło ograniczenia szkolenia sztucznej inteligencji w kontrolowanych środowiskach w porównaniu z nieprzewidywalnymi sytuacjami w świecie rzeczywistym. Ze wstępnego raportu NTSB wynika, że w jednym przypadku zdalny operator Waymo błędnie poinformował pojazd, że sygnały autobusu szkolnego są nieaktywne, co doprowadziło do sześciu dodatkowych naruszeń.
Główne problemy technologiczne
Eksperci tacy jak Missy Cummings z George Mason University wyjaśniają, że oprogramowanie do autonomicznej jazdy od dawna ma trudności z rozpoznawaniem migających świateł awaryjnych i pomocy bezpieczeństwa na drodze, zwłaszcza tych z długimi i cienkimi ramionami. Philip Koopman z Carnegie Mellon University dodaje, że znaki stopu mają różne znaczenia w różnych kontekstach, co utrudnia sztucznej inteligencji ich spójną interpretację. Problemem nie jest po prostu rozpoznanie obiektu, ale zrozumienie jego znaczenia w dynamicznym środowisku.
Niepowodzenie Waymo w rozwiązaniu tego problemu uwydatnia szerszy problem w rozwoju pojazdów autonomicznych: szkolenie maszyn, aby radziły sobie z „ostatnim 1 procentem” nieprzewidywalnych scenariuszy. Osiągnięcie 99% bezpieczeństwa jest stosunkowo proste; ostatni procent wymaga rozwiązania przypadków brzegowych, które są trudne do przewidzenia lub odtworzenia w testach. Ten incydent sugeruje, że obecne podejścia do uczenia maszynowego mogą nie wystarczyć do zapewnienia spójnego bezpieczeństwa w złożonych środowiskach.
Sytuacja pozostaje przedmiotem dochodzenia NTSB, a Waymo odmówił komentarza. Incydenty rodzą zasadnicze pytania dotyczące gotowości pojazdów autonomicznych do powszechnego wdrożenia, zwłaszcza na obszarach o bezbronnych populacjach, takich jak uczniowie.
