Waymo, přední automobilka s vlastním pohonem, čelila v Austinu v Texasu znepokojivé realitě: Její vozidla opakovaně nezastavovala pro školní autobusy, když jim blikala brzdová světla a vytahovaly se brzdové objímky. Navzdory aktualizacím softwaru a dokonce i federálnímu odvolání problém přetrvával a vyvolával vážné otázky o limitech autonomní technologie a rychlosti, s jakou se dokáže přizpůsobit reálným hrozbám. Incidenty zdokumentované Austin Independent School District (AISD) a vyšetřované National Transportation Safety Board (NTSB) ukazují, že i pokročilá AI může bojovat se zdánlivě jednoduchými bezpečnostními protokoly.
Opakované poruchy i přes zásah
V průběhu několika měsíců vozidla Waymo údajně nejméně 19krát nelegálně projížděla kolem školních autobusů a ohrožovala děti při nastupování nebo vystupování z vozidel. Společnost přiznala nejméně 12 z těchto incidentů Národnímu úřadu pro bezpečnost silničního provozu (NHTSA) a v prosinci vydala odvolání, aby problém vyřešila. I po stažení však porušování pokračovalo a do poloviny ledna hlásila AISD čtyři další incidenty. Školní úředníci poznamenali, že řidiči, kteří poruší dopravní předpisy, obvykle přestupek neopakují, ale systém Waymo se zdál být neschopný se ze svých chyb poučit i přes četné aktualizace softwaru.
Úsilí o sběr dat bylo nedostatečné
Ve snaze vyřešit problém se společnost AISD spojila se společností Waymo a uspořádala „událost sběru dat“, na které byly shromážděny školní autobusy a brzdová světla pro analýzu společnosti. Okres dokonce poskytl společnosti Waymo podrobné specifikace osvětlovacích systémů svých autobusů. Navzdory těmto snahám pokračovala narušení, což zdůrazňovalo omezení trénování umělé inteligence v kontrolovaných prostředích ve srovnání s nepředvídatelnými situacemi v reálném světě. Předběžná zpráva NTSB zjistila, že v jednom případě vzdálený operátor Waymo nesprávně informoval vozidlo, že signály školního autobusu jsou neaktivní, což mělo za následek šest dalších porušení.
Hlavní technologické problémy
Experti jako Missy Cummings z George Mason University vysvětlují, že software pro samořízení má dlouho potíže s rozpoznáním blikajících výstražných světel a bezpečnostních pomůcek, zejména těch s dlouhými tenkými pažemi. Philip Koopman z Carnegie Mellon University dodává, že značky stop mají v různých kontextech různý význam, a proto je pro umělou inteligenci obtížné je konzistentně interpretovat. Problémem není pouhé rozpoznání objektu, ale pochopení jeho významu v dynamickém prostředí.
Neschopnost společnosti Waymo tento problém vyřešit ukazuje na širší problém ve vývoji autonomních vozidel: trénovat stroje, aby se vypořádaly s „posledním 1 procentem“ nepředvídatelných scénářů. Dosažení 99procentní bezpečnosti je poměrně jednoduché; poslední procento vyžaduje řešení okrajových případů, které je obtížné předvídat nebo reprodukovat při testování. Tento incident naznačuje, že současné přístupy strojového učení nemusí být dostatečné k zajištění konzistentního zabezpečení ve složitých prostředích.
Situace zůstává v šetření NTSB a Waymo odmítl komentovat. Incidenty vyvolávají zásadní otázky o připravenosti autonomních vozidel pro široké nasazení, zejména v oblastech se zranitelným obyvatelstvem, jako jsou školáci.
