Waymo, een toonaangevend bedrijf op het gebied van zelfrijdende auto’s, werd geconfronteerd met een verontrustende realiteit in Austin, Texas: hun voertuigen stopten herhaaldelijk niet voor schoolbussen terwijl hun lichten knipperden en de stoparmen uitgestrekt waren. Ondanks software-updates en zelfs een federale terugroepactie bleef het probleem bestaan, wat serieuze vragen opriep over de grenzen van autonome technologie en hoe snel deze zich kan aanpassen aan reële gevaren. De incidenten, gedocumenteerd door het Austin Independent School District (AISD) en onderzocht door de National Transportation Safety Board (NTSB), laten zien dat zelfs geavanceerde AI moeite kan hebben met ogenschijnlijk eenvoudige veiligheidsprotocollen.
Herhaalde mislukkingen ondanks tussenkomst
Maandenlang zouden Waymo-auto’s in ten minste 19 gevallen illegaal schoolbussen hebben gepasseerd, waardoor kinderen in gevaar kwamen toen ze in of uit voertuigen stapten. Het bedrijf heeft ten minste twaalf van deze incidenten erkend bij de National Highway Traffic Safety Administration (NHTSA) en in december een terugroepactie uitgevaardigd om het probleem aan te pakken. Maar zelfs na de terugroepactie gingen de schendingen door, waarbij AISD medio januari nog vier incidenten meldde. Schoolfunctionarissen merkten op dat menselijke bestuurders die de verkeersregels overtreden de overtreding doorgaans niet herhalen, maar het systeem van Waymo leek niet in staat om van zijn fouten te leren, ondanks meerdere software-updates.
Inspanningen voor gegevensverzameling mislukten
In een poging het probleem op te lossen, werkte AISD samen met Waymo en organiseerde een evenement voor “gegevensverzameling” waarbij schoolbussen en stoparmsignalen werden verzameld zodat het bedrijf deze kon analyseren. Het district voorzag Waymo zelfs van gedetailleerde specificaties van de verlichtingssystemen van zijn bussen. Ondanks deze inspanningen gingen de voorbijgaande incidenten door, wat de beperkingen benadrukte van het trainen van AI in gecontroleerde omgevingen versus onvoorspelbare omstandigheden in de echte wereld. Uit het voorlopige rapport van de NTSB bleek dat in één geval een externe Waymo-operator het voertuig ten onrechte vertelde dat de signalen van de schoolbus inactief waren, wat tot nog eens zes overtredingen leidde.
Onderliggende technologische uitdagingen
Deskundigen als Missy Cummings van de George Mason University leggen uit dat zelfrijdende software lange tijd moeite heeft gehad met het herkennen van knipperende noodlichten en verkeersveiligheidsvoorzieningen, vooral die met lange, dunne armen. Philip Koopman van Carnegie Mellon University voegt eraan toe dat stopborden in verschillende contexten verschillende betekenissen hebben, waardoor het voor AI moeilijk wordt om ze consistent te interpreteren. Het probleem gaat niet simpelweg over het herkennen van een object, maar over het begrijpen van de relevantie ervan in een dynamische omgeving.
Het onvermogen van Waymo om dit probleem op te lossen onderstreept een bredere uitdaging in de ontwikkeling van autonome voertuigen: machines leren omgaan met de ‘laatste 1 procent’ van onvoorspelbare scenario’s. Het bereiken van 99 procent veiligheid is relatief eenvoudig; het laatste percentage vereist het aanpakken van randgevallen die moeilijk te anticiperen of te repliceren zijn tijdens het testen. Dit incident suggereert dat de huidige benaderingen van machinaal leren mogelijk niet voldoende zijn om consistente veiligheid in complexe omgevingen te garanderen.
De situatie wordt nog onderzocht door de NTSB, waarbij Waymo weigert commentaar te geven. De incidenten roepen fundamentele vragen op over de bereidheid van autonome voertuigen voor wijdverbreide inzet, vooral in gebieden met kwetsbare bevolkingsgroepen zoals schoolkinderen.
