Waymo, ведущая компания по разработке беспилотных автомобилей, столкнулась с тревожной реальностью в Остине, штат Техас: её транспортные средства неоднократно не останавливались перед школьными автобусами, когда у них мигали стоп-сигналы и выдвигались выдвижные стоп-рукава. Несмотря на обновления программного обеспечения и даже федеральный отзыв, проблема оставалась, что вызывает серьезные вопросы о пределах автономных технологий и скорости, с которой они могут адаптироваться к реальным опасностям. Инциденты, задокументированные независимым школьным округом Остина (AISD) и расследованные Национальным советом по безопасности на транспорте (NTSB), показывают, что даже передовой ИИ может бороться с кажущимися простыми протоколами безопасности.
Повторные сбои, несмотря на вмешательство
В течение нескольких месяцев автомобили Waymo, предположительно, незаконно проезжали мимо школьных автобусов не менее чем в 19 случаях, подвергая опасности детей, когда они садились или выходили из транспортных средств. Компания признала по крайней мере 12 из этих инцидентов Национальному управлению безопасностью движения на автомагистралях (NHTSA), выпустив отзыв в декабре для решения проблемы. Тем не менее, даже после отзыва нарушения продолжались: AISD сообщила о четырех дополнительных инцидентах к середине января. Представители школы отметили, что водители-люди, нарушающие правила дорожного движения, обычно не повторяют правонарушение, но система Waymo, казалось, не могла учиться на своих ошибках, несмотря на многочисленные обновления программного обеспечения.
Усилия по сбору данных оказались недостаточными
В попытке решить проблему AISD сотрудничал с Waymo, организовав «мероприятие по сбору данных», где школьные автобусы и стоп-сигналы были собраны для анализа компанией. Округ даже предоставил Waymo подробные спецификации осветительных систем своих автобусов. Несмотря на эти усилия, нарушения продолжались, что подчеркивает ограничения обучения ИИ в контролируемых условиях по сравнению с непредсказуемыми реальными ситуациями. Предварительный отчет NTSB показал, что в одном случае удаленный оператор Waymo неверно сообщил транспортному средству, что сигналы школьного автобуса неактивны, что привело к шести дополнительным нарушениям.
Основные технологические проблемы
Эксперты, такие как Мисси Каммингс из Университета Джорджа Мейсона, объясняют, что программное обеспечение для автономного вождения долгое время испытывало трудности с распознаванием мигающих аварийных огней и дорожных средств безопасности, особенно тех, у которых длинные тонкие рычаги. Филип Купман из Университета Карнеги — Меллона добавляет, что стоп-знаки имеют разное значение в различных контекстах, что затрудняет ИИ их последовательную интерпретацию. Проблема заключается не просто в распознавании объекта, а в понимании его актуальности в динамичной среде.
Неспособность Waymo исправить эту проблему подчеркивает более широкую проблему в разработке автономных транспортных средств: обучение машин справляться с «последним 1 процентом» непредсказуемых сценариев. Достижение 99-процентной безопасности относительно просто; последний процент требует решения крайних случаев, которые трудно предвидеть или воспроизвести при тестировании. Этот инцидент предполагает, что текущие подходы к машинному обучению могут быть недостаточными для обеспечения последовательной безопасности в сложных условиях.
Ситуация остается под следствием NTSB, а Waymo отказалась давать комментарии. Инциденты поднимают фундаментальные вопросы о готовности автономных транспортных средств к широкому развертыванию, особенно в районах с уязвимыми группами населения, такими как школьники.
