Исследователи из Вашингтонского университета пришли к выводу, что стикеры, наклеенные на дорожные знаки специальным образом, могут запутывать автопилот автомобилей, вызывая его неадекватную реакцию, вплоть до экстренного торможения. Исследование опубликовано на бесплатном ресурсе arXiv. Он нем рассказывает N+1.
Как известно, основным источником информации для современных систем автопилота, разрабатываемых уже многими компаниями, включая Tesla, Google и Uber, является машинное зрение - изображения с радиолокационных станций, камер и лидаров. Автопилот с помощью нейросетей обучен распознавать объекты, попавшие в поле зрение автомобиля, отличая пешеходов, другие автомобили, светофоры и дорожные знаки.
Обучение автопилотов производится с помощью изображений, полученных с камер автомобилей во время пробных поездок, а также фотографий и видеозаписей в сети. Обычно обученные системы автопилота с высокой точностью распознают дорожные знаки, если только они не имеют сильных повреждений или не закрашены.
В своем исследовании ученые из Вашингтона обнаружили, что автоматическое распознавание дорожных знаков автопилотом можно запутать, если на знак нанести несколько наклеек. Так, во время эксперимента исследователи добавили на знак STOP четыре небольших прямоугольных стикера: два белых и два черных. Автопилот распознал знак как ограничение скорости 45 миль в час.
Затем исследователи использовали разноцветные наклейки, из которых сверху и снизу надписи STOP на дорожном знаке они выложили слова LOVE и HATE (любовь и ненависть). Измененный таким образом знак автопилот тоже распознал как ограничение скорости 45 миль в час. Наконец, исследователи провели аналогичный эксперимент с другим знаком - правый поворот.
В случае со знаком правого поворота исследователи напечатали аналогичный по размерам знак, стрелка на котором оформлена из серых квадратов разной яркости. Распечатанный знак автопилот тоже распознал как ограничение скорости 45 миль в час. Исследователи утверждают, что изменяя положение стикеров или серых квадратов на знаках, можно заставить автопилот по-разному распознавать их.
Несмотря на явную опасность таких атак сегодня (машина на автопилоте просто проигнорирует какой-то важный знак), специалисты отрасли уверены, что со временем автопилоты, накопив более основательную базу образов, научатся более тонко распознавать различные объекты, и смутить их будет уже не так просто.
Напомним, что специалисты Volvo в Австралии сейчас работают над непростой проблемой распознавания автопилотом кенгуру - из-за непредсказуемых быстрых прыжков этих животных компьютеры пока не справляются с классификацией и не могут правильно реагировать, чтобы избежать столкновения.
