Искусственный интеллект и камеры, вдохновленные природой, улучшают обнаружение пешеходов в автомобилях

Это кошмар каждого водителя: пешеход, кажется, появляется перед автомобилем из ниоткуда, оставляя лишь долю секунды, чтобы затормозить или свернуть и избежать худшего. Некоторые автомобили теперь оснащены системами камер, которые могут предупредить водителя или активировать экстренное торможение. Но эти системы еще недостаточно быстры и надежны и потребуют значительного усовершенствования, если их планируется использовать в автономных транспортных средствах, где за рулем нет человека.

Более быстрое обнаружение с меньшими вычислительными мощностями

Теперь Дэниел Гериг и Дэвид Скарамуцца с факультета информатики Цюрихского университета (UZH) объединили новую био-камеру с искусственным интеллектом, чтобы разработать систему, которая может обнаруживать препятствия вокруг автомобиля гораздо быстрее, чем существующие системы, и используя меньше ресурсов. расчет. власть. Исследование опубликовано в выпуске журнала Nature на этой неделе.

Большинство современных камер работают по кадрам, то есть делают снимки через регулярные промежутки времени. Те, которые в настоящее время используются для помощи водителю в автомобилях, обычно захватывают от 30 до 50 кадров в секунду, а искусственную нейронную сеть можно научить распознавать объекты на изображениях — пешеходов, велосипедов и других автомобилей. «Но если что-то произойдет в течение 20 или 30 миллисекунд между двумя кадрами, камера может увидеть это слишком поздно. Решением было бы увеличить частоту кадров, но это приведет к увеличению количества данных, которые необходимо обрабатывать в реальном времени и большему количеству вычислений. «Власть», — говорит Дэниел Гериг, первый автор этой статьи.

Сочетание лучшего из двух типов камер с искусственным интеллектом

Камеры событий — это недавняя инновация, основанная на другом принципе. Вместо фиксированной частоты кадров в этих устройствах используются «умные» пиксели, которые записывают информацию каждый раз, когда обнаруживают быстрое движение. «Таким образом, у них нет слепых зон между кадрами, что позволяет им быстрее обнаруживать препятствия», — говорит Давиде Скарамуцца, руководитель группы робототехники и восприятия. «Их также называют нейронными камерами, потому что они имитируют то, как человеческие глаза воспринимают изображения. ». Но у него есть свои недостатки: он может пропускать медленно движущиеся объекты, а его изображения нелегко преобразовать в тип данных, используемых для обучения алгоритма ИИ.

Гериг и Скарамуцца придумали гибридную систему, которая сочетает в себе лучшее из обоих миров: она включает в себя стандартную камеру, которая снимает 20 изображений в секунду, что означает относительно низкую частоту кадров по сравнению с теми, которые используются в настоящее время. Его изображения обрабатываются системой искусственного интеллекта, называемой сверточной нейронной сетью, которая обучена распознавать автомобили и пешеходов. Данные с камеры событий связаны с системой искусственного интеллекта другого типа, называемой нейронной сетью с асинхронным графом, которая особенно хорошо подходит для анализа 3D-данных, которые изменяются со временем. Обнаружения с камеры событий используются для прогнозирования обнаружения стандартной камерой, а также для повышения ее производительности. «Результатом стал оптический детектор, который может обнаруживать объекты с той же скоростью, что и стандартная камера, снимающая 5000 кадров в секунду, но требует той же полосы пропускания, что и стандартная камера со скоростью 50 кадров в секунду», — говорит Дэниел Гериг.

В 100 раз быстрее открытия с использованием меньшего количества данных

Команда протестировала свою систему на лучших камерах и визуальных алгоритмах, представленных в настоящее время на автомобильном рынке, и обнаружила, что она приводит к обнаружению в сто раз быстрее, одновременно сокращая объем данных, которые необходимо передавать между камерой и бортовым компьютером автомобиля, поскольку а также расчеты. Энергия, необходимая для обработки изображений без ущерба для разрешения. Самое главное, что система может эффективно обнаруживать автомобили и пешеходов, попадающих в поле зрения между двумя последовательными кадрами стандартной камеры, обеспечивая дополнительную безопасность как для водителя, так и для участников дорожного движения, что может иметь большое значение, особенно на высоких скоростях.

По мнению ученых, в будущем этот метод можно будет сделать более мощным за счет интеграции камер с датчиками LiDAR, например, которые используются в беспилотных автомобилях. «Подобные гибридные системы могут иметь решающее значение для обеспечения автономного вождения и обеспечения безопасности, не приводя при этом к значительному росту объема данных и вычислительной мощности», — говорит Давиде Скарамуцца.