Открытый «зимний» датасет для разработки беспилотников

По сообщению фонда РВК, в свободном доступе под открытой лицензией CC BY 4.0 выложена база данных, содержащая более 600 тыс. изображений (из которых вручную размечено более 20 тыс.), полученных при сложных погодных условиях, а также данные c лидара, позволяющие создавать в реальном времени 3D-карту пространства, окружающего автомобиль. «Зимний» датасет собран командой разработчиков лаборатории интеллектуальной космической робототехники Сколковского института науки и технологий (Сколтех) в рамках проекта Open Skoltech Car для международного конкурса в области ПО для беспилотного транспорта Ice Vision.

Особенность базы – фокус на обучении беспилотного транспорта работе в условиях российской зимы: во время гололеда, мокрого снега, при ограниченной и недостаточной видимости, встречном солнечном свете. В ней собраны сжатые без потерь изображения, формирующие видеопоследовательности, снятые с частотой 30 Гц на российских дорогах в зимнее время года в разных погодных условиях и в разное время суток. Запись видеоданных велась при помощи двух цветных камер с «глобальным затвором» и разрешением 5 Мпиксел. Использование камер с «глобальным затвором» предотвращает искажения при съемке движущихся объектов или на большой скорости, что важно для алгоритмов визуальной локализации и картографирования.

В датасете также содержатся данные лазерного сканирования местности с помощью трехмерного 64-канального лидара, способного измерять 2,2 млн точек в секунду, и данные приемников спутниковых систем навигации. Собранный массив информации дает возможность создать систему, которая точно определяет местоположение автомобиля и «видит» окружающее пространство в 3D, что позволяет ей ориентироваться в текущей дорожной ситуации и принимать правильные решения.

Кроме того, база данных содержит в себе «ручную», т. е. сделанную человеком, разметку, объясняющую, где и какие знаки находятся в кадре. Наличие подобной разметки позволяет создавать системы распознавания дорожных знаков, в частности на основе искусственных нейронных сетей. Это открывает путь не только к автоматическому семантическому картографированию дорог, но и к созданию беспилотных машин, способных передвигаться по дорогам общего пользования с соблюдением ПДД без предварительно построенной детализированной карты, а также способных реагировать на изменения на дорогах, связанные, например, с проведением дорожных работ.

Как отмечают в РВК, опубликованный датасет может стать для любой команды хорошим инструментом, позволяющим обучить свою машину «видеть» знаки и дорожную ситуацию не только летом, но и зимой. Теперь им могут воспользоваться как производители беспилотных автомобилей, так и разработчики отдельных решений для беспилотного транспорта.