Введение

Машинное зрение — это научное направление в области искусственного интеллекта, в частности робототехники, и связанные с ним технологии получения изображений объектов реального мира, их обработки и использования полученных данных для решения разного рода прикладных задач без участия (полного или частичного) человека.

Перед вами список основных сфер, где чаще всего используют компьютерным зрением, хотя по факту их намного больше:

• системы видеонаблюдения в офисах, на производстве, в торговых центрах, на улицах;
• системы управления автомобилями, предотвращающие столкновения с препятствием;
• медицинские системы анализа изображений;
• сортировка, поиск брака и другие операции в серийном производстве;
• технологии дополненной и виртуальной реальности;
• системы геопозиционирования и картографические системы;
• системы контроля точности в строительстве и реконструкции;

Проект «Программно-аппаратный комплекс для усиления мер безопасности на нерегулируемых пешеходных переходах»

Целью выполнения данного проекта является создание прототипапрограммно-аппаратного комплекса, основанного на технологиях машинногозрения. Задачи, которые будут выполняться данной разработкой следующие:

1. Предупреждение автомобилистов о наличии пешеходов на участкевидеонаблюдения с помощью сигналов на электронном табло.
2. Предупреждение пешеходов о подъезжающем автомобиле с помощью знаков на электронном знаке.
3. Передача информации о нарушениях ПДД на выбранном участкевидеонаблюдения
4. Сбор статистической информации о трафике дорожного движения.

Прогнозирование наиболее опасных временных отрезков на объектенаблюдения и увеличение мер предосторожности на данный промежутоквремени (более длительные сигналы на электронном табло).

Программная часть продукта будет отвечать за распознавание объектов наконтролируемом участке дорожного движения, предупреждать о приближенииавтомобилей и нахождении пешехода на дороге, а также собирать и анализироватьстатистическую информацию относительно дорожного трафика.

Для реализации системы оповещения автомобилистов и пешеходов предполагаетсяиспользовать алгоритмы их распознавания в видеопотоке как объектов и разделениевыбранного участка видеонаблюдения на зоны, при перемещении в которойпрограмма будет выполнять соответствующие инструкции в зависимости отклассификации находящегося в них объекта.

Основная идея

Программная часть продукта будет отвечать за распознавание объектов наконтролируемом участке дорожного движения, предупреждать о приближенииавтомобилей и нахождении пешехода на дороге, а также собирать и анализироватьстатистическую информацию относительно дорожного трафика.

Для реализации системы оповещения автомобилистов и пешеходов предполагаетсяиспользовать алгоритмы их распознавания в видеопотоке как объектов и разделениевыбранного участка видеонаблюдения на зоны, при перемещении в которойпрограмма будет выполнять соответствующие инструкции в зависимости отклассификации находящегося в них объекта

Схематическое изображение зон детекции

Красная зона – зона детекции пешеходов

Желтая зона – зона детекции пешеходов, еще не переходящих дорогу (будут выводиться разные оповещения)

Оранжевая зона – зона детекции автомобилей.

Отдельно рассматривается возможность детекции машин специального назначения(скорая помощь, пожарные машины и т.д.) для досрочного предупрежденияпешеходов. При совершении наезда на пешеходный переход данные о инцидентебудут сохраняться и маркироваться особым способом в базе данных, предотвращаяих отправку в ГИБДД.

Аппаратная часть данного проекта - это камеры видеонаблюдения для использования алгоритмов машинного зрения и специальное электронное табло, которое позволить выводить все необходимые сигналы, поступающие из программной части, предупреждая водителей и пешеходов о возможных угрозах. Пара экземпляров таких таблиц будет отображать необходимую информацию пешеходам, вторая пара- автомобилистам (см. рис. 2). Предполагается, что электронное табло не только будет подавать сигналы визуально, но и дублировать их с помощью звука.

Схематическое изображение электронных знаков

Используемые технологии

YOLO (Вы смотрите только один раз) - это модель для обнаружения объектов. Задача обнаружения объекта состоит из определения местоположения на изображении, где присутствуют определенные объекты, а также классификации этих объектов. Предыдущие методы для этого, такие как R-CNN и его вариации, использовали конвейер для выполнения этой задачи в несколько этапов. Это может быть медленным, а также трудным для оптимизации, потому что каждый отдельный компонент должен быть обучен отдельно. YOLO делает все это с помощью одной нейронной сети. Так как в этом подходе нейронная сеть предсказывает обрамляющие окна (bounding boxes) и вероятности классов, применяясь к полному изображению – нейросеть «видит всю картину целиком». Это понимание контекста для объектов дает лучшие результаты при обработке видеопотока, чем у других алгоритмов.

Keras — открытая нейросетевая библиотека, написанная на языке Python. Она представляет собой надстройку над фреймворками Deeplearning4j, TensorFlow и Theano. Нацелена на оперативную работу с сетями глубинного обучения, при этом спроектирована так, чтобы быть компактной, модульной и расширяемой. Она была создана как часть исследовательских усилий проекта ONEIROS. Эта библиотека содержит многочисленные реализации широко применяемых строительных блоков нейронных сетей, таких как слои, целевые и передаточные функции, оптимизаторы, и множество инструментов для упрощения работы с изображениями и текстом.

TensorFlow — открытая программная библиотека для машинного обучения, разработанная компанией Google для решения задач построения и тренировки нейронной сети с целью автоматического нахождения и классификации образов, достигая качества человеческого восприятия. Применяется как для исследований, так и для разработки собственных продуктов Google. Основной API для работы с библиотекой реализован для Python.

Наша команда