Что делать, когда поворотных камер много,
или Новые возможности интеллектуальных
систем видеонаблюдения

С. Солодянкин
руководитель отдела продаж ЗАО «Стилсофт»

В настоящее время в нашей стране, да и во всем мире, активно развивается отрасль организации безопасности объектов: понятно, что по старинке, методом сторожа с берданкой, защищать важные объекты уже не получится – слишком быстро движется прогресс. Действия злоумышленников становятся все изощреннее и изощреннее. Но и методы противодействия вторжению тоже не стоят на месте: вначале появились системы охранного телевидения, затем они стали мощнее, умнее, универсальнее и распределеннее, потом появились поворотные устройства и системы IP-видеонаблюдения. И в настоящее время мы видим тенденцию небольшой паузы в развитии «железной» составляющей, но зато гигантскими шагами вперед начала двигаться составляющая интеллектуальная, или программное обеспечение. О нем мы сегодня и поговорим.
Трудно представить себе более или менее серьезный объект, на котором не установлена хотя бы одна поворотная камера, преимущества использования поворотных камер очевидны: одной такой камерой можно наблюдать за гораздо большей территорией, чем при использовании стандартной стационарной камеры, но есть и недостатки.
Первый и главный из них цена, но на сегодняшний день устройства такого рода сильно подешевели, и данная тенденция продолжается. Я думаю, что, скорее всего, не пройдет и пары лет до того момента, когда поворотные камеры станут соизмеримы по цене с качественными стационарными.
Второй недостаток не настолько очевиден, но не менее важен, и называется он человеческий фактор – оператору системы видеонаблюдения гораздо труднее обрабатывать информацию, получаемую от поворотной камеры, чем от стационарной. Картинка, получаемая со стационарной камеры, статична (мы рассматриваем территории важных объектов, на которых не предполагается скопление большого количества людей и машин), и любое движение в кадре просто кричит о себе даже «замыленному» взгляду оператора, даже в конце смены и при наличии каких-нибудь отвлекающих факторов. С поворотной камерой все не так, как правило, поворотная камера работает по пресет-позициям (набору предустановленных положений поворотного устройства и трансфокатора), поэтому движение в кадре присутствует почти всегда, т.к. камера сама постоянно находится в движении. Это постоянное движение на экране очень сильно «замыливает» взгляд оператора, и через какое-то время человек перестает обращать внимание на любое движение в картинке с этой камеры.
Третий недостаток тоже относится к человеческому фактору. Как известно, человек по природе своей ленив (особенно когда дело касается работы, особенно если работа эта нудная и однообразная), и операторы систем безопасности, к сожалению, исключением из этого правила не являются. Поэтому в ситуации, когда на горизонте появился подозрительный объект, рассмотренный через камеру стационарную, или даже через камеру поворотную, оператору необходимо осуществить ряд действий:
1. Оторваться от очень важного и жизненно необходимого занятия, ни малейшего отношения не имеющего к работе.
2. Изменить позу на кресле с весьма удобной на чрезвычайно сосредоточенную.
3. Взяться за какой-то пульт управления.
4. Провести наведение камеры на подозрительный объект.
5. Провести анализ данного объекта и принять решение.
Как известно, в 99% случаев тревога бывает ложной, и это вне всякого сомнения тоже играет не на пользу системе безопасности, а если еще таких подозрительных объектов не один, а несколько и если поворотная камера тоже не одна, то с вероятностью 40:60 можно сказать, что подозрительный объект так и будет продолжать движение дальше, рассмотренный не пристально и издалека.
Четвертая проблема поворотных камер наиболее полно раскрывается при использовании одной поворотной камеры для наблюдения за большими и очень большими пространствами, при использовании видеокамер с мощными оптическими трансфокаторами, например 20-750 мм. В таком случае наблюдаемая территория настолько огромна, что, сколько бы ни было пресет-позиций, с помощью одной поворотной камеры без использования специальных ухищрений (речь о которых пойдет немножко позже) отследить что-то можно только случайно.
Итак, если подвести промежуточный итог всему вышесказанному, можно сделать следующие выводы:
1. Поворотные камеры очень удобны, практичны и во многих вопросах незаменимы.
2. У поворотных камер существует немало проблем, которые просто необходимо решать.
Казалось бы, что решения нет, но на смену человеку спешит машинный интеллект.
Уже давно разработчики всех систем, не только в области безопасности, упорно пытаются максимально уменьшить участие человека в разрабатываемых ими технологических комплексах. Частично это получается. И разработчики систем охранного телевидения не являются исключением, несколько лет назад был придуман так называемый «детектор движения», который постоянно анализирует статическую картинку на предмет ее изменения и любое изменение считает движением. Все эти годы он эволюционировал, совершенствовался, и разработчики вплотную подошли к проблеме управления поворотными камерами. Попробую сейчас продемонстрировать ход развития на примере своей компании, думаю, что этот путь в других компаниях несильно отличался от нашего.

Функция «Рубеж»

Самый простой по выполнению получился первый способ управления поворотной камерой. За идею взяли то, что в случае, когда речь идет о защите протяженных периметров, неплохо бы было управлять поворотной камерой в автоматическом режиме, а так как почти всегда периметр прикрыт еще и инженерными заграждениями с техническими средствами охраны, то решение лежит на поверхности. Почему бы не взять и не проинтегрировать технические средства охраны в систему видеонаблюдения, что и было реализовано. При сработке датчика защиты периметра поворотная камера переходит в одну из заранее установленных пресет-позиций, жестко привязанную к тревожному участку. Если участок длинный и одной камерой одновременно обработать его нельзя, можно подключить вторую камеру. Если же участок очень длинный, то можно настроить несколько пресет-позиций для каждой из камер, в этом случае поворотные камеры будут «пробегать» всю территорию тревожного участка и в любой момент оператор может самостоятельно навести камеру на подозрительный объект. Более того, встроенный скриптовый язык системы позволяет программировать реакции на тревожное событие, например такие, как: вывести изображение с тревожной камеры на отдельный монитор, включить зуммер, проиграть звуковой файл, включить прожектора и т.п.
Технология оказалась очень хороша и так востребована на рынке, что для нее была разработана и выпущена целая линейка контроллеров, которые позволяли интегрировать видео с техническими средствами. Но, к сожалению, идеальных решений не бывает, и у этой технологии были свои недостатки, самым главным из которых, конечно, являлось нечеткое позиционирование на тревожный объект, длина зоны обнаружения технических средств порой достигает 250 м, ни одной, ни двумя камерами детально рассмотреть такую территорию не получится, а пока оператор будет четко позиционировать камеру, подозрительный объект может исчезнуть в близлежащих кустах.

Принцип работы алгоритма выделения, распознавания, отслеживания движущейся цели

Для решения этой проблемы были привлечены мощные аналитические умы программистов, и в итоге родилась совершенно новая технология, которая позволяет не только констатировать движение в кадре, но и выделяет и распознает движущиеся объекты, отслеживает их перемещение, проводит анализ поведения. Выделение и сопровождение объектов в видеопотоке осуществляется с помощью моделей разных уровней. Модель более высокого уровня использует данные, полученные от модели предыдущего уровня (рис. 1).

Рис. 1. Детектор движения

Детектирование оставленных предметов происходит на этапе сопровождения объектов на основании оценки его скорости. В случае положительного детектирования область, занимаемая предметом, становится частью фона. Данный факт отображен на схеме в виде обратной связи.
На 1-м уровне происходит вычитание фона (background subtraction), т.е. классификация пикселов изображения на два класса: пикселы заднего (фон) и переднего плана.
На 2-м уровне происходит сегментация объектов (objects segmentation) – из множества пикселов переднего плана выделяется множество объектов, т.е. семантически связных областей изображения, принадлежащих одному движущемуся объекту (человеку, автомобилю и др.).
На 3-м уровне осуществляется сопровождение объектов (objects tracking), т.е. межкадровое связывание выделенных областей, вычисление траектории движения, координат, скорости, размера движущихся объектов, их идентификация.

Вот небольшой пример скрипта:
server = «Рубеж»
if
e(«Тревога датчика», server, «ПКП 4», «4.1»)
then
a(«проиграть wav файл», «c:\\videolocator\\vl_audio\\тревога на участке 4 периметра.wav»)
a(«показать системный монитор», «Синергет»)
a(«Показать», server, «IP канал 3»)
a(«Показать», server, «IP канал 4»)
a(«Показать», server, «IP канал 5»)
a(«активировать пресет позицию», server, «Устройство телеметрии 3», «4»)
a(«активировать пресет позицию», server, «Устройство телеметрии 4», «1»)
a(«активировать пресет позицию», server, «Устройство телеметрии 5», «1»)
a(«замкнуть реле», server, «ПКП 3», «Реле 2»)
a(«замкнуть реле», server, «ПКП 4», «Реле 1»)
a(«замкнуть реле», server, «ПКП 5», «Реле 1»)
a(«Изменить состояние на», server, «Прожектор 6», «Включен»)
a(«Изменить состояние на», server, «Прожектор 7», «Включен»)
a(«Изменить состояние на», server, «Прожектор 9», «Включен»)
a(«записать в протокол текст», «тревога на участке 4 периметра»)
end

Вычитание фона

В цифровых системах видеонаблюдения вычитание фона является первичным этапом обработки изображений и служит для классификации пикселов изображения на два класса: пикселы заднего (фон) и переднего плана. Затем на полученных данных строятся такие алгоритмы, как выделение, сопровождение и распознавание движущихся объектов. На рисунках 2 и 3 показан результат работы вычитания фона уличной сцены.

Рис. 2. Кадр уличной сцены

Рис. 3. Результат действия алгоритма вычитания фона

Съемка велась цветной аналоговой камерой (400 ТВ-линий, без внешнего объектива), разрешение кадра 384х288. На дальнем плане работа алгоритма осложняется плывущими облаками и деревьями. Однако эти области достаточно хорошо вписываются в модель нормального распределения пикселов фона. На рисунке 3 хорошо видны области, соответствующие двум проезжающим автомобилям и идущему по противоположному от наблюдателя тротуару пешеходу. Фактически, процесс вычитания фона – это усреднение множества идущих друг за другом кадров, на основании их последующего анализа можно определить, какая часть кадра статическая картинка, а что является движущимся (инородным) объектом.

Сегментация объектов

Сегментация объектов – преобразование множества пикселов переднего плана в множество объектов, т.е. семантически связных областей изображения, принадлежащих одному движущемуся объекту (человеку, автомобилю и др.). Используется простой и очень быстрый однопроходной алгоритм сегментации, моделирующий каждый наблюдаемый объект в виде прямоугольного региона с границей, имеющей определенную толщину.
На каждом шаге работы алгоритма вычитания фона из пикселов переднего плана формируется множество непересекающихся регионов R, имеющих границу с фиксированной толщиной l.
1. Если очередной пиксел попадает внутрь или на границу уже существующего региона, то регион расширяется до координат этого пиксела.
2. Если региона, соответствующего пикселу, не найдено, то создается новый регион размером 1х1 с центром в этом пикселе.
3. В случае пересечения 2-х регионов происходит их слияние, т.е. создается один новый регион, включающий в себя два предыдущих.
4. После обработки всего кадра регионы, размер которых меньше заранее установленного минимума, удаляются.
Фактически, сегментация объектов – это объединение разрозненных, «инородных», не принадлежащих фону точек в конкретные объекты, которые на следующем этапе подлежат обработке и классификации.

Сопровождение объектов

Алгоритм сопровождения объектов разработан на основании координат, скорости и времени нахождения объекта на кадре. Входные данные алгоритма – множество регионов, найденных на этапе сегментации объектов. Не буду глубоко вникать в математику процесса, она очень сложна для понимания и находится под защитой авторского права. Кратко все выглядит так: сегментированным объектам присваивается свой уникальный номер, определяются координаты его центра, после этого начинается анализ, в процессе которого определяется смещение относительно предыдущего кадра и время его жизни (количество кадров, на которых был идентифицирован объект), а также определяется его актуальность. На основании анализа машинный интеллект прогнозирует дальнейшее поведение объекта и определяет возможные дальнейшие его координаты, на основании проведенных вычислений анализируется следующий кадр и на нем определяется текущее положение ранее идентифицированных объектов. Пример показан на рисунке 4.

Рис. 4. Каждому отслеживаемому объекту присваивается уникальный номер

Разработанный алгоритм сопровождения объектов позволяет восстанавливать связь с перемещающимся объектом даже в том случае, если он на короткое время скрылся из поля зрения камеры. Одновременно система может вести до 50 объектов.

Практическая реализация

Выше была описана математика работы интеллекта системы видеонаблюдения, теперь перейдем к практической реализации новой технологии. Итак, какие возможности дает нам многолетний труд группы одаренных программистов? Пойдем от простого к сложному – вначале не совсем будет понятно, как все это связано с поворотными камерами, но я расскажу об этом немного позже.

Детектор оставленных предметов

Детектор оставленных предметов на сегодняшний день очень востребован на рынке систем безопасности, в связи с возрастающей каждый день в мире террористической угрозой. Работает он очень просто, если вам удалось разобраться в описанном выше алгоритме. У нас есть фоновая картинка, есть идентифицированный движущейся объект, и, если на последних N кадрах (величина определяется пользователем системы) его положение не изменилось или изменилось на какую-то малую величину, данный предмет считается оставленным, в системе возникает новое событие и далее происходит последовательность действий, определенных во встроенном скриптовом языке (работа скриптового языка описана выше). Этот алгоритм относится как к предмету, попавшему в кадр извне (перекинутый через забор мешок), так и к предмету, отделившемуся от движущегося объекта (оставленный человеком портфель).

Детектор пересечения линии

Детектор пересечения линии на сегодняшний день тоже очень востребован на рынке систем безопасности, а в определенных областях даже незаменим (охрана подходов к охраняемой территории без использования технических средств охраны, создание временных рубежей охраны, подсчет посетителей в магазине, нарушение ПДД и т.д.). Работает тоже очень просто. У нас есть движущийся идентифицированный объект, в кадре создается виртуальная линия, если объект пересекает эту линию, формируется событие, и далее предпринимаются определенные действия по сценарию встроенного в систему языка программирования. Система имеет возможность подсчета проходов и определения, в какую сторону произошло пересечение, что тоже в некоторых случаях незаменимая функция.

Определение скорости движения

Функция определения скорости движения вытекает из возможностей детектора пересечения линии, но этот алгоритм пока является ноу-хау. Кстати, тесты показали, что данный метод определения скорости оказался немного точнее обычного милицейского радара, принцип работы которого основан на эффекте Доплера. Эта функция вряд ли получит широкое применение в системах безопасности, но, безусловно, может эффективно применяться на службе у сотрудников ГИБДД.

Распознавание целей

Распознавание целей является одной из самых сложных функций, реализованных на данный момент времени, это обуславливается очень сложной математикой процесса. Простым языком это выглядит так: после модуля сегментации объекта мы получаем сгруппированные между собой пикселы, примерно как на рисунке 3, понаблюдав за ним несколько кадров и собрав статистику, мы получаем некий усредненный образ цели. А если у нас есть образ, то мы можем сравнить его с чем-то, уже существующим в базе данных образов, и, если там есть что-то похожее, выдать результат. Система может самостоятельно определять разнообразные виды объектов (легковой автомобиль, грузовой автомобиль, человек, собака, мотоциклист и т.д.) и записывать данное событие в журнал событий, например, так: «С вероятностью 95% видеокамера «Въездные ворота» зарегистрировала объект «Легковой автомобиль». На это событие может включаться алгоритм действий, написанный до этого на встроенном в систему языке программирования. Более того, система является самообучаемой и пользователь может добавлять в базу данных объектов новые, не известные до этого объекты – для этого, правда, придется несколько раз пояснить системе, что же она видит.

Переход с координатной системы 2D на координатную систему 3D

И наконец, мы плавно подошли к самому главному – как все эти алгоритмы, функции, возможности должны облегчить жизнь рядовому оператору систем безопасности, у которого на объекте много поворотных камер. Одной из главных трудностей автоматического наведения камер на объект является то, что с камеры мы получаем «плоскую» 2D-картинку и машинному интеллекту очень трудно объяснить, далеко объект или близко, большой он или маленький. Но и в этом случае на помощь пришли человеческий интеллект и математика. Принцип перехода в трехмерную систему координат очень прост, но математически очень трудно реализуем. Если взять и на плоской картинке нанести определенное количество (не менее 3) виртуальных точек, а потом на каждую из них четко навести видеокамеру, используя ее трансфокатор, то, используя математические преобразования, система сможет построить условную 3D-сетку координат. В 3D-системе координат наводить поворотную камеру на движущийся объект значительно проще. Понятно, что, чем сложнее рельеф на объекте, тем больше должно быть опорных «виртуальных точек». Используя 3D-систему координат и имея идентифицированный объект, мы сразу же получаем возможность навести камеру на него в «одно касание» простым кликом мыши по интересующему нас объекту. Преимущества данной технологии перед обычным ручным пультом управления очевидны.

Функция Fine Track

Итак, у нас есть 3D-система координат, у нас есть реализованный алгоритм идентификации и распознавания цели, почему бы это все не объединить и не заставить камеру наводиться на объект самостоятельно. И решение было найдено: рядом с поворотной камерой устанавливаем камеру стационарную. Со стационарной камеры получаем опорную картинку и применяем на нее все вышеизложенные алгоритмы, если в кадре есть движение, то вычисляем координаты движущегося объекта, переводим координаты в 3D-сетку и даем команду поворотному устройству навестись на объект. Обновляя координаты цели, корректируем положение камеры. Если объектов много, то наводимся на все по очереди, тут можно задействовать функцию «Распознавание объекта» и выставить приоритеты, например, наблюдать только за людьми или только за автомобилями, а можно управлять и вручную, кликнув на подозрительном объекте мышкой наблюдать только за ним.

Функция Fine Dome

Fine Dome – это следующая реализация функции Fine Track, за одним лишь отличием: стационарная камера не нужна, опорный кадр получается с камеры поворотной. Физически это выглядит так: поворотная камера становится на позицию, с которой лучше всего видно контролируемую территорию (фактически, исполняет функцию стационарной), кадры с которой приходят с камеры, анализируются, если в них есть движение, то камера наводится на движущийся объект, если объектов несколько, наводится поочередно, периодически возвращаясь к позиции опорного кадра, при необходимости можно кликнуть на подозрительном объекте и камера будет следить только за ним.

Функция «Локатор»

Функция «Локатор» – это последняя на сегодняшний день из реализованных опций в системе, в данный момент времени она находится на стадии тестирования, суть ее сводится к следующему. Представьте себе, что у нас есть господствующая высота (вышка), на которой установлена мощная поворотная камера, или тепловизор, 70% подступов к высоте непроходимы (горы, болота, леса и т.д.), остальные 30% проходимы (поля, дороги, тропы и т.п.). Задача: организовать систему раннего оповещения о подходе злоумышленников к объекту. Раньше такую сложную задачу могла решить только РЛС (радиолокационная станция), но у РЛС есть существенный недостаток: она может показать на карте то, что движется объект – однозначно идентифицировать этот объект РЛС не может. Функция «Локатор» позволяет нам идентифицировать объект, нанести на карту и подать тревожный сигнал. Физически решается это так: на проходимые места рельефа настраиваются в 3D-системе координат пресет-позиции, с небольшой периодичностью камера наводится на них и в течение 2-3 с анализирует картинку на предмет возможного движения (см. алгоритм работы функции Fine Dome), и, если движение есть, объект распознается (см. алгоритм работы функции «Распознавание цели»), определяются его координаты и в виде соответствующей пиктограммы цель наносится на карту местности. Одновременно с нахождением цели можно включить тревогу, прожектор и т.п. (см. возможности встроенного языка программирования).

Заключение

Сегодня мы рассмотрели ряд совершенно новых функций систем видеонаблюдения, некоторые из них являются уникальными для мирового рынка. Вывод можно сделать только один: использование машинного интеллекта очень сильно облегчит жизнь оператору систем безопасности и, безусловно, поднимет защищенность объекта на новую, совершенно недосягаемую до этого высоту. Кстати, производители «железа» тоже не сидят на месте и на одной из последних выставок некоей японской компанией была представлена видеокамера со встроенной функцией детектора пересечения линии и детектора оставленных предметов. Детекторы, встроенные в видеокамеру, работали очень неплохо, у нее был единственный минус – цена.
Тенденция развития рынка такова, что производители «железа» всегда на несколько шагов позади производителей «интеллекта», и даже сейчас, во время написания этой статьи, у нас очень много идей, как сделать систему немножко лучше, а жизнь оператора немножко легче. К сожалению, эти идеи пока являются «совершенно секретными», но, надеюсь, уже к выходу следующего номера журнала я смогу вам о них рассказать.

"Алгоритм Безопасности" № 6, 2008 год