Тестирование видеодетекторов движения на выставке "ProST 2005"

Тестирование детекторов движения в цифровых системах видеонаблюдения состоялось с 18 по 21 октября 2005 года в рамках II Международной выставки профессиональной техники для обеспечения безопасности "ProST 2005", проходившей в Москве в 69 павильоне ВВЦ. Для оценки качества работы детекторов движения использовались тестовые клипы, которые были записаны на кассете формата miniDV и подавались на 1 канал тестируемой системы с помощью бытовой видеокамеры.

Всего было записано 3 тестовых клипа, используемых для оценки качества работы детекторов движения (VMD), и 1 тестовый клип, предназначенный для проверки работоспособности детекторов оставленных и унесенных детекторов (ДОП, SDD, slowdown detector).

1. "Полусинтезированный" тестовый клип. На реальном фоне перемещаются синтезированные объекты заданных размеров. Здесь мы определяем максимальную пространственную чувствительность детектора движения. Измеряется в пикселах на кадре формата 720х576 пикселов. Некоторые из участников тестирования высказывали пожелания усложнить тестовые клипы. В связи с этими пожеланиями исходный тестовый клип был искусственно "зашумлен", поэтому для данного этапа тестирования приводятся две таблицы с результатами (исходный тест и усложненный тест).
2. Тест на обнаружение медленных движений. На реальном фоне перемещаются реальные контрастные объекты с очень малой скоростью движения. В таблице указано время движения объекта в кадре.
3. Тест на обнаружение быстрых движений. На реальном фоне происходит быстрое перемещение реальных объектов с различной контрастностью и разными размерами. В таблице указаны диаметр движущегося объекта (в пикселах) и контраст объекта и фона (в процентах).
4. Для проверки работоспособности детекторов оставленных и унесенных предметов используется клип, который позволяет одновременно тестировать функцию обнаружения как оставленных, так и унесенных предметов. В клипе на реальном фоне оставляются и уносятся реальные объекты разных размеров и различной контрастности. В таблице указаны размер движущегося объекта (в пикселах) и контраст объекта и фона (в процентах).

Ознакомиться с подробной методикой тестирования детекторов движения вы можете в журнале "CCTV Фокус" N 5 (17) за 2005 год.
Отметим, что данная методика является промежуточной. Она была разработана исключительно для тестирования на выставке "ProST 2005", окончательную методику еще только предстоит разработать, чем в настоящее время заняты специалисты тестовой лаборатории журнала "CCTV Фокус".

По регламенту конкурса-теста все участники предварительно получили тестовые клипы и методику тестирования. Это позволило им заранее подобрать параметры детекторов движения, что значительно сократило время настройки детекторов движения на выставке. А именно этого времени, как обычно, не хватало, тем более что о своем участии заявили 9 отечественных компаний, которые представили 10 цифровых систем видеонаблюдения. Компания ООО "Спецлаб" представила сразу две свои системы видеонаблюдения, а компания "Сатро-Паладин" представила и зарубежную систему Geovision GV-1000. Полный список участников и представленных ими цифровых систем видеонаблюдения мы публикуем ниже. Здесь же хотелось бы упомянуть общие моменты, связанные с проведением тестирований на выставках.

Во-первых, по объективным причинам точность тестирований на выставках достаточно низка, а сами тестирования позволяют лишь приблизительно судить о месте той или иной системы среди других. Конечно, приходится признать, что в таких условиях достаточно велика вероятность ошибки по причине нехватки времени и множества случайных факторов. Кроме того, нужно учитывать и то, что не все участники тестирования сумели подготовиться надлежащим образом к тестам, а это тоже сказалось на результатах. Например, компании "Вокорд Телеком" и ITV по этой причине оказались в числе аутсайдеров в некоторых тестах. И если для "Вокорд Телеком" такая ситуация сложилась из-за неправильной настройки детектора движения и тестирования новейшей версии ПО, а это всегда сопряжено с трудностями и неприятными неожиданностями, то компания ITV не сумела представить на тест свои новейшие разработки в области детектирования движения, которые были внедрены в ПО только через неделю после завершения конкурса-теста. Также не очень ясная ситуация сложилась и с единственной зарубежной системой, представленной на конкурсе-тесте Geovision GV-1000.

Результаты оказались не только весьма посредственными, но и трудно объяснимыми в некоторых случаях, а это наводит на мысль о том, что настройка детектора движения была изначально произведена неправильно. Конечно, на проверку настройки всех детекторов движения не хватит времени на выставке и для проведения тестирования с более высокой степень точности необходимы уже лабораторные условия, которые можно создать только в рамках тестовой лаборатории.

Впрочем, такие публичные тестирования полезны для рынка безопасности. Разумеется, потребители и сами могут посетить конкурс-тест и сравнить интересующие их системы, что и происходило. По большому счету, именно для этого круга заинтересованных лиц и проводится конкурс-тест, который, кроме того, заявлен как публичный. Но, как выяснилось, такое мероприятие не в последнюю очередь нужно и самим участникам, поскольку дает им редкую возможность встретиться с коллегами по цеху и оценить собственные достижения в сравнении с разработками конкурентов. Нам же оно позволяет приблизительно оценить уровень, на котором сейчас находится разработка детекторов движения у отечественных компаний, так как, вопреки мнению некоторых участников, мы не ставили перед собой задачу определить лидеров в той или иной категории тестов и вручить всем по диплому за успешное участие.

Поскольку данное тестирование все же позволяет получить общее представление (хотя и достаточно фрагментарное) о возможностях детекторов движения в цифровых системах видеонаблюдения, мы публикуем результаты тестирования полностью вместе с комментариями участников тестирования.

Полученные результаты сведены в 4 таблицы (по количеству тестовых клипов). В последней таблице (SDD, детектор оставленных и унесенных предметов) представлены не все системы, так как этот этап тестирования был факультативным, и на него подали заявки не все компании, принимавшие участие в конкурсе-тесте.

Особую благодарность редакция выражает руководству ОВК "Бизон" за организацию конкурса-теста и всем участникам жюри за то, что они нашли время принять участие в тестировании.

Полусинтезированный тест

Тест на медленные движения

Тест на быстрые движения

Тестирование детекторов оставленных/пропавших предматов

AViaLLe v. 2.0.7

Ложные срабатывания на объекты, присутствовавшие в кадре. Отстройка от ложных срабатываний в рамках конкурса-теста оказалась невозможной.

"Интегра-видео" v. 2.1092

Ложные срабатывания на объекты, присутствовавшие в кадре. Отстройка от ложных срабатываний в рамках конкурса-теста оказалась невозможной.

Комментарии участников

Евгений Серга
заместитель директора
"Новые Технологии"

На мой взгляд, подобные мероприятия очень важны в том аспекте, что не только позволяют потенциальным заказчикам и пользователям проводить сравнение тех или иных систем видеонаблюдения, но и заставляют самих разработчиков совершенствовать свои системы.

Те вещи, которые мы тестировали на конкурсе (детектор движения, детектор оставленных и унесенных предметов), обычно в системах видеонаблюдения не играют ключевой роли. Что действительно важно, так это насколько удобно работать оператору, как реализован поиск по архиву. Но, естественно, без хорошо отлаженных алгоритмов здесь нельзя обойтись.

Как вы понимаете, основная задача разработчиков заключается в том, чтобы их система видеонаблюдения пользовалась большим устойчивым спросом, а спрос определяется тем, насколько удобно с системой работать фирме-инсталлятору и заказчику.

Немалое достоинство подобных тестов связано с тем, что они стимулируют разработчиков не только развивать и совершенствовать те или иные алгоритмы и пользовательский интерфейс, но также учат разработчиков умению демонстрировать свои системы.

В итоге я считаю, что такие конкурсы обязательно нужно проводить, совершенствовать их методику, тестировать и другие аспекты цифровых систем видеонаблюдения, например, те же вопросы работы с архивом, так как я видел, что у некоторых систем при прочих достоинствах это по-прежнему остается слабым звеном.

В заключение я повторю слова Михаила Руцкова: "Наша цель - доказать и показать, что российская продукция может быть лучше зарубежной". А, говоря о зарубежной продукции, я имею в виду не только корейскую или тайваньскую, но и продукцию таких известных западных компаний, как Dalmeier и Geutebrueck.

Андрей Пирогов
технический эксперт цифрового отдела
"САТРО-ПАЛАДИН"

Хотелось бы отметить, что такое тестирование в первую очередь необходимо для самих разработчиков, для тех, кто работает в области разработки программного обеспечения. Здесь и обмен опытом, и, как говорится, себя показать и на других посмотреть. Такой конкурс тест дает хорошую возможность оценить новинки, которые появились в системах видеонаблюдения, понять, куда дальше двигаться, что совершенствовать и что можно взять на вооружение. Для нас, как для компании-дистрибьютора многих известных брендов, было очень интересно оценить состояние передовых отечественных разработок, и, разумеется, продемонстрировать то, что есть у нас.

В плане детекторов движения, конкурс-тест показал, что отечественные системы, вероятно, превосходят многие зарубежные, хотя многим потребителям это уже было ясно с самого начала.

Константин Воробьев
руководитель отдела маркетинга
"СпецЛаб"

Мне понравилось то, что, в отличие от прошлого года, конкурс был подготовлен, были разработаны интересная, на мой взгляд, тестовая программа. Конечно же, представленные тестовые клипы не отражают реальных условий, но для проведения соревнования алгоритмов и математической мысли они были достаточно интересны.

Обидно то, что не совсем соблюдался регламент тестирования. Представьте себе такую ситуацию, когда идут соревнования, спортсмены бегут дистанцию и добегают до финиша. А кто-то, возможно, у себя в тренажерном зале и бегает быстрее, но на соревнованиях он показал определенный результат, и именно этот результат должен засчитываться. Также и повторная проверка в "полусинтезированном" тестовом клипе не должна была проводиться.

Кроме того, по регламенту отстройка от шумов должна была проводиться по отдельному фрагменту без использования основной части тестового клипа, а это соблюдалось далеко не всеми участниками, так как были случаи, когда отстройка производилась по всему клипу и выбирались самые удобные для данного случая настройки детектора.

Мы подготовились к этому тесту честно и серьезно, и показали две системы и их возможности.

Виталий Котовщиков
коммерческий директор, компания
"Цифровые Системы"

Я хочу выразить благодарность организаторам за успешное проведение этого тестирования, что было сделать далеко не так просто, как показалось некоторым нашим коллегам. Но в итоге само мероприятие при всех недостатках, связанных в первую очередь с "полевыми" условиями выставки оставило после себя значительно больше положительных впечатлений, чем негатива.
Мы принимаем участие в конкурсе-тесте уже второй год, то есть с самого начала, а также планируем участвовать и в дальнейшем. Конкурс-тест дает возможность многим компаниям показать себя, продемонстрировать свои системы и их возможности. Но, кроме того, имеется прекрасная возможность увидеть воочию продукцию коллег по цеху, подтянуть свои системы там, где они отстают, и продемонстрировать свои сильные стороны. В целом, конкурс-тест позволяет разработчикам заявить о себе, а потребителям - увидеть новинки и возможности систем в таких, достаточно сложных условиях, какие были созданы в рамках тестирования.

Алексей Кадейшвили
технический директор, компания
"Вокорд Телеком"

В целом, мы считаем, что подобные тесты - дело нужное и полезное, хотя такое тестирование "на общественных началах" должно трансформироваться в лабораторные испытания (наподобие сертификационных испытаний) с четко проработанной и однозначно трактуемой метрологической и научно обоснованной методикой. Это позволит более полно проверить работу оборудования и гарантирует защиту от случайных ошибок. Публичные мероприятия, как наш "конкурс-тест" больше напоминают шоу и в силу различных ограничений (времени, испытательного оборудования, невозможность проверить воспроизводимость результатов) не позволяют проводить всесторонние тесты. Хотелось бы обратить внимание на то, что наша система PHOBOS не показала в полной мере своих возможностей, и произошло это в первую очередь из-за недостаточно тщательной подготовки к тестам. По нелепой случайности во время тестов были оставлены настройки по умолчанию, что и это привело к плохому результату на тестах "медленных движений".

На будущее хотелось бы сделать тесты более приближенными к реальной жизни. В связи с этим есть 3 предложения:

1. Сделать тесты на реальных клипах с сильными естественными помехами (снег, дождь, плохая освещенность).
   При этом тест состоит из двух частей. Сначала берется клип, в котором "полезное" движение маскируется и присутствуют только помехи. Детектор отстраивается от ложных срабатываний на таких помехах. После этого проигрывается полный клип с "полезным" движением. Оценивается то, насколько много "полезного" движения было записано.
2. Обязательно в ходе тестов нужно контролировать загрузку процессора, и должны быть отдельные тесты на производительность детектора движения. Для этого нужно либо замерять загрузку процессора при работе детектора движения либо включать детектирование сразу по нескольким, например 16 каналам, и смотреть загрузку процессора. Второе предпочтительнее. Эти тесты очень важны, поскольку сложные алгоритмы детектирования, как правило, требуют много вычислительных ресурсов. Разработчики делающие систему для реальной жизни, а не только для тестов, должны искать компромисс между качеством работы детектора и его ресурсоемкостью. Кроме того, один и тот же детектор в зависимости от настроек может либо хорошо детектировать и требовать много ресурсов процессора, либо потреблять мало ресурсов и при этом плохо детектировать движение. Поэтому без контроля производительности тесты детекторов считать полными нельзя.
3. Нужно проверять работу детектора в условиях изменения освещения и возникновения естественных помех. Фиксируются настройки детектора, и после этого воспроизводим клипы с сильно отличающимися условиями съемки. В этих тестах проверяются адаптивные свойства детектора. Этот тест также чрезвычайно важен, поскольку способность адаптироваться к изменяющимся условиям крайне важна на реальных объектах.