29.05.2003
В тот момент, когда вы решили, что уже кое-что знаете о различных стандартах JPEG, Wavelet, MPEG-1, MPEG-2 и новом MPEG-4, экспертная группа по вопросам движущегося изображения (MPEG) Международной организации по стандартизации (ISO) интенсивно работала над новым MPEG-7.
О новом стандарте MPEG и рассказывается в этой статье, предоставленной нам его разработчиками.
Из множества источников по всему миру нам становится доступно все больше и больше аудиовизуальной информации, которая может быть представлена в самых различных медиа-форматах: неподвижные изображения, графика, 3D-модели, аудио, речь, видео. Эта информация играет важную роль в нашей жизни -- вне зависимости от того, записана она на пленку или магнитную ленту, поступает в реальном времени с аудио- или видеодатчиков, является аналоговой или же цифровой, что встречается все чаще и чаще.
Обычно аудиовизуальная информация предназначена для непосредственного восприятия человеком. Однако увеличивается число и таких ситуаций, когда эта информация создается, передается, извлекается и повторно используется вычислительными системами: при распознавании изображений (видеонаблюдение, интеллектуальное зрение, скоростные видеокамеры и т.д.), преобразовании (речи в текст, изображения в речь, речи в изображение и т.д.), извлечении информации (быстрый и эффективный поиск различного типа мультимедийных документов, представляющих интерес для пользователя) и фильтрации потока описаний информации (для отбора только тех мультимедийных данных, которые отвечают предпочтениям пользователя). Например, коды телевизионных программ включают на запись соответствующим образом запрограммированный PVR (Personal Video recorder -- персональный видеомагнитофон), а видеодатчик включает сигнал тревоги при наличии конкретного визуального события. Также может быть выполнено автоматическое перекодирование строки символов в звуковую информацию или осуществлен поиск в потоке аудио- или видеоданных.
Во всех этих примерах аудиовизуальная информация была соответствующим образом "закодирована", что позволило устройству или компьютерной программе предпринять некие действия.
Аудиовизуальные источники будут все чаще фигурировать в нашей жизни. А это значит, что будет возрастать и потребность в их дальнейшей обработке. Поэтому необходимо разработать такие формы представления данных, которые намного превосходили бы рамки представлений на основе выборок, компрессий (MPEG-1 и MPEG-2) и на основе объектов (MPEG-4) и хотя бы в небольшой степени допускали интерпретацию смыслового значения информации. Такие форматы можно передавать (или открывать к ним доступ) на устройства или в компьютерные программы. В вышеприведенных примерах формирователь сигнала изображения может давать видеоданные не в форме PCM-выборок (значений пикселов), а в форме объектов с ассоциированными физическими измерениями и временной информацией.
Эта информация может быть сохранена и проверена на соответствие конкретным запрограммированным условиям. PVR может получить описание программы, которое включит его на запись. В результате PVR сможет, например, записывать все новости за исключением спортивных. А, скажем, продукция компаний может быть описана таким образом, что машина будет самостоятельно отвечать на неструктурированные запросы пользователей.
MPEG-7 -- стандарт описания мультимедийных данных, поддерживающий функциональные требования, рассмотренные выше. В принципе эти требования применимы как к приложениям реального времени, так и к технологиям "push and pull". Однако MPEG-7 не стандартизует и не оценивает приложения. При разработке этого формата приложения использовались лишь для уточнения требований и оценки технологии. (Следует пояснить, что требования были сформулированы на основе анализа широкого ряда потенциальных приложений, которые могли бы использовать описания MPEG-7.) В итоге MPEG-7 не нацелен на какие-либо конкретные приложения. Скорее, наоборот -- элементы, стандартизованные MPEG-7, поддерживают настолько широкий спектр приложений, насколько это возможно.
Цели MPEG-7
В октябре 1996 экспертная группа MPEG начала работу над новой темой, которая должна была решить перечисленные выше задачи. Новый член семейства MPEG под названием "Multimedia Content Description Interface" (интерфейс описания мультимедиа-контента, сокращенно MPEG-7) устанавливает стандарт ключевой технологии, предназначенной для описания смыслового содержания (контента) аудиовизуальных данных в мульмедийной среде, и предлагает усовершенствованный комплекс средств их описания. Этот стандарт превышает ограниченные возможности существующих на сегодняшний день частных решений задачи идентификации контента, в основном за счет добавления большего количества типов данных.
Контент аудиовизуальных данных с ассоциированными данными в стандарте MPEG-7 может состоять из неподвижных изображений, графики, 3D-моделей, аудио, видео, речи и композитной информации о том, как эти элементы скомбинированы в мультимедийной презентации (сценарии).
Инструменты описания (Description Tools), используемые в MPEG-7, не зависят от способа хранения или кодирования описываемого контента. В формате MPEG-7 можно создать описание оцифрованного изображения, аналогового кинофильма или изображения, отпечатанного на бумаге.
MPEG-7, как и другие члены семейства MPEG, является стандартом представления аудиовизуальной информации, удовлетворяющим конкретным требованиям. Стандарт MPEG-7 базируется на других (стандартных) представлениях -- аналоговом, PCM, MPEG-1, -2 и -4.
Одна из функциональных возможностей стандарта MPEG-7 заключается в обеспечении ссылок на части других стандартов. Например, дескриптор формы, используемый в MPEG-4, может оказаться полезным и в контексте MPEG-7. То же может быть справедливо и в отношении полей вектора движения, используемых в MPEG-1 и MPEG-2.
MPEG-7 допускает различные степени детализации описания, делая возможными разные уровни дифференциации. Хотя описание в MPEG-7 не зависит от (закодированного) представления материала, новый стандарт может воспользоваться преимуществами контента в представлении MPEG-4, обеспечивающего средства кодирования аудиовизуального материала в виде объектов, связанных определенными временными (синхронизация) и пространственными отношениями (на экране -- в случае видео, в комнате -- в случае аудио). Если материал закодирован на основе MPEG-4, то возможно связать описания с элементами (объектами) сцены, такими как аудио и визуальные объекты.
Так как описательные характеристики в контексте приложения должны быть значимы, то они будут различны в разных пользовательских сферах и приложениях. Отсюда следует, что один и тот же материал может быть описан с использованием различных типов характеристик, настроенных на область приложения.
Примеры применения различных характеристик в области визуального материала: более низкий уровень абстракции применим для описания формы, размера, текстуры, цвета, движения (траектории) и позиции (где на сцене может быть найден объект?). Примеры характеристик в области аудиоматериала: тональность, темп, изменение темпа, позиция в звуковом пространстве... Высший уровень описания материала дает семантическую информацию: "в этой сцене: слева -- коричневая собака, собака лает, справа -- падает голубой шар, фоновый звук проезжающих машин". Могут быть и промежуточные уровни абстракции.
Уровень абстракции связан со способом извлечения характеристик: многие низкоуровневые характеристики могут извлекаться автоматически, в то время как высокоуровневые характеристики требуют значительного вмешательства человека.
После описания самого содержания необходимо добавить и другие типы информации о мультимедийных данных. В их числе: - Форма -- примером формы является используемый формат кодирования (т.е. JPEG, MPEG-2) или общий объем данных. Эта информация помогает установить, возможно ли "чтение" материала с терминала пользователя. - Условия доступа к материалу -- ссылки на информацию о правах на интеллектуальную собственность и его цена. - Классификация -- содержит рейтинг источника и классификацию контента по ряду предопределенных категорий. - Ссылки на другие связанные материалы -- помогут пользователю быстрее найти необходимую информацию. - Контекст -- в случае документального контента очень важно знать обстоятельства записи (например, Олимпийские Игры 1996, финал, мужчины, бег с препятствиями на 200 м).
Во многих случаях в описании желательно использовать текстовую информацию. Однако, функциональность описания не должна зависеть от языка, насколько это возможно. Пример, когда текст явно уместен -- это имена авторов, заголовки, географические названия и т.п.
Инструменты описания (Description Tools) стандарта MPEG-7 позволяют создавать описания (то есть наборы конкретных схем описаний -- Description Schemes -- и соответствующих дескрипторов по желанию пользователя), которые могут содержать: - Информацию о процессе создания и производства контента (режиссер, название, короткий киноролик); - Информацию, касающуюся использования контента (авторские права, история использования, график широковещательных передач); - Информацию о формате контента (формат хранения, кодировка); - Структурную информацию о пространственных, временных или пространственно-временных компонентах контента (сцены, сегментация в областях, отслеживание движения в областях); - Информацию о низкоуровневых характеристиках контента (цвета, текстуры, тембр звука, описание мелодии); - Концептуальную информацию о реальности, зафиксированной контентом (объекты и события, взаимодействия между объектами); - Информацию об эффективном просмотре контента (резюме, варианты, пространственные и частотные поддиапазоны ...); - Информацию о коллекциях объектов; - Информацию о взаимодействиях пользователя с контентом (пользовательские предпочтения, история использования).
Все эти описания, конечно же, закодированы таким образом, чтобы обеспечивать эффективный поиск информации, ее фильтрацию и т.д.
Чтобы согласовать множество взаимодополняющих описаний контента, MPEG-7 подходит к его описанию с различных точек зрения. Множества инструментов описания (Description Tools), разработанные при описании контента с различных точек зрения, представляются как различные входы. Однако они взаимозависимы и могут быть скомбинированы различными способами. В зависимости от приложения некоторые из них могут присутствовать, а другие -- отсутствовать или присутствовать частично.
Описания, составленные при помощи инструментов описания стандарта MPEG-7, ассоциированы непосредственно с контентом. Это позволяет осуществить быстрый поиск или фильтрацию материала, представляющего интерес для пользователя.
Данные в MPEG-7 могут располагаться вместе с аудиовизуальным материалом физически, в одном потоке данных или в одной системе хранения, но описания могут храниться и отдельно, находясь в любой точке планеты. Если контент и его описание хранятся отдельно, то необходимы механизмы, которые связывали бы мультимедийный материал и его описание в стандарте MPEG-7; эти механизмы должны работать в обоих направлениях.
MPEG-7 адресован многим приложениям, работающим в самых различных средах. Это значит, что он должен обеспечивать комплекс гибких и расширяемых средств для описания аудиовизуальных данных. Поэтому MPEG-7 -- это не монолитная система для описания контента, а, скорее, набор методов и инструментов для описания различных аспектов аудиовизуального контента.
MPEG-7 проектировался с учетом всех аспектов, рассматриваемых лидирующими стандартами (такими, как TV Anytime, Dublin Core, SMPTE Metadata Dictionary и EBUP/Meta). Эта деятельность по стандартизации сфокусирована на специфических приложениях и областях, в то время как MPEG-7 разрабатывался как универсальный стандарт, насколько это возможно. Для текстового представления описания контента MPEG-7 использует XML, так как именно XML Schema является основой DDL (Description Definition Language, язык определения описаний), который используется для синтаксического определения инструментов описания в MPEG-7 и для обеспечения их расширяемости (либо новых для MPEG-7, либо специфических для приложения). Учитывая популярность XML, его использование будет способствовать взаимодействию с другими стандартами метаданных в будущем.
MPEG в третьем тысячелетии
Все привыкли к тому, что доступ к аудио- и видеоматериалам прост. Эта легкость обеспечена простотой механизмов доступа, а также скудностью их источников. Сейчас становится доступным огромное количество аудиовизуальной информации в цифровой форме, в форме цифровых архивов, в World Wide Web, в виде информационного потока широковещательной системы, в личных и профессиональных базах данных... И ценность получаемой информации часто зависит от того, насколько просто ее найти, извлечь, получить доступ, отфильтровать или управлять ею.
Переход из второго в третье тысячелетие был ознаменован появлением новых способов создания, показа, фильтрации, поиска и управления цифровой мультимедийной информацией. Появилась полоса пропускания с улучшенным качеством аудио- и видеоинформации и увеличенной скоростью доступа. Тенденция очевидна: в последующие несколько лет пользователи столкнутся с огромным количеством контентов из множественных источников. И сегодня трудно даже представить себе, как можно организовать эффективный и точный доступ к столь огромному (почти бесконечному!) объему информации. Несмотря на то, что для пользователей эти источники становятся все более доступными, из-за их объема существенно усложняется эффективная идентификация и управление. Это относится как к профессионалам, так и к конечным пользователям. Вопрос идентификации и управления контентами ограничивается не только приложениями, главная задача которых -- извлечение информации из баз данных (например, из цифровых библиотек), но распространяется и на такие области, как выбор каналов телевещания, мультимедиа-редактирование и мультимедиа-каталоги.
Ситуация требует своевременного решения проблемы. И как ее решение предлагается MPEG-7.
MPEG-7 -- это ISO/IEC стандарт, разработанный экспертной группой по вопросам движущегося изображения (MPEG), комитетом, который разработал и такие успешные стандарты, как MPEG-1 (1992) и MPEG-2 (1994), и MPEG-4 (версия 1 в 1998 и версия 2 в 1999). Стандарты MPEG-1 и MPEG-2 позволили создать ныне широко используемые коммерческие продукты -- такие, как Video CD, MP3, цифровое аудиовещание (DAB), DVD, цифровое телевидение (DVB и ATSC), множество вариантов "видео по требованию" и прочих коммерческих услуг. MPEG-4 -- это первый действительно мультимедийный стандарт, обеспечивающий интерактивность и комбинирование естественного и искусственного материала, закодированного в форме объектов (он моделирует аудиовизуальные данные как композицию этих объектов). MPEG-4 обеспечивает стандартизованные технологические элементы, допускающие интеграцию парадигм производства, распределения и доступа к контенту в областях интерактивного мультимедиа, мобильного мультимедиа, интерактивной графики и усовершенствованного цифрового телевидения.
Стандарт MPEG-7, официально называемый "Multimedia Content Description Interface", обеспечивает огромное множество стандартизованных инструментов описания мультимедиа-контента. MPEG-7 используется как людьми, так и автоматическими системами, обрабатывающими аудиовизуальную информацию.
MPEG-7 предлагает усовершенствованный комплекс аудиовизуальных инструментов описания (элементы метаданных, их структура и взаимосвязи, определяемые стандартом в форме дескрипторов и схем описаний) для создания описаний (то есть набора конкретных схем описания и соответствующих дескрипторов по желанию пользователя). Эти описания формируют основу для приложений, требующих эффективного и действенного доступа (поиск, фильтрация, просмотр) к мультимедийному контенту. Это действительно непростая задача, учитывая широкий спектр требований и целевых мультимедийных приложений, а также большое число значимых аудиовизуальных характеристик.
MPEG-7 был разработан группой экспертов, в которую вошли специалисты по широковещательным технологиям, производители электроники, создатели и пользователи контента, издатели и специалисты по правам на интеллектуальную собственность, провайдеры телекоммуникационных услуг и ученые.
Дополнительную информацию о MPEG-7 можно найти на Web-сайте MPEG-7 (http://mpeg.cselt.it) и на сайте MPEG-7 Alliance (http://www.mpeg-industry.com). Эти Web-страницы содержат обширную информацию об MPEG, в том числе многое об MPEG-7, ряд доступных публике документов, несколько страниц Frequently Asked Questions (Часто задаваемые вопросы) и ссылки на другие Web-страницы, посвященные MPEG-7.
RSS
Twitter
Telegram
LinkedIn
Facebook
Google+
ВКонтакте
YouTube
Одноклассники
LiveJournal
