|
|
больше ...
Термины запроса в документе
Реферат
[**] Кодек содержит видеовход (33) для приема непрерывного видеопотока, кодер (42) для кодирования видеопотока, чтобы получать в результате закодированный видеопоток, видеовыход (37) для передачи видеопотока и средство (39) переключения. Средство переключения представлено для переключения закодированного видеопотока во время кодирования между первым режимом, в котором видеопоток кодируется в соответствии с первым форматом кодирования, и вторым режимом, в котором видеопоток кодируется в соответствии со вторым форматом кодирования. Изобретение также относится к соответствующему кодеку для декодирования видеопотока. В другом аспекте изобретение касается процессора для идентификации контура субъекта в видеоизображении. 
Полный текст патента
(57) Реферат / Формула:
Кодек содержит видеовход (33) для приема непрерывного видеопотока, кодер (42) для кодирования видеопотока, чтобы получать в результате закодированный видеопоток, видеовыход (37) для передачи видеопотока и средство (39) переключения. Средство переключения представлено для переключения закодированного видеопотока во время кодирования между первым режимом, в котором видеопоток кодируется в соответствии с первым форматом кодирования, и вторым режимом, в котором видеопоток кодируется в соответствии со вторым форматом кодирования. Изобретение также относится к соответствующему кодеку для декодирования видеопотока. В другом аспекте изобретение касается процессора для идентификации контура субъекта в видеоизображении.
Евразийское (2D 201300170 (13) А1
патентное
ведомство
(12) ОПИСАНИЕ ИЗОБРЕТЕНИЯ К ЕВРАЗИЙСКОЙ ЗАЯВКЕ
(43) Дата публикации заявки (51) Int. Cl. G06K 9/48 (2006.01)
2013.09.30 H04N 5/341 (2011.01)
(22) Дата подачи заявки 2009.07.14
(54) СИСТЕМА И СПОСОБ ОБРАБОТКИ ВИДЕО- И ТЕЛЕПРИСУТСТВИЯ
(31) (32) (33)
(62) (71)
(72) (74)
61/080,411; 0821996.6; 0905317.4; 0911401.8
2008.07.14; 2008.12.02; 2009.03.27;
2009.07.01
US; GB; GB; GB
201170188; 2009.07.14
Заявитель:
МЬЮЖН АйПи ЛИМИТЕД (GB) Изобретатель:
О'Коннелл Ян Кристофер, Хауз Алекс
(GB)
Представитель: Медведев В.Н. (RU)
(57) Кодек содержит видеовход (33) для приема непрерывного видеопотока, кодер (42) для кодирования видеопотока, чтобы получать в результате закодированный видеопоток, видеовыход (37) для передачи видеопотока и средство (39) переключения. Средство переключения представлено для переключения закодированного видеопотока во время кодирования между первым режимом, в котором видеопоток кодируется в соответствии с первым форматом кодирования, и вторым режимом, в котором видеопоток кодируется в соответствии со вторым форматом кодирования. Изобретение также относится к соответствующему кодеку для декодирования видеопотока. В другом аспекте изобретение касается процессора для идентификации контура субъекта в видеоизображении.
2420-193864ЕА/019 СИСТЕМА И СПОСОБ ОБРАБОТКИ ВИДЕО- И ТЕЛЕПРИСУТСТВИЯ
Это изобретение относится к обработке видео и, в частности, но не исключительно, к видеокодеку и видеопроцессору для использования в системе телеприсутствия для формирования "привидения Пеппера в реальном времени" и/или изображения субъекта, изолированного (исключенного) от фона, перед которым субъект был снят (далее в данном документе упоминаемого как "изображение изолированного субъекта").
В традиционной системе телеприсутствия видеоизображение субъекта, дополненное его фоном, захваченным в одном местоположении, передается, например, через Интернет или по сети с многопротокольной коммутацией с использованием меток (MPLS) в удаленное местоположение, где изображение субъекта и фона проецируется как "привидение Пеппера" или иным образом отображается. Передача может выполняться так, что изображение в "реальном времени" или, по меньшей мере, в псевдореальном времени может быть сформировано в удаленном местоположении, чтобы давать "телеприсутствие" субъекта в этом удаленном местоположении. Передача видео типично подразумевает использование предварительно установленного кодека для кодирования и/или декодирования видео в каждой из передающей и принимающей сторон системы.
Типично, кодек включает в себя программное обеспечение для шифрования и сжатия видеопотока (включающего в себя звук) в пакеты данных для передачи. Способ кодирования содержит прием видеопотока и кодирование видеопотока в один из сигналов с чересстрочной или прогрессивной разверткой (и может также содержать технологию сжатия).
Было обнаружено, что "привидение Пеппера" или изображение изолированного, по существу, неподвижного субъекта, сформированное из видеосигнала с прогрессивной разверткой, дает в результате чистое, детализированное изображение. Однако, при одинаковом числе кадров в секунду (кадр/с) сигналы с прогрессивной разверткой равны удвоенному размеру сигналов с чересстрочной разверткой и, в системе телеприсутствия, где
видеоизображение захватывается в одном местоположении и передается в другое по каналу связи с ограниченной пропускной способностью, передача больших по объему сигналов с прогрессивной разверткой может приводить в результате к запаздыванию/несогласованности, которые создают нежелательные артефакты в проецируемом изображении "реального времени". Например, если субъект видео перемещается, изолированный субъект или "привидение Пеппера" может не выглядеть плавным, запаздывание может приводить в результате к заметной задержке во взаимодействии субъекта изолированного субъекта или "привидения Пеппера" с реальным человеком, или узкое место в канале связи может приводить в результате временно пустой кадр видео и/или отсутствие звука. Это снижет реализм телеприсутствия субъекта.
Может быть возможным уменьшать такую задержку сигнала посредством сжатия видеопотока или кодирования с помощью видеосигналов с чересстрочной разверткой. Как правило, необработанный ВР-поток со стандартным разрешением (SD) составляет 270 Мбит/с и может быть сжат до 1,5-2 Мбит/с, 720Р до 2-3 Мбит/с, а 1080Р до 4-10 Мбит/с.
Однако, сжатие видеопотока приводит в результате к потерям отдельных элементов целостности первоначальных данных или некоторым ухудшениям. Например, сжатие HD-видеопотока типично вызывает ослабление насыщенности цвета изображения, понижение контраста и привносит размытости движения вокруг тела субъекта из-за видимой или воспринимаемой потери фокуса линзы. Это видимое размытие изображения является наиболее очевидным в областях деталей, где изображение затемняется, например, в глазных впадинах, в случаях, когда рассматриваемый субъект движется резко или быстро влево или вправо, и когда видеоизображение имеет высокую контрастность.
Видеосигналы с чересстрочной разверткой могут быть использованы для того, чтобы уменьшать задержку сигнала, поскольку они используют половину полосы пропускания сигналов с прогрессивной разверткой при той же частоте кадров/с, в то же время поддерживая видимость плавного движения изолированного
субъекта или "привидения Пеппера". Однако, эффект чередующегося переключения между нечетными и четными линиями видеосигналов с чересстрочной разверткой уменьшает характеристику вертикального разрешения изображения. Это может быть компенсировано размытием (сглаживанием) изображения, однако, такое сглаживание достигается за счет четкости изображения.
Преимуществом сигналов с чересстрочной разверткой над сигналами с прогрессивной разверткой является то, что движение в изображении, сформированном из сигналов с чересстрочной разверткой, выглядит более плавным, чем движение в изображении, сформированном из сигналов с прогрессивной разверткой, поскольку сигналы с чересстрочной разверткой используют два поля на кадр. Изображения изолированного субъекта или "привидения Пеппера", сформированные с помощью видеосигналов с прогрессивной разверткой, могут выглядеть более приукрашенными и, следовательно, менее реалистичными, чем изображения, сформированные с помощью видеосигналов с чересстрочной разверткой, вследствие меньшей степени захвата движения и того факта, что полные видеокадры отображаются прогрессивным образом. Однако, текст и графика, особенно статические графические изображения, могут извлекать выгоду из того, что формируются с помощью видеосигнала с прогрессивной разверткой, поскольку изображения, сформированные из сигналов с прогрессивной разверткой, имеют более плавные, точные края контура для статических изображений.
Соответственно, какой бы тип формата кодирования предварительно установленный кодек ни использовал, существует потенциал для появления нежелательных эффектов в результирующем изолированном субъекте или "привидении Пеппера". Это является конкретной проблемой при формирования телеприсутствия в публичных/массовых мероприятиях, при которых снимается действие, например, действие на сцене, и системные требования могут изменяться значительно на всем протяжении представления.
Для определенных систем телеприсутствия (называемых далее в данном документе "иммерсивными системами телеприсутствия") видеоизображение субъекта, исключенного из фона изображения
(изображение изолированного субъекта), захваченное в одном местоположении, отправляется в удаленное местоположение, где исключенное изображение отображается как изображение изолированного субъекта и/или "привидение Пеппера", возможно рядом с реальным субъектом в удаленном местоположении. Это может быть использовано для того, чтобы создавать иллюзию того, что субъект исключенного изображения фактически присутствует в удаленном местоположении. Площадь изображения, которая не является субъектом, содержит черный цвет, идеальный в своей чистой форме (т.е., не серый). Однако, обработка и передача изображения изолированного субъекта может засорять черную область изображения ошибочными видеосигналами, давая в результате артефакты, такие как рябь, низкая освещенность и цветовая интерференция, что ослабляет иммерсивное восприятие телеприсутствия.
Согласно первому аспекту изобретения предоставляется кодек, содержащий видеовход для приема непрерывного видеопотока, кодер для кодирования видеопотока, чтобы получать в результате закодированный видеопоток, видеовыход для передачи закодированного видеопотока и средство переключения для переключения кодера во время кодирования видеопотока между первым режимом, в котором видеопоток кодируется в соответствии с первым форматом кодирования, и вторым режимом, в котором видеопоток кодируется в соответствии со вторым форматом кодирования.
Согласно второму аспекту изобретения предоставляется кодек, содержащий видеовход для приема закодированного видеопотока, декодер для декодирования закодированного видеопотока, чтобы получать в результате декодированный видеопоток, видеовыход для передачи декодированного видеопотока и средство переключения для переключения декодера во время декодирования закодированного видеопотока между первым режимом, в котором закодированный видеопоток декодируется в соответствии с первым форматом кодирования, и вторым режимом, в котором закодированный видеопоток декодируется в соответствии со вторым форматом кодирования.
Преимущество изобретения в том, что кодек может переключаться в ходе работы, чтобы кодировать видеопоток в различном формате, когда целесообразно, на основе отснятого видеоматериала, возможностей сети, например, доступной пропускной способности, и/или других внешних факторов. Средство переключения может реагировать на внешний сигнал управления для переключения кодера/декодера между первым режимом и вторым режимом. Например, внешний сигнал управления может формироваться автоматически при обнаружении конкретного условия или пользователем, таким как презентатор, артист или другой оператор, управляющий кнопкой/переключателем.
Кодек может быть выполнен с возможностью передачи и приема управляющих сообщений к/от соответствующего кодека, от которого он принимает/которому передает закодированный видеопоток, управляющие сообщения включают в себя указание формата кодирования, в котором видеопоток закодирован. Кодек может быть выполнен с возможностью переключения между режимами в ответ на принятые управляющие сообщения.
Формат кодирования может быть кодированием видеосигнала как сигнала с прогрессивной разверткой, например, 720р, 1080р, или видеосигнала с чересстрочной разверткой, например, 10801, кодированием видеопотока с конкретной частотой кадров, например, от 24 до 120 кадров в секунду, и/или сжатием видеосигнала, например, кодированием согласно конкретному стандарту цветового сжатия, такому как 3:1:1, 4:2:0, 4:2:2 или 4:4:4, или кодированием для достижения конкретной скорости передачи входных/выходных данных, например, между 1,5-4 мегабит/с. Соответственно, кодек может переключаться между сигналом с прогрессивной и с чересстрочной разверткой, различными частотами кадров и/или стандартами сжатия, когда целесообразно.
Следует понимать, что форматы с переменной скоростью передачи данных, такие как MPEG, являются одним форматом кодирования в значении термина, который используется в данном документе.
Согласно третьему аспекту изобретения предоставляется
система телеприсутствия, содержащая камеру для съемки субъекта, который должен отображаться как изолированный субъект и/или "привидение Пеппера", первый кодек согласно первому аспекту изобретения для приема видеопотока, сформированного камерой, и вывода закодированного видеопотока, средство для передачи закодированного видеопотока второму кодеку согласно второму аспекту изобретения в удаленном местоположении, второй кодек, выполненный с возможностью декодирования закодированного видеосигнала и вывода декодированного видеосигнала в устройство для воспроизведения изображения изолированного субъекта и/или "привидения Пеппера" на основе декодированного видеосигнала, и управляемый пользователем переключатель, выполненный с возможностью формирования сигнала управления, чтобы инструктировать первому кодеку переключаться между первым режимом и вторым режимом.
Такая система позволяет оператору, например, режиссеру, презентатору, артисту и т.д., управлять способом кодирования на основе снимаемого действия. Например, если присутствует небольшое движение субъекта, тогда оператор может выбирать формат, который предоставляет сигнал с прогрессивной разверткой с небольшим сжатием или без сжатия, тогда как в случае значительного движения субъекта оператор может выбирать формат, который предоставляет сигнал с чересстрочной разверткой, необязательно, с высоким сжатием.
Управляемый пользователем переключатель может быть выполнен с возможностью формирования сигнала управления, чтобы инструктировать второму кодеку переключаться между первым режимом и вторым режимом. Альтернативно, второй кодек может быть выполнен с возможностью автоматического определения формата кодирования закодированного видеопотока и переключения, чтобы декодировать закодированный видеопоток с помощью правильного (первого или второго) режима.
Согласно четвертому аспекту изобретения предоставляется способ формирования телеприсутствия субъекта, содержащий съемку субъекта, чтобы формировать непрерывный видеопоток, передачу видеопотока в удаленное местоположение и воспроизведение
изолированного изображения и/или "привидения Пеппера" в удаленном местоположении на основе передаваемого видеопотока, при этом передача видеопотока содержит выбор различных форматов из множества форматов кодирования во время передачи видеопотока на основе изменений в снимаемом действии и изменение формата кодирования на выбранный формат кодирования во время передачи.
Изменения в снимаемом действии могут быть движением субъекта, введением дополнительного субъекта в видеокадр, изменениями в освещении субъекта, изменениями в уровне взаимодействия снимаемого субъекта с человеком в удаленном местоположении, включением текста или графики или другими подходящими изменениями в действии, снимаемом/формируемом в видео.
Согласно пятому аспекту изобретения предоставляется система телеприсутствия, содержащая камеру для съемки субъекта, который должен отображаться как изолированное изображение и/или "привидение Пеппера", канал связи для передачи закодированного видеопотока и дополнительных данных, связанных с созданием изолированного изображения и/или "привидения Пеппера", в удаленное местоположение, устройство в удаленном местоположении для формирования изолированного изображения и/или изображения "привидения Пеппера" с помощью передаваемого видеопотока и средство переключения для назначения полосы пропускания каналу связи для передачи видеосигнала, когда полоса пропускания не используется для передачи дополнительных данных.
Преимущество системы пятого аспекта изобретения в том, что она концентрируется на доступной полосе пропускания, чтобы достигать более реалистичного изолированного изображения и/или "привидения Пеппера". Например, дополнительные данные могут быть данными, например, аудиопотоком, требуемыми для взаимодействия между снимаемым субъектом и людьми, такими как аудитория и т.д., в удаленном местоположении, и объем дополнительных данных, который необходимо передавать, может изменяться вместе с изменениями в уровне взаимодействия.
Согласно шестому аспекту изобретения предоставляется видеопроцессор, содержащий видеовход для приема видеопотока,
видеовыход для передачи обработанного видеопотока, при этом процессор выполнен с возможностью идентификации контура субъекта в каждом кадре видеопотока посредством сканирования пикселов каждого кадра, чтобы идентифицировать соседние пикселы или наборы пикселов, при этом относительная разница между атрибутом соседних пикселов или наборов пикселов выше предварительно определенного уровня, и определять контур как непрерывную линию между этими пикселами или наборами пикселов и делать пикселы, которые выходят за пределы контура, предварительно выбранного цвета, предпочтительно черного.
Видеопроцессор шестого аспекта изобретения может быть полезен, поскольку он может автоматически исключать субъект в каждом кадре видеопотока, в то же время устраняя артефакты шума за пределами контура субъекта. Видеопроцессор может быть выполнен с возможностью обработки видеопотока, по существу, в реальном времени, так что видеопоток может передаваться (или, по меньшей мере, отображаться) непрерывным образом.
Относительная разница может быть контрастом в яркости и/или цвете, пикселы или набор пикселов, представляющие субъект, выглядят ярче, чем пикселы или набор пикселов, представляющих окружающий темный фон. Этот контраст может быть улучшен, если субъект в видео был освещен сзади так, чтобы создавать яркий контур света вокруг субъекта (что вполне типично в осветительных установках системы телеприсутствия).
Относительная разница может быть разницей в характеристическом спектре, захваченном в соседних пикселах или наборах пикселов. В частности, характеристический спектр пиксела может быть относительной интенсивностью различных частотных компонентов, таких как, например, красный, синий, зеленый (RGB) пикселы. Например, субъект в видео может быть освещен сзади источниками света, которые излучают свет, имеющий другой частотный спектр по сравнению со светом, излучаемым из источника света, освещающим субъект спереди. В результате, относительная интенсивность частотных компонентов каждого пиксела будет зависеть от того, освещается ли область, представленная пикселом, главным образом, передними источниками
света или задними источниками света. Контур субъекта может быть
идентифицирован, когда присутствует изменение выше
предварительно определенного уровня в относительной интенсивности частотных компонентов соседних пикселов или наборов пикселов. Например, белые LED могут формировать острые пики на очень точных частотах, давая в результате характеристический спектр пиксела, который отличается от характеристического спектра, который будет получен от источника света, который формирует свет в широком диапазоне частот, такой как свет вольфрамовой лампы.
Идентификация контура может содержать определение предварительно установленного числа последовательных пикселов, которые имеют атрибут (например, яркость и/или цвет), который контрастирует с атрибутом соседнего предварительно установленного числа последовательных пикселов. Задавая предварительно установленное число пикселов в соответствующее пороговое значение, процессор ошибочно не идентифицирует случайный шум как контур субъекта (число пикселных артефактов, сформированных посредством шума, гораздо меньше, чем число пикселов, сформированных сходными небольшими объектами субъекта). В одном варианте осуществления видеопроцессор имеет средство регулировки предварительно установленного числа (т.е., регулировки порогового значения, при котором контрастирующие пикселы считаются вызванными присутствием субъекта, а не шумовым артефактом).
Процессор может быть выполнен с возможностью модификации кадра, чтобы предоставлять линию пикселов с ярким относительным свечением вдоль идентифицированного контура. Каждый пиксел яркого относительного свечения может иметь такой же цвет, что и соответствующий пиксел, который он заменил. Применение пикселов с ярким свечением может улучшать реализм изображения изолированного субъекта и/или "привидения Пеппера", созданного посредством обработанного видеопотока, поскольку яркий контур света вокруг субъекта, может помогать создавать иллюзию того, что изображение является трехмерным, а не двухмерным изображением. Кроме того, за счет использования одинакового
цвета для пикселов с ярким свечением, применение пикселов с ярким свечением не визуализирует изображение нереалистично.
В одной конфигурации идентификация контура субъекта содержит уменьшение глубины цвета кадра, чтобы создавать кадр с уменьшенной глубиной цвета, сканирование кадра с уменьшенной глубиной цвета, чтобы идентифицировать область кадра, содержащую пикселы или наборы пикселов, которые имеют контраст выше предварительно определенного порогового значения, сканирование пикселов в области исходного кадра (которая не имеет уменьшенной глубины цвета), соответствующей идентифицированной области кадра с уменьшенной глубиной цвета, чтобы идентифицировать пикселы или наборы пикселов, которые имеют контраст выше предварительно определенного уровня, и определение контура как непрерывной линии между этими пикселами или наборами пикселов.
Эта конфигурация является преимущественной, поскольку сканирование может первоначально выполняться с меньшей степенью детализации по кадру с уменьшенной глубиной цвета, и только идентифицированная область исходного кадра должна сканироваться с высокой степенью детализации. Таким образом, идентификация контура может выполняться быстрее.
Согласно седьмому аспекту изобретения предоставляется носитель данных, имеющий сохраненные на нем инструкции, которые, когда выполняются процессором, инструктируют процессору принимать видеопоток, идентифицировать контур субъекта в каждом кадре видеопотока посредством сканирования пикселов каждого кадра, чтобы идентифицировать соседние пикселы или наборы пикселов, при этом относительная разница между атрибутом соседних пикселов или наборов пикселов выше предварительно определенного уровня, и определять контур как непрерывную линию между этими пикселами или наборами пикселов, делать пикселы, которые выходят за пределы контура, предварительно выбранного цвета, предпочтительно черного, и передавать обработанный видеопоток.
Видеопроцессор может быть частью кодека согласно первому
аспекту изобретения, видеопроцессором, обрабатывающим
видеопоток перед кодированием видеопотока, или альтернативно, может быть расположен выше по технологическому потоку, чем кодек, который кодирует видеопоток. Изолирование/исключение субъекта из фона может допускать использование дополнительных технологий улучшения как части процесса кодирования кодека.
Согласно восьмому аспекту изобретения предоставляется способ съемки субъекта, который должен быть спроецирован как "привидение Пеппера", способ содержит съемку субъекта под осветительной установкой, имеющей один или более передних источников света для освещения субъекта спереди и один или более задних источников освещения для освещения субъекта сзади, при этом передние источники освещения излучают свет, имеющий характеристический частотный спектр, который отличается от характеристического частотного спектра света, излучаемого задними источниками освещения.
Передние источники освещения могут быть источниками освещения, которые излучают свет в широком диапазоне частот, такими как вольфрамовая или галогенная лампа, или излучают свет, имеющий множественные частотные (по меньшей мере, более двух) пики, рассеянные по спектру видимого света, например, свет дуговых ламп. Задние источники освещения могут быть источниками освещения, которые излучают свет на одной или двух конкретных частотах, например, LED-источники освещения. Следует понимать, однако, что в другом варианте осуществления передние источники освещения могут быть LED-источниками освещения, а задние источники освещения - вольфрамовыми, галогенными или дуговыми лампами.
В альтернативном варианте осуществления передние и задние источники освещения являются источниками освещения одного типа, но выполнены с возможностью излучения света, имеющего частотный спектр, сконцентрированный на различных частотах. Например, передние и задние источники освещения могут быть дуговыми лампами, передние источники освещения выполнены с возможностью излучения белого света, тогда как задние источники освещения выполнены с возможностью излучения синего света. Это опять же будет создавать разницу в характеристическом частотном спектре,
поскольку желтая часть спектра отсутствует в пикселах результирующего отснятого видеоматериала, который захватывает области, главным образом, освещенные задними источниками освещения.
В дополнительном варианте осуществления передние и задние источники освещения могут быть выполнены с возможностью излучения света на различных частотах вне диапазона зрения обычного человека, но которые могут быть обнаружены в подходящем оборудовании, например, инфракрасный или ультрафиолетовый свет.
Способ может содержать выполнение спектрального анализа
результирующего отснятого видеоматериала, чтобы
идентифицировать контур субъекта. Спектральный анализ может выполняться с помощью видеопроцессора согласно шестому аспекту изобретения.
Способ может содержать измерение характеристического частотного спектра, присутствующего, когда один из задних источников освещения и передних источников освещения включается, а другой из передних источников освещения и задних источников освещения выключается, и идентификацию контура субъекта в результирующем отснятом видеоматериале посредством идентификации пикселов в отснятом видеоматериале, при этом измеренный характеристический частотный спектр выше предварительно определенного порогового значения.
Согласно девятому аспекту изобретения предоставляется видеопроцессор, содержащий видеовход для приема видеопотока, видеовыход для передачи обработанного видеопотока, при этом процессор выполнен с возможностью идентификации контура субъекта в каждом кадре видеопотока посредством сканирования пикселов каждого кадра, чтобы идентифицировать соседние пикселы или наборы пикселов, при этом относительная разница между атрибутом соседних пикселов или наборов пикселов выше предварительно определенного уровня, и модифицировать один или оба этих пиксела или набора пикселов, чтобы они имели более яркое свечение, чем первоначальное свечение любого из двух пикселов или наборов пикселов.
Согласно десятому аспекту изобретения предоставляется носитель данных, имеющий сохраненные на нем инструкции, которые, когда выполняются процессором, инструктируют процессору принимать видеопоток, идентифицировать контур субъекта в каждом кадре видеопотока посредством сканирования пикселов каждого кадра, чтобы идентифицировать соседние пикселы или наборы пикселов, при этом относительная разница между атрибутом соседних пикселов или наборов пикселов выше предварительно определенного уровня вследствие темного фона по сравнению с ярким субъектом, и модифицировать один или оба из этих пикселов или наборов пикселов, чтобы они имели более яркое свечение, чем первоначальное свечение любого из двух пикселов или наборов пикселов.
Согласно одиннадцатому аспекту изобретения предоставляется кодек, содержащий видеовход для приема видеопотока субъекта, кодер для кодирования видеопотока в результирующий закодированный видеопоток и видеовыход для передачи закодированного видеопотока, кодер выполнен с возможностью обработки каждого кадра видеопотока посредством идентификации контура субъекта, например, способом шестого аспекта изобретения, и кодирования пикселов, которые находятся в пределах контура, в то же время игнорируя пикселы, которые выходят за пределы контура, чтобы формировать закодированный видеопоток.
Одиннадцатый аспект изобретения может быть
преимущественным, поскольку за счет кодирования только субъекта и игнорирования остальной части каждого кадра размер закодированного видеосигнала может быть уменьшен. Это может помогать уменьшать требуемую полосу пропускания и задержку сигнала во время передачи.
Пикселы, которые выходят за пределы контура, могут быть проигнорированы посредством фильтрации пикселов, имеющих определенный цвет или диапазон цветов, например, черный или диапазон от черного до серого, или пикселы, имеющие свечение ниже конкретного уровня. Альтернативно, пикселы, которые выходят за пределы контура, могут быть идентифицированы из
пикселов с ярким свечением, которые определяют контур субъекта, и пикселы по одну сторону (снаружи) этого контура из пикселов с ярким свечением, игнорируются. Использование пикселов с ярким свечением в качестве ориентира для того, чтобы удалять нежелательный фон, может быть полезным, поскольку темные и/или пикселы с низким свечением, присутствующие в субъекте могут быть сохранены, не допуская нежелательного размытия этих частей субъекта.
Кодер может содержать мультиплексор для
мультиплексирования видеопотока. Пикселы, которые находятся в пределах контура субъекта, могут быть поделены на ряд сегментов, и каждый сегмент передается по отдельной несущей частоте как мультиплексированный сигнал с частотным разделением (FDM). Это потенциально уменьшает необходимость сжатия, при необходимости, требуемого для видеопотока. Мультиплексирование с частотным разделением будет обеспечивать дополнительную пропускную способность, позволяющую кодеку растягивать видеопоток на первоначальной временной основе, в то же время минимизируя сжатие, при необходимости. Таким образом, задержка сигнала уменьшается, в то же время передаваемая информация увеличивается.
В одном варианте осуществления кодер может содержать устройство масштабирования, чтобы масштабировать размер изображения, как требуется, на основе доступной пропускной способности. Например, если нет достаточной пропускной способности, чтобы передавать 4:4:4 RGB-сигнал, изображение может быть масштабировано, чтобы уменьшать 4:4:4 RGB-сигнал до 4:2:2 YUV-сигнала. Это может требоваться для того, чтобы уменьшать задержку сигнала так, что, например, сеанс "вопрос-ответ" может происходить между субъектом изолированного субъекта и/или "привидения Пеппера" и человеком в местоположении, где изолированный субъект и/или "привидение Пеппера" отображается.
Настройка формата кодирования, такого как сжатие, частота кадров и т.д., почти в каждом случае будет влиять на уровень задержки сигнала. Для предварительно установленных кодеков
задержка сигнала может быть определена заранее с помощью соответствующих измерений, и видео и звук, синхронизированные в местоположении, где изолированный субъект и/или "привидение Пеппера" отображается, принимают во внимание задержку сигнала. Однако, с переключаемыми кодеками согласно изобретению, в котором формат кодирования может изменяться во время передачи видеопотока, изменения в задержке сигнала должны быть учитываться для того, чтобы сохранять синхронизированный звук и видео. Кроме того, даже для систем, содержащих предварительно установленные кодеки, задержка сигнала изменяется во время и/или между передачами видеопотоков, например, вследствие непредсказуемых изменений в маршрутизации по сети, например, по сети связи.
Согласно двенадцатому аспекту изобретения предоставляется кодек, содержащий видеовход для приема видеопотока и ассоциированного аудиопотока, кодер для кодирования видео- и аудиопотоков и видеовыход для передачи закодированного видео- и аудиопотоков другому кодеку, при этом кодек выполнен с возможностью, во время передачи видео- и аудиопотоков, периодически передавать другому кодеку тестовый сигнал (сигнал проверки связи), принимать эхосигнал в ответ на тестовый сигнал от другого кодека, определять из времени между отправкой тестового сигнала и приемом ответного эхосигнала задержку сигнала для передачи другому кодеку и вводить соответствующую задержку в или дополнительный аудиопоток для определенной задержки сигнала.
Согласно тринадцатому аспекту изобретения предоставляется кодек, содержащий видеовход для приема от другого кодека закодированного видеопотока и ассоциированного аудиопотока, декодер для декодирования видео- и аудиопотоков и видеовыход для передачи декодированного видео- и аудиопотоков, при этом кодек выполнен с возможностью, во время передачи видео- и аудиопотоков, передачи ответного эхосигнала другому кодеку в ответ на прием тестового сигнала (сигнала проверки связи).
Таким образом, кодеки могут компенсировать изменения в задержке сигнала, вызываемой передачей между двумя кодеками,
поддерживая подавление эха и/или синхронизацию видео- и аудиопотоков. Фиксированная задержка времени для остальной части системы (т.е., все за исключением задержки сигнала, вызванной передачей между двумя кодеками) может быть запрограммирована в кодеке согласно одиннадцатому аспекту изобретения, и кодек может определять соответствующую задержку, чтобы вносить ее в аудиопоток, добавляя определенную задержку сигнала к фиксированной задержке времени. Например, дополнительные фиксированные задержки могут быть привнесены в результате обработки сигнала и от задержек аудиосистем и систем отображения в местоположении, в котором изолированный субъект и/или "привидение Пеппера" отображается, и эти задержки могут быть измерены перед передачей видео- и аудиопотоков и предварительно запрограммированы в кодеке.
Согласно четырнадцатому аспекту изобретения
предоставляется система для передачи множества видеопотоков,
которые должны отображаться как изолированный субъект и/или
"привидение Пеппера", содержащая кодек для приема множества
видеопотоков, кодирования множества видеопотоков и передачи
закодированного множества видеопотоков в удаленное
местоположение, при этом множество видеопотоков
синхронизируются при формировании (синхронизированы) на основе одного из множества видеосигналов.
Система согласно четырнадцатому аспекту изобретения является преимущественной, поскольку она гарантирует, что видеопотоки синхронизированы, когда отображаются как изолированное изображение и/или "привидение Пеппера". Например, система может быть частью канала связи, в которой множество участников/субъектов в одном местоположении снимаются на камеру, и получающееся в результате множество видеопотоков передается в другое местоположение. Для того, чтобы гарантировать синхронизацию видеопотоков при отображении, видеопотоки синхронизируются посредством кодека.
Следует понимать, что каждый аспект изобретения может быть использован независимо или в комбинации с другими аспектами изобретения.
Варианты осуществления изобретения будут сейчас описаны, только в качестве примера, со ссылкой на сопровождающие чертежи, на которых:
Фиг. 1 - это схематический вид системы телеприсутствия согласно варианту осуществления изобретения;
Фиг. 2 - это схематический вид кодека согласно варианту осуществления изобретения/
Фиг. 3 - это схематический вид съемочной установки согласно варианту осуществления изобретения;
Фиг. 4 - это схематический вид устройства для создания "привидения Пеппера" в соответствии с вариантом осуществления изобретения;
Фиг. 5 - это кадр видеоизображения, схематически показывающий обработку кадра кодеком;
Фиг. 6 - это схематический вид аудиоэлектронной аппаратуры системы телеприсутствия согласно варианту осуществления изобретения; и
Фиг. 7 и 8 - это схематические чертежи осветительной установки для съемки субъекта, который должен быть спроецирован как изображение "привидения Пеппера".
Фиг. 1 показывает систему телеприсутствия согласно варианту осуществления изобретения, содержащую первое местоположение 1, в котором субъект, который должен отображаться как "привидение Пеппера", снимается на камеру, и второе местоположение 2, удаленное от первого местоположения 1, в котором "привидение Пеппера" субъекта воспроизводится. Данные передаются между первым местоположением 1 и вторым местоположением 2 по двунаправленному каналу 20 связи, например, Интернету или MPLS-сети, оба из них могут использовать виртуальную частную сеть или т.п.
Обращаясь к фиг. 1, 3, 7 и 8, первое местоположение 1, которое может быть киносъемочной студией, содержит камеру 12 для захвата изображения субъекта 104, такого как исполнитель или участник встречи, который должен быть спроецирован в качестве "привидения Пеппера" в местоположении 2. В интерактивной системе, где субъект 104 должен взаимодействовать
с человеком (людьми) во втором местоположении 2, первое местоположение может содержать полупрозрачный экран 108, например, пленку, как описано в WO2005096095 или WO2007052005, и проекционный прибор 14 для проецирования изображения на полупрозрачный экран 108 так, что субъект 104 может видеть отражение 118 спроецированного изображения на полупрозрачном экране 108. Пол студии покрыт черным материалом 112, чтобы предотвращать блеск/блик, создаваемый в линзах камеры в результате присутствия полупрозрачного экрана 108.
Субъект 104 освещается осветительной конструкцией, содержащей передние источники 403-409 освещения для освещения субъекта спереди (со стороны субъекта, которая захватывается камерой 12) и задние источники 410-416 освещения для освещения субъекта сзади и сбоку.
Передние источники 403-409 освещения содержат источники освещения для освещения различных частей субъекта 104, в этом варианте осуществления пара верхних передних источников 4 03, 404 освещения для освещения головы и туловища субъекта и пара нижних передних источников 405, 406 освещения для освещения ног и ступней субъекта. Передние источники освещения дополнительно содержат верхний источник 4 07 освещения глаз для освещения глаз субъекта и два встроенных в пол источника 408, 409 освещения для подъема теней в одежде субъекта.
Задние источники 410-416 освещения также содержат источники освещения для освещения различных частей субъекта 104. В этом варианте осуществления задние источники 410-416 освещения содержат верхние задние источники 410, 411 освещения для освещения головы и туловища субъекта и пару нижних задних источников 412, 413 освещения для освещения ног и ступней субъекта 104. Задние источники освещения дополнительно содержат верхний центральный задний источник 414 освещения для освещения головы и талии субъекта 104. Боковые источники 415 и 416 освещения освещают бока субъекта 104.
Субъект 105 освещается сверху источниками 417 и 418 освещения. Одноцветный фон 419, такой как черная стена, обеспечивает пустой фон.
Камера 12 содержит широкоугольный объектив с регулируемой скоростью срабатывания затвора; частоты кадров могут регулироваться между 25-120 кадрами в секунду (кадр/с) с чересстрочной разверткой; и может снимать со скоростью вплоть до 60 кадр/с с прогрессивной разверткой.
Видеопоток необработанных данных, сформированный камерой 12, подается на вход 53 первого кодека 18. Кодек 18 может быть интегрирован в или быть отдельным от камеры 12. В другом варианте осуществления камера может выводить видеопоток с прогрессивной разверткой, чересстрочной разверткой или в другом предварительно заданном формате в первый кодек 18.
Первый кодек 18 кодирует видеопоток, как описано ниже со ссылкой на фиг. 2, и передает закодированный видеопоток по каналу 20 связи во второе местоположение 2.
Обращаясь теперь к фиг. 1 и 4, второе местоположение 2 содержит второй кодек 22, который принимает закодированный видеопоток и декодирует видеопоток для отображения в качестве "привидения Пеппера" 84 с помощью устройства, показанного на фиг. 4.
Устройство содержит проектор 90, который принимает декодированный видеопоток, выведенный вторым кодеком 22, и проецирует изображение на основе декодированного видеопотока на полупрозрачный экран 92, поддерживаемый между стойкой 88 и такелажной точкой 96. Предпочтительно, проектором 90 является 1080 HD, способный обрабатывать видеопотоки как с прогрессивной, так и чересстрочной разверткой. Полупрозрачный экран 92 является экраном из пленки, который описан в WO2005096095 и/или WO2007052005.
Участник 100 аудитории, смотрящий на полупрозрачный экран
92, воспринимает изображение 84, отражаемое полупрозрачным
экраном на сцене 86. Аудитория 100 смотрит на изображение 84
через переднюю маску 94 и 98. Черная драпировка. 82
предусмотрена позади сцены 8 6, чтобы обеспечивать фон
спроецированному изображению. Соответствующий звук
воспроизводится через динамик 30.
В одном варианте осуществления местоположение 2 может
дополнительно содержать камеру 26 для съемки участников 100 аудитории или действия на сцене 8 6 и микрофон 24 для записи звука в местоположении 2. Камера способна обрабатывать видеопотоки и с прогрессивной, и с чересстрочной разверткой. Видеопотоки, сформированные посредством камеры 26, и аудиопотоки, сформированные посредством микрофона 24, подаются в кодек 22 для передачи в местоположение 1.
Видео, переданное в местоположение 1, декодируется первым кодеком 18 и прибор 14 для проекции проецирует изображение на основе декодированного видеосигнала, так что изображение 118, воспроизведенное на экране 108, может быть видно субъекту 104. Передаваемый звук воспроизводится через динамик 16.
В этом варианте осуществления кодеки 18 и 22 идентичны, однако, следует понимать, что в другом варианте осуществления кодеки 18 и 22 могут быть различными. Например, если местоположение 2 не содержит камеру 26 и микрофон 24 для подачи видео- и аудиопотоков в местоположение 1, кодек 22 может быть просто декодером для приема видео- и аудиопотоков, а кодек 18 может просто быть кодером для кодирования видео- и аудиопотоков.
Первый и второй кодеки 18 и 22 находятся в соответствии с кодеком 32, показанным на фиг. 2. Кодек 32 имеет видеовход 33 для приема непрерывного видеопотока, захваченного камерой 12 или 26, и аудиовход 35 для приема аудиопотока, записанного посредством микрофона 10 или 24. Записанный видеопоток подается через фильтр и корректор 53 временных искажений, отфильтрованный и откорректированный по времени видеосигнал подается в видеопроцессор, в этом варианте осуществления оптический усилитель 36 четкости (OSE) . В этом варианте осуществления OSE 36 показан как часть кодека 32, но следует понимать, что в другом варианте осуществления OSE 36 может быть отдельным от кодека 32.
Обращаясь к фиг. 5, (OSE) выполнен с возможностью идентификации контура 201 субъекта 202 в каждом кадре видеопотока посредством сканирования пикселов каждого кадра 203 видеопотока, чтобы идентифицировать пикселы 204, 204' или
наборы пикселов 205 (показана только часть из них), 205', которые имеют контраст выше предварительно определенного уровня, и определять контур как непрерывную линию между этими пикселами 204, 204' или наборами пикселов 205, 205'. На фиг. 5 пикселы 204 с низким свечением и наборы пикселов 205 показаны штриховыми линиями, пикселы с ярким свечением показаны пустыми и последовательностями точек.
Следует понимать, что точная яркость пикселов с низким и ярким свечением будет изменяться от пиксела к пикселу, и заштрихованные и пустые пикселы предназначены, чтобы представлять диапазон возможного низкого и яркого свечения.
Контраст может быть определен посредством получения разности между свечением соседних пикселов 204, 204' или соседних наборов пикселов 205, 205' и делением на среднее свечение всех пикселов кадра 203. Если контраст между пикселами 204, 204' или наборами пикселов 205, 205' выше предварительно определенного уровня, тогда определяется, что эти пикселы составляют контур субъекта в кадре. В типичных системах для создания изображений изолированного субъекта или "привидений Пеппера" субъект снимается на камеру перед темным, обычно черным задним фоном, так что фон вокруг субъекта является темным, таким образом, создавая изображение, в котором пикселы 204 с низким свечением представляют фон. Кроме того, субъект обычно подсвечивается задними и боковыми источниками освещения, что создает вокруг контура субъекта контур света, а, следовательно, и пикселы яркого свечения вокруг субъекта, которые контрастируют с пикселами низкого свечения, которые представляют фон.
Посредством сканирования по кадру 203 OSE 36 способен захватывать первый образец, если имеется высокий контраст (контраст выше предварительно установленного уровня), и предполагает, что предварительно определенный уровень правильно установлен, это должна быть граница между пикселами низкого свечения, показывающими фон, и пикселами яркого свечения, показывающими контур света.
Процесс сканирования может выполняться любым подходящим
образом. Например, процесс сканирования может сканировать каждый пиксел, начиная с одной стороны и продолжая горизонтально, вертикально или диагонально, или может одновременно сканировать с противоположных сторон. Если, в первом случае, сканирование проходит по всему кадру 203, или, в последнем случае, два сканирования встречаются посередине без обнаружения высокого контраста между пикселами или наборами пикселов, 0SE 36 определяет, что субъект не присутствует на этой линии.
Идентификация контура может содержать сравнение соседних пикселов 204, 204', чтобы определять, имеют ли пикселы контраст, выше предварительно определенного уровня, или может содержать сравнение соседних наборов пикселов 205, 205', чтобы определять, имеют ли наборы пикселов 205, 205' контраст выше предварительно определенного уровня. Преимущество последнего случая в том, что он может не допускать идентификации посредством OSE 3 6 шумовых артефактов в качестве контура субъекта. Например, шум может привноситься в кадр 203 за счет электронной передачи и обработки видеопотока, которые могут давать в результате случайные пикселы 206 и 207 яркого и низкого свечения в кадре 203. Сравнивая свечение наборов пикселов 205, 205', а не свечение отдельных пикселов 204, 204', OSE 3 6 может быть способен различать между шумом и контуром субъекта.
В этом варианте осуществления предварительно установленное число, соответствующее набору пикселов, равно трем последовательным пикселам, но набор пикселов может содержать другое количество пикселов, например, 4, 5 или 6 пикселов. Соответственно, задавая предварительно определенное число пикселов в соответствующее пороговое значение, процессор ошибочно не идентифицирует случайный шум как контур субъекта (число пикселных артефактов, сформированных посредством шума, гораздо меньше, чем число пикселов, сформированных сходными небольшими объектами субъекта).
В одном варианте осуществления кодек 32/OSE 36 может иметь средство для регулировки предварительно установленного числа
пикселов, которое формирует набор пикселов. Например, кодек 32/OSE 36 может иметь блок пользовательского ввода, который позволяет пользователю выбирать число пикселов, которые формируют набор пикселов. Это может быть желательно, поскольку пользователь может устанавливать глубину детализации, с которой осуществлять сканирование для поиска контура субъекта на основе количества шума, которое, как считает пользователь, могло быть привнесено в видеопоток.
OSE 36 может сравнивать наборы пикселов 205, 205', суммируя свечение всех пикселов, которые формируют набор, находя разницу между суммами свечения для двух наборов пикселов и деля разницу на среднее свечение пиксела для кадра 203. Если получившееся в результате значение выше предварительно определенного значения, определяется, что граница между наборами пикселов составляет контур субъекта. Каждый пиксел может формировать часть более чем одного набора пикселов, например, сканирование может сначала сравнивать контраст между первым, вторым и третьим пикселами линии с четвертым, пятым и шестым пикселами и затем сравнивает контраст второго, третьего и четвертого пикселов линии с пятым, шестым и седьмым пикселами.
После того как OSE 36 идентифицировал контур субъекта, OSE 3 6 модифицирует кадр, чтобы предоставлять линию пикселов (показанных посредством пикселов 208 с точками) с ярким относительным свечением вдоль идентифицированного контура. Например, пикселы с точками могут иметь свечение, которое выше, чем любой другой пиксел в кадре 2 03. В кадре, показанном на фиг. 5, три пиксела контура были модифицированы, чтобы быть пикселами с ярким относительным свечением, а другие пикселы, такие как 204', контура еще должны быть изменены. Каждый пиксел 208 яркого относительного свечения может иметь такой же цвет, что и соответствующий пиксел, который он заменил. Применение пикселов 208 с ярким свечением может улучшать реализм "привидения Пеппера", созданного посредством обработанного видеопотока, поскольку яркий контур света вокруг субъекта, может помогать создавать иллюзию того, что изображение является
трехмерным, а не двухмерным изображением. Кроме того, используя одинаковый цвет для пикселов 208 с ярким свечением, применение пикселов 208 с ярким свечением не выводит изображение нереалистично.
0SE 3 6 дополнительно делает пикселы низкого свечения, которые выходят за пределы контура, черными или другого предварительно выбранного цвета, который подходит для отображения (типично того же цвета, что и задний фон/драпировка 82) .
В одном варианте осуществления OSE 3 6 может выполнять два сканирования кадра, одно, когда глубина цвета кадра понижается, что уменьшает степень детализации в контрасте, но позволяет сканировать быстрее, чтобы идентифицировать область, где край субъекта может находиться, и второе по кадру с полной глубиной цвета только в области (например, десятки пикселов в ширину/высоту) вокруг позиции, где край был идентифицирован в кадре с уменьшенной глубиной цвета. Такой процесс может сокращать время, которое тратится на то, чтобы найти край субъекта.
Обращаясь к фиг. 2, обработанный видеопоток выводится из OSE 3 6 в кодер 42. Кодер 4 2 выполнен с возможностью кодирования принятого видеопотока в выбранный формат кодирования, такой как видеосигнал с прогрессивной разверткой, 720р, 1080р или видеосигнал с чересстрочной разверткой, 1080i, и/или сжатия видеосигнала, например, предоставляя переменную скорость передачи данных между вариантом без сжатия и вариантом со сжатием видеосигнала примерно до 1,5 Мбит/с.
Аудиосигнал также подается в кодер 42 и кодируется в соответствующем формате.
Кодирование может содержать кодирование пикселов, которые находятся в пределах контура, одновременно игнорируя пикселы, которые выходят за пределы контура, чтобы формировать закодированный видеопоток. Пикселы, которые находятся в пределах контура, могут быть идентифицированы из пикселов 208 с ярким свечением, вставленных посредством OSE 36.
Закодированный видеопоток и закодированный аудиопоток
подаются в мультиплексор 4 6, и мультиплексированный сигнал выводится через соединение 4 8 подачи сигнала в двунаправленный канал 20 связи через вход/выход 37.
В этом варианте осуществления пикселы, которые находятся в пределах контура субъекта, делятся на ряд сегментов, и каждый сегмент передается по отдельной несущей частоте как мультиплексированный сигнал с частотным разделением (FDM). Мультиплексирование с частотным разделением обеспечивает дополнительную пропускную способность, позволяя кодеку растягивать сигнал на первоначальной временной основе, в то же время минимизируя сжатие, при необходимости. Таким образом, задержка сигнала уменьшается, в то же время передаваемая информация увеличивается.
Кодек 32 дополнительно содержит средство 39 переключения, выполненное с возможностью переключения кодера 4 2 между множеством режимов, в которых видеосигнал кодируется в соответствии с различным форматом кодирования. Средство 3 9 переключения и кодер 4 2 сконфигурированы так, что переключение между режимами может происходить во время передачи непрерывного видеопотока, т.е., переключение происходит без прерывания передачи видеопотока таким образом, чтобы не мешать непрерывному проецированию видео (в реальном времени) в местоположении 2 или 1, чтобы создавать "привидение Пеппера". Средство 39 переключения инструктирует кодеру 4 2 переключать режимы в ответ на принятый сигнал управления, в этом варианте осуществления от пользователя, активировавшего переключатель 41 или 43.
Кодек 32 также принимает закодированный видео- и аудиопоток из двунаправленного канала 20, и подающее соединение 48 направляет принятый сигнал в демультиплексор 50. Видео- и аудиопотоки демультиплексируются, и демультиплексированные сигналы подаются в декодер 44.
Декодер 4 4 выполнен с возможностью декодирования принятого видеопотока из выбранного формата кодирования, такого как видеосигнал с прогрессивной разверткой, 720р, 1080р, или видеосигнал с чересстрочной разверткой, 1080i, и/или
осуществляет восстановлению видеосигнала, чтобы получать в результате видеопоток, подходящий для отображения.
Декодированный видеопоток подается в корректор 40 временных искажений и выводится на устройство 90 или 20 отображения через выход 47. Декодированный аудиопоток подается в эквалайзер 38, который корректирует диапазон отклонений сигнала и выводит аудиопоток в динамик 30 или 14 через выход 49.
Средство 4 5 переключения выполнено с возможностью переключения кодера 4 4 между множеством режимов, в которых видеосигнал декодируется в соответствии с различным форматом кодирования. Средство 45 переключения и декодер 44 сконфигурированы так, что переключение между режимами может происходить во время передачи непрерывного видеопотока, т.е., переключение происходит без прерывания передачи видеопотока таким образом, чтобы не мешать непрерывному проецированию видео (в реальном времени) в местоположении 1 или 2. Средство 45 переключения инструктирует декодеру 45 переключать режимы в ответ на принятый сигнал управления, в этом варианте осуществления от пользователя, активировавшего переключатель 43 или 41. В этом варианте осуществления средство 4 5 переключения кодека 18 реагирует на активацию пользователем переключателя 43, и средство 4 5 переключения кодека 22 реагирует на активацию пользователем переключателя 43.
Кодер 42 и декодер 4 4 могут также быть способны преобразовывать видеопоток из одного размера или разрешения в другое, как требуется системой. Это позволяет системе приспосабливать видеоизображение, как требуется для проецирования и/или передачи. Например, видеоизображение может быть спроецировано как окно в более крупном изображении, и, следовательно, должно быть уменьшено по размеру и/или разрешению. Альтернативно или дополнительно, видеоизображение может быть масштабировано на основе доступной пропускной способности. Например, если нет достаточной пропускной способности, чтобы передавать 4:4:4 сигнал, изображение может быть масштабировано, чтобы уменьшать 4:4:4 RGB-сигнал до 4:2:2
YUV-сигнала. Это может потребоваться для того, чтобы уменьшать задержку сигнала так, что, например, сеанс "вопрос-ответ" может происходить между субъектом "привидения Пеппера" и человеком в местоположении, где "привидение Пеппера" отображается. При наличии кодека с встроенным средством масштабирования использование отдельного устройства масштабирования видео необязательно, что снижает необходимость другого уровня аппаратных средств, и что может увеличивать сложность системы.
Кодек 32 выполнен с возможностью применения задержки к аудиопотоку для того, чтобы гарантировать, что видео- и аудиопотоки перемещаются/звучат синхронно в местоположении, куда они отправлены, и обеспечивать подавление эха. В одном варианте осуществления задержка, примененная к аудиосигналу, является переменной задержкой, определенной на основе задержки сигнала, измеренной во время передачи видео- и аудиосигналов. Фиг. 6 иллюстрирует устройство кодека, которое может выполнять такую задержку звука. В устройстве кодека, показанном на фиг. б, модуль задержки звука/модуль подавления звука 301, 301' располагается между аудиовходом 335, 335' и аудиовыходом 343, 343', и переменная задержка, применяемая к аудиовыходу, основывается на способе, описанном ниже.
Кодек 32 запрограммирован с фиксированной временной задержкой, и во время передачи видео и аудиопотоков кодек 318 или 322 периодически передает другому кодеку 322 или 318 тестовый сигнал (сигнал проверки связи). В ответ на прием тестового сигнала другой кодек 322 или 318 отправляет ответный эхосигнал кодеку 318, 322. Из времени между отправкой тестового сигнала и получением ответного эхосигнала кодек 318, 322 может определять задержку сигнала для передачи. Мгновенная общая задержка по времени определяется посредством сложения задержки сигнала с фиксированной задержкой, и эта общая задержка по времени вводится в аудиопоток.
Предварительно запрограммированная фиксированная задержка по времени используется, чтобы принимать во внимание задержки в передаче аудиосигнала от других источников, отличной от передачи между кодеками 318, 322. Например, задержки могут быть
вызваны задержкой сигнала, вызванной обработкой видеопотоков, и задержкой в динамиках 316, 330 для вывода передаваемого звука. Фиксированная задержка по времени может быть определена перед передачей аудио- и видеопотоков посредством настройки всех микрофонов 310, 324 и динамиков 316, 330 на опорный уровень и затем отправки импульса в 1КГц (например, имеющий продолжительность в единицы или десятки миллисекунд) с фиксированным уровнем шума в децибелах, например, - 18дБ полной шкалы на вход кодека 318, 322 для измерения времени, которое он тратит для передачи импульса с выхода кодека, импульса, передаваемого другому кодеку 322, 318 через аудиосистему, например, с динамика 318, 330 на микрофон 310, 324, соединенный с другим кодеком 322, 318, обратно на вход другого кодека 322, 318 и. обратно первому кодеку 318, 322. Это будет давать внутреннюю задержку в системе для передачи импульса. Задержка сигнала на линии 320 передачи затем измеряется, как описано выше, и определенная задержка сигнала вычитается из измеренной общей задержки. Это дает фиксированную задержку по времени для звука, возникающую из источников, отличных от передачи между двумя кодеками 318, 322002Е
Как описано выше, во время передачи видео- и аудиопотоков измеренная задержка сигнала (переменная задержка по времени) может быть добавлена к фиксированной задержке по времени, чтобы давать мгновенную общую задержку по времени в системе, и эта определенная мгновенная задержка по времени используется для подавления эхо.
Подавление эхо достигается посредством разделения аудиопотока, подаваемого на вход кодека 318, 322, и подачи одного из разделенных аудиопотоков в модуль 310 301' подавления эхо. Модуль 318, 322 подавления эхо также принимает мгновенную общую фиксированную задержку по времени, определенную кодеком 318, 322. Модуль 318, 322 подавления эхо задерживает аудиопоток, который он принимает, и инвертирует по фазе аудиопоток. Это задержанный, инвертированный по фазе аудиопоток затем накладывается на выходной аудиопоток, чтобы (по меньшей мере, частично) подавлять эхо входного аудиопотока,
присутствующее в выходном аудиопотоке.
В одном варианте осуществления множество видео- и
аудиопотоков могут быть переданы между кодеками 18, 22, 318,
322. Например, во втором местоположении 2 как человек (не
показан), такой как презентатор, на сцене 86, так и один или
более участников 100 аудитории могут быть сняты на камеру, и
видео- и аудиопотоки, ассоциированные с этим захватом видео,
передаются через кодеки 318, 322 в местоположение Г, где
видеопоток отображается как изображение изолированного субъекта
и/или "призрак Пеппера". Для того, чтобы гарантировать, что
изображение множества видеопотоков синхронизировано, множество
видеопотоков синхронизируются при формировании
(синхронизируются) на основе одного из множества видеосигналов, например, видеопотока человека на сцене.
В одном варианте осуществления система позволяет субъекту 104, снимаемому на камеру в первом местоположении 1, смотреть ряд различных видеоматериалов, подаваемых из второго местоположения 2, включающих в себя одно или более из человека на сцене 8 6, который снимается на фиксированную камеру перед сценой, человека на сцене 8 6, который снимается на камеру, дающую вид аудитории (включая в себя "привидение Пеппера" субъекта), камеру, дающую перспективу рабочего-постановщика и одного или более участников 100 аудитории. Субъект может иметь вариант выбора, какой видеопоток просматривать, и/или изменять то, что снимается в каждом видеопотоке. Соответственно, субъект может иметь возможность осуществлять виртуальный полет по второму местоположению 2, имея возможность видеть ряд различных элементов второго местоположения, которые были/в настоящий момент захватываются одной или более камерами. Это может быть реализовано посредством интерфейса сенсорного экрана (не показан), доступного субъекту 104. Интерфейс, который позволяет субъекту 104 взаимодействовать с кодеком 18, 22, 318, 322, может содержать перспективу точки зрения/вида места встречи, это могут быть места встречи на карте, изображающей многоадресную рассылку, или это может быть каталог других участников, которых субъект 104 может выбирать для просмотра
полного видеопотока.
В системе, в которой множественные видеопотоки должны передаваться, может быть предусмотрен стойка кодека, содержащая множество отдельных съемных модулей 32 кодека ("блейдов") для каждого видеопотока, который должен быть передан. Например, местоположение 2 может содержать две видеокамеры, одну для съемки действия на сцене 8 6 и другую для съемки участников 100 аудитории, и оба видеопотока могут передаваться в местоположение 1 для проецирования на проекционном устройстве. Для этого могут потребоваться отдельные кодеки 32, один для каждого видеопотока.
При работе, субъект 104 снимается камерой 12, и сформированный видеопоток подается в первый кодек 18 под управлением оператора, например, режиссером 105. Первый кодек 18 кодирует видеосигнал в соответствии с выбранным форматом и передает закодированный видеопоток кодеку 22. Кодек 22 декодирует видеосигнал и подает декодировнный видеопоток на проектор 90, который проецирует изображение на основе видеопотока, чтобы создавать "привидение Пеппера" 84.
Оператор 105 наблюдает за субъектом 104 во время съемки, и если наблюдатель считает, что определенные требования, такие как возросшее перемещение субъекта 104 или отображение текста или графики, происходят/будут происходить в ближайшем будущем, оператор 105 управляет переключателем 41, чтобы инструктировать кодеку 18 и 22 переключать режимы, чтобы использовать другой формат кодирования. Например, оператор 105 может выбирать формат кодирования с прогрессивной разверткой, когда отображаются текст или графика, сильно сжатый формат кодирования с чересстрочной разверткой, когда присутствует значительное движение субъекта 104, и несжатый формат кодирования с чересстрочной или прогрессивной разверткой, когда снимаемый видеоматериал/субъект содержит много небольших, сложных деталей, которые не хочется потерять при сжатии видеопотока. В одном варианте осуществления переключателем является меню на экране компьютера, которое позволяет оператору 105 выбирать требуемый формат кодирования.
В одном варианте осуществления система также содержит камеру 24, которая записывает участников аудитории или другого человека в местоположении 2 для отображения на проекционном устройстве 14/118. Тем же образом, которым видеопоток передается в местоположение 2 из местоположения 1, оператор в местоположении 2 может управлять переключателем 43, чтобы переключать кодек 22, чтобы кодировать видеопоток, передаваемый из местоположения 2 в местоположение 1, с помощью другого формата и переключать кодек 18, чтобы декодировать видеопоток с помощью другого формата на основе видеоматериала, снимаемого камерой 26.
В другом варианте осуществления операторы или другой персонал в каждом местоположении могут связываться друг с другом, чтобы обеспечивать обратную связь по любому ухудшению в качестве изображения 84 или 118, и оператор может инструктировать кодеку 18, 22 переключать формат кодирования на основе обратной связи.
В другом варианте осуществления передние источники 403-409 освещения излучают свет, имеющий характеристический частотный спектр, отличный от света, излучаемого задними источниками 410416 освещения. Например, передние источники 403-409 освещения могут быть вольфрамовыми, галогенными или дуговыми лампами, а задние источники 410-416 освещения могут быть LED-источниками освещения. Вместо поиска относительного свечения пикселов 204, 204' или наборов пикселов 205, 205' в захваченном видео, кодек 18 выполнен с возможностью идентификации контура субъекта из разности в относительной интенсивности различных частотных компонентов соседних пикселов 204, 204' или наборов пикселов 205, 205'.
Типично, каждый пиксел видео содержит различные частотные компоненты, такие как, например, красный, синий, зеленый (RGB). Интенсивность каждого частотного компонента будет зависеть от характеристического спектра света, который освещает область, захваченную этим пикселом. Соответственно, сравнивая относительную интенсивность частотных компонентов каждого пиксела, возможно идентифицировать, доминирует ли освещение в
этой точке от света, излучаемого передними источниками 404-409 освещения, или от света, излучаемого задними источниками 410416 освещения. Области, в которых доминирует свет, излучаемый передними источниками 404-409 освещения, будут субъектом 104, при этом свет, излучаемый передними источниками 403-409 освещения отражает субъект. Области, в которых доминирует свет, излучаемый задними источниками 410-416 освещения, будут вокруг контура субъекта 104. Следовательно, .сравнивая относительные интенсивности частотных компонентов соседних пикселов или наборов пикселов, может быть идентифицирован контур субъекта 104 .
В другом варианте осуществления система содержит средство для обнаружения доступной пропускной способности, которое автоматически формирует сигнал управления, чтобы переключать кодеки в другой режим, который подходит для доступной пропускной способности. Например, если измеренная задержка сигнала увеличивается больше предварительно определенного уровня, формат кодирования может быть переключен с прогрессивной развертки на чересстрочную или на более высокую степень сжатия.
В другом варианте осуществления кодеки 18 и 22 выполнены с возможностью назначения полосы пропускания различным потокам данных, таким как поток видеоданных, поток аудиоданных и поток управляющих данных, при этом, если кодек 18, 22 идентифицирует уменьшение в потоке аудиоданных или потоке управляющих данных, он переназначает эту доступную полосу пропускания видеопотоку.
В одном варианте осуществления кодеки 18 и 22 могут быть
выполнены с возможностью автоматического определения формата
кодирования принятого закодированного видеопотока и
переключения для декодирования закодированного видеопотока с
помощью правильного формата декодирования.
Следует понимать, что кодеки 18 и 20 могут быть
осуществлены в программном обеспечении или аппаратных
средствах.
Следует понимать, что в изобретении могут быть выполнены
изменения и модификации без отступления от рамок формулы
изобретения.
ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ идентификации контура субъекта, содержащий этапы
на которых:
принимают видеопоток для обработки;
идентифицируют контур субъекта в каждом кадре видеопотока посредством процесса сканирования пикселов каждого кадра, чтобы идентифицировать соседние пикселы или наборы пикселов, в которых относительная разница между атрибутом соседних пикселов или наборов пикселов выше предварительно определенного уровня;
определяют контур как непрерывную линию между этими пикселами или наборами пикселов;
делают пикселы, которые выходят за пределы контура, предварительно выбранного цвета;
передают обработанный видеопоток.
2. Способ по п. 1, в котором относительная разница является контрастом в яркости.
3. Способ по п. 1, в котором относительная разница является разницей в характеристическом спектре, захваченном в соседних пикселах или наборах пикселов.
4. Способ по любому из пп. 1-3, причем обработка видеопотока, по существу, происходит в реальном времени, так что обработанный видеопоток может передаваться (или, по меньшей мере, отображаться) непрерывным образом.
5. Способ по любому из пп. 1-3, в котором идентификация контура содержит этап, на котором определяют предварительно установленное число последовательных пикселов, которые имеют атрибут, который контрастирует с атрибутом соседнего предварительно установленного числа последовательных пикселов.
6. Способ по п. 5, в котором предварительно установленное число возможно регулировать.
7. Способ по любому из пп. 1-3, дополнительно содержащий этап модификации кадра для предоставления линии пикселов с ярким относительным свечением вдоль идентифицированного контура.
8. Способ по п. 7, причем каждый пиксел яркого
относительного свечения имеет тот же цвет, что и
соответствующий пиксел, который он заменил.
9. Способ по п.1, в котором при процессе сканирования
сканируют каждый пиксел, начиная с одной стороны и продолжая
горизонтально, вертикально или диагонально, или одновременно
сканируют с противоположных сторон.
10. Способ по п. 9, в котором если процесс сканирования проходит без обнаружения высокого контраста между пикселами или наборами пикселов, определяют, что субъект не присутствует на этой линии.
11. Способ идентификации контура субъекта, содержащий этапы на которых:
принимают видеопоток для обработки;
идентифицируют контур субъекта в каждом кадре видеопотока посредством процесса сканирования каждой линии пикселов каждого кадра, чтобы идентифицировать пикселы или наборы пикселов, которые имеют контраст выше предварительно определенного уровня вследствие темного фона по сравнению с ярким субъектом;
модифицируют один или оба из этих пикселов или наборов пикселов, чтобы они имели более яркое свечение, чем исходное свечение любого из двух пикселов или наборов пикселов;
передают обработанный видеопоток.
12. Кодек, содержащий видеовход для приема видеопотока субъекта, кодер для кодирования видеопотока, чтобы получать в результате закодированный видеопоток, и видеовыход для передачи закодированного видеопотока, кодер выполнен с возможностью обработки каждого кадра видеопотока посредством идентификации контура субъекта и кодирования пикселов, которые находятся в пределах контура, при этом игнорируя пикселы, которые выходят за пределы контура, чтобы формировать закодированный видеопоток.
13. Кодек по п. 12, при этом пикселы, которые выходят за пределы контура, идентифицируются из пикселов с ярким свечением, которые определяют контур субъекта, и пикселы с одной стороны (снаружи) этого контура из пикселов с ярким свечением игнорируются.
14. Кодек по п. 12 или п. 13, при этом кодер содержит
мультиплексор для мультиплексирования видеопотока.
15. Кодек по п. 14, при этом пикселы, которые находятся в пределах контура субъекта, делятся на ряд сегментов, и каждый сегмент передается по отдельной несущей частоте как мультиплексированный сигнал с частотным разделением (FDM).
16. Кодек, содержащий видеовход для приема видеопотока и ассоциированного аудиопотока, кодер для кодирования видео- и аудиопотоков и видеовыход для передачи закодированного видео- и аудиопотоков другому кодеку, при этом кодек выполнен с возможностью, во время передачи видео- и аудиопотоков, периодически передавать другому кодеку тестовый сигнал (сигнал проверки связи), принимать эхосигнал в ответ на тестовый сигнал от другого кодека, определять из времени между отправкой тестового сигнала и приемом ответного эхосигнала задержку сигнала для передачи другому кодеку и ввода соответствующей задержки в аудиопоток или дополнительный аудиопоток для определенной задержки сигнала.
17. Кодек, содержащий видеовход для приема от другого кодека закодированного видеопотока и ассоциированного аудиопотока, декодер для декодирования видео- и аудиопотоков и видеовыход для передачи декодированного видео- и аудиопотоков, при этом кодек выполнен с возможностью, во время передачи видео- и аудиопотоков, передачи ответного эхосигнала другому кодеку в ответ на прием тестового сигнала (сигнала проверки связи).
По доверенности
Аудиовход -
33,
Видеовход-
Аудиовыход "-
47,
Видеовыход "-
5/8
416
ОТЧЕТ О ПАТЕНТНОМ ПОИСКЕ
(статья 15(3) ЕАПК и правило 42
Номер евразийской заявки: 201300170
Дата подачи: 14 июля 2009 (14.07,2009) | Дата испрашиваемого приоритета: 14 июля 2008 (14,07,2008) Название изобретения: Система и способ обработки видео- и телеприсутствия
Заявитель: МЬЮЖН АИПИ ЛИМИТЕД
Некоторые пункты формулы не подлежат поиску (см. раздел I дополнительного листа) ? Единство изобретения не соблюдено (см. раздел II дополнительного листа)
А. КЛАССИФИКАЦИЯ ПРЕДМЕТА ИЗОБРЕТЕНИЯ:
G06K9/48 (2006.01) H04N 5/341 (2011.01)
Согласно Международной патентной классификации (МПК) или национальной классификации и МПК
Б. ОБЛАСТЬ ПОИСКА:
Минимум просмотренной документации (система классификации и индексы МПК) G06K 9/00-9/48, G06T 7/00-7/60, H04N 7/00-7/26, 5/00-5/74, G03B 21/00-21/32. H04L 29/00-29/06
Другая проверенная документация в той мере, в какой она включена в область поиска:
В. ДОКУМЕНТЫ, СЧИТАЮЩИЕСЯ РЕЛЕВАНТНЫМИ
Категория*
Ссылки на документы с указанием, где это возможно, релевантных частей
Относится к пункту №
А А А
RU 2007109295 А (САМСУНГ ЭЛЕКТРОНИКС КО., ЛТД) 20,09,2008
US 2001/0048753 Al (MING-CHIEN LEE et al.) 06.12.2001
US 4656507 A (MOTION ANALYSIS SYSTEMS, INC.) 07.04.1987
1-17
1-17
1-17
* Особые категории ссылочных документов: "А" документ, определяющий общий уровень техники "Е" более ранний документ, но опубликованный на дату
подачи евразийской заявки или после нее "О" документ, относящийся к устному раскрытию, экспонированию и т.д.
"Р" документ, опубликованный до даты подачи евразийской
заявки, но после даты испрашиваемого приоритета "D" документ, приведенный в евразийской заявке
"Т"
"Y"
"L"
более поздний документ, опубликованный после даты приоритета и приведенный для понимания изобретения документ, имеющий наиболее близкое отношение к предмету поиска, порочащий новизну или изобретательский уровень, взятый в отдельности
документ, имеющий наиболее близкое отношение к предмету
поиска, порочащий изобретательский уровень в сочетании с
другими документами той же категории
документ, являющийся патентом-аналогом
документ, приведенный в других целях
Дата действительного завершения патентного поиска: 31 мая 2013 (31.05.2013)
Наименование и адрес Международного поискового органа: Федеральный институт промышленной собственности
РФ, 123995,Москва, Г-59, ГСП-5. Бережковская наб., д. 30-1.Факс: 243-3337, телетайп: 114818 ПОДАЧА
Уполномоченное лицо
Т. М. Иванова
ФИГ. 2
ФИГ. 2
ФИГ. 4
204'
204'
ФИГ. 6
ФИГ. 6
|
