EA201990849A1 20190830

	Патентная документация ЕАПВ
Запрос:	ea201990849a*\id
Результат:	ID\|Номер и дата охранного документа

больше ...

Термины запроса в документе

Реферат

[RU]

Описываются способы, чтобы сообщать информацию об исходном цветовом объеме в кодированном битовом потоке с использованием обмена сообщениями SEI. Такие данные включают в себя, по меньшей мере, значения минимальной, максимальной и средней яркости в исходных данных плюс опциональные данные, которые могут включать x и y координаты цветности цветового объема для входных основных цветов (например, красного, зеленого и синего) у исходных данных, и x и y координаты цветности цвета для основных цветов, соответствующих значениям минимальной, средней и максимальной яркости в исходных данных. Также могут быть включены данные обмена сообщениями, сигнализирующие активную область в каждой картинке.

Полный текст патента

(57) Реферат / Формула:

(19)
Евразийское
патентное
ведомство
(21) 201990849 (13) A1
(12) ОПИСАНИЕ ИЗОБРЕТЕНИЯ К ЕВРАЗИЙСКОЙ ЗАЯВКЕ
(43) Дата публикации заявки 2019.08.30
(22) Дата подачи заявки 2017.10.03
(51) Int. Cl.
H04N19/186 (2014.01) H04N19/70 (2014.01)
H04N 19/46 (2014.01)
H04N 21/235 (2011.01) H04N 21/84 (2011.01)
(54)
ОБМЕН СООБЩЕНИЯМИ С ИНФОРМАЦИЕЙ ОБ ИСХОДНОМ ЦВЕТОВОМ ОБЪЕМЕ
(31) 62/404,302; 62/427,677
(32) 2016.10.05; 2016.11.29
(33) US
(86) PCT/US2017/054920
(87) WO 2018/067552 2018.04.12
(71) Заявитель:
ДОЛБИ ЛЭБОРЕТЕРИЗ ЛАЙСЕНСИНГ КОРПОРЕЙШН (US)
(72) Изобретатель:
Чэнь Тао, Инь Пэн, Лу Таожань, Хьюсэк Уолтер Дж. (US)
(74) Представитель:
Медведев В.Н. (RU) (57) Описываются способы, чтобы сообщать информацию об исходном цветовом объеме в кодированном битовом потоке с использованием обмена сообщениями SEI. Такие данные включают в себя, по меньшей мере, значения минимальной, максимальной и средней яркости в исходных данных плюс опциональные данные, которые могут включать x и y координаты цветности цветового объема для входных основных цветов (например, красного, зеленого и синего) у исходных данных, и x и y координаты цветности цвета для основных цветов, соответствующих значениям минимальной, средней и максимальной яркости в исходных данных. Также могут быть включены данные обмена сообщениями, сигнализирующие активную область в каждой картинке.
ОПИСАНИЕ ИЗОБРЕТЕНИЯ
2420-556101ЕА/20 ОБМЕН СООБЩЕНИЯМИ С ИНФОРМАЦИЕЙ ОБ ИСХОДНОМ ЦВЕТОВОМ ОБЪЕМЕ
ПЕРЕКРЕСТНАЯ ССЫЛКА НА РОДСТВЕННЫЕ ЗАЯВКИ
[0001] По данной заявке испрашивается приоритет на основании предварительной заявки на патент США № 62/427,677, поданной 29 ноября 2016 г., и предварительной заявки на патент США № 62/404, 302, поданной 05 октября 2016 г., обе из которых в полном объеме включены в настоящее описание путем ссылки. ОБЛАСТЬ ТЕХНИКИ
[0002] Настоящее изобретение в целом относится к изображениям. В частности, вариант осуществления настоящего изобретения относится к сообщению и обработке информации о цветовом объеме источника. УРОВЕНЬ ТЕХНИКИ
[0003] Рекомендация ITU-T Н.265 [1] (также известная как HEVC) для "кодирования движущегося видео" в Приложении D "Supplemental enhancement information" (SEI) и Приложении E "Video usability information" (VUI) описывает синтаксис для предоставления дополнительной информации SEI и VUI в кодированном битовом потоке, чтобы позволить декодеру лучше отображать декодированные выборки на дисплее.
[0004] Параллельно с процессами стандартизации MPEG/ITU общество инженеров кино и телевидения (SMPTE) также определило некоторое число Рекомендаций, относящихся к сообщению метаданных, относящихся к информации о цветовом объеме как для исходного видео, так и целевого дисплея. Например, комплект документов SMPTE ST 2094 (например, [5] и [6]) определяет метаданные для использования при преобразованиях цветового объема видеоконтента. Эти метаданные могут меняться от сцены к сцене или от кадра к кадру. Например, такие метаданные могут помогать декодеру представлять данные с высоким динамическим диапазоном (HDR) и широким цветовым охватом (WCG) на дисплее с меньшим цветовым объемом, чем тот что у дисплея для мастеринга, который использовался для мастеринга исходных изображений.
[0005] Используемое в данном документе понятие "метаданные"
относится к вспомогательной информации, которая передается как часть кодированного битового потока и помогает декодеру визуализировать декодированное изображение. Такие метаданные могут включать в себя, но не ограничиваются, информацию цветового пространства и охвата, параметры прогнозирования, параметры эталонного дисплея, и вспомогательные параметры сигнала, как те что описываются в данном документе.
[ООО б] Несмотря на то, что Приложения D и Е у Н.2 65 поддерживают некоторое число относящихся к цветовому объему данных, они не переносят все требуемые метаданные для наиболее эффективного администрирования дисплея с контентом HDR. В июле 2 016г. на заседании совместной группы по кодированию видео (JCT-VC) в Женеве, было представлено три предложения [2-4] касательно того, каким образом описывать информацию о цветовом объеме контента, используя обмен сообщениями SEI или VUI . На некоторые из этих предложений оказал влияние документ SMPTE ST. 2094 [5], но они значительно отличались по объему.
[0007] В документе [2] предлагается, чтобы сообщение SEI-контента сигнализировало цветовой охват контента в 2D, который описывает фактическое распределение цвета видеоконтента. В VUI переменная colour_primaries используется чтобы указывать цветовой охват контейнера вместо истинного исходного цветового охвата [1] . В документе [3] предлагается ассоциировать несколько первичных выражений и пространственных областей с идентифицированными исходными характеристиками. В документе [4] предлагается сообщение SEI цветового объема контента, чтобы указывать цветовой объем, занимаемый контентом. Оно использует описание (х, у, Y) цветовых координат и имеет срезы яркости Y с ассоциированными многоугольниками для каждого среза. Эти предложения обладают несколькими недостатками, такими как: предоставляют информацию, которая мало полезна большинству изготовителей дисплеев, могут добавлять значительные служебные данные, и могут требовать слишком больших вычислительных затрат для генерирования. Чтобы улучшить существующие схемы кодирования и декодирования, как понятно авторам изобретения в данном документе, требуются улучшенные методики для генерирования и
сообщения информации об исходном цветовом объеме.
[0008] Подходы, описанные в данном разделе, являются подходами, которые могут быть реализованы, но не обязательно подходами, которые были задуманы или реализованы ранее. Вследствие этого, при условии, что не указано иное, не следует предполагать, что любой из подходов, описанных в данном разделе, определяется как предшествующий уровень техники, только в силу включения в данный раздел. Аналогичным образом, не следует предполагать, что проблемы, идентифицированные в отношении одного или более подходов, были признаны в каком-либо предшествующем уровне техники на основе данного раздела, при условии, что не указано иное.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0009] Вариант осуществления настоящего изобретения иллюстрируется в качестве примера, а не в качестве ограничения, на фигурах сопроводительных чертежей и на которых аналогичные ссылочные позиции относятся к аналогичным элементам, и на которых:
[0010] Фиг. 1 изображает примерный процесс для канала доставки видео в соответствии с вариантом осуществления данного изобретения;
[ООН] Фиг. 2 изображает пример "наибольшего" возможного графика цветового объема для формата видео контейнера;
[0012] Фиг. ЗА изображает пример охвата исходного контента в контейнере цветового объема;
[0013] Фиг. ЗВ и Фиг. ЗС изображает примеры 2D срезов контейнера и исходного цветового объема при конкретных значениях яркости (Y); и
[0014] Фиг. 4 изображает примерный процесс для извлечения информации об исходном цветовом объеме из обмена сообщениями SEI в соответствии с вариантом осуществления данного изобретения.
ОПИСАНИЕ ПРИМЕРНЫХ ВАРИАНТОВ ОСУЩЕСТВЛЕНИЯ
[0015] В данном документе описываются методики для обмена сообщениями с информацией об исходном цветовом объеме с использованием обмена сообщениями SEI. В нижеследующем описании в целях объяснения многочисленные конкретные подробности
излагаются для того, чтобы обеспечить исчерпывающее понимание настоящего изобретения. Будет очевидно тем не менее, что настоящее изобретение может быть реализовано на практике без этих конкретных подробностей. В других примерах хорошо известные структуры и устройства не описываются с исчерпывающими подробностями, чтобы избежать ненужного затенения или запутывания настоящего изобретения. ОБЩЕЕ ПРЕДСТАВЛЕНИЕ
[0016] Примерные варианты осуществления, описанные в данном документе, относятся к методикам для сообщения информации об исходном цветовом объеме с использованием обмена сообщениями SEI. В декодере процессор для извлечения обмена сообщениями SEI принимает переменную обмена сообщениями идентификации исходного цветового объема, идентифицирующую наличие информации об исходном цветовом объеме во входном битовом потоке. Процессор принимает первую переменную обмена сообщениями как часть информации об исходном цветовом объеме. Если первая переменная обмена сообщениями соответствует первому предварительно определенному значению, тогда для одного или более основных цветов, он генерирует х и у координаты цветности для одного или более основных цветов на основании информации об исходном цветовом объеме во входном битовом потоке. Он генерирует значение минимальной, максимальной и средней яркости на основании информации об исходном цветовом объеме во входном битовом потоке. Процессор принимает вторую переменную обмена сообщениями как часть информации об исходном цветовом объеме и если вторая переменная обмена сообщениями соответствует второму предварительно определенному значению, тогда для одного или более основных цветов, он генерирует х и у координаты цветности для одного или более основных цветов соответствующие значениям минимальной, максимальной и средней яркости на основании информации об исходном цветовом объеме.
ПРИМЕРЫ ОБМЕНА СООБЩЕНИЯМИ ИСХОДНОГО ЦВЕТОВОГО ОБЪЕМА [0017] Фиг. 1 изображает примерный процесс канала (100) доставки видео, показывающий различные стадии от захвата видео до отображения видеоконтента. Последовательность видеокадров
(102) захватывается или генерируется с использованием блока (105) генерирования изображения. Видеокадры (102) могут быть захвачены цифровым образом (например, посредством цифровой камеры) или сгенерированы компьютером (например, используя компьютерную анимацию), чтобы предоставлять видеоданные (107). В качестве альтернативы видеокадры (102) могут быть захвачены на пленку посредством пленочной камеры. Пленка, после должного редактирования (не показано), преобразуется в цифровой формат, чтобы предоставлять видеоданные (107).
[0018] Видеоданные (107) затем предоставляются процессору
на блоке (110) для редактирования постпроизводства.
Редактирование (110) постпроизводства может включать в себя
регулировку и модифицирование цветов или яркости в конкретных
зонах изображения, чтобы улучшить качество изображения или
добиться конкретного внешнего вида для изображения в
соответствии с художественным замыслом создателя видео. Это
иногда именуется "цветовой синхронизацией" или
"цветокоррекцией". Прочее редактирование (например, выбор сцен и упорядочение, обрезка изображения, добавление сгенерированных компьютером визуальных спецэффектов и т.д.) может быть выполнено в блоке (110), чтобы получить окончательную версию (112) производства для распространения. Во время редактирования (110) постпроизводства видеоизображения просматриваются на эталонном дисплее (125) (который также упоминается как "целевой дисплей", поскольку студия оптимизирует видео для него).
[0019] В некоторых вариантах осуществления перед
кодированием (12 0) видео видеоконтент может быть
проанализирован, чтобы извлечь метаданные (119) исходного-цветового-объема, например, как определено в документе SMPTE ST 2094-1 [5], или как будет определено позже в данном изобретении. Такие метаданные также могут определять характеристики целевого дисплея (например, эталонного дисплея (125)) и информацию модифицирования отображения цветов с тем, чтобы нижестоящий приемник мог визуализировать декодированные данные наилучшим возможным образом.
[0020] Вслед за постпроизводством (110) и анализом (115)
исходного цветового объема, видеоданные окончательного производства (117) и ассоциированные метаданные (119) могут быть доставлены в соответствующем цветовом формате (например, 10-битном YCbCr в 4:2:0, ICtCp и подобном) блоку (12 0) кодирования для нижестоящей доставки к устройствам декодирования и воспроизведения, таким как телевизоры, телевизионные абонентские приставки, кинотеатры и аналогичное. В некоторых вариантах осуществления блок (12 0) кодирования может включать в себя аудио и видео кодеры, такие как те, что определены ATSC, DVB, DVD, Blu-Ray и другими форматами доставки, чтобы генерировать кодированный битовый поток (122). Кодированный битовый поток (122) может быть представлен кодированным битовым потоком видео с одним слоем или многослойным битовым потоком. Например, в многослойном битовом потоке сигнал (122) может включать в себя базовый слой (скажем слой SDR или слой 10-битного HDR (HDR10)) и слой улучшения, который, когда объединяется с базовым слоем, дает битовый поток HDR с более высоким динамическим диапазоном, чем у отдельно базового слоя (например, сигнал 12-битного HDR) . Сигнал (122), выходной битовый поток от кодера (120) также может включать в себя метаданные (119) и дополнительные связанные с кодированием метаданные, такие как параметры прогнозирования и прочие данные, чтобы помочь декодеру лучше восстанавливать сигнал HDR.
[0021] В приемнике кодированный битовый поток (122) декодируется блоком (130) декодирования, чтобы сгенерировать декодированный сигнал (132) и ассоциированные метаданные (119). Дисплей (150) приемника (или цели) может иметь характеристики полностью отличные от эталонного (или целевого) дисплея (125). Например, без ограничения, эталонный дисплей (12 5) может быть дисплеем с ЮООнит, тогда как дисплей приемника может быть дисплеем с 50 0нит. В таком случае модуль (14 0) администрирования дисплея может быть использован, чтобы отображать динамический диапазон декодированного сигнала (132) в характеристиках дисплея (150) приемника посредством генерирования отображенного для дисплея сигнала (142) . Используемое в данном документе понятие "администрирование дисплея" обозначает обработку (например,
отображение тона и охвата), которая требуется чтобы отобразить входной видеосигнал первого динамического диапазона (например, ЮООнит) в дисплее второго динамического диапазона (например, 50 0нит). Блок (14 0) администрирования дисплея может учитывать метаданные (119), чтобы улучшать качество выходного видео на дисплее (150). Например, как показано в документе [7] информация касательно диапазона яркости целевого (или эталонного) дисплея (например, 12 5) и исходные данные могут быть использованы на приемнике, чтобы лучше отображать динамический диапазон видеоконтента на дисплее приемника (например, 150). Информация о цветовом объеме
[0022] Фиг. 2 изображает пример "наибольшего" возможного цветового объема предварительно определенного формата контейнера
(например, ВТ.202 0) (также может упоминаться как "цветовой объем контейнера"). Такой объем может быть создан двумерными (2D) основными цветами цветового охвата, цветностью точки белого
(например, D65), значением максимальной яркости (например, Ътах=4 0 0 0нит) и значением минимальной яркости (например,
0. 005нит). Такой график указывает наибольшие возможные границы
цветового объема для всех цветов в исходном видеоконтенте.
[0023] На практике, как изображено темным "облаком" (305) на Фиг. ЗА или темными областями (305) на Фиг. ЗВ и Фиг. ЗС, исходный цветовой объем исходного контента (например, 112) для конкретного кадра или даже всей сцены может быть значительно меньше наибольшего возможного цветового объема (310) . Так как фактический цветовой объем (305) имеет очень неправильную форму, то передача такой информации об исходном цветовом объеме для каждого кадра или всей сцены требует много информации. Например, в варианте осуществления можно сигнализировать информацию о цветовом охвате для нескольких значений яркости (скажем при 0.1,
1, 10 и аналогичном) . Тогда возникает вопрос: сколько и какие
значения яркости являются наиболее важными? Также потребуется
учитывать не только требуемые служебные данные для такой
информации в кодированном битовом потоке, но также сложность
генерирования такого контента на кодере и/или воссоздания
информации о цветовом объеме на декодере.
[0024] Несмотря на то, что сообщение значений минимальной и максимальной яркости в исходном контенте является важным, как понятно авторам изобретения, сообщение средней яркости (или серединной яркости) также полезно для приемника. Эти три значения вместе могут помочь сгенерировать приемлемую кривую тона для отображения дисплея. В данном изобретении предлагается сигнализировать следующие метаданные, чтобы описывать исходный цветовой объем: а) наибольший 2D цветовой охват который занимает источник (например, исходный цветовой объем); Ь) максимальную минимальную и среднюю исходную яркость; и с) опционально, нарезанный (2D) цветовой охват для тех трех значений яркости (например, см. Фиг. ЗВ и ЗС) . Предполагается, что точки белого основного цвета контейнера и основного цвета исходного контента должны быть одинаковыми, так что нет причин повторно передавать такую информацию. Данная информация может быть обновлена при необходимости, например, на основе из расчета на кадр или из расчета на сцену. Фиг. ЗВ и Фиг. ЗС изображают примеры 2D срезов исходного цветового объема (305) и цветового объема (310) контейнера при конкретных значениях яркости (Y) . На Фиг. ЗВ, 2D срез находится при У=84нит, а на Фиг. ЗС 2D срез находится при У=24бнит. Треугольники цветности (rgb), окружающие исходный цветовой объем (305) и в рамках RGB пространства контейнера, предоставлены только в целях иллюстрации. Кодер может выбирать определять и сообщать приемнику меньшие или большие такие зоны.
[0025] Таблица 1 изображает пример обмена сообщениями SEI исходного цветового объема в соответствии с вариантом осуществления, который придерживается номенклатуры и синтаксиса технического описания Н.2 65. Описание основных цветов придерживается определения CIE 1931 (х,у) координат цветности цвета для основных цветов, как определено в документе ISO 116641 (см. также ISO 11664-3 и CIE 15), и использует красный, зеленый и синий основные цвета. Также могут быть использованы другие типы основных цветов, такие как на основе четырех, пяти или шести цветов, или другое основанное на многоугольнике представление основных цветов. Для наибольшего фактического цветового охвата в исходном контенте в варианте осуществления
без ограничения синтаксис является аналогичным определению параметра (или переменной) colour_primaries, которое определено в Разделе Е.3.1 для Таблицы Е.З технического описания Н.2 65. Считается, что текущий исходный контент может достигать цветового пространства РЗ, но для достижения ВТ. 2020/2010 цвета потребуется некоторое время ("DCI-РЗ" определяется в документе SMPTE EG 432-1 и SMPTE RP 431-2). Вследствие этого в случаях, когда исходный цветовой охват меньше или равен РЗ или равен основным цветам ВТ. 2020/2010, может быть использована Таблица Е.З; тем не менее для источников, цветовой охват которых больше РЗ, но меньше ВТ. 2020/2010, может потребоваться явная сигнализация цветового объема. Значения яркости указываются, используя их абсолютное значение в нитах (кд/м2) . В качестве альтернативы для экономии битов значения яркости также могут быть закодированными с использованием нелинейного представления, например, как значения, закодированные в соответствии с обратным EOTF по SMPTE ST 2084. Информация о цветовом охвате, соответствующая max, min и среднему (mid) значениям яркости сделана опциональной, позволяя приложениям сокращать затраты на метаданные при необходимости.
[0026] Примечания: в предпочтительном варианте
осуществления, 1) метаданные исходного цветового объема должны описывать цветовой объем источника в его первоначальной форме до какой-либо предварительной обработки сигнала яркости или сигнала цветности. Например, они должны описывать исходный цветовой объем до какого-либо процесса понижающей дискретизации сигнала цветности (например, из 4:4:4 в 4:2:0) или процесса преобразования битовой глубины (например, из 12 бит в 10 бит) , поскольку понижающая дискретизация сигнала цветности или преобразование битовой глубины будут модифицировать информацию о цветовом объеме. 2) Исходный цветовой охват как правило отличается от основных цветов контейнера, которые указаны в Приложении Е (например, Таблица Е.З) у Н.2 65. 3) Исходный цветовой объем как правило отличается от цветового объема дисплея для мастеринга, который может быть указаны посредством сообщений SEI цветового объема дисплея для мастеринга.
[0027] В примерном варианте осуществления параметры (или переменные) и семантика кодирования в Таблице 1 могут быть описаны следующим образом:
[0028] source_colour_volume_id содержит идентифицирующий
номер, который может быть использован, чтобы идентифицировать
назначение исходного цветового объема. Значение
source_colour_volume_id должно находиться в диапазоне от 0 до 232-2 включительно. Значения source_colour_volume_id от 0 до 255 и от 512 до 231-1 могут быть использованы как определено заявкой. Значения source_colour_volume_id от 256 до 511 включительно и от 231 до 232-2 включительно зарезервированы для дальнейшего использования ITU-T | ISO/IEC. Декодеры должны игнорировать все сообщения SEI информации модифицирования отображения цвета, содержащие значение source_colour_volume_id в диапазоне от 256 до 511 включительно или в диапазоне от 231 до 232-2 включительно, и битовые потоки не должны содержать таких значений.
[0029] source_colour_volume_cancel_flag равный 1 указывает на то, что сообщение SEI исходного цветового объема отменяет неизменность любого предыдущего сообщения SEI исходного цветового объема в очередности вывода, которое применяется к текущему слою. source_colour_volume_cancel_flag равный 0 указывает на то, что не отклоняются от исходного цветового объема.
[0030] source_colour_volume_persistence_flag указывает неизменность сообщения SEI исходного цветового объема для текущего слоя. source_colour_volume_persistence_flag равный 0 указывает на то, что информация об исходном цветовом объеме применяется только к текущей картинке.
[0031] Пусть picA будет текущей картинкой.
source_colour_volume_persistence_flag равный 1 указывает на то, что исходный цветовой объем сохраняется для текущего слоя в очередности вывода до тех пор, пока не станет истинным любое из следующих условий:
Начинается новая видеопоследовательность кодированного слоя (CLVS) у текущего слоя
- Заканчивается битовый поток
- Выводится картинка picB в текущем слое в единице доступа, содержащая сообщение SEI исходного цветового объема с тем же самым значением source_colour_volume_id и применяемая к текущему слою, для которой PicOrderCnt (picB) больше PicOrderCnt(picA), где PicOrderCnt(picB) и PicOrderCnt(picA) являются значениями PicOrderCntVal у picB и pica соответственно, непосредственно после вызова процесса декодирования для счетчика очередности картинки для picB.
[0032] source_colour_primaries имеет точно такую же семантику как указанная в статье Е.3.1 для элемента синтаксиса colour_primaries, за исключением того, что colour_primaries в статье Е.3.1 сигнализирует исходные основные цвета контейнера, а source_colour_primaries сигнализируют основные цвета, которые в действительности занимает исходный контент.
Когда значение source colour primaries равно 2,
source_colour_primaries явно указывается синтаксисом
source_primaries_x[с] и source_primaries_y[с].
[0033] source_primaries_x[с] и source_primaries_y[с]
указывают нормализованные х и у координаты цветности,
соответственно, компонента с основного цвета у исходного
контента с приращениями 0.00002 в соответствии с CIE 1931
определением х и у, как указано в ISO 11664-1 (см. также ISO
11664-3 и CIE 15) . Для описания исходного контента, который
использует красный, зеленый и синий основные цвета,
предполагается что значение индекса с равное 0 должно
соответствовать зеленому основному цвету, с равное 1 должно
соответствовать синему основному цвету и с равное 2 должно
соответствовать красному основному цвету (см. также Приложение Е
и Таблицу Е.З) . Значения source_primaries_x[с] и
source_primaries_y[с] должны находиться в диапазоне от 0 до 50000 включительно.
[0034] max_source_luminance, min_source_luminance и avg_source_luminance указывают номинальную максимальную, минимальную и среднюю яркость, соответственно, у источника в единицах 0.0001 кандел на квадратный метр (ниты). min source luminance должно быть меньше avg source luminance, а
avg_source_luminance должно быть меньше max_source_luminance.
[0035] luminance_colour_primaries_info_present_flag равный
1 указывает, что присутствуют элементы синтаксиса
luminance_primaries_x и luminance_primaries_y,
luminance_colour_primaries_info_present_flag равный 0 указывает
что элементы синтаксиса luminance_primaries_x и
luminance_primaries_y не присутствуют.
[0036] luminance_primaries_x[i][с] и
luminance_primaries_y[i][с] указывают нормализованные х и у
координаты цветности, соответственно, у компонента с первичного
цвета исходного контента при одной номинальной яркости с
приращениями 0.00002 в соответствии с CIE 1931 определением х и
у как указано в ISO 11664-1 (см. также ISO 11664-3 и CIE 15) .
Для описания исходной яркости контента значение индекса 0, 1 и 2
должно советовать max source luminance, min source luminance и
avg_source_luminance, соответственно. Для описания исходного
контента, который использует красный, зеленый и синий основные
цвета предполагается, что значение индекса с равное 0 должно
советовать зеленому основному цвету, с равное 1 должно
советовать синему основному цвету и с равное 2 должно
соответствовать красному основному цвету (см. также Приложение Е
и Таблицу Е.З) . Значения source_primaries_x[с] и
source_primaries_y[с] должны находиться в диапазоне от 0 до 50000 включительно.
[0037] Таблица 1 предоставляет то, что считается минимальной информацией для полезного представления исходного цветового объема. В другом варианте осуществления может быть принято решение об определении дополнительных подробностей, аналогичных нескольким первичным выражениям [3] или описанию основных цветов более чем трех срезов яркости (Y) , с ассоциированными многоугольниками для каждого среза.
if( !source colour volume cancel flag ) {
source colour volume persistence flag
u(l)
source colour primaries
u(8)
if ( source colour primaries == 2 ) {
for( c=0; с < 3; С++ ) {
source primaries x[ с ]
u (16)
source primaries y[ с ]
u (16)
max source luminance
u (32)
min source luminance
u (32)
avg source luminance
u (32)
luminance colour primaries info present flag
u(l)
if( luminance colour primaries info present flag ) {
for( i=0; i <= 3; i++ ) {
for( c=0; с < 3; С++ ) {
luminance primaries x[ i ][ с ]
u (16)
luminance primaries y[ i ][ с ]
u (16)
[0038] Фиг. 4 изображает примерный процесс для извлечения
информации о цветовом объеме для источника видео, используя
обмен сообщениями SEI в соответствии с вариантом осуществления.
Сначала (405) декодер может обнаруживать, присутствует ли первая
переменная обмена сообщениями SEI, указывающая идентифицирующий
номер (ID) информации об исходном цветовом объеме (например,
source_colour_volume_id). Затем, при условии наличия такой
переменной, декодер может проверять (этап 407), находится ли ее
значение в разрешенном диапазоне. Если это недопустимое
значение, тогда обработка прекращается (этап 409). Если это
действительное значение, тогда на этапе (410), как показано в
Таблице 1, декодер может считывать дополнительные флаги,
относящиеся к неизменности первой переменной по битовому потоку
(например, см. элементы синтаксиса для
source_colour_volume_cancel_flag и source colour volume persistence flag). На этапе (412) через
второй параметр обмена сообщениями SEI (например, source_colour_primaries) , декодер может проверять, определяют ли явным образом метаданные цветовой объем, который в действительности занимается исходным контентом данных. Если это истина (например, source_colour_primaries=2), тогда на этапе
(420) считываются (х,у) координаты цветности цвета для каждого основного цвета (например, красного, зеленого и синего), в противном случае на этапе (425) декодер извлекает значения минимальной, максимальной и средней яркости. Опционально, обмен сообщениями SEI также может определять (х,у) координаты цветности цвета, соответствующие основным цветам значений min, mid и max яркости, определенных ранее. В варианте осуществления это может быть указано третьим параметром (например, luminance_colour_primaries_info_present_flag=l). Если такая информация не присутствует (этап 430), тогда процесс прекращается (409), в противном случае (на этапе 435) декодер извлекает (х,у) координаты цветности цвета для основных цветов для каждого из значений min, mid и max яркости.
[0039] После извлечения информации об исходном цветовом объеме декодер может использовать данные исходного цветового объема во время его процесса администрирования дисплея
(например, 140). В примере, администрирование дисплея может включать в себя два этапа: отображение тона и отображение охвата. Значение min, mid и max яркости может быть использовано, чтобы генерировать кривую отображения тона, как описано в документе [6-7]. Максимальный цветовой охват RGB и нарезанный охват RGB могут быть использованы, чтобы выполнять отображение охвата.
Учет активной области
[0040] В некоторых вариантах осуществления преимущественным может быть определение активной области как части метаданных, относящихся к исходному цветовому объему. Например, когда видео кодируется в формате с леттербоксингом, кодеры и декодеры не должны включать черные зоны леттербоксинга при вычислении характеристик сигнала яркости и сигнала цветности каждого видеокадра (например, минимальной, максимальной и средней
яркости). Экспериментальные результаты показали, что учет "наложения рамки" или "матирования" (например, пилларбоксинг, виндоубоксинг и леттербоксинг) кадров в видеопоследовательности может значительно улучшить общее выходное качество картинки. Несмотря на то, что обнаружение леттербоксинга может быть реализовано декодером, тем самым сокращая потери на сигнализацию чтобы определять активную область картинки, в варианте осуществления такая сигнализация может быть просигнализирована явным образом, чтобы поддерживать декодеры с низкой вычислительной сложностью. Таблица 2 изображает пример обмена сообщениями SEI исходного цветового объема с сигнализацией активной области в соответствии с вариантом осуществления.
if (active region flag) {
active region left offset
ue (v)
active region right offset
ue (v)
active region top offset
ue (v)
active region bottom offset
ue (v)
[0041] Таблица 2 является расширенным вариантом Таблицы 1 и учитывает две отличные семантики определения активной области.
Семантика 1. В варианте осуществления активная область указывается относительно декодированной картинки до обрезки окна совместимости и вывода. Тогда параметры активной области могут быть интерпретированы следующим образом:
[0042] active_region_flag равный 1 указывает на то, что параметры смещения активной области следуют далее в сообщении SEI информации об исходном цветовом объеме. active_region_flag равный 0 указывает на то, что параметры смещения активной области не присутствуют.
[ 0 04 3] active_region_left_offset,
active_region_right_offset, active_region_top_offset и
active_region_bottom_offset указывают активную прямоугольную
область. Когда active_region_flag равен 0, значения
active_region_left_offset, active_region_right_offset,
active_region_top_offset и active_region_bottom_offset
подразумеваются равными 0.
[0044] Активная область определяется горизонтальными
координатами картинки от SubWidthC * active_region_left_offset
до pic_width_in_luma_samples - (SubWidthC *
active_region_right_offset+1) и вертикальными координатами
картинки от SubHeightC * active_region_top_offset до
pic_height_in_luma_samples - (SubHeightC *
active_region_bottom_offset+1), включительно. Значение SubWidthC * (active_region_left_offset+ active_region_right_offset) должно быть меньше pic_width_in_luma_samples, а значение SubHeightC * (active_region_top_offset+active_region_bottom_offset) должно быть меньше pic height in luma samples.
Семантика 2. В варианте осуществления значения смещения активной области определяются относительно окончательной выходной картинки для демонстрации, вследствие этого должны быть учтены параметры окна совместимости. Тогда параметры активной области могут быть интерпретированы следующим образом:
[0045] active_region_flag равный 1 указывает на то, что параметры смещения активной области следуют далее в сообщении SEI информации об исходном цветовом объеме. active_region_flag равный 0 указывает на то, что параметры смещения активной области не присутствуют.
[0046] active_region_left_offset,
active_region_right_offset, active_region_top_offset и
active_region_bottom_offset указывают активную прямоугольную
область. Когда active_region_flag равен 0, значения
active region left offset, active region right offset,
active_region_top_offset и active_region_bottom_offset
подразумеваются равными 0.
[0047] Активная область определяется горизонтальными
координатами картинки от active_region_left_offset+SubWidthC *
conf_win_left_offset до CtbSizeY * PicWidthlnCtbsY - SubWidthC *
conf_win_right_offset - active_region_right_offset - 1 и
вертикальными координатами картинки от
active_region_top_offset+SubHeightC * conf_win_top_offset до
CtbSizeY * PicHeightlnCtbsY - SubHeightC *
conf_win_bottom_offset - active_region_bottom_offset - 1, включительно.
[0048] Значение (active_region_left_offset+
active_region_right_offset) должно быть меньше CtbSizeY *
PicWidthlnCtbsY - SubWidthC *
(conf_win_right_offset+conf_win_left_offset), а значение
(active_region_top_offset+active_region_bottom_offset) должно быть меньше CtbSizeY * PicHeightlnCtbsY - SubHeightC * (conf_win_bottom_offset+conf_win_top_offset).
[0049] Каждый документ из списка цитированной литературы ниже включен в полном объеме в настоящее описание путем ссылки. Списка цитированной литературы
[1] Rec. ITU-T Н.265, "Series H: Audiovisual and Multimedia systems, Infrastructure of audiovisual services - Coding of moving video, High efficiency video coding", ITU, октябрь 2014г.
[2] H.M. Oh et al. , "Content colour gamut SEI message)), JCTVC-X0040, май 2016г., Женева, Швейцария.
[3] A.M. Tourapis, improvements to the Effective Colour Volume SEI", JCTVC-X0052, май 2016г., Женева, Швейцария.
[4] А.К. Ramasubramonian, "Content colour volume SEI message)), JCTVC-X0052, май 2016г., Женева, Швейцария.
[5] SMPTE ST 2094-1:2016: "Dynamic Metadata for Color Volume Transform - Core Components)), SMPTE, 18 мая 2016г.
[6] SMPTE ST 2094-10:2016: "Dynamic Metadata for Color Volume Transform - Application #1", SMPTE, 18 мая 2016г.
[7] R. Atkins и др., Патентная Публикация США US2016/0005349, "Display management for high dynamic range video".
ПРИМЕРНАЯ РЕАЛИЗАЦИЯ КОМПЬЮТЕРНОЙ СИСТЕМЫ
[0050] Варианты осуществления настоящего изобретения могут быть реализованы с помощью компьютерной системы, систем сконфигурированных в электронной схеме или компонентах, устройства интегральной микросхемы (1С), такого как микроконтроллер, программируемая вентильная матрица (FPGA) или другое конфигурируемое или программируемое логическое устройство (PLD), дискретного временного или цифрового сигнального процессора (DSP) , проблемно ориентированной 1С (ASIC) и/или устройства, которое включает в себя одну или более такие системы, устройства или компоненты. Компьютер и/или 1С может выполнять, управлять или исполнять инструкции, относящиеся к сообщению информации об исходном цветовом объеме с использованием обмена сообщениями SEI, такие как те, что описаны в данном документе. Компьютер и/или 1С может вычислять любые из многообразных параметров или значений, которые относятся к процессам, описанным в данном документе. Варианты осуществления изображения и видео могут быть реализованы в аппаратном обеспечении, программном обеспечении, встроенном программном обеспечении и различных их сочетаниях.
[0051] Определенные реализации изобретения содержат компьютерные процессоры, которые исполняют инструкции программного обеспечения, которые предписывают процессорам выполнять способ изобретения. Например, один или более процессоры в дисплее, кодере, телевизионной абонентской приставке, транскодере или аналогичном могут реализовывать способы, относящиеся к сообщению информации об исходном цветовом объеме, используя обмен сообщениями SEI как описано выше посредством исполнения инструкций программного обеспечения в памяти программы, доступной процессорам. Изобретение также может быть предоставлено в форме программного продукта. Программный продукт может содержать любой не временный носитель информации, который несет набор компьютерно-читаемых сигналов, содержащих инструкции, которые, когда исполняются процессором данных, предписывают процессору данных исполнять способ изобретения. Программные продукты в соответствии с изобретением могут быть в любой из широкого многообразия форм. Программный продукт может содержать, например, физические носители информации, такие как магнитные носители информации для хранения данных, включающие в себя гибкие дискеты, накопители на жестком диске, оптические носители информации для хранения данных, включающие в себя CD ROM, DVD, электронные носители информации для хранения данных, включающие в себя ROM, флэш-RAM или аналогичное. Компьютерно-читаемые сигналы в программном продукте могут быть опционально сжаты или зашифрованы.
[0 052] Там где выше упоминается компонент (например, модуль программного обеспечения, процессор, узел, устройство, схема и т.д.), при условии что не указано иное, ссылка на тот компонент
(включая ссылку на "средство") должна интерпретироваться как включающая в себя в качестве эквивалентов того компонента любой компонент, который выполняет функцию описанного компонента
(например, который является функциональным эквивалентом),
включая компоненты, которые структурно не являются эквивалентом
раскрытой структуре, которая выполняет функцию в
проиллюстрированных примерных вариантах осуществления
изобретения.
ЭКВИВАЛЕНТЫ, РАСШИРЕНИЯ, АЛЬТЕРНАТИВЫ И ПРОЧЕЕ [0053] Таким образом раскрываются примерные варианты осуществления, которые относятся к сообщению информации об исходном цветовом объеме с использованием обмена сообщениями SEI. В предшествующем техническом описании варианты осуществления настоящего изобретения были описаны со ссылкой на конкретные подробности, которые могут меняться от реализации к реализации. Таким образом единственным и исключительным показателем того, что является изобретением и подразумевается заявителями в качестве изобретения, является набор пунктов формулы изобретения, которые вытекают из данной заявки, в особой форме, в которой такая формула изобретения публикуется, включая любую последующую коррекцию. Любые определения в явной форме изложенные в данном документе для понятий, которые содержаться в такой формуле изобретения, должны определять значение таких понятий, как используемых в формуле изобретения. Следовательно, никакое ограничение, элемент, свойство, признак, преимущество или атрибут, который в явной форме не указан в формуле изобретения, не должен каким-либо образом ограничивать объем формулы изобретения. Техническое описание и чертежи, соответственно, должны рассматриваться в иллюстративном, а не ограничивающем смысле.
ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ в декодере, чтобы извлекать информацию об
исходном цветовом объеме, причем способ, исполняемый на
процессоре, причем способ, содержащий этапы, на которых:
посредством устройства, содержащего один или более процессоры данных, сконфигурированные программным обеспечением, одно или более программируемые логические устройства, одну или более логические схемы или их сочетания:
принимают переменную обмена сообщениями идентификации исходного цветового объема, идентифицирующую наличие информации об исходном цветовом объеме во входном битовом потоке;
принимают первую переменную обмена сообщениями как часть информации об исходном цветовом объеме;
если первая переменная обмена сообщениями соответствует первому предварительно определенному значению, тогда
для одного или более основных цветов, генерируют х и у координаты цветности для одного или более основных цветов на основании информации об исходном цветовом объеме во входном битовом потоке;
генерируют значение минимальной, максимальной и средней яркости на основании информации об исходном цветовом объеме во входном битовом потоке;
принимают вторую переменную обмена сообщениями как часть информации об исходном цветовом объеме и
если вторая переменная обмена сообщениями соответствует второму предварительно определенному значению, тогда
для одного или более основных цветов, генерируют х и у координаты цветности для одного или более основных цветов значений минимальной, максимальной и средней яркости на основании информации об исходном цветовом объеме во входном битовом потоке.
2. Способ по п. 1 дополнительно содержащий этап, на котором
генерируют третью переменную обмена сообщениями на основании
информации об исходном цветовом объеме, при этом если третья
переменная обмена сообщениями равна 0, то это указывает на то,
что информация об исходном цветовом объеме не отклоняется от
информации об исходном цветовом объеме, а если она равна 1, то это указывает на отмену любого предыдущего сообщения, относящегося к неизменности информации об исходном цветовом объеме во входном битовом потоке.
3. Способ по п. 1, дополнительно содержащий этап, на котором генерируют четвертую переменную обмена сообщениями на основании информации об исходном цветовом объеме, при этом четвертая переменная обмена сообщениями относится к неизменности информации об исходном цветовом объеме во входном битовом потоке.
4. Способ по п. 1, в котором первое предварительно определенное значение равно 2.
5. Способ по п. 1, в котором второе предварительно определенное значение равно 1.
6. Способ по п. 1, дополнительно содержащий этап, на котором принимают пятую переменную обмена сообщениями как часть информации об исходном цветовом объеме, при этом пятая переменная обмена сообщениями указывает наличие информации, относящейся к активной области.
7. Способ по п. б, в котором информация, относящаяся к активной области, содержит по меньшей мере одно из следующего: левое смещение, правое смещение, верхнее смещение и нижнее смещение для активной области.
8. Устройство, содержащее битовый поток видео, хранящийся на одном или более не временных машиночитаемых носителях информации, причем битовый поток отличается тем, что:
данные представляют один или более кадров картинки в сжатом формате, при этом фрагмент данных, который представляет один или более кадров картинки в сжатом формате, содержит:
переменную обмена сообщениями идентификации исходного цветового объема, идентифицирующую наличие информации об исходном цветовом объеме во входном битовом потоке, при этом информация об исходном цветовом потоке дополнительно содержит:
первую переменную обмена сообщениями, указывающую наличие первого набора х и у координат цветности для одного или более основных цветов для исходного цветового объема у данных в
битовом потоке;
переменную минимальной, максимальной и средней яркости для данных в битовом потоке;
вторую переменную обмена сообщениями, указывающую наличие второго набора х и у координат цветности для одного или более основных цветов переменных минимальной, максимальной и средней яркости в битовом потоке.
9. Устройство по п. 8, в котором информация об исходном цветовом объеме дополнительно содержит первый набор х и у координат цветности для одного или более основных цветов для исходного цветового объема у данных в битовом потоке.
10. Устройство по п. 8, в котором информация об исходном цветовом объеме дополнительно содержит второй набор х и у координат цветности для одного или более основных цветов переменных минимальной, максимальной и средней яркости.
11. Устройство по п. 8, дополнительно содержащее третью переменную обмена сообщениями, указывающую наличие информации, относящейся к активной области.
12. Устройство по п. 11, в котором информация, относящаяся к активной области, содержит по меньшей мере одно из следующего: левое смещение, правое смещение, верхнее смещение и нижнее смещение для активной области.
9. Устройство, содержащее процессор и выполненное с возможностью выполнения любого одного из способов, перечисленных в п.п. 1-7.
10. Не временный компьютерно-читаемый запоминающий носитель информации с хранящейся на нем исполняемой компьютером инструкцией для исполнения способа в соответствии с любым из п.п. 1-7.
По доверенности
100
105
Л. ,
ГЕНЕРИРОВАНИЕ ИЗОБРАЖЕНИЯ
107
110
112
115
117
120
ПОСТПРОИЗВОДСТВО
АНАЛИЗ ИСХОД-
КОДИРО-
НОГО ЦВЕТА
ВАНИЕ
125
"V" 119
ДЕКОДИРОВАНИЕ
130
132
119
АДМИНИСТРИРОВАНИЕ ДИСПЛЕЯ
140
S "
142
оооооо
ФИГ. 1
150
0.1
.L, I I I I I
Y = 84 HI/IT
0.*"
0.2 0.3
0.4
0.5
3.6
0.7
0,4 -
0,3 -
0.2 -
0.1 -
0.1
} Y = 246HHT
0.2 0.3 0,4 0.5
5/5
Считывают source colour volume id
Считывают флаги отмены исходного цветового объема, неизменности и colour_primaries
420
Считывают исходные основные цвета, определяющие занимаемый цветовой объем
Считывают минимальную, среднюю и максимальную исходную яркость
Считывают основные цвета для каждого среза
435
тА Конец )
ФИГ. 4