[RU]

Аппаратные средства компьютерного процессора: синтаксически анализируют поток данных на первые части кодированных данных и вторые части кодированных данных; реализует первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала; реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в данные для восстановления, причем данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала; и применяют данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.

(57) Реферат / Формула:

Аппаратные средства компьютерного процессора: синтаксически анализируют поток данных на первые части кодированных данных и вторые части кодированных данных; реализует первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала; реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в данные для восстановления, причем данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала; и применяют данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.

---

2420-529327ЕА/019 ГИБРИДНОЕ ОБРАТНО СОВМЕСТИМОЕ КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ
СИГНАЛОВ
Уровень техники
В данной области техники известно множество технологий для
того, чтобы решать вопросы, связанные со сжатием и распаковкой
многомерных сигналов или сигналов, претерпевающих изменения во
времени. Это имеет место для аудиосигналов, видеосигналов и
других многомерных сигналов, таких как объемные сигналы,
используемые в научных и медицинских областях. Чтобы достигать
высоких коэффициентов сжатия, эти технологии используют
пространственно-временную корреляцию в сигнале. Традиционные
способы идентифицируют ориентир и пытаются определять различие
сигнала между текущим местоположением и данным ориентиром. Это
выполняется как в пространственной области, в которой ориентир
представляет собой часть (например, блок или "макроблок") уже
принятой и декодированной пространственной плоскости, так и во
временной области, в которой один момент времени сигнала
(например, видеокадр в последовательности кадров)
рассматривается в качестве ориентира в течение определенной длительности. Это имеет место, например, для алгоритмов сжатия в соответствии с семейством MPEG-стандартов, в которых ранее декодированные макроблоки рассматриваются в качестве ориентира в пространственной области, а I-кадры и Р-кадры используются в качестве ориентира для последующих Р-кадров во временной области.
Известные технологии используют пространственную корреляцию и временную корреляцию множеством способов, приспосабливая множество различных технологий для того, чтобы идентифицировать, упрощать, кодировать и передавать разности. В традиционных способах, чтобы использовать пространственную корреляцию остатков внутри блока, выполняется преобразование области (например, в частотную область), а затем выполняются удаление с потерями и квантование преобразованной информации, типично вводя определенную степень артефактов блочности. Во временной области, вместо этого, традиционные способы передают
квантованную разность между текущей выборкой и опорной выборкой с компенсацией движения. Чтобы максимизировать подобие между выборками, кодеры пытаются оценивать возникающие модификации во времени в сравнении с опорным сигналом. Это называется, в традиционных способах кодирования (например, технологиях в соответствии с семейством MPEG-стандартов, VP8, VP9 и т.д.), оценкой и компенсацией движения.
Способы кодирования в текущем уровне техники, за исключением небольшого числа попыток, типично игнорируют требование по масштабируемости на основе качества. Способ масштабируемого кодирования должен кодировать одну версию сжатого сигнала и обеспечивать доставку для различных уровней качества, доступностей полосы пропускания и сложности декодера. Масштабируемость учитывается в известных способах, таких как как MPEG-SVC и JPEG2000, с относительно плохим приспособлением до сих пор вследствие вычислительной сложности и, вообще говоря, их похожести на немасштабируемые технологии.
Поскольку технологии на основе MPEG-стандарта (например,
MPEG2, MPEG4, Н.2 64, Н.2 65) представляют собой международные
стандарты, разработано множество специализированных аппаратных
кристаллов для того, чтобы выполнять декодирование сигналов с
помощью специализированных аппаратных блоков. В силу этого для
различных технологий кодирования затруднительно получать
приспособление вследствие отсутствия экосистемы устройств
декодирования. В других случаях передач видео, таких как,
например, кабельная передача в устройства отображения через
такие способы передачи, как HDMI или DisplayPort, передача
видеоконтента в устройства декодирования/отображения
ограничивается посредством пропускной способности кабеля передачи. Это делает невозможным передачу видеоконтента выше данного уровня качества (разрешения или частоты кадров) вследствие ограничений кабеля передачи. Поскольку объем данных для передачи становится все большим со временем (вследствие непрерывного увеличения разрешений и частот кадров, поддерживаемых посредством коммерческих устройств отображения), ограничения, накладываемые посредством соединительных кабелей,
становятся важными проблемами, зачастую вынуждая устройства декодирования/отображения выполнять различные виды интерполяций (например, интерполяции частоты кадров от 60 Гц до 240 Гц) для того, чтобы восполнить недостаточную пропускную способность кабеля передачи с тем, чтобы справляться с уровнями качества, которое они должны иметь возможность отображать.
В других случаях передачи видео, таких как, например,
видеоконференц-связь, крупная установленная база устройств
декодера позволяет декодировать только унаследованный SD- и/или
HD-видеоконтент, тогда как более новые и более мощные системы
телеприсутствия могут качественно декодировать видеоконтент с
гораздо более высокими разрешениями. Современные способы делают
невозможным, за счет одного кодированного потока данных (т.е.
без кодирования/транскодирования на множество различных
видеопотоков), обслуживание как унаследованных устройств
декодера, так и более новых устройств декодера. В других
случаях распространения видео, таких как, например, Blu-Ray-
диски, большая экосистема устройств позволяет декодировать
только унаследованные форматы кодирования HD-видео, тогда как
новые устройства декодирования позволяют декодировать и
отображать UltraHD-видео. Современные способы делают
невозможным распространение одного совместимого с
унаследованными стандартами Blu-Ray-диска, который может считываться в качестве HD-видео посредством глобально установленной базы унаследованных устройств и в качестве UltraHD-видео посредством новых устройств декодирования.
Раскрытие изобретения
В отличие от традиционных технологий, способы и варианты осуществления в данном документе представляют инновационный подход, чтобы достигать эффективных потоков битов и масштабируемости при одновременной поддержке обратной совместимости с аппаратными средствами декодирования и/или отображения, которые сконструированы для известных способов декодирования.
Способы и варианты осуществления, проиллюстрированные в данном документе, также включают в себя способы формирования
обратно совместимого потока, сформированного таким образом, чтоб он декодируется вплоть до первого уровня качества посредством унаследованных декодеров и вплоть до одного или более других (более высоких) уровней качества посредством специально адаптированных декодеров.
Помимо достижения цели масштабируемости с обратной
совместимостью, использование различных технологий
кодирования/декодирования для более высоких уровней качества также позволяет достигать большей эффективности для всего потока битов.
Варианты осуществления в данном документе отличаются от традиционных систем и способов, предоставляя новые способы для того, чтобы декодировать сигнал, с использованием унаследованного способа декодирования для декодирования вплоть до данного уровня качества и нового способа декодирования, с тем чтобы восстанавливать, на основе декодированного сигнала с данным уровнем качества, визуальное представление сигнала с конечным (более высоким) уровнем качества.
Согласно своему самому широкому аспекту, изобретение представляет собой способ для использования существующих аппаратных средств декодирования вплоть до данного разрешения и/или частоты кадров (первого уровня качества) и последующего восстановления одного или более дополнительных уровней качества посредством вычислительно простого, но при этом эффективного способа. Унаследованные устройства декодирования, которые не имеют возможность обновляться таким образом, чтобы выполнять декодирование с уровнем качества выше первого, должны просто декодировать сигнал с первым уровнем качества и игнорировать дополнительные улучшающие данные, т.е. по-прежнему должны иметь возможность декодировать визуальное представление сигнала.
Для простоты, неограничивающие варианты осуществления, проиллюстрированные в данном документе, упоминают сигнал в качестве последовательности выборок (т.е. двумерных изображений, видеокадров, видеополей и т.д.). В описании, термины "изображение (image)", "изображение (picture)" или "плоскость" (имеющие самый широкий смысл "гиперплоскости", т.е.
матрицы элементов с любым числом размерностей и данной решетки дискретизации) зачастую используются для того, чтобы идентифицировать цифровое визуальное представление выборки сигнала вдоль последовательности выборок, при этом каждая плоскость имеет данное разрешение для каждой из своих размерностей (например, X и Y) и содержит набор элементов плоскости (либо "элемент" или "пел", либо элемент отображения, для двумерных изображений зачастую называемый "пикселом", для объемных изображений зачастую называемый "вокселов", и т.д.), характеризующийся посредством одного или более "значений" или "настроек" (например, в качестве неограничивающих примеров, настроек цветов в подходящем цветовом пространстве, настроек, указывающих уровни плотности, настроек, указывающих уровни температуры, настроек, указывающих основной аудиотон, настроек, указывающих амплитуду, и т.д.). Каждый элемент плоскости идентифицирован посредством подходящего набора координат, указывающих целочисленные позиции упомянутого элемента в решетке дискретизации изображения. Размерности сигнала могут включать в себя только пространственные размерности (например, в случае изображения) либо также временную размерность (например, в случае сигнала, претерпевающего изменения во времени). В качестве неограничивающих примеров, сигнал может представлять собой изображение, аудиосигнал, многоканальный аудиосигнал, видеосигнал, многовидовой видеосигнал (например, трехмерное видео), объемный сигнал (например, формирование медицинских изображений, формирование научных изображений, формирование голографических изображений и т.д.), объемный видеосигнал или даже сигналы более чем с четырьмя размерностями.
Для простоты, неограничивающие варианты осуществления, проиллюстрированные в данном документе, зачастую означают сигналы, которые отображаются в качестве двумерных плоскостей настроек (например, двумерных изображений в подходящем цветовом пространстве), такие как, например, видеосигнал. Термины "кадр" или "поле" используются взаимозаменяемо с термином "изображение", с тем чтобы указывать выборку во времени
видеосигнала: любые принципы и способы, проиллюстрированные для видеосигналов, состоящих из кадров (построчных видеосигналов), также могут быть легко применимыми к видеосигналам, состоящим из полей (чересстрочным видеосигналам), и наоборот. Несмотря на то, что варианты осуществления, проиллюстрированных в данном документе, фокусируют внимание на видеосигналах, специалисты в данной области техники могут легко понимать, что идентичные принципы и способы также являются применимыми к любым другим типам многомерного сигнала (например, к объемным сигналам, видеосигналам, трехмерным видеосигналам, пленооптическим сигналам и т.д.).
В неограничивающем варианте осуществления, описанном в данном документе, процессор сигналов выполнен с возможностью принимать поток данных и разделять его на два или более подпотоков. Первый подпоток декодируется посредством первого способа декодирования, формируя визуальное представление сигнала с первым уровнем качества. Второй подпоток декодируется посредством второго способа декодирования, формируя остатки. На основе сигнала с первым уровнем качества, процессор сигналов формирует прогнозированное визуальное представление сигнала со вторым (более высоким) уровнем качества. Процессор сигналов комбинирует прогнозированное (или "предварительное") визуальное представление сигнала со вторым уровнем качества с остатками, формируя визуальное представление сигнала со вторым уровнем качества.
В других неограничивающих вариантах осуществления, описанных в данном документе, процессор сигналов, расположенный в другом компьютерном устройстве, принимает поток данных и не выполнен с возможностью декодировать второй подпоток. Процессор сигналов игнорирует второй подпоток и декодирует только первый подпоток, формируя визуальное представление сигнала с первым уровнем качества. Таким образом, включение второго абонентского потока данных в поток данных фактически является обратно совместимым с декодерами, которые не выполнены с возможностью декодировать второй подпоток, поскольку унаследованные декодеры просто игнорируют второй абонентский поток и формируют
визуальное представление сигнала с первым уровнем качества вместо визуального представления сигнала со вторым уровнем качества.
В неограничивающем варианте осуществления, способ реализуется в микропрограммном обеспечении аппаратных средств, сконструированных с возможностью декодировать согласно способу на основе MPEG-стандарта, и первый подпоток декодируется согласно упомянутому способу на основе MPEG-стандарта.
В других неограничивающих вариантах осуществления, описанных в данном документе, второй подпоток включает в себя параметры, соответствующие операциям, выполняемым посредством процессора сигналов, чтобы формировать, на основе сигнала с первым уровнем качества, прогнозированное или предварительное визуальное представление сигнала со вторым уровнем качества. В неограничивающем варианте осуществления, упомянутые параметры включают в себя коэффициенты ядра повышающей дискретизации, используемые для того, чтобы повышающе дискретизировать визуальное представление сигнала с первым уровнем качества.
В других неограничивающих вариантах осуществления, описанных в данном документе, декодированные остатки включают в себя первый набор остатков с первым уровнем качества и второй набор остатков со вторым уровнем качества.
В других неограничивающих вариантах осуществления, описанных в данном документе, формирование прогнозированного визуального представления сигнала со вторым уровнем качества включает в себя:
комбинирование визуального представления сигнала с первым уровнем качества с первым набором остатков;
повышающую дискретизацию визуального представления
сигнала с первым уровнем качества посредством операций
повышающей дискретизации, соответствующих принимаемым
параметрам.
В других неограничивающих вариантах осуществления, описанных в данном документе, декодирование набора остатков включает в себя:
- декодирование преобразованных квантованных остатков;
суммирование и вычитание преобразованных квантованных остатков с собой и/или с подходящими параметрами, формирование квантованных остатков;
деквантование квантованных остатков, формирование
остатков.
В неограничивающем варианте осуществления, упомянутые подходящие параметры включают в себя параметры, полученные посредством вычисления разности между значением элемента визуального представления сигнала с первым уровнем качества и средним соответствующих элементов прогнозированного визуального представления сигнала со вторым уровнем качества.
В других неограничивающих вариантах осуществления, описанных в данном документе, декодирование набора остатков включает в себя:
- декодирование квантованных преобразованных остатков;
- деквантование квантованных преобразованных остатков,
- формирование преобразованных остатков;
суммирование и вычитание преобразованных остатков с собой и/или с подходящими параметрами, формирование остатков.
В одном неограничивающем варианте осуществления, упомянутые подходящие параметры включают в себя параметры, полученные посредством вычисления разности между значением элемента визуального представления сигнала с первым уровнем качества и средним соответствующих элементов прогнозированного визуального представления сигнала со вторым уровнем качества.
В неограничивающем варианте осуществления, операции деквантования выполняются посредством идентификации позиции в каждом диапазоне квантования согласно данным параметрам.
В неограничивающем варианте осуществления, операции деквантования выполняются посредством статистического размывания, посредством вычисления случайного значения, содержащегося в диапазоне квантования согласно данному распределению вероятностей.
В других неограничивающих вариантах осуществления, декодирование квантованных преобразованных остатков включает в себя прием энтропийно кодированных данных и их декодирование
согласно подходящему способу энтропийного декодирования. В неограничивающем варианте осуществления, упомянутый способ энтропийного декодирования представляет собой комбинацию из декодирования методом Хаффмана и декодирования по длинам серий (RLE) . В других неограничивающих вариантах осуществления, упомянутый способ энтропийного декодирования включает в себя статический арифметический кодер. В других неограничивающих вариантах осуществления, энтропийный декодер принимает параметры, соответствующие распределению вероятностей символов, которые должны декодироваться.
В соответствии с дополнительными неограничивающими вариантами осуществления, остатки для последующих изображений идентичной последовательности декодируются из идентичного общего ориентира (опорного буфера), с тем чтобы эффективно использовать корреляцию между несколькими последующими изображениями.
В соответствии с дополнительными неограничивающими вариантами осуществления, один или более остатков для последующих изображений идентичной последовательности декодируются на основе соответствующих остатков предыдущего изображения, с тем чтобы эффективно использовать корреляцию между несколькими последующими изображениями.
В другом неограничивающем варианте осуществления,
описанном в данном документе, процессор сигналов выполнен с
возможностью принимать поток данных и разделять его на три или
более подпотоков. Первый подпоток декодируется посредством
первого способа декодирования, формируя визуальное
представление сигнала с первым уровнем качества. Второй подпоток декодируется посредством второго способа декодирования, формируя улучшающие данные, которые позволяют декодеру формировать, на основе визуального представления сигнала с первым уровнем качества, визуальное представление сигнала со вторым (более высоким) уровнем качества. Третий подпоток декодируется посредством третьего способа декодирования, формируя улучшающие данные, которые позволяют декодеру формировать, на основе визуального представления
сигнала со вторым уровнем качества, визуальное представление сигнала с третьим (более высоким) уровнем качества.
В соответствии с дополнительными неограничивающими вариантами осуществления, поток данных организован в качестве транспортного MPEG-потока, и пакеты различных подпотоков
(соответствующих различным уровням качества) имеют различные пакетированные идентификаторы (PID), указывающие их принадлежность различным элементарным подпотокам. Как пояснено в данном документе, тегирование данных с помощью первого PID указывает части данных для декодирования посредством первого декодера; тегирование данных с помощью второго PID указывает части данных для декодирования посредством второго декодера; тегирование данных с помощью третьего PID указывает части данных для декодирования посредством третьего декодера; и т.д. В одном варианте осуществления, PID для улучшающих подпотоков
(позволяющие восстанавливать более высокие уровни качества) выбираются таким образом, что они игнорируются посредством унаследованных декодеров. В соответствии с дополнительными неограничивающими вариантами осуществления, поток данных организован в качестве HDMI-передачи данных, при этом подпоток, соответствующий первому уровню качества, представляет собой несжатое видео (передаваемое согласно HDMI-формату), а данные улучшающих подпотоков передаются в качестве метаданных. В некотором неограничивающем варианте осуществления, второй уровень качества имеет более высокую частоту кадров относительно первого уровня качества. В другом неограничивающем варианте осуществления, второй уровень качества имеет более высокое пространственное разрешение относительно первого уровня качества. В неограничивающем варианте осуществления, улучшающие данные передаются в периоды гашения (максимальные данные островных пакетов для каждого периода гашения горизонтальной развертки составляют 448 байтов, оставляя всего приблизительно 480 Мбит/с для дополнительных данных; аудиоданные также используют периоды гашения, но их значительная часть доступна для улучшающих данных). В других неограничивающих вариантах осуществления, передача улучшающих данных использует передачу
метаданных через конкретный для производителя информационный кадр (VSI). В соответствии с дополнительными неограничивающими вариантами осуществления, поток данных организован в качестве передачи DisplayPort, при этом подпоток, соответствующий первому уровню качества, представляет собой несжатое видео (передаваемое согласно DisplayPort-формату), и данные улучшающих подпотоков передаются в качестве метаданных.
В соответствии с дополнительными неограничивающими вариантами осуществления, поток данных организован в качестве файла на Blu-Ray-диске, при этом подпоток, соответствующий первому уровню качества, кодирован как традиционное видео с Blu-Ray-диска, а данные улучшающих подпотоков включены на Blu-Ray- диск в качестве метаданных.
Различные изменения первых вариантов осуществления В соответствии с другими вариантами осуществления, аппаратные средства компьютерного процессора принимают поток данных. Аппаратные средства компьютерного процессора синтаксически анализируют принимаемый поток данных на первые части кодированных данных и вторые части кодированных данных. Аппаратные средства компьютерного процессора реализуют первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала. Аппаратные средства компьютерного процессора реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в данные для восстановления. Данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала. Аппаратные средства компьютерного процессора применяют данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Вышеуказанный первый примерный вариант осуществления может реализовываться вместе с любым из одного или более следующих признаков таким образом, чтобы формировать еще одни нижеприведенные дополнительные варианты осуществления. Например, в одном варианте осуществления, первые части кодированных данных декодируются (через первый декодер
аппаратных средств компьютерного процессора) в соответствии с форматом согласно MPEG (стандарт экспертной группы по киноизображению) или на основе MPEG-стандарта, посредством неограничивающих примеров, MPEG2, п.2 64, VC1, VP8, VP9 или п.2 65. Данные для восстановления, которые извлекаются из вторых частей кодированных данных, декодируются (через второй декодер аппаратных средств компьютерного процессора) в соответствии с форматом иерархического кодирования. В соответствии с еще одним дополнительным вариантом осуществления, первые части кодированных данных содержат несжатые видеоданные; данные для восстановления извлекаются из вторых частей кодированных данных и декодируются в соответствии с форматом иерархического кодирования. Следует отметить, что вторые части кодированных данных могут представлять собой сжатые данные. Реализация второго декодера может включать в себя применение операций повышающей дискретизации к сжатым данным для того, чтобы формировать данные для восстановления, причем применяемые операции повышающей дискретизации преобразуют настройки элемента отображения более низкого разрешения в настройки элемента отображения более высокого разрешения. В еще дополнительных вариантах осуществления, аппаратные средства компьютерного процессора представляют собой первые аппаратные средства компьютерного процессора. Система может включать в себя вторые аппаратные средства компьютерного процессора (к примеру, унаследованный декодер, включающий в себя первый декодер и не включающий в себя второй декодер). Вторые аппаратные средства компьютерного процессора также принимают поток данных. Вторые аппаратные средства компьютерного процессора инициируют декодирование только первых частей кодированных данных, принимаемых в потоке данных, во второе первое визуальное представление сигнала; и инициируют отображение второго первого визуального представления сигнала на экране отображения.
В качестве дополнительного примера, первые части кодированных данных могут декодироваться (с использованием декодера первого типа) согласно способу декодирования,
совместимому с аппаратными средствами компьютерного процессора унаследованного декодера, и поток данных организован таким образом, что вторые части кодированных данных не используются
(и/или игнорируются) посредством аппаратных средств компьютерного процессора унаследованного декодера. Аппаратные средства компьютерного процессора унаследованного декодера: i) инициируют декодирование только первых частей кодированных данных, и ii) инициируют отображение первого визуального представления сигнала на соответствующем экране отображения.
Поток данных, принимаемый посредством аппаратных средств компьютерного процессора, может представлять собой сигнал HDMI
(стандарт мультимедийного интерфейса высокой четкости), в котором первые части кодированных данных (обрабатываемые посредством первого декодера) являются несжатыми видеоданными, а вторые части кодированных данных (обрабатываемые посредством второго декодера) являются сжатыми данными. Альтернативно, поток данных, принимаемый посредством аппаратных средств компьютерного процессора, может приниматься по DisplayPort-интерфейсу, в котором первые части кодированных данных являются несжатыми видеоданными, а вторые части кодированных данных являются сжатыми данными. В качестве дополнительного неограничивающего примерного варианта осуществления, поток данных может представлять собой транспортный поток MPEG
(стандарт экспертной группы по киноизображению), включающий в себя первые части данных (такие MPEG-кодированные данные) и вторые части данных, при этом первые части и вторые части характеризуются посредством различных номеров идентификаторов пакетов (PID). В качестве дополнительного неограничивающего примерного варианта осуществления, поток данных может представлять собой файл, организованный таким образом, что он сохраняется на Blu-Ray-диске и декодируется посредством устройств декодера Blu-Ray-дисков. Первые части данных включены в формат Blu-Ray в качестве традиционных HD-видеоданных и кодированы с помощью первого способа кодирования (например, традиционного Blu-Ray-кодека для HD-видеоданных, такого как п.2 64 или VC1), тогда как вторые части данных включены в формат
Blu-Ray в качестве метаданных, которые игнорируются посредством унаследованных устройств декодера HD Blu-Ray-дисков и кодируются согласно второму способу кодирования.
В одном варианте осуществления, сигнал (захваченный посредством принимаемых частей кодированных данных в потоке данных) включает в себя множество элементов отображения; и второе визуальное представление сигнала имеет более высокий уровень качества относительно первого визуального представления сигнала.
В еще одних дополнительных вариантах осуществления, второе визуальное представление сигнала может иметь разрешение элементов отображения, идентичное разрешению элементов отображения первого визуального представления сигнала. Реализация второго декодера для того, чтобы декодировать вторые части кодированных данных, может включать в себя: декодирование первого набора остаточных данных с первым уровнем качества, как указано посредством вторых частей кодированных данных; использование первого набора остаточных данных для того, чтобы модифицировать первое визуальное представление сигнала и формировать второе визуальное представление сигнала; формирование, по меньшей мере, частично на основе второго визуального представления сигнала, третьего визуального представления сигнала, причем третье визуальное представление сигнала имеет более высокое разрешение (в некоторых вариантах осуществления, пространственное разрешение; в других вариантах осуществления, временное разрешение; в еще одних других вариантах осуществления, как пространственное, так и временное разрешение) относительно разрешения второго визуального представления сигнала; декодирование второго набора остаточных данных со вторым уровнем качества, как указано посредством вторых частей кодированных данных; и использование второго набора остаточных данных для того, чтобы модифицировать третье визуальное представление сигнала и формировать четвертое визуальное представление сигнала.
Дополнительно, аппаратные средства компьютерного
процессора могут быть выполнены с возможностью осуществлять
операции: формирования, на основе четвертого визуального представления сигнала, пятого визуального представления сигнала, причем пятое визуальное представление сигнала имеет более высокое разрешение (также, пространственное и/или временное, согласно конкретному неограничивающему варианту осуществления) относительно разрешения четвертого визуального представления сигнала; декодирование третьего набора остаточных данных с третьим уровнем качества, как указано посредством вторых частей кодированных данных; и использование третьего набора остаточных данных для того, чтобы модифицировать пятое визуальное представление сигнала и формировать шестое визуальное представление сигнала. Первое визуальное представление сигнала может представлять собой чересстрочный видеосигнал; шестое визуальное представление сигнала может представлять собой построчный видеосигнал.
В других неограничивающих вариантах осуществления, принимаемый поток данных включает в себя более двух различных частей кодированных данных, декодированных посредством более двух декодеров согласно более чем двум различным способам декодирования. В неограничивающем варианте осуществления, принимаемый поток данных включает в себя три части кодированных данных. Первые части кодированных данных декодируются посредством первого декодера, формируя первое визуальное представление сигнала. Второе визуальное представление сигнала имеет разрешение элементов отображения, идентичное разрешению элементов отображения первого визуального представления сигнала. Реализация второго декодера для того, чтобы декодировать вторые части кодированных данных, включает в себя: декодирование первого набора остаточных данных с первым уровнем качества, как указано посредством вторых частей кодированных данных; использование первого набора остаточных данных для того, чтобы модифицировать первое визуальное представление сигнала и формировать второе визуальное представление сигнала; формирование, по меньшей мере, частично на основе второго визуального представления сигнала, третьего визуального представления сигнала, причем третье визуальное представление
сигнала имеет более высокое разрешение относительно разрешения второго визуального представления сигнала; декодирование второго набора остаточных данных со вторым уровнем качества, как указано посредством вторых частей кодированных данных; и использование второго набора остаточных данных для того, чтобы модифицировать третье визуальное представление сигнала и формировать четвертое визуальное представление сигнала. Дополнительно, аппаратные средства компьютерного процессора выполнены с возможностью осуществлять операции: декодирования третьего набора остаточных данных, как указано посредством третьей части кодированных данных; использования третьего набора остаточных данных для того, чтобы модифицировать четвертое визуальное представление сигнала и формировать пятое визуальное представление сигнала; формирования, на основе пятого визуального представления сигнала, шестого визуального представления сигнала, причем шестое визуальное представление сигнала имеет более высокое разрешение относительно разрешения пятого визуального представления сигнала; декодирования четвертого набора остаточных данных с четвертым уровнем качества, как указано посредством третьих частей кодированных данных; использования четвертого набора остаточных данных для того, чтобы модифицировать шестое визуальное представление сигнала и формировать седьмое визуальное представление сигнала; формирования, на основе седьмого визуального представления сигнала, восьмого визуального представления сигнала, причем восьмое визуальное представление сигнала имеет более высокое разрешение относительно разрешения седьмого визуального представления сигнала; декодирования пятого набора остаточных данных на пятом уровне качества, как указано посредством третьих частей кодированных данных; использования пятого набора остаточных данных для того, чтобы модифицировать восьмое визуальное представление сигнала и формировать девятое визуальное представление сигнала. В неограничивающем варианте осуществления, первое визуальное представление сигнала представляет собой чересстрочный SD-видеосигнал; четвертое визуальное представление сигнала представляет собой
чересстрочный HD-видеосигнал; девятое визуальное представление сигнала представляет собой построчный UltraHD-видеосигнал.
Реализация второго декодера для того, чтобы декодировать вторые части кодированных данных, дополнительно может включать в себя операции: идентификации операций повышающей дискретизации, как указано посредством вторых частей кодированных данных; и применения операций повышающей дискретизации ко второму визуальному представлению сигнала для того, чтобы формировать третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет значительно более высокое разрешение элементов отображения относительно разрешения элементов отображения второго визуального представления сигнала. В некоторых неограничивающих вариантах осуществления, более высокое разрешение элементов отображения является более высоким пространственным разрешением (вертикальным, горизонтальным либо как вертикальным, так и горизонтальным) для каждого поля или кадра видеосигнала; в других неограничивающих вариантах осуществления, более высокое разрешение элементов отображения является более высоким временным разрешением (т.е. видеосигнал с более высокой частотой кадров); в еще одних других неограничивающих вариантах осуществления, более высокое разрешение элементов отображения является более высоким пространственным и более высоким временным разрешением в сигнале.
В соответствии с дополнительными вариантами осуществления,
идентификация операций повышающей дискретизации, как указано
посредством вторых частей кодированных данных, содержит:
декодирование параметров, соответствующих конкретным
коэффициентам ядра повышающей дискретизации; по меньшей мере, частично на основе декодированных параметров, формирование ядра повышающей дискретизации, соответствующего части третьего визуального представления сигнала; и применение ядра повышающей дискретизации к части второго визуального представления сигнала для того, чтобы формировать часть третьего визуального представления сигнала. В одном варианте осуществления, третье визуальное представление сигнала является предварительным (или
прогнозированным) визуальным представлением сигнала со
значительно более высоким разрешением элементов отображения.
Реализация второго декодера дополнительно может содержать:
использование данных для восстановления для того, чтобы
модифицировать предварительное визуальное представление сигнала
со значительно более высоким разрешением элементов отображения,
причем модифицированное предварительное визуальное
представление сигнала имеет идентичное разрешение, но более высокий уровень качества относительно предварительного визуального представления сигнала. Таким образом, принятые кодированные данные, как указано посредством первых частей кодированных данных, могут декодироваться в соответствии с унаследованным способом декодирования (таким как MPEG-2, MPEG-4, DivX, AVC/h.2 64, SVC, HEVC/h.2 65, VC1, VP 8, VP 9 и т.д., для простоты "MPEG-данные"), или в других неограничивающих вариантах осуществления, они могут декодироваться даже в качестве несжатых видеоданных (например, в соответствии с HDMI-, DisplayPort- или DVT-форматом передачи). Улучшающие данные в потоке данных (к примеру, вторые части кодированных данных) могут декодироваться и использоваться для того, чтобы преобразовывать визуальное представление сигнала, извлекаемое из MPEG-данных, в сигнал воспроизведения с более высоким уровнем качества. Как пояснено в данном документе, улучшающие данные кодируются в соответствии с He-MPEG-форматом кодирования.
В соответствии с еще одним дополнительным вариантом осуществления, из вторых частей кодированных данных в принимаемом потоке данных, второй декодер формирует данные для восстановления, кодированные в соответствии с иерархическим форматом. Данные для восстановления, получаемые или извлекаемые из вторых частей кодированных данных, могут включать в себя остаточные данные. Например, в одном варианте осуществления, данные для восстановления включают в себя, по меньшей мере, первый набор остаточных данных и второй набор остаточных данных; причем первый набор остаточных данных указывает то, как модифицировать визуальное представление сигнала с первым
разрешением элементов отображения, второй набор остаточных данных указывает то, как модифицировать визуальное представление сигнала со вторым разрешением элементов отображения. Второе разрешение элементов отображения выше первого разрешения элементов отображения. В неограничивающем варианте осуществления, второй набор остаточных данных декодируется, по меньшей мере, частично на основе первого набора остаточных данных.
Аппаратные средства компьютерного процессора могут быть
выполнены с возможностью осуществлять дополнительные операции:
использования первого набора остаточных данных для того, чтобы
модифицировать первое визуальное представление сигнала и
формировать второе визуальное представление сигнала;
формирования, на основе второго визуального представления
сигнала, третьего визуального представления сигнала, причем
третье визуальное представление сигнала является
предварительным визуальным представлением сигнала со вторым разрешением элементов отображения; использования второго набора остаточных данных для того, чтобы модифицировать третье визуальное представление сигнала и формировать четвертое визуальное представление сигнала со вторым разрешением элементов отображения.
Аппаратные средства компьютерного процессора могут быть выполнены с возможностью формировать второй набор остаточных данных из преобразованных остаточных данных. В одном варианте осуществления, аппаратные средства компьютерного процессора дополнительно выполняют операции: декодирования вторых частей кодированных данных в квантованные преобразованные остаточные данные; деквантования квантованных остаточных данных для того, чтобы формировать преобразованные остаточные данные; обработки преобразованных остаточных данных, второго визуального представления сигнала и третьего визуального представления сигнала для того, чтобы воспроизводить второй набор остаточных данных; и применения воспроизведенного второго набора остаточных данных к третьему визуальному представлению сигнала для того, чтобы формировать четвертое визуальное представление
сигнала. В некоторых неограничивающих вариантах осуществления,
квантованные преобразованные остаточные данные декодируются из
вторых частей кодированных данных согласно способу энтропийного
декодирования на основе статического диапазона, согласно
распределению вероятностей символов, указываемому посредством
вторых частей кодированных данных. В других неограничивающих
вариантах осуществления, квантованные преобразованные
остаточные данные, декодированные согласно способу энтропийного
декодирования на основе статического диапазона, комбинированы с
символами, которые унаследованы из более низкого уровня
качества сигнала, как указано посредством первого набора
остаточных данных. В еще одних других неограничивающих
вариантах осуществления, квантованные преобразованные
остаточные данные декодируются из вторых частей кодированных данных согласно способу энтропийного декодирования методом Хаффмана, комбинированному со способом декодирования по длинам серий (RLE). В дополнительных вариантах осуществления, сигнал, воспроизведенный посредством аппаратных средств компьютерного процессора и соответствующего декодирования, представляет собой видеосигнал. Набор остаточных данных может формироваться согласно временному наследованию для множества изображений (полей или кадров) сигнала, т.е. один или более остатков для данного изображения могут декодироваться, как указано посредством остаточных данных, декодированных для другого изображения. В таком случае, аппаратные средства компьютерного процессора дополнительно выполняют операции: декодирования остаточных данных для поля/кадра, по меньшей мере, частично на основе остаточных данных, декодированных для другого поля/кадра.
Первые части кодированных данных могут перемежаться со вторыми частями кодированных данных в потоке данных. Синтаксический анализ потока данных на первые части кодированных данных и вторые части кодированных данных может включать в себя: использование тегов (к примеру, одного или боле PID или идентификаторов пакетов) в потоке данных для того, чтобы идентифицировать первые части данных и вторые части
данных. Поток данных может быть организован в качестве транспортного MPEG-потока, в котором первым частям кодированных данных (к примеру, данных, кодированных с помощью MPEG-кодека, декодируемых посредством унаследованного устройства декодера) назначается первый идентификатор пакета (PID), а вторым частям кодированных данных (к примеру, кодированных данных, кодированных с помощью поярусного иерархического способа) назначается второй идентификатор пакета (PID). Как пояснено выше, аппаратные средства компьютерного процессора реализуют первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала. Аппаратные средства компьютерного процессора реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в данные для восстановления.
Первые части кодированных данных могут кодироваться в
любом подходящем формате, т.е. с помощью любого подходящего
кодека. В качестве неограничивающего примерного варианта
осуществления, первые части кодированных данных могут
кодироваться в соответствии с h.264-форматом кодирования MPEG
(стандарт экспертной группы по киноизображению); первые части
кодированных данных могут кодироваться согласно формату
кодирования MPEG2 (стандарт экспертной группы по
киноизображению 2); и т.д. В соответствии с некоторыми неограничивающими вариантами осуществления, кодированный и воспроизведенный сигнал представляет собой видеосигнал, включающий в себя множество кадров (или полей, для чересстрочных видеосигналов) элементов отображения. Для простоты, термины "кадр" и "поле" используются взаимозаменяемо, чтобы указывать временные выборки видеосигнала.
В соответствии с некоторыми неограничивающими вариантами осуществления, чтобы подготавливать посредством рендеринга сигнал, аппаратные средства компьютерного процессора могут быть выполнены с возможностью дополнительно выполнять операции: идентификации временных ассоциирований между первыми частями кодированных данных и вторыми частями кодированных данных, причем временные ассоциирования указывают то, к какому из
множества кадров элементов отображения в первом визуальном представлении сигнала относятся данные для восстановления. Применение данных для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала, может включать в себя: в соответствии с временными ассоциированиями, использование данных для восстановления для того, чтобы временно повышающе дискретизировать первое визуальное представление сигнала во второе визуальное представление сигнала, причем второе визуальное представление сигнала включает в себя большее число кадров элементов отображения относительно первого визуального представления сигнала. Таким образом, временные ассоциирования предоставляют возможность аппаратным средствам компьютерного процессора идентифицировать взаимосвязь между первыми частями кодированных данных и вторыми частями кодированных данных, дополнительно обеспечивая поток данных для того, чтобы преобразовывать визуальное представление сигнала, извлекаемого из первых частей кодированных данных, в сигнал с более высоким уровнем качества с использованием вторых частей кодированных данных в потоке данных. В соответствии с еще одним дополнительным вариантом осуществления, сигнал представляет собой видеосигнал, в котором первое визуальное представление сигнала имеет первую частоту кадров; второе визуальное представление сигнала имеет вторую частоту кадров, причем вторая частота кадров превышает первую частоту кадров. Аппаратные средства компьютерного процессора дополнительно выполняют операции: формирования, на основе первого визуального представления сигнала на первой частоте кадров, и как указано посредством данных для восстановления, предварительного визуального представления сигнала на второй частоте кадров; формирования набора остаточных данных, как указано посредством данных для восстановления; и применения набора остаточных данных к предварительному визуальному представлению сигнала на второй частоте кадров, чтобы формировать второе визуальное представление сигнала.
В дополнительных вариантах осуществления, применение
данных для восстановления включает в себя: как указано посредством данных для восстановления, пространственную повышающую дискретизацию второго визуального представления сигнала в третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет более высокое разрешение элементов отображения относительно второго визуального представления сигнала.
В еще одних дополнительных вариантах осуществления, данные для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с множеством разрешений элементов отображения. Второй декодер применяет операции повышающей дискретизации ко вторым частям кодированных данных для того, чтобы воспроизводить иерархию остаточных данных. Иерархия остаточных данных является уникальным способом сжатия данных, которые используются для того, чтобы извлекать более высокие уровни качества сигнала.
Как пояснено выше, сигнал может представлять собой видеосигнал. Иерархия остаточных данных может формироваться согласно временному наследованию остатков для множества кадров элементов отображения в сигнале. Аппаратные средства компьютерного процессора, на данном уровне иерархии остаточных данных, декодируют остаточные данные для первого кадра/поля, по меньшей мере, частично на основе остаточных данных, декодированных для второго кадра/поля. Второй кадр/поле соответствует моменту времени, отличающемуся от момента времени, к которому относится первый кадр/поле.
В дополнительных неограничивающих вариантах осуществления,
иерархия остаточных данных формируется согласно
пространственному наследованию остатков в данном кадре/поле элементов отображения в сигнале. Аппаратные средства компьютерного процессора, с данным уровнем качества в иерархии остаточных данных, декодируют остаточные данные для части данного кадра/поля только на основе данных для восстановления, декодированных для более низкого уровня качества в иерархии остаточных данных. В дополнительных неограничивающих вариантах осуществления, иерархия остаточных данных формируется согласно
как пространственному наследованию остатков в данном кадре/поле элементов отображения в сигнале, так и временному наследованию остаточных данных для различных кадров/полей. Аппаратные средства компьютерного процессора, с данным уровнем качества в иерархии остаточных данных, декодируют остаточные данные для части данного кадра/поля только на основе данных для восстановления, декодированных для более низкого уровня качества в иерархии остаточных данных, и на основе опорного набора остаточных данных.
В еще дополнительных вариантах осуществления, аппаратные средства компьютерного процессора дополнительно выполняют операции: извлечения первого набора остаточных данных из базового набора остаточных данных; извлечения второго набора остаточных данных из базового набора остаточных данных, причем первый набор остаточных данных отличается от второго набора остаточных данных; применения первого набора остаточных данных к первой временной выборке первого визуального представления сигнала для того, чтобы формировать соответствующую первую временную выборку во втором визуальном представлении сигнала; и применения второго набора остаточных данных ко второй временной выборке первого визуального представления сигнала для того, чтобы формировать соответствующую вторую временную выборку во втором визуальном представлении сигнала. На основе второго визуального представления сигнала, аппаратные средства компьютерного процессора формируют третье визуальное представление сигнала, причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения. Аппаратные средства компьютерного процессора дополнительно: декодируют второй базовый набор остаточных данных; извлекают третий набор остаточных данных из второго базового набора остаточных данных; извлекают четвертый набор остаточных данных из второго базового набора остаточных данных, причем третий набор остаточных данных отличается от четвертого набора остаточных данных; применяют третий набор остаточных данных к первой временной выборке третьего визуального
представления сигнала для того, чтобы формировать соответствующую первую временную выборку в четвертом визуальном представлении сигнала; и применяют четвертый набор остаточных данных ко второй временной выборке третьего визуального представления сигнала для того, чтобы формировать соответствующую вторую временную выборку в четвертом визуальном представлении сигнала.
В соответствии с еще одними дополнительными вариантами осуществления, аппаратные средства компьютерного процессора: декодируют вторые части кодированных данных в преобразованные остаточные данные; обрабатывают преобразованные остаточные данные для того, чтобы формировать квантованные остаточные данные; деквантуют квантованные остаточные данные для того, чтобы воспроизводить остаточные данные; и применяют воспроизведенные остаточные данные к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
В качестве дополнительного неограничивающего примера, аппаратные средства компьютерного процессора могут быть выполнены с возможностью: декодировать вторые части кодированных данных в остаточные данные с первым уровнем качества; формировать, на основе остаточных данных с первым уровнем качества, предварительное визуальное представление остаточных данных со вторым уровнем качества, причем второй уровень качества выше первого уровня качества; декодировать вторые части кодированных данных в квантованные преобразованные остаточные данные; деквантовать квантованные преобразованные остаточные данные для того, чтобы формировать преобразованные остаточные данные; обрабатывать комбинацию преобразованных остаточных данных, остаточных данных с первым уровнем качества и предварительного визуального представления остаточных данных со вторым уровнем качества таким образом, чтобы воспроизводить остаточные данные со вторым уровнем качества; и применять воспроизведенные остаточные данные со вторым уровнем качества к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Дополнительно, аппаратные средства компьютерного процессора могут быть выполнены с возможностью: формировать, на основе второго визуального представления сигнала, третье визуальное представление сигнала, причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения; декодировать вторые части кодированных данных в новый набор преобразованных остаточных данных; обрабатывать комбинацию нового набора преобразованных остаточных данных, второго визуального представления сигнала и третьего визуального представления сигнала для того, чтобы формировать новый набор остаточных данных; и применять новый набор остаточных данных к третьему визуальному представлению сигнала для того, чтобы формировать четвертое визуальное представление сигнала.
В дополнительных вариантах осуществления, аппаратные средства компьютерного процессора могут быть выполнены с возможностью: применять операцию повышающей дискретизации ко второму визуальному представлению сигнала для того, чтобы формировать третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет значительно более высокое разрешение элементов отображения относительно второго визуального представления сигнала. Применение операции повышающей дискретизации может включать в себя извлечение настроек для элемента отображения в третьем визуальном представлении сигнала на основе настроек для множества элементов отображения во втором визуальном представлении сигнала.
В одном варианте осуществления, как пояснено выше, данные для восстановления включают в себя остаточные данные. Аппаратные средства компьютерного процессора применяют остаточные данные к множеству элементов отображения в третьем визуальном представлении сигнала для того, чтобы формировать четвертое визуальное представление сигнала. Применяемые остаточные данные модифицируют настройки множества элементов отображения в третьем визуальном представлении сигнала для
того, чтобы формировать настройки для соответствующих элементов отображения в четвертом визуальном представлении сигнала. Дополнительно, при реализации второго декодера для того, чтобы декодировать вторые части кодированных данных в остаточные данные, второй декодер декодирует, по меньшей мере, один остаток в остаточных данных посредством комбинирования результата с практически случайным числом, сформированным согласно данному распределению вероятностей. В соответствии с еще одним дополнительным вариантом осуществления, аппаратные средства компьютерного процессора декодируют, по меньшей мере, некоторые вторые части кодированных данных через способы энтропийного декодирования методом Хаффмана и/или декодирования по длинам серий (RLE).
В еще одних дополнительных вариантах осуществления, аппаратные средства компьютерного процессора декодируют кодированные данные через энтропийный декодер на основе статического диапазона в соответствии с распределением вероятностей символов, указываемым в данных для восстановления. В соответствии с другим вариантом осуществления, аппаратные средства компьютерного процессора декодируют кодированные данные через статический арифметический энтропийный декодер в соответствии с распределением вероятностей символов, указываемым в данных для восстановления.
Различные изменения вторых вариантов осуществления В соответствии с дополнительными вариантами осуществления, аппаратные средства компьютерного процессора принимают поток данных. Аппаратные средства компьютерного процессора синтаксически анализируют поток данных на первые части кодированных данных, вторые части кодированных данных и третьи части кодированных данных. Аппаратные средства компьютерного процессора реализуют первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала с первым уровнем качества. Аппаратные средства компьютерного процессора реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в первые данные для восстановления, причем первые данные
для восстановления указывают то, как модифицировать первое визуальное представление сигнала во второе визуальное представление сигнала со вторым уровнем качества, причем второй уровень качества выше первого уровня качества. Аппаратные средства компьютерного процессора обрабатывают первые данные для восстановления и первое визуальное представление сигнала для того, чтобы формировать второе визуальное представление сигнала со вторым уровнем качества. Аппаратные средства компьютерного процессора реализуют третий декодер для того, чтобы декодировать третьи части кодированных данных во вторые данные для восстановления. Вторые данные для восстановления указывают то, как модифицировать второе визуальное представление сигнала в третье визуальное представление сигнала с третьим уровнем качества. Третий уровень качества выше второго уровня качества. Аппаратные средства компьютерного процессора обрабатывают вторые данные для восстановления и второе визуальное представление сигнала для того, чтобы формировать третье визуальное представление сигнала с третьим уровнем качества.
Этот второй примерный вариант осуществления может реализовываться вместе с любым из одного или более следующих признаков таким образом, чтобы формировать еще одни нижеприведенные дополнительные варианты осуществления или другие варианты осуществления, как описано в данном документе.
Например, в одном неограничивающем варианте осуществления, первые части кодированных данных могут декодироваться в соответствии с форматом MPEG (стандарт экспертной группы по киноизображению), таким как MPEG2, п.2 64, VC1 или п.2 65. Аппаратные средства компьютерного процессора извлекают первые данные для восстановления из вторых частей кодированных данных. Аппаратные средства компьютерного процессора извлекают вторые данные для восстановления из третьих частей кодированных данных. Как вторые части кодированных данных, так и третьи части кодированных данных могут представлять собой сжатые видеоданные, кодированные в соответствии с одним или более форматов иерархического кодирования.
Различные изменения третьих вариантов осуществления
В соответствии с дополнительными вариантами осуществления, аппаратные средства компьютерного процессора принимают поток данных. Аппаратные средства компьютерного процессора синтаксически анализируют принимаемый поток данных на части уже декодированных данных и еще не декодированных кодированных данных. Декодированные данные указывают настройки, ассоциированные с первым визуальным представлением сигнала. В одном варианте осуществления, аппаратные средства компьютерного процессора используют декодированные данные (к примеру, несжатые данные) для того, чтобы формировать первое визуальное представление сигнала. Аппаратные средства компьютерного процессора реализуют декодер для того, чтобы декодировать кодированные данные (к примеру, сжатые данные) в данные для восстановления. Данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала. Аппаратные средства компьютерного процессора применяют данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Этот примерный вариант осуществления может реализовываться вместе с любым из одного или более следующих признаков таким образом, чтобы формировать нижеприведенные еще одни дополнительные неограничивающие варианты осуществления.
Например, в соответствии с другими вариантами осуществления, кодированные данные в потоке данных могут кодироваться в соответствии с форматом иерархического кодирования, в котором данные кодируются в соответствии с различными разрешениями в соответствующей иерархии сжатия.
Аппаратные средства компьютерного процессора применяют операции повышающей дискретизации для того, чтобы формировать остаточные данные на более высоких уровнях в иерархии. В одном варианте осуществления, операции повышающей дискретизации преобразуют настройки элемента отображения более низкого разрешения в настройки элемента отображения более высокого разрешения, которые затем используются для того, чтобы
модифицировать предварительное визуальное представление сигнала. В одном варианте осуществления, настройки элемента после повышающей дискретизации (т.е. предварительный набор остаточных данных с более высоким уровнем качества) комбинированы с относительными остаточными данными, декодированными из данных для восстановления для того, чтобы формировать остаточные данные более высокого разрешения, которые затем используются для того, чтобы модифицировать предварительное визуальное представление сигнала.
В соответствии с дополнительными вариантами осуществления: сигнал представляет собой видеосигнал, указывающий настройки для множества элементов отображения; второе визуальное представление сигнала имеет более высокий уровень качества относительно первого визуального представления сигнала; и второе визуальное представление сигнала имеет разрешение элементов отображения, идентичное разрешению элементов отображения первого визуального представления сигнала.
Реализация декодера для того, чтобы декодировать кодированные данные, может включать в себя: идентификацию операций повышающей дискретизации, как указано посредством кодированных данных; и применение операций повышающей дискретизации ко второму визуальному представлению сигнала для того, чтобы формировать третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет значительно более высокое разрешение элементов отображения (временное и/или пространственное) относительно второго визуального представления сигнала. В некоторых неограничивающих вариантах осуществления, третье визуальное представление сигнала имеет идентичное временное разрешение элементов отображения и значительно более высокое пространственное разрешение элементов отображения относительно второго визуального представления сигнала. В других неограничивающих вариантах осуществления, третье визуальное представление сигнала имеет значительно более высокое временное разрешение элементов отображения (т.е. более высокую частоту кадров) и идентичное пространственное разрешение элементов отображения
относительно второго визуального представления сигнала. В еще одних других неограничивающих вариантах осуществления, третье визуальное представление сигнала имеет значительно более высокое временное и пространственное разрешение элементов отображения относительно второго визуального представления сигнала.
В соответствии с еще одним дополнительным вариантом
осуществления, третье визуальное представление сигнала может
быть предварительным визуальным представлением сигнала со
значительно более высоким разрешением элементов отображения.
Реализация декодера дополнительно может содержать:
использование данных для восстановления для того, чтобы
модифицировать предварительное визуальное представление сигнала
со значительно более высоким разрешением элементов отображения,
причем модифицированное предварительное визуальное
представление сигнала имеет более высокий уровень качества относительно предварительного визуального представления сигнала.
Следует отметить, что варианты осуществления в данном
документе могут реализовываться в программном обеспечении или в
аппаратных средствах либо могут реализовываться с
использованием комбинации программного обеспечения и аппаратных
средств и могут включать в себя конфигурацию одного или более
компьютеризированных устройств, маршрутизаторов, сети, рабочих
станций, карманных или переносных компьютеров, планшетных
компьютеров, мобильных телефонов, игровых приставок,
абонентских приставок, оборудования для проведения
видеоконференций, видеопроигрывателей и т.д., с тем чтобы выполнять и/или поддерживать любые из операций способа, раскрытых в данном документе. Другими словами, одно или более компьютеризированных устройств или процессор могут быть запрограммированы и/или выполнены с возможностью работать так, как пояснено в данном документе, чтобы выполнять различные варианты осуществления.
В дополнение к технологиям, как пояснено выше, еще один другой вариант осуществления в данном документе включает в себя
программы, чтобы выполнять этапы и операции, обобщенно описанные выше и подробно раскрытые ниже. Один такой вариант осуществления содержит машиночитаемый аппаратный ресурс хранения (т.е. энергонезависимые машиночитаемые носители), включающий в себя компьютерную программную логику, инструкции и т.д., кодированные на нем, которые при выполнении в компьютеризированном устройстве, имеющем процессор и соответствующее запоминающее устройство, программируют и/или инструктируют процессору выполнять любую из операций, раскрытых в данном документе. Такие компоновки могут предоставляться в качестве программного обеспечения, кода и/или других данных
(например, структур данных), размещаемых или кодированных на машиночитаемом носителе, таком как оптический носитель
(например, CD-ROM, DVD-ROM или Blu-Ray), карта флэш-памяти,
гибкий или жесткий диск либо любой другой носитель, допускающий
сохранение машиночитаемых инструкций, к примеру,
микропрограммного обеспечения или микрокода на одном или более ROM- или RAM-, или PROM-кристаллах, либо в качестве специализированной интегральной схемы (ASIC). Программное обеспечение или микропрограммное обеспечение либо другие такие конфигурации могут устанавливаться на компьютеризированное устройство, чтобы инструктировать компьютеризированному устройству выполнять технологии, поясненные в данном документе.
Соответственно, один конкретный вариант осуществления настоящего раскрытия сущности направлен на компьютерный программный продукт, который включает в себя машиночитаемый аппаратный носитель хранения данных, имеющий сохраненные инструкции для поддержки операций обработки сигналов. Инструкции, при выполнении посредством аппаратных средств компьютерного процессора, инструктируют аппаратным средствам компьютерного процессора системы: синтаксически анализировать поток данных на первые части кодированных данных и вторые части кодированных данных; реализовывать первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала; реализовывать второй декодер для того, чтобы декодировать вторые части кодированных данных в
данные для восстановления, причем данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала; и применять данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Другой вариант осуществления настоящего раскрытия сущности направлен на компьютерный программный продукт, который включает в себя машиночитаемый аппаратный носитель хранения данных, имеющий сохраненные инструкции для поддержки операций обработки сигналов. Инструкции, при выполнении посредством аппаратных средств компьютерного процессора, инструктируют аппаратным средствам компьютерного процессора системы: синтаксически анализировать поток данных на первые части кодированных данных, вторые части кодированных данных и третьи части кодированных данных; реализовывать первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала с первым уровнем качества; реализовывать второй декодер для того, чтобы декодировать вторые части кодированных данных в первые данные для восстановления, причем первые данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала во второе визуальное представление сигнала со вторым уровнем качества, причем второй уровень качества выше первого уровня качества; обрабатывать первые данные для восстановления и первое визуальное представление сигнала для того, чтобы формировать второе визуальное представление сигнала со вторым уровнем качества; реализовывать третий декодер для того, чтобы декодировать третьи части кодированных данных во вторые данные для восстановления, причем вторые данные для восстановления указывают то, как модифицировать второе визуальное представление сигнала в третье визуальное представление сигнала с третьим уровнем качества, причем третий уровень качества выше второго уровня качества; и обрабатывать вторые данные для восстановления и второе визуальное представление сигнала для того, чтобы формировать третье визуальное представление сигнала с третьим уровнем
качества.
Другой вариант осуществления настоящего раскрытия сущности направлен на компьютерный программный продукт, который включает в себя машиночитаемый аппаратный носитель хранения данных, имеющий сохраненные инструкции для поддержки операций обработки сигналов. Инструкции, при выполнении посредством аппаратных средств компьютерного процессора, инструктируют аппаратным средствам компьютерного процессора системы: синтаксически анализировать принимаемый поток данных на декодированные данные и кодированные данные, причем декодированные данные указывают настройки, ассоциированные с первым визуальным представлением сигнала; использовать декодированные данные для того, чтобы формировать первое визуальное представление сигнала; реализовывать декодер для того, чтобы декодировать кодированные данные в данные для восстановления, причем данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала; и применять данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Порядок выполнения этапов добавлен для целей ясности. Эти этапы могут выполняться в любом подходящем порядке.
Другие варианты осуществления настоящего раскрытия сущности включают в себя программы, микропрограммное обеспечение и/или соответствующие аппаратные средства, чтобы выполнять любые из этапов варианта осуществления способа и операций, обобщенно описанных выше и подробно раскрытых ниже.
Кроме того, следует понимать, что система, способ, устройство, инструкции на машиночитаемых носителях хранения данных и т.д., как пояснено в данном документе, могут быть осуществлены строго в качестве программы, в качестве гибрида программного обеспечения, микропрограммного обеспечения и/или аппаратных средств либо только в качестве аппаратных средств, к примеру, в процессоре или в операционной системе, или в приложении и т.д. Как пояснено выше, технологии в данном документе оптимально подходят для использования в программных,
микропрограммных и/или аппаратных приложениях, которые обрабатывают сигналы и формируют потоки битов кодированных данных либо которые обрабатывают потоки битов кодированных данных и формируют визуальные представления сигналов. Тем не менее, следует отметить, что варианты осуществления в данном документе не ограничены использованием в таких вариантах применения, и что технологии, поясненные в данном документе, также оптимально подходят для других вариантов применения. Дополнительно, следует отметить, что хотя каждый из различных признаков, технологий, конфигурации и т.д., в данном документе может быть пояснен в различных местах этого раскрытия сущности, подразумевается, что каждый из принципов может выполняться независимо друг от друга либо в комбинации друг с другом. Соответственно, один или более настоящих вариантов изобретения, вариантов осуществления и т.д., как описано в данном документе, могут осуществляться и изучаться множеством различных способов.
Кроме того, следует отметить, что это предварительное пояснение вариантов осуществления в данном документе не указывает каждый вариант осуществления и/или инкрементный аспект новизны настоящего раскрытия сущности либо заявленного изобретения(й). Вместо этого, данное краткое описание только представляет общие варианты осуществления и соответствующие аспекты новизны по сравнению с другими традиционными технологиями. На предмет дополнительных подробностей и/или возможных перспектив (изменений) изобретения(й), читателю следует обращаться к разделу "Подробное описание" и к соответствующим чертежам настоящего раскрытия сущности, как подробнее пояснено ниже.
Краткое описание чертежей
Вышеприведенные и другие цели, признаки и преимущества изобретения должны становиться очевидными из нижеследующего более подробного описания предпочтительных вариантов осуществления в данном документе, как проиллюстрировано на прилагаемых чертежах, на которых аналогичные ссылки с номером означают идентичные части на различных представлениях. Чертежи необязательно должны быть нарисованы в масштабе, вместо этого
акцент делается на иллюстрации вариантов осуществления, принципов, идей и т.д.
Фиг. 1А, 1В, 1С, ID, IE, IF, 1G и 1Н являются примерными схемами, иллюстрирующими системы и способы декодирования согласно вариантам осуществления в данном документе.
Фиг. 1Е является примерной схемой, иллюстрирующей аппаратные средства компьютерного процессора, обрабатывающие соответствующий поток данных согласно вариантам осуществления в данном документе.
Фиг. 1F является примерной схемой, иллюстрирующей аппаратные средства компьютерного процессора, обрабатывающие соответствующий поток данных согласно вариантам осуществления в данном документе.
Фиг. 2 является примерной схемой, иллюстрирующей систему и способ декодирования согласно вариантам осуществления в данном документе.
Фиг. ЗА, ЗВ и ЗС являются примерными схемами, иллюстрирующими системы и способы декодирования согласно вариантам осуществления в данном документе.
Фиг. 4 является примерной схемой, иллюстрирующей системы и способ декодирования согласно вариантам осуществления в данном документе.
Фиг. 5А, 5В и 5С являются примерными схемами, иллюстрирующими системы и способы остаточного декодирования согласно вариантам осуществления в данном документе.
Фиг. 6А и 6В являются примерными схемами, иллюстрирующими системы и способы преобразованного остаточного декодирования согласно вариантам осуществления в данном документе.
Фиг. 7А, 7В и 7С являются примерными схемами, иллюстрирующими использование преобразованных остаточных данных согласно вариантам осуществления в данном документе.
Фиг. 8 является примерной блок-схемой, иллюстрирующей компьютерную систему, поддерживающую обработку данных согласно вариантам осуществления в данном документе.
Фиг. 9, 10 и 11 являются примерными блок-схемами
последовательности операций способа, иллюстрирующими
декодирование согласно вариантам осуществления в данном документе.
Фиг. 12А и 12В являются примерными блок-схемами, иллюстрирующими кодирование согласно вариантам осуществления в данном документе.
Осуществление изобретения
Способы, проиллюстрированные в данном документе, являются
подходящими для любого типа многомерных сигналов, включающих в
себя, без ограничения, звуковые сигналы, многоканальные
звуковые сигналы, изображения, двумерные изображения,
видеосигналы, многовидовые видеосигналы, трехмерные
видеосигналы, объемные сигналы, объемные видеосигналы, сигналы формирования медицинских изображений, сигналы более чем с четырьмя размерностями и т.д.
Для простоты, в описании, проиллюстрированные варианты осуществления обычно приспосабливают вариант использования кодирования и декодирования видеопоследовательностей, т.е. временных сигналов, состоящих из последовательности двумерных изображений (обычно называемых "кадрами" или "полями" в случае чересстрочных видеосигналов, причем эти термины используются фактически взаимозаменяемо в этом документе) , причем каждый элемент (в таком неограничивающем примерном случае типично называемый "пикселом") характеризуется посредством набора настроек цветов в подходящем цветовом пространстве (например, YUV, RGB, HSV и т.д.). Различные цветовые плоскости (например, плоскость яркости (Y) и две плоскости цветности (U и V) ) зачастую кодируются отдельно и зачастую с различными разрешениями (вследствие более низкой чувствительности человеческого глаза к информации цветности), хотя плоскости U и V типично используют информацию компенсации движения, вычисленную для плоскости Y. Способы и варианты осуществления, проиллюстрированные в данном документе, могут использоваться в сочетании друг с другом и/или с другими способами. Многие предпочтительные варианты осуществления, проиллюстрированные в данном документе, описывают технологии и алгоритмы с целью достижения многомасштабного декодирования (например, в качестве
неограничивающего примера, включения версии SD (стандартной четкости) и HD (высокой четкости) идентичного ТВ-(телевизионного) канала в один поток данных) и эффективного сжатия (т.е. кодирования подходящего визуального представления сигнала с минимальным количеством битов). Они также представляют собой неограничивающий пример: другие неограничивающие варианты осуществления достигают различных целей, таких как уменьшение потребления вычислительной мощности, эффективность использования энергии, уменьшение тепла, выделяемого CPU, использование архитектур параллельной обработки и т.д. Фиг. 1А является неограничивающей примерной схемой, иллюстрирующей систему кодирования и декодирования согласно вариантам осуществления в данном документе.
Кодер 110 принимает сигнал 100 и кодирует его в поток 115
данных. Декодер 12 0 принимает поток 115 данных и формирует
восстановленный сигнал 150. В неограничивающем варианте
осуществления, сигнал 100 и сигнал 150 представляют собой
видеосигналы, содержащие соответствующую последовательность
изображений 100-1, 100-2,..., 100-п и 150-1, 150-2,..., 150-п.
Каждое изображение 150-i сигнала 150 является восстановленным
визуальным представлением соответствующего исходного
изображения ЮО-i сигнала 100. Например, изображение 150-1 является восстановлением изображения 100-1; изображение 150-2 является восстановлением исходного изображения 100-2; и т.д.
Фиг. 1В является неограничивающей примерной схемой, иллюстрирующей системы многомасштабного кодирования и декодирования согласно вариантам осуществления в данном документе.
В этом примерном варианте осуществления, аппаратные средства 106 компьютерного процессора включают в себя декодер 120 и унаследованный декодер 130.
Кодер 110 принимает сигнал 100 и кодирует его в гибридный многомасштабный поток 115 данных. Унаследованный декодер 130 принимает поток 115 данных и формирует восстановленный SD-сигнал 140 с первым уровнем качества. Декодер 120 принимает поток 115 данных и формирует восстановленный HD-сигнал 150 со
вторым уровнем качества, причем второй уровень качества выше первого уровня.
В неограничивающем варианте осуществления, сигнал 150 со вторым уровнем качества имеет более высокое разрешение (пространственное и/или временное) относительно первого уровня качества. В другом неограничивающем варианте осуществления, унаследованный декодер 130 использует технологии декодирования на основе MPEG-стандарта (например, MPEG2, п.2 64 и т.д.) для того, чтобы декодировать часть потока 115 данных. В другом неограничивающем варианте осуществления, декодер 12 0 формирует восстановленный SD-сигнал 140 в качестве базиса для того, чтобы формировать восстановленный HD-сигнал 150. Другими словами, аппаратные средства 106 компьютерного процессора могут быть выполнены с возможностью использовать восстановленный SD-сигнал 140 в качестве базиса для того, чтобы формировать восстановленный HD-сигнал 150.
В одном варианте осуществления, поток 115 данных содержит информацию, которая игнорируется посредством унаследованного декодера 130 и которая декодируется посредством декодера 120, позволяя декодеру 120 формировать, на основе восстановленного SD-сигнала 140, восстановленный HD-сигнал 150. В неограничивающем варианте осуществления, второй уровень качества сигнала 150 имеет разрешение, полученное посредством повышающей дискретизации, с помощью данных коэффициентов масштабирования, одной или более пространственных размерностей сигнала 14 0 с первым уровнем качества.
В неограничивающем примерном варианте осуществления, процессор сигналов декодирования телевизионной абонентской приставки программируется таким образом, чтобы реализовывать способ, как проиллюстрировано на фиг. 1В, в котором поток 115 данных соответствует принимаемому широковещательному сигналу в форме транспортного MPEG-потока. Как пояснено выше и как подробнее пояснено ниже, поток 115 данных включает в себя первые части кодированных данных для декодирования посредством унаследованного декодера 130 для того, чтобы формировать восстановленный SD-сигнал 14 0, и вторые части кодированных
данных (улучшающих данных) для декодирования посредством декодера 12 0. В одном варианте осуществления, улучшающие данные соответствуют информации, используемой посредством декодера 12 0 для того, чтобы формировать, на основе восстановленного SD-сигнала 140, восстановленный HD-сигнал 150. В одном варианте осуществления, данные в потоке 115 данных, используемом для того, чтобы формировать восстановленный SD-сигнал 150, характеризуются посредством идентификатора пакета (PID) транспортного потока, который отличается от PID основного элементарного потока, который соответствует восстановленному SD-сигналу 140. Другими словами, в одном варианте осуществления, первые части кодированных данных, которые декодируются посредством унаследованного декодера 130 для того, чтобы воспроизводить сигнал 140, тегируются с помощью первого значения уникального идентификатора (к примеру, первого PID) ; вторые части кодированных данных, которые должны декодироваться посредством декодера 120 и формировать сигнал 150, тегируются с помощью второго значения уникального идентификатора (к примеру, второго PID).
Множество различных типов устройств декодера (например, в качестве неограничивающего примера, абонентских приставок) могут быть выполнены с возможностью принимать поток 115 данных. Первый набор из одного или более устройств декодера в сетевом окружении может включать в себя только унаследованный декодер 130. В таком случае, устройства декодера, принимающие поток 115 данных, имеют возможность декодировать только первые части кодированных данных для того, чтобы формировать восстановленный SD-сигнал 140 для отображения на соответствующем экране отображения. Соответствующие аппаратные средства компьютерного процессора инициируют декодирование только первых частей кодированных данных, принимаемых в потоке данных, в первое визуальное представление сигнала. Другими словами, вторые части кодированных данных не используются посредством унаследованного декодера 130. Аппаратные средства компьютерного процессора (например, абонентская приставка) затем инициируют отображение первого визуального представления сигнала на экране
отображения. Таким образом, унаследованные декодеры имеют возможность принимать поток 115 данных и при этом отображать визуальное представление сигнала, хотя с более низким уровнем качества, к примеру, SD, а не HD с более высоким уровнем качества. Модернизированные устройства декодера, включающие в себя декодер 12 0, имеют возможность декодировать первые части кодированных данных, а также вторые части кодированных данных в потоке 115 данных для того, чтобы воспроизводить восстановленный HD-сигнал 150. Таким образом, унаследованные абонентские приставки и соответствующие декодеры принимают идентичный поток данных 115, но просто игнорируют улучшающие данные (вторые части кодированных данных) и декодируют сигнал вплоть до первого уровня качества (к примеру, восстановленный SD-сигнал 140). В соответствии с другими неограничивающими вариантами осуществления, гибридный многомасштабный поток данных, содержащий первые части кодированных данных и вторые части кодированных данных, сохраняется на Blu-Ray-диске согласно подходящему Blu-Ray-видеоформату, при этом вторые части кодированных данных (улучшающих данных) включены в качестве метаданных. Унаследованные Blu-Ray-декодеры игнорируют улучшающие данные, декодируя первые части кодированных данных в видеосигнал с первым уровнем качества (к примеру, Full HD). Модернизированные UltraHD Blu-Ray-декодеры декодируют как первые части кодированных данных, так и вторые части кодированных данных, с использованием видеосигнала с первым уровнем качества в качестве базиса для того, чтобы декодировать видеосигнал со вторым (более высоким) уровнем качества (к примеру, UltraHD).
Фиг. 1С является неограничивающей примерной схемой, иллюстрирующей системы многомасштабного кодирования и декодирования с несколькими улучшающими слоями согласно вариантам осуществления в данном документе.
Как показано, эта примерная реализация аппаратных средств 106 компьютерного процессора включает в себя декодер 130, декодер 120 и декодер 125.
В этом неограничивающем примерном варианте осуществления,
кодер 110 принимает исходный сигнал 100 с самым высоким уровнем качества (к примеру, UltraHDp60) и кодирует его в многомасштабный поток 115 данных. Унаследованный декодер 130 принимает поток 115 данных и формирует восстановленный SD-сигнал 14 0 с первым уровнем качества (к примеру, чересстрочный SD 576160). Декодер 120 принимает поток 115 данных и формирует восстановленный HD-сигнал 150 со вторым уровнем качества (к примеру, чересстрочный Full HD 1080160), причем второй уровень качества выше первого уровня.
Декодер 12 5 принимает поток 115 данных и формирует восстановленный UltraHD-сигнал 160 с третьим уровнем качества (к примеру, построчный UltraHDp60), причем третий уровень качества выше второго уровня.
В дополнительном неограничивающем варианте осуществления, унаследованный декодер 130 использует технологии декодирования на основе MPEG-стандарта (например, MPEG2, п.2 64 и т.д.) для того, чтобы декодировать поток 115 данных. В другом неограничивающем варианте осуществления, декодер 130 формирует восстановленный SD-сигнал 140, декодер 120 использует сигнал 140 в качестве базиса для того, чтобы формировать восстановленный HD-сигнал 150; декодер 125 затем использует восстановленный HD-сигнал 150 в качестве базиса для того, чтобы формировать восстановленный UltraHD-сигнал 160.
Поток 115 данных содержит информацию, которая игнорируется посредством унаследованного декодера 130 и которая декодируется посредством декодера 120, позволяя декодеру 120 формировать, на основе восстановленного SD-сигнала 140, восстановленный HD-сигнал 150. Поток 115 данных также содержит информацию, которая игнорируется посредством декодера 120 и которая декодируется посредством декодера 125, позволяя декодеру 125 формировать, на основе восстановленного HD-сигнала 150, восстановленный UltraHD-сигнал 160. Таким образом, другие части кодированных данных в принимаемом потоке данных 115 используются для того, чтобы преобразовывать восстановленный сигнал с более низким уровнем качества в восстановленный сигнал с более высоким уровнем качества.
Более конкретно, аппаратные средства 106 компьютерного
процессора используют первые части кодированных данных в потоке
115 данных для того, чтобы формировать восстановленный SD-
сигнал 140. Декодер 120 декодирует вторые части кодированных
данных в потоке 115 данных. Аппаратные средства 106
компьютерного процессора используют декодированные вторые части
кодированных данных для того, чтобы преобразовывать
восстановленный SD-сигнал 140 в восстановленный HD-сигнал 150.
Еще дополнительно, декодер 125 декодирует третьи части
кодированных данных в потоке 115 данных. Аппаратные средства
106 компьютерного процессора используют декодированные третьи
части кодированных данных для того, чтобы преобразовывать
восстановленный HD-сигнал 150 в восстановленный UltraHD-сигнал
160. Согласно некоторым неограничивающим вариантам
осуществления, вторые части кодированных данных в потоке 115 данных декодируются посредством аппаратных средств 106 компьютерного процессора, по меньшей мере, частично на основе восстановленного SD-сигнала 140, и третьи части кодированных данных в потоке 115 данных декодируются посредством аппаратных средств 106 компьютерного процессора, по меньшей мере, частично на основе восстановленного HD-сигнала 150.
В неограничивающем варианте осуществления, декодер 125
формирует третий уровень качества посредством комбинирования
сначала восстановленного HD-сигнала 150 с первым набором
остатков, затем посредством повышающей дискретизации сигнала на
вертикальный коэффициент в два или другое подходящее значение
(превращающей чересстрочный HD в построчный HD) , затем
посредством комбинирования сформированного сигнала со вторым
набором остатков, затем посредством повышающей дискретизации с
коэффициентом масштабирования в два для обеих пространственных
размерностей (формирования прогнозированного, или
предварительного, визуального представления сигнала с третьим уровнем качества) и, в завершение, посредством комбинирования прогнозированного визуального представления сигнала с третьим уровнем качества с третьим набором остатков.
В неограничивающем примерном варианте осуществления,
процессор сигналов декодирования телевизионной абонентской приставки программируется таким образом, чтобы реализовывать способ декодирования, как проиллюстрировано на фиг. 1С, при этом поток 115 данных соответствует принимаемому широковещательному сигналу в форме транспортного MPEG-потока согласно ISO/IEC 13818-1 и EN ETSI 50083-9. Улучшающие данные
(к примеру, вторые части кодированных данных и третьи части кодированных данных и т.д.), соответствующие информации, используемой посредством декодера 120 и посредством декодера 125 для того, чтобы формировать, на основе восстановленного SD-сигнала 140, восстановленный HD-сигнал 150 и восстановленный UltraHD 160, характеризуются, соответственно, посредством уникальных идентификаторов пакетов (PID) транспортного потока, которые отличаются от PID основного элементарного потока
(первых частей кодированных данных, к примеру, MPEG-кодированных данных), которые используются для того, чтобы формировать восстановленный SD-сигнал 140. Таким образом, декодеры унаследованных абонентских приставок (которые включают в себя только унаследованный декодер 130 для того, чтобы декодировать данные, кодированные с помощью унаследованного MPEG-формата) принимают идентичный поток данных 115, но просто игнорируют улучшающие данные и декодируют сигнал вплоть до первого уровня качества (SD-уровня качества).
В соответствии с еще одними дополнительными вариантами осуществления на фиг. 1С, через теги, аппаратные средства 106 компьютерного процессора синтаксически анализируют поток 115 данных на первые части кодированных данных (данных, тегированных с помощью первого значения тега), вторые части кодированных данных (данных, тегированного с помощью второго значения тега) и третьи части кодированных данных (данных, тегированных с помощью третьего значения тега). Аппаратные средства 106 компьютерного процессора реализуют первый декодер 130 для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала (к примеру, восстановленный SD-сигнал 140) с первым уровнем качества. Аппаратные средства 106 компьютерного процессора реализуют
второй декодер 120 для того, чтобы декодировать вторые части кодированных данных в первые данные для восстановления. Первые данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала 140 во второе визуальное представление сигнала 150 со вторым уровнем качества. Второй уровень качества выше первого уровня качества. Другими словами, сигнал со вторым уровнем качества ближе к исходному сигналу, из которого извлекаются визуальные представления сигнала. Аппаратные средства 106 компьютерного процессора обрабатывают первые данные для восстановления и первое визуальное представление сигнала 140 для того, чтобы формировать второе визуальное представление сигнала 150 со вторым (более высоким) уровнем качества.
В одном варианте осуществления, аппаратные средства 106 компьютерного процессора реализуют третий декодер 125, чтобы декодировать третьи части кодированных данных в потоке 115 данных во вторые данные для восстановления. Вторые данные для восстановления указывают то, как модифицировать второе визуальное представление сигнала 150 в третье визуальное представление сигнала 160 с третьим уровнем качества. Третий уровень качества выше второго уровня качества. Аппаратные средства 106 компьютерного процессора обрабатывают вторые данные для восстановления и второе визуальное представление сигнала 150 для того, чтобы формировать третье визуальное представление сигнала 160 с третьим уровнем качества. В качестве дополнительного неограничивающего примера, первые части кодированных данных могут декодироваться в соответствии с форматом MPEG (стандарт экспертной группы по киноизображению). Первые данные для восстановления могут извлекаться из вторых частей кодированных данных в потоке 115 данных. Вторые данные для восстановления могут извлекаться из третьих частей кодированных данных в потоке 115 данных. Как вторые части кодированных данных, так и третьи части кодированных данных в потоке данных могут декодироваться в соответствующие данные для восстановления в соответствии с различными форматами кодирования, к примеру, в качестве неограничивающего примера, с
иерархическими форматами кодирования сжатых данных.
Фиг. 1D является неограничивающей примерной схемой, иллюстрирующей многомасштабную обратно совместимую передачу в устройство отображения с улучшающими метаданными согласно вариантам осуществления в данном документе.
В этом примерном варианте осуществления, аппаратные средства 106 компьютерного процессора включают в себя адаптированное устройство 121 декодера и отображения и унаследованное устройство 131 декодера и отображения.
Передающее устройство 111 принимает исходный сигнал 100 с самым высоким уровнем качества (к примеру, UltraHDpl20) и формирует многомасштабный поток 115 данных, согласно данному формату передачи (к примеру, в качестве неограничивающего примера, HDMI-формату для передачи по такой линии связи, как HDMI-кабель). Унаследованное устройство 131 декодера и отображения принимает поток 115 данных и формирует восстановленный сигнал 141 с первым уровнем качества (к примеру, UltraHDp60). Адаптированное устройство 121 декодера и отображения принимает поток 115 данных и формирует восстановленный сигнал 151 со вторым уровнем качества (к примеру, UltraHDpl20), причем второй уровень качества выше первого уровня.
В неограничивающем варианте осуществления, первый уровень качества данных (к примеру, несжатые данные) передается в потоке 116 данных в качестве несжатых видеоданных, согласно стандартному формату передачи, который является совместимым с унаследованными устройствами (к примеру, HDMI, DisplayPort или DVT). Улучшающие данные, к примеру, сжатые данные, передаваемые в потоке 116 данных, передаются в качестве кодированных метаданных и декодируются посредством адаптированного устройства 121 декодера и отображения, чтобы формировать, на основе восстановленного сигнала 141 с первым уровнем качества, восстановленный сигнал 151 со вторым уровнем качества.
В неограничивающем примерном варианте осуществления,
процессор сигналов декодирования телевизора программируется
таким образом, чтобы реализовывать способ, как
проиллюстрировано на фиг. 1D, в котором поток 116 данных соответствует принимаемому HDMI-сигналу. Улучшающие данные в потоке 116, к примеру, сжатые данные являются информацией, используемой посредством декодера 121 для того, чтобы формировать, с использованием восстановленного сигнала 141 в качестве базиса, восстановленный сигнал 151. В одном неограничивающем варианте осуществления, улучшающие данные передаются в качестве островных пакетов в периодах гашения горизонтальной развертки HDMI-передачи (аудиоданные также используют периоды гашения, но значительная часть периодов гашения доступна для улучшающих данных). В других неограничивающих вариантах осуществления, передача улучшающих данных (дополнительных сжатых данных в потоке 116 данных для того, чтобы преобразовывать восстановленный сигнал 141 в восстановленный сигнал 151) использует HDMI-передачу метаданных через конкретный для производителя информационный кадр (VSI). В других неограничивающих вариантах осуществления, передача использует DisplayPort-кабель, и улучшающие данные передаются в качестве метаданных в DisplayPort-формате.
Посредством передачи улучшающих данных (к примеру, иерархических сжатых улучшающих данных) в качестве кодированных метаданных, унаследованные устройства отображения, которые не имеют возможность интерпретировать метаданные, принимают идентичный поток данных 116, но просто игнорируют улучшающие данные и отображают сигнал 141 с первым уровнем качества. Таким образом, например, игровая приставка, приспосабливающая способ, может передавать через HDMI (или DisplayPort) видеосигнал с более высоким разрешением и/или на более высокой частоте кадров относительно разрешения и частоты кадров, осуществимых посредством простого приспособления традиционного (несжатого) формата передачи, требуемого для того, чтобы воспроизводить сигнал 141 (включающий в себя изображение 141-1, изображение 141-2,...). Приемные устройства отображения без новых возможностей просто декодируют и отображают сигнал 141 с первым уровнем качества, тогда как адаптированные устройства отображения и декодеры имеют возможность также декодировать
дополнительные улучшающие данные (сжатые данные),
восстанавливая визуальное представление сигнала с одним или больше более высоких уровней качества. Фиг. 1Е является примерной схемой, иллюстрирующей аппаратные средства компьютерного процессора, обрабатывающие соответствующий поток данных согласно вариантам осуществления в данном документе. Как показано, поток 115 данных включает в себя первые части кодированных данных 181 (первые сжатые данные) и вторые части кодированных данных 182 (вторые сжатые данные). В одном варианте осуществления, поток 115 данных принимается как транспортный поток MPEG (стандарт экспертной группы по киноизображению), включающий в себя первые части данных 181, тегированные с помощью первого идентификатора пакета (PID#1), и вторые части данных 182, тегированные с помощью второго идентификатора пакета (PID#2).
Как показано, первые части кодированных данных 181 перемежаются со вторыми частями кодированных данных 182 в потоке 115 данных.
Первые части кодированных данных 181 включают в себя первую часть кодированных данных 181-1, первую часть кодированных данных 181-2 и т.д. Как пояснено выше, каждая из первых частей кодированных данных 181 тегируется с помощью соответствующего первого уникального тегированного значения (такого как PID-номер в транспортном потоке), указывающего то, что такие данные должны декодироваться посредством декодера 130 .
Вторые части кодированных данных 182 включают в себя вторую часть кодированных данных 182-1, вторую часть кодированных данных 182-2 и т.д. Каждая из вторых частей кодированных данных 182 тегируется с помощью соответствующего второго уникального тегированного значения, указывающего то, что такие данные должны декодироваться посредством декодера 120 .
Аппаратные средства 106 компьютерного процессора включают в себя логику 17 6 синтаксического анализатора. Как предполагает название, логика 17 6 синтаксического анализатора синтаксически
анализирует принимаемый поток данных 115 на части данных (к
примеру, сжатых MPEG-данных) , которые должны декодироваться
посредством декодера 130, и части данных (к примеру, сжатых
иерархических кодированных данных), которые должны
декодироваться посредством декодера 120. В одном варианте осуществления, логика 17 6 синтаксического анализатора использует теги в потоке 115 данных для того, чтобы идентифицировать первые части данных 181 и вторые части данных 182 .
В соответствии с дополнительными вариантами осуществления, поток 115 данных включает в себя временную информацию, указывающую соответствующие временные ассоциирования при воспроизведении между первыми частями кодированных данных и вторыми частями кодированных данных. В этом примерном варианте осуществления, временная информация в потоке 115 данных указывает временное ассоциирование 183-1 между частью кодированных данных 181-1 и частью кодированных данных 182-1; временная информация в потоке 115 данных указывает временное ассоциирование 18 3-2 между частью кодированных данных 181-2 и частью кодированных данных 182-2; и т.д.
В соответствии с дополнительным неограничивающим примерным вариантом осуществления, аппаратные средства 106 компьютерного процессора идентифицируют временные ассоциирования между первыми частями кодированных данных 181 и вторыми частями кодированных данных 182. Временные ассоциирования и информация указывают то, к какому из множества кадров или изображений элементов отображения в первом визуальном представлении сигнала 146-1 относятся данные 184 для восстановления (к примеру, остаточные данные). Компьютерные обрабатывающие аппаратные средства 106 реализуют первый декодер 130 для того, чтобы декодировать первые части кодированных данных 181 в первое визуальное представление сигнала 146-1.
Как показано подробнее, аппаратные средства 106 компьютерного процессора реализуют второй декодер 120 для того, чтобы декодировать вторые части кодированных данных 182 в соответствующие данные 184 для восстановления. Согласно
неограничивающему варианту осуществления, часть данных 184 для восстановления декодируется из кодированных данных 192, также, по меньшей мере, частично на основе первого визуального представления сигнала 14 6-1. Аппаратные средства 106 компьютерного процессора дополнительно включают в себя логику 178-1 модификации, логику 179-1 повышающей дискретизации, логику 178-2 модификации и т.д., чтобы выполнять дополнительные операции декодирования относительно вторых частей кодированных данных 182. Таким образом, логика 178-1 модификации, логика 17 9-1 повышающей дискретизации, логика 178-2 модификации и т.д. могут считаться частью второго декодера 120. Ниже подробнее поясняются функции, выполняемые посредством логики 178-1 модификации, логики 17 9-1 повышающей дискретизации, логики 1702 модификации и т.д.
В общем, данные 184 для восстановления указывают то, как модифицировать первое визуальное представление сигнала 146-1 (к примеру, видеосигнала, включающего в себя множество кадров или полей) в сигнал с более высоким уровнем качества (с идентичным или различным разрешением).
В одном варианте осуществления, декодер 130 декодирует первые части кодированных данных 181 в соответствии со способом декодирования MPEG (стандарт экспертной группы по киноизображению). Декодер 12 0 декодирует (распаковывает) вторые части кодированных данных 182 в соответствии с форматом иерархического кодирования, чтобы формировать данные 184 для восстановления. В качестве дополнительного неограничивающего примера, визуальное представление сигнала 14 6-1 может представлять собой SD-сигнал стандартной четкости, извлекаемый из первых частей кодированных данных 181. Как описано в данном документе, аппаратные средства 106 компьютерного процессора применяют данные 184 для восстановления к первому визуальному представлению сигнала 14 6-1, чтобы формировать второе визуальное представление сигнала (с более высоким уровнем качества с идентичным или различным разрешением). Как пояснено выше, восстановленные сигналы могут включать в себя множество изображений или кадров видео, каждое из которых включает в себя
множество элементов отображения.
Аппаратные средства 106 компьютерного процессора реализуют логику 178-1 модификации, чтобы преобразовывать визуальное представление сигнала 14 6-1 в визуальное представление сигнала 14 6-2 (имеющего более высокий уровень качества). В одном варианте осуществления, логика 178-1 модификации использует часть данных 184 для восстановления для того, чтобы формировать визуальное представление сигнала 14 6-2 с более высоким уровнем качества. Данные 184 для восстановления (к примеру, остаточные данные) указывают модификации (к примеру, коррекции), которые должны выполняться для одного или более элементов отображения или изображений в визуальном представлении сигнала 14 6-1, чтобы формировать визуальное представление сигнала 146-2. Как упомянуто выше, второе визуальное представление сигнала 14 6-2 может иметь разрешение элементов отображения (к примеру, идентичное пространственное разрешение и идентичная частота кадров), идентичное разрешению элементов отображения первого визуального представления сигнала 146-1.
В качестве дополнительного неограничивающего примерного варианта осуществления, применение данных для восстановления к первому визуальному представлению сигнала 14 6-1 (к примеру, к предварительному визуальному представлению сигнала) для того, чтобы формировать второе визуальное представление сигнала 14 62, может включать в себя: в соответствии с идентифицированными временными ассоциированиями, как пояснено выше, использование данных 184 для восстановления для того, чтобы временно повышающе дискретизировать первое визуальное представление сигнала во второе визуальное представление сигнала 14 6-2, причем второе визуальное представление сигнала включает в себя большее число кадров элементов отображения относительно первого визуального представления сигнала.
В качестве дополнительного примера, первое визуальное представление сигнала 14 6-1 может включать в себя 60 кадров в секунду выборок, второе визуальное представление сигнала 14 6-2 может включать в себя 12 0 кадров в секунду; первое визуальное представление сигнала 146-1 может включать в себя 120 кадров в
секунду, второе визуальное представление сигнала 14 6-2 может включать в себя 24 0 кадров в секунду; и т.д. В таком варианте осуществления, чтобы достигать временной повышающей дискретизации, аппаратные средства компьютерного процессора могут быть выполнены с возможностью: формировать, на основе первого визуального представления сигнала 14 6-1 (к примеру, на первой частоте кадров), и как указано посредством данных 184 для восстановления, предварительное визуальное представление сигнала на второй частоте кадров; формировать набор остаточных данных, как указано посредством данных 184 для восстановления; и применять набор остаточных данных к предварительному визуальному представлению сигнала на второй частоте кадров, чтобы формировать второе визуальное представление сигнала 14 62. Таким образом, логика 178-1 модификации может быть выполнена с возможностью осуществлять коррекции с использованием остаточных данных, а также операций временной повышающей дискретизации (чтобы увеличивать сигнал до более высокой частоты кадров), как указано посредством данных 184 для восстановления. В соответствии с дополнительными вариантами осуществления, следует отметить, что визуальное представление сигнала 14 6-2 может иметь число кадров в секунду, идентичное числу кадров в секунду в визуальном представлении сигнала 14 61. Например, первое визуальное представление сигнала 146-1 может включать в себя 60 кадров в секунду, второе визуальное представление сигнала 14 6-2, сформированное посредством логики 178-1 модификации, может иметь более высокий уровень качества и также включать в себя 60 кадров в секунду; первое визуальное представление сигнала 146-1 может включать в себя 120 кадров в секунду, второе визуальное представление сигнала 14 6-2 может иметь более высокий уровень качества и включать в себя 12 0 кадров в секунду; и т.д.
Компьютерные обрабатывающие аппаратные средства 106 дополнительно включают в себя логику 17 9-1 повышающей дискретизации. В соответствии с настройками, как указано посредством данных 184 для восстановления, логика 179-1 повышающей дискретизации выполняет повышающую дискретизацию
сигнала 14 6-2 в визуальное представление сигнала 14 6-3. В одном варианте осуществления, операции повышающей дискретизации, выполняемые посредством логики 17 9-1 повышающей дискретизации, включают в себя преобразование визуального представления сигнала 14 6-2 в визуальное представление более высокого разрешения сигнала 14 6-3. Другими словами, визуальное представление сигнала 14 6-2 может представлять собой SD-сигнал. Операции повышающей дискретизации, применяемые посредством логики 17 9-1 повышающей дискретизации, могут быть выполнены с возможностью преобразовывать настройки элемента отображения более низкого разрешения в сигнале 14 6-2 в соответствующие настройки элемента отображения более высокого разрешения в сигнале 14 6-3. Это пояснено подробнее ниже.
В соответствии с дополнительными вариантами осуществления, реализация второго декодера 120 и связанной логики, чтобы декодировать вторые части кодированных данных 182, может включать в себя использование данных 184 для восстановления для того, чтобы идентифицировать операции повышающей дискретизации; и через логику 17 9-1 повышающей дискретизации, применение идентифицированных операций повышающей дискретизации ко второму визуальному представлению сигнала 14 6-2, чтобы формировать третье визуальное представление сигнала 146-3, причем третье визуальное представление сигнала 14 6-3 имеет значительно более высокое разрешение элементов отображения относительно разрешения элементов отображения второго визуального представления сигнала 146-2. Идентификация операций повышающей дискретизации, как указано посредством вторых частей кодированных данных 182 (используемых для того, чтобы формировать данные 184 для восстановления), может включать в себя параметры декодирования, соответствующие конкретным коэффициентам ядра повышающей дискретизации; по меньшей мере, частично на основе декодированных параметров, формирование ядра повышающей дискретизации, соответствующего части третьего визуального представления сигнала 14 6-3; и применение ядра повышающей дискретизации к части второго визуального представления сигнала 14 6-2, чтобы формировать часть третьего
визуального представления сигнала 14 6-3. Визуальное представление сигнала 14 6-3 может представлять собой предварительный HD-сигнал, требующий коррекции.
Аппаратные средства 106 компьютерного процессора дополнительно включают в себя логику 17 8-2 модификации. В одном варианте осуществления, логика 178-2 модификации использует часть данных 184 для восстановления для того, чтобы формировать визуальное представление сигнала 146-4. Например, данные 184 для восстановления указывают модификации (к примеру, коррекции), которые должны быть выполняться для одного или более элементов отображения в визуальном представлении сигнала 146-3, чтобы формировать визуальное представление сигнала 1464. Логика 178-2 модификации применяет данные 184 для восстановления к сигналу 146-3, чтобы корректировать надлежащие настройки элемента отображения. Аналогично тому, что пояснено выше, логика модификации 17 8 также может быть выполнена с возможностью осуществлять временную повышающую дискретизацию. Таким образом, сигнал 14 6-4 может включать в себя более высокое число изображений кадров для воспроизведения в единицу времени относительно сигнала 14 6-3.
Этот процесс повышающей дискретизации (пространственной и/или временной) и затем модификации может повторяться на любом числе уровней. Соответственно, визуальное представление сигнала 14 0, к примеру, для HD-сигнала может быть повышающе дискретизировано и скорректировано в соответствующий UltraHD-сигнал для воспроизведения на соответствующем экране отображения.
В соответствии с еще одним дополнительным вариантом осуществления, аппаратные средства 106 компьютерного процессора реализуют второй декодер 120 и связанные компоненты для того, чтобы декодировать вторые части кодированных данных 182. Это может включать в себя: декодирование первого набора остаточных данных с первым уровнем качества, как указано посредством вторых частей кодированных данных 182; использование первого набора остаточных данных (части данных 184 для восстановления) для того, чтобы модифицировать первое визуальное представление
сигнала 14 6-1 и формировать второе визуальное представление сигнала 14 6-2; формирование, по меньшей мере, частично на основе второго визуального представления сигнала 14 6-2, третьего визуального представления сигнала 146-3, причем третье визуальное представление сигнала 14 6-3 имеет более высокое разрешение (к примеру, HD-разрешение) относительно разрешения (SD-разрешения) второго визуального представления сигнала 1462; декодирование второго набора остаточных данных (данных 184 для восстановления) со вторым уровнем качества, как указано посредством вторых частей кодированных данных 182; использование второго набора остаточных данных для того, чтобы модифицировать третье визуальное представление сигнала 14 6-3 и формировать четвертое визуальное представление сигнала 146-4. Если дополнительно требуется, аппаратные средства компьютерного процессора могут быть выполнены с возможностью формировать, на основе четвертого визуального представления сигнала 146-4, пятое визуальное представление сигнала, причем пятое визуальное представление сигнала имеет более высокое разрешение (к примеру, построчное Full HD-разрешение, UltraHD-разрешение и т.д.) относительно разрешения четвертого визуального представления сигнала 14 6-4; декодирование третьего набора остаточных данных (данных 184 для восстановления) с третьим уровнем качества, как указано посредством вторых частей кодированных данных 182; и использовать третий набор остаточных данных для того, чтобы модифицировать пятое визуальное представление сигнала и формировать шестое визуальное представление сигнала (к примеру, скорректированный сигнал UltraHD-разрешения). В одном варианте осуществления, первое визуальное представление сигнала представляет собой чересстрочный видеосигнал, и шестое визуальное представление сигнала представляет собой построчный видеосигнал. Как уже упомянуто, процесс модификации на более высокий уровень качества, повышающей дискретизации в предварительное визуальное представление после повышающей дискретизации сигнала и затем модификации в визуальное представление сигнала со следующим более высоким уровнем качества может повторяться любое число
раз, на основе конкретного неограничивающего варианта осуществления. Как пояснено выше относительно фиг. 1D, передающее устройство 111 может быть выполнено с возможностью передавать соответствующий поток 116 данных в соответствующие аппаратные средства 107 компьютерного процессора. Фиг. 1F является примерной схемой, иллюстрирующей аппаратные средства 107 компьютерного процессора, обрабатывающие соответствующий поток 116 данных согласно вариантам осуществления в данном документе. Как показано, поток 116 данных включает в себя множество сегментов декодированных данных 191 (декодированные данные 191-1, декодированные данные 191-2,...). Поток 116 данных также включает в себя множество сегментов кодированных данных 192 (кодированные данные 192-1, кодированные данные 1922, . . . ) .
В одном неограничивающем варианте осуществления, декодированные данные 191 являются несжатые данными. Кодированные данные 192 являются сжатыми данными (к примеру, данными, сжатыми в соответствии с форматом иерархического кодирования). Поток 116 данных может представлять собой HDMI-сигнал, в котором кодированные данные 192 являются сжатыми видеоданными; декодированные данные являются несжатыми видеоданными. В соответствии с другим вариантом осуществления, поток 116 данных представляет собой DisplayPort-интерфейс, в котором кодированные данные 192 являются сжатыми видеоданными; декодированные данные являются несжатыми видеоданными.
Как показано подробнее, компьютерные обрабатывающие аппаратные средства 107 включают в себя логику 196 синтаксического анализатора. Как предполагает название, логика 196 синтаксического анализатора синтаксически анализирует принимаемые данные в потоке 160 данных в декодированные данные 191 и кодированные данные 192. Декодированные данные (к примеру, данные, отформатированные согласно HDMI-формату передачи) указывают настройки для того, чтобы восстанавливать первое визуальное представление сигнала 146-1. Через декодированные данные 191, аппаратные средства 107 компьютерного процессора формируют первое визуальное
представление сигнала 146-1. В одном варианте осуществления, сигнал представляет собой видеосигнал, указывающий настройки для множества элементов отображения.
Аппаратные средства 107 компьютерного процессора включают в себя декодер 120. Аппаратные средства 107 компьютерного процессора включают в себя дополнительную логику, к примеру, логику 198-1 модификации, логику 199-1 повышающей дискретизации, логику 198-2 модификации и т.д., все из которых могут считаться частью или быть ассоциированы с декодером 120.
Аппаратные средства 107 компьютерного процессора реализуют декодер 120-1, чтобы декодировать кодированные данные 192 в соответствующие данные 184 для восстановления. Согласно неограничивающему варианту осуществления, часть данных 184 для восстановления декодируется из кодированных данных 192 также, по меньшей мере, частично на основе первого визуального представления сигнала 146-1. Данные 184 для восстановления указывают то, как модифицировать первое визуальное представление сигнала 146-1. В одном варианте осуществления, аппаратные средства 107 компьютерного процессора декодируют кодированные данные 192 в данные 184 для восстановления через декодирование в соответствии с форматом иерархического кодирования. Как подробнее описано в данном документе, кодированные данные 192 могут кодироваться в соответствии с форматом иерархического кодирования, в котором данные кодируются в соответствии с различными разрешениями (пространственными и/или временными) в иерархии. Варианты осуществления в данном документе дополнительно могут включать в себя применение одной или более операций повышающей дискретизации для того, чтобы формировать остаточные данные в данных 184 для восстановления. Операции повышающей дискретизации преобразуют настройки элемента отображения более низкого разрешения в настройки элемента отображения более высокого разрешения.
Через логику 198-1 модификации, аппаратные средства 107 компьютерного процессора применяют часть данных 184 для восстановления (к примеру, часть остаточных данных) к первому
визуальному представлению сигнала 14 6-1, чтобы формировать второе визуальное представление сигнала 146-2. Второе визуальное представление сигнала 14 6-2 имеет более высокий уровень качества относительно первого визуального представления сигнала 146-1. В одном варианте осуществления, второе визуальное представление сигнала 14 6-2 имеет разрешение элементов отображения (к примеру, SD) , идентичное разрешению элементов отображения первого визуального представления сигнала 146-1. В качестве дополнительного неограничивающего примера, с использованием данных 184 для восстановления, логика 198-1 модификации корректирует определенные настройки элементов отображения в визуальном представлении сигнала 14 6-1, чтобы формировать визуальное представление сигнала 146-2.
Как пояснено выше, аппаратные средства 107 компьютерного
процессора дополнительно включают в себя логику 199-1
повышающей дискретизации. Аппаратные средства 107 компьютерного
процессора идентифицируют одну или более операций повышающей
дискретизации, как указано посредством данных 184 для
восстановления (извлекаемых из кодированных данных 192). Логика
199-1 повышающей дискретизации применяет идентифицированные
операции повышающей дискретизации ко второму визуальному
представлению сигнала 14 6-2, чтобы формировать третье
визуальное представление сигнала 146-3. В одном варианте
осуществления, третье визуальное представление сигнала 14 6-3
имеет значительно более высокое разрешение элементов
отображения, относительно второго визуального представления
сигнала 146-2. В качестве примера, второе визуальное
представление сигнала 14 6-2 может представлять собой
видеосигнал SD-разрешения; третье визуальное представление
сигнала 146-3 может представлять собой предварительный
видеосигнал HD-разрешения. В соответствии с дополнительными
вариантами осуществления, третье визуальное представление
сигнала 14 6-3 является предварительным визуальным
представлением сигнала со значительно более высоким разрешением элементов отображения относительно визуального представления сигнала 146-2. Аппаратные средства компьютерного процессора
дополнительно включают в себя логику 198-2 модификации. Как показано, логика 198-2 модификации использует часть данных 184 для восстановления (к примеру, остаточные данные) для того, чтобы модифицировать предварительное визуальное представление сигнала 146-3 в визуальное представление сигнала 146-4. Визуальное представление сигнала 14 6-4 (модифицированное предварительное визуальное представление сигнала 14 6-3) имеет более высокий уровень качества относительно предварительного визуального представления сигнала 14 6-3 с HD-разрешением. Аналогично тому, что пояснено выше, аппаратные средства 107 компьютерного процессора могут повторять процесс повышающей дискретизации и модификации до любого требуемого уровня (пространственного и/или временного) разрешения. Согласно другим неограничивающим вариантам осуществления, четвертое визуальное представление сигнала имеет более высокую частоту кадров относительно первого визуального представления сигнала, и операции повышающей дискретизации содержат подходящие операции временной повышающей дискретизации.
Фиг. 1G является примерной схемой, иллюстрирующей обработку согласно вариантам осуществления в данном документе. Как показано, аппаратные средства 106 компьютерного процессора используют первые части кодированных данных 181 для того, чтобы формировать визуальное представление сигнала 14 6-1, включающее в себя изображения или кадры FR1, FR2, FR3 и т.д. Аппаратные средства 106 компьютерного процессора реализуют декодер 12 0 для того, чтобы формировать остаточные данные 184-1, 184-2 и т.д. из вторых частей кодированных данных 182. Через применение остаточных данных 18 4-1 к кадрам FR1, FR2, FR3 и т.д., в первом визуальном представлении сигнала 14 6-1, аппаратные средства 106 компьютерного процессора формируют предварительное визуальное представление сигнала (на второй частоте кадров), включающее в себя изображения или кадры FR1', FR1,5', FR2', FR2,5', FR3' и т.д. Как показано, это предварительное визуальное представление сигнала включает в себя большее число кадров относительно визуального представления сигнала 146-1. В других неограничивающих вариантах осуществления, предварительное
визуальное представление включает в себя число кадров, идентичное числу кадров визуального представления сигнала 14 61.
Аппаратные средства 106 компьютерного процессора используют дополнительные остаточные данные 184-2 для того, чтобы модифицировать предварительное визуальное представление сигнала, включающее в себя кадры FR1', FR1,5', FR2', FR2,5', FR3' и т.д., в визуальное представление сигнала 14 6-2, включающее в себя кадры FR1", FR1,5", FR2", FR2,5", FR3" и т.д. Визуальное представление сигнала 14 6-2 имеет более высокий уровень качества относительно предварительного визуального представления сигнала, включающего в себя кадры FR1', FR1,5', FR2' , FR2,5', FR3' и т.д. В одном варианте осуществления, соответствующий набор остаточных данных формируется согласно временному наследованию для множества кадров сигнала. Например, аппаратные средства компьютерного процессора могут быть выполнены с возможностью декодировать остаточные данные для данного кадра сигнала (к примеру, остаточные данные для формирования кадра FR2' из кадра FR2), по меньшей мере, частично на основе остаточных данных, декодированных для другого кадра (к примеру, остаточных данных, используемых для того, чтобы преобразовывать кадр FR1 в кадр FR1'). Согласно некоторым неограничивающим вариантам осуществления, временное наследование реализуется посредством декодирования остаточных данных для данного кадра следующим образом ("способ 1" временного наследования на фиг. 1F): декодирование предварительных остаточных данных для данного кадра; для части остаточных данных (как указано посредством данных 184 для восстановления), комбинирование предварительных остаточных данных для данного кадра с остаточными данными опорного кадра, формирование остаточных данных для данного кадра. Согласно другим неограничивающим вариантам осуществления, временное наследование реализуется посредством декодирования остаточных данных для данного кадра следующим образом ("способ 2" временного наследования на фиг. 1F): декодирование первых базовых остаточных данных для последовательности кадров;
комбинирование базовых остаточных данных с относительными остаточными данными, формирование остаточных данных для данного кадра. В некоторых вариантах осуществления, первые базовые остаточные данные также формируются посредством комбинирования относительных остаточных данных со вторыми базовыми остаточными данными на более высоком уровне агрегирования.
Фиг. 1Н является примерной схемой, иллюстрирующей обработку согласно вариантам осуществления в данном документе. Как показано, аппаратные средства 106 компьютерного процессора используют первые части кодированных данных 181 для того, чтобы формировать визуальное представление сигнала 14 6-1, включающее в себя изображения или кадры FR1, FR2, FR3, FR4 и т.д. Аппаратные средства 106 компьютерного процессора реализуют декодер 120 для того, чтобы формировать первый набор базовых остаточных данных 184-В1, 184-В2 и т.д., из вторых частей кодированных данных 182. В одном варианте осуществления, данные 184 для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с множеством разрешений элементов отображения. Второй декодер 12 0 (или другой подходящий ресурс) применяет операции повышающей дискретизации ко вторым частям кодированных данных (или данных 184 для восстановления) для того, чтобы воспроизводить иерархию 167-1 остаточных данных, извлекаемых из базовых остаточных данных 184-В1 (корневых данных для того, чтобы воспроизводить остаточные данные для применения в множестве временных выборок). Другими словами, данные 184 для восстановления могут быть или включать в себя иерархию 167-1 остаточных данных, кодированных в соответствии с множеством разрешений элемента (нижние уровни в иерархии 167-1 имеют более низкое пространственное и/или временное разрешение, верхние уровни в иерархии 167-1 имеют более высокое пространственное и/или временное разрешение). В одном варианте осуществления, второй декодер 12 0 применяет операции повышающей дискретизации ко вторым частям кодированных данных 182, чтобы воспроизводить иерархию 167-1 остаточных данных. В соответствии с дополнительными вариантами осуществления, аппаратные средства
компьютерного процессора формируют иерархию 167-1 согласно временному наследованию остатков для множества кадров элементов отображения в сигнале. Как показано, на данном верхнем уровне иерархии остаточных данных, аппаратные средства компьютерного процессора декодируют остаточные данные для первого кадра (к примеру, остаточные данные 185-1), по меньшей мере, частично на основе базового набора остаточных данных (к примеру, остаточных данных ниже в иерархии 167-1), причем базовый набор остаточных данных служит в качестве базиса для того, чтобы воспроизводить остаточные данные для множества временных выборок сигнала. Базовый набор остаточных данных временно повышающе дискретизируется и затем комбинируется с относительными остаточными данными (воспроизведенными так, как указано посредством данных 184 для восстановления) для того, чтобы формировать остаточные данные с более высоким временным разрешением. Когда временное наследование указывается (к примеру, с помощью подходящего символа временного наследования) для данной части базовых остаточных данных, соответствующая часть базового набора остаточных данных расширена в остаточные данные для множества временных выборок сигнала без их комбинирования с дополнительными остаточными данными (т.е. без декодирования дополнительной информации из данных 184 для восстановления). Другими словами, часть базовых данных 184-В1 для восстановления расширена во времени, чтобы формировать часть соответствующих остаточных данных 18 5-1, 185-2 и т.д. для множества временных выборок (к примеру, изображений или кадров) сигнала.
В дополнение или в качестве альтернативы временному наследованию, иерархия остаточных данных 185 может формироваться согласно пространственному наследованию остатков в данном кадре элементов отображения в сигнале. В таком случае, остаточные данные для данного изображения или кадра кодированы как иерархия остаточных данных с различными пространственными разрешениями с помощью следующей последовательности операций: декодирование остаточных данных с данным уровнем качества в иерархии, повышающая дискретизация остаточных данных,
формирование предварительных остаточных данных со следующим более высоким разрешением, декодирование относительных остаточных данных для упомянутого следующего более высокого разрешения, применение относительных остаточных данных к предварительным остаточным данным, формирование остаточных данных со следующим более высоким уровнем качества в иерархии. Относительные остаточные данные могут декодироваться независимо для каждой временной выборки сигнала или согласно временной иерархии уровней агрегирования. При данном уровне качества в иерархии остаточных данных, аппаратные средства компьютерного процессора декодируют остаточные данные для части данного кадра только на основе данных для восстановления, декодированных для более низкого уровня качества в иерархии остаточных данных. Другими словами, для части остаточных данных, данные 184 для восстановления указывают информацию с низким (пространственным) уровнем качества вместе с символом пространственного наследования, и декодер имеет возможность восстанавливать соответствующую часть остаточных данных с более высоким уровнем качества без дополнительной информации из данных для восстановления. Согласно другим неограничивающим вариантам осуществления, для части остаточных данных, данные 184 для восстановления указывают информацию с низким (пространственным) уровнем качества вместе с символом временного наследования, и декодер восстанавливает соответствующую часть остаточных данных с более высоким уровнем качества с использованием опорного набора остаточных данных в качестве базиса.
Аппаратные средства 106 компьютерного процессора используют первый набор базовых остаточных данных 184-В1, чтобы воспроизводить остаточные данные 18 5-1 (для временной выборки № 1), остаточные данные 185-2 (для временной выборки № 2), остаточные данные 18 5-3 (для временной выборки № 3) и т.д.
Как показано подробнее, аппаратные средства компьютерного процессора используют первый набор остаточных данных 18 5-1, чтобы модифицировать и преобразовывать кадр FR1 в кадр FR1' ; аппаратные средства компьютерного процессора используют второй набор остаточных данных 18 5-2, чтобы модифицировать и
преобразовывать кадр FR2 в кадр FR2'; аппаратные средства компьютерного процессора используют третий набор остаточных данных 185-3, чтобы модифицировать и преобразовывать кадр FR3 в кадр FR3'; и т.д. Визуальное представление сигнала 14 6-2
(разрешение № 1) в этом примерном варианте осуществления включает в себя кадры FR1' , FR2' , FR3' , FR4' и т.д., извлекаемые из кадров в визуальном представлении сигнала 14 6-1
(разрешение № 1) . Аппаратные средства 106 компьютерного процессора выполняют операции повышающей дискретизации, как указано посредством данных 184 для восстановления, для того чтобы повышающе дискретизировать визуальное представление сигнала 14 6-2 в визуальное представление сигнала 14 6-3. Например, логика 188-1 повышающей дискретизации пространственно повышающе дискретизирует элементы отображения в кадре FR1' в кадр FR1"; логика 18 8-2 повышающей дискретизации пространственно повышающе дискретизирует элементы отображения в кадре FR2' в кадр FR2"; логика 18 8-3 повышающей дискретизации пространственно повышающе дискретизирует элементы отображения в кадре FR3' в кадр FR3"; и т.д. Повышающая дискретизация может включать в себя преобразование визуального представления более низкого разрешения сигнала 14 6-2 в визуальное представление более высокого разрешения сигнала 14 6-3.
Таким образом, варианты осуществления в данном документе включают в себя применение остаточных данных 18 6 к множеству элементов отображения в третьем визуальном представлении сигнала 146-3, чтобы формировать четвертое визуальное представление сигнала 14 6-4, применяемые остаточные данные 186 модифицируют настройки множества элементов отображения в третьем визуальном представлении сигнала 146-3, чтобы формировать настройки для соответствующих элементов отображения в четвертом визуальном представлении сигнала 146-4. Визуальное представление сигнала 14 6-3 (разрешение № 2) в этом примерном варианте осуществления включает в себя кадры FR1", FR2", FR3", FR4" и т.д.
Как показано подробнее, аппаратные средства 106 компьютерного процессора реализуют декодер 12 0 или связанную
логику, чтобы формировать второй набор базовых остаточных данных 184-В2 из вторых частей кодированных данных 182. Аналогично тому, как аппаратные средства 106 компьютерного процессора извлекают наборы остаточных данных 185 из базовых остаточных данных 184-В1 через повышающую дискретизацию в иерархии 167-2, аппаратные средства 106 компьютерного процессора используют второй набор базовых остаточных данных 184-В2 для того, чтобы воспроизводить остаточные данные 186-1 (для временной выборки № 1), остаточные данные 186-2 (для временной выборки № 2), остаточные данные 186-3 (для временной выборки № 3) и т.д.
Как показано, аппаратные средства компьютерного процессора используют первый набор иерархически извлеченных остаточных данных 18 6-1 для того, чтобы преобразовывать кадр FR1" в кадр FR1'"; аппаратные средства компьютерного процессора используют второй набор остаточных данных 18 6-2, чтобы преобразовывать кадр FR2" в кадр FR2'"; аппаратные средства компьютерного процессора используют третий набор остаточных данных 18 6-3, чтобы преобразовывать кадр FR3" в кадр FR3'"; и т.д. Визуальное представление сигнала 14 6-4 (разрешение № 2) в этом примерном варианте осуществления включает в себя кадры FR1'", FR2'", FR3'", FR4'" и т.д., извлекаемые из визуального представления сигнала 14 6-3 (разрешение № 2).
Фиг. 2 является неограничивающей примерной схемой, иллюстрирующей систему декодирования согласно вариантам осуществления в данном документе.
Поток 115 данных принимается посредством блока 2 00 и
разделяется, формируя унаследованные SD-данные 210 и
дополнительные данные 220. Унаследованные SD-данные
декодируются посредством блока 230 декодирования SD из
унаследованных SD-данных, формируя SD LOQ 140-1 (уровень
качества), визуальное представление сигнала с первым уровнем
качества (SD-уровнем качества). SD LOQ 140-1 повышающе
дискретизируется посредством блока 270, формируя
предварительный HD LOQ 280, прогнозированное визуальное представление сигнала со вторым (более высоким) уровнем
качества (HD-уровнем качества).
Улучшающие данные 22 0 декодируются посредством блока 24 0 декодирования HD-остатков, формируя HD-остатки 2 60.
Предварительный HD LOQ 280 и HD-остатки 2 60 комбинируются, формируя конечный HD LOQ, т.е. восстановленный HD-сигнал 150-1.
В неограничивающем варианте осуществления, SD LOQ 140-1 представляет собой двумерную плоскость элементов с первым уровнем качества, тогда как предварительный HD LOQ 280, HD-остатки 2 60 и восстановленный HD-сигнал 150-1 представляют собой двумерные плоскости элементов со вторым (более высоким) уровнем качества.
В неограничивающем варианте осуществления, блок 230 использует способ временного декодирования (например, MPEG2, Н.264, VP8 и т.д.), так что SD LOQ 140-2 (сформированный посредством блока 230, не показанного на фиг. 2 для простоты визуального представления) зависит, по меньшей мере, частично от ранее декодированного сигнала 140-1. В других неограничивающих вариантах осуществления, блок 240 также реализует способ временного декодирования: в неограничивающем варианте осуществления, HD-остатки, декодированные посредством блока 240 для того, чтобы формировать сигнал 150-2, основаны, по меньшей мере, частично на HD-остатках, декодированных для того, чтобы формировать сигнал 150-1; в другом неограничивающем варианте осуществления, HD-остатки, декодированные для того, чтобы формировать сигнал 150-2, основаны, по меньшей мере, частично на общей опорной плоскости, которая также используется посредством блока 240 для того, чтобы декодировать HD-остатки, применяемое для того, чтобы формировать сигнал 150-1.
В неограничивающем варианте осуществления, улучшающие данные 22 0 включают в себя информацию, которая обрабатывается посредством блока 27 0, чтобы изменять и повышающе дискретизировать SD LOQ 140-1.
В неограничивающем варианте осуществления, поток 115 данных включает в себя улучшающие данные 22 0 посредством использования идентификаторов пакетов, которые игнорируются посредством определенных унаследованных декодеров, так что
упомянутые декодеры могут принимать и декодировать поток 115 данных и формировать SD LOQ 140-1 за счет простого игнорирования улучшающих данных 22 0 и декодирования унаследованных данных 210.
В неограничивающем варианте осуществления, декодер 12 0
реализует размывание, как указано посредством вторых частей
кодированных данных. В варианте осуществления, оно реализуется
посредством декодирования, по меньшей мере, одного остатка в
остаточных данных 2 60 посредством применения практически
случайного числа, сформированного согласно данному
распределению вероятностей.
Фиг. ЗА является неограничивающей примерной схемой, описывающей систему декодирования, аналогичную системе, описанной на фиг. 2, в которой поток 115 данных содержит информацию, соответствующую улучшающим данным 310. Блок 320 комбинирует SD LOQ 14 0-1 с изменяющим слоем (остаточными SD-данными) и затем повышающе дискретизирует их, формируя прогнозированный HD LOQ 280. В неограничивающем варианте осуществления, изменяющий слой декодируется согласно способу поярусного иерархического декодирования.
В неограничивающем варианте осуществления, операции повышающей дискретизации и обработки изображений, используемые для того, чтобы формировать прогнозированный HD LOQ 280, реализованы так, как указывается посредством улучшающих данных 310. В других неограничивающих вариантах осуществления, улучшающие данные 310 содержат коэффициенты ядра для операций повышающей дискретизации, используемых посредством блока 320. В неограничивающем варианте осуществления, операции повышающей дискретизации используют ядро 4x4 (взвешенное среднее 16 элементов с более низким уровнем качества, т.е. посредством 16 коэффициентов, чтобы формировать каждый элемент изображения более высокого уровня качества, или 64 коэффициентов для каждого блока элемента изображения 2x2 с более высоким уровнем качества в неограничивающем случае повышающей дискретизации с коэффициентом в два для обеих пространственных размерностей), указываемое посредством улучшающих данных 310. В
неограничивающем варианте осуществления, улучшающие данные 310
содержат информацию, соответствующую плоскости коэффициентов
ядра, используемых посредством блока 32 0, чтобы повышающе
дискретизировать SD LOQ 140-1 в прогнозированный HD LOQ 280. В
неограничивающем варианте осуществления, операции повышающей
дискретизации и обработки изображений, используемые посредством
блока 32 0, включают в себя нелинейные операции. В
неограничивающем варианте осуществления, повышающая
дискретизация компонентов сигнала цветности (например, U и V в цветовом YUV-пространстве) выполняется после формирования конечного HD LOQ 150-1 для компонента (Y) яркости и основана, по меньшей мере, частично на восстановленной плоскости Y конечного HD LOQ 150-1 (в неограничивающем варианте осуществления, посредством способа билатеральной фильтрации).
В неограничивающем варианте осуществления, операции, выполняемые посредством блока 32 0, включают в себя операции обработки изображений (например, нерезкое маскирование, фильтры восстановления краев, размывание и т.д.). В другом неограничивающем варианте осуществления, операции, выполняемые посредством блока 24 0, включают в себя комбинирование декодированных остатков со случайными значениями, вычисленными согласно данному распределению вероятностей.
Фиг. ЗВ является неограничивающей примерной схемой, описывающей систему декодирования, аналогичную системам, описанным на фиг. 2 и фиг. ЗА, в которой поток 116 данных содержит информацию, соответствующую унаследованным данным 33 0 с более низкой частотой кадров, улучшающим данным 311 компенсации движения и дополнительным улучшающим данным 312. Блок 321 формирует, на основе сигнала 332 с низкой частотой кадров, прогнозированный сигнал 360 с высокой частотой кадров. В неограничивающем варианте осуществления, операции, выполняемые для того, чтобы формировать дополнительные кадры/поля сигнала 3 60 по сравнению с сигналом 332, содержат операции компенсации движения и/или операции временной повышающей дискретизации.
Блок 34 0 обрабатывает дополнительные улучшающие данные 312
и декодирует остатки 350 для дополнительных кадров/полей. Остатки 350 затем комбинированы с новыми созданными кадрами/полями сигнала 3 60, формируя конечный восстановленный сигнал 151-1 с высокой частотой кадров. В неограничивающем варианте осуществления, поток 116 данных передается через HDMI-кабель согласно основным принципам передачи по HDMI-стандарту, и унаследованные данные 330 с более низкой частотой кадров содержат несжатые видеоданные согласно основным принципам передачи по HDMI-стандарту; улучшающие данные 311 и 312 передаются в качестве метаданных, которые игнорируются посредством унаследованных HDMI-устройств (которые просто декодируют и отображают сигнал 332), тогда как они обрабатываются и декодируются посредством надлежащим образом адаптированных устройств (которые декодируют и отображают сигнал 151).
Фиг. ЗС является неограничивающей примерной схемой,
дополнительно иллюстрирующей систему декодирования, аналогичную
системам, описанным на фиг. ЗВ, описывающей процесс
формирования дополнительных кадров, чтобы формировать, на
основе видеосигнала на более низкой частоте кадров (т.е. с
более низким уровнем качества с точки зрения временного
разрешения) и на основе улучшающей информации, видеосигнал с
более высокой частотой кадров (т.е. с более высоким уровнем
качества с точки зрения временного разрешения). Другие
неограничивающие варианты осуществления обрабатывают улучшающие
данные таким образом, чтобы формировать, на основе сигнала с
более низким уровнем качества, видеосигнал, который
характеризуется как посредством более высокого
пространственного разрешения, так и посредством более высокой частоты кадров.
Фиг. 4 является неограничивающей примерной схемой, иллюстрирующей, согласно вариантам осуществления в данном документе, систему декодирования, аналогичную системам, описанным на фиг. 2 и фиг. 3, в которой поток 115 данных содержит информацию, соответствующую унаследованным SD-данным 210, кодированным данным 410, кодированным данным 415
повышающей дискретизации и кодированным данным 420.
Кодированные данные 410 обрабатываются посредством блока 430
декодирования SD-остатков, формируя плоскость остатков 435 с
первым уровнем качества (в неограничивающем варианте
осуществления, с SD-разрешением). В неограничивающем варианте
осуществления, операции, выполняемые посредством блока 430,
содержат энтропийное декодирование кодированных данных 410 и
деквантование символов, сформированных посредством энтропийного
декодирования, формируя остатки 435. В другом неограничивающем
варианте осуществления, операции, выполняемые посредством блока
430, содержат энтропийное декодирование кодированных данных
410, преобразование символов, сформированных посредством
энтропийного декодирования и деквантования преобразованных
символов, формируя остатки 435. В другом неограничивающем
варианте осуществления, операции, выполняемые посредством блока
430, содержат энтропийное декодирование кодированных данных
410, деквантование символов, сформированных посредством
энтропийного декодирования, преобразование деквантованных
символов в остатки 435. В неограничивающем варианте
осуществления, операции деквантования принимают квантованный
символ и формируют значение, содержащееся в соответствующем
интервале квантования, согласно данному распределению
вероятностей. В других неограничивающих вариантах
осуществления, операции, выполняемые посредством блока 430, содержат декодирование плоскости остатков на основе способа поярусного иерархического декодирования. В одном варианте осуществления, способ содержит: декодирование плоскости остатков с первым (более низким) уровнем качества; формирование, на основе плоскости остатков с первым уровнем качества, прогнозированной плоскости остатков со вторым (более высоким) уровнем качества; комбинирование прогнозированной плоскости остатков со вторым уровнем качества с декодированными данными, формирование плоскости остатков со вторым уровнем качества.
Остатки 435 комбинированы с SD LOQ 140-1, формируя измененный SD LOQ 460. Измененный SD LOQ 460 повышающе
дискретизируется посредством блока 480 посредством использования операций повышающей дискретизации, которые соответствуют кодированным данным 415 повышающей дискретизации, формируя прогнозированный HD LOQ 280. Кодированные данные 420 декодируются посредством блока 44 0, формируя преобразованные остатки 470. Преобразованные остатки 470, измененный SD LOQ 460 и прогнозированный HD LOQ 280 обрабатываются посредством блока 4 90 преобразования и суммирования, формируя восстановленный HD-сигнал 150-1. В неограничивающем варианте осуществления, восстановленный HD-сигнал 150-1 представляет собой отдельное изображение (например, кадр или поле) видеопоследовательности. В неограничивающем варианте осуществления, кодированные данные 410, кодированные данные 415 повышающей дискретизации и/или кодированные данные 42 0 содержат информацию, которая используется для того, чтобы формировать как улучшающие данные
(например, SD-остатки, информацию повышающей дискретизации и преобразованные HD-остатки) для изображения 150-1, так и улучшающие данные для других изображений (например, кадров или полей) в видеопоследовательности. В неограничивающем варианте осуществления, упомянутая информация содержит плоскость "опорного буфера" остатков, которые используются для того, чтобы восстанавливать как преобразованные остатки 470
(например, в качестве неограничивающего примера, посредством
суммирования относительных остатков, соответствующих
изображению 150-1, декодированному из кодированных данных 420), так и преобразованные остатки для других изображений в видеопоследовательности (например, посредством суммирования относительных остатков, соответствующих другим изображениям в видеопоследовательности). В другом неограничивающем варианте осуществления, часть улучшающих данных для изображения в последовательности декодируется, по меньшей мере, частично на основе соответствующей части улучшающих данных для другого изображения в последовательности.
Фиг. 5А является неограничивающей примерной схемой, описывающей остаточное декодирование согласно вариантам осуществления в данном документе.
Кодированные данные 410 обрабатываются посредством
декодирования 500 методом Хаффмана (реализующего способ
энтропийного декодирования методом Хаффмана), затем посредством
RLE-декодирования 510 (реализующего способ декодирования на
основе кодирования по длинам серий) и затем посредством
деквантования 52 0 (реализующего подходящий способ
деквантования), формируя остатки 435.
В других неограничивающих вариантах осуществления, ввод блока 520 преобразуется (т.е. обрабатывается) перед деквантованием. В неограничивающем варианте осуществления, блок 52 0 сначала деквантует принимаемые символы и затем преобразует результаты в остатки 435, согласно подходящему способу преобразования (например, DCT, преобразование Адамара, направленное преобразование с разложением и т.д.).
В одном варианте осуществления, через декодер 430 или другой подходящий ресурс, аппаратные средства 106 компьютерного процессора (аппаратные средства 107 компьютерного процессора) декодируют вторые части кодированных данных 182 (к примеру, кодированные данные 410 на фиг. 5А) в преобразованные остаточные данные; обрабатывают преобразованные остаточные данные для того, чтобы формировать квантованные остаточные данные; деквантуют квантованные остаточные данные для того, чтобы воспроизводить остаточные данные; и применяют воспроизведенные остаточные данные к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала. Следует отметить, что обработка может осуществляться любым подходящим способом. В соответствии с другим вариантом осуществления, любой из одного или более наборов из остаточных данных может формироваться из преобразованных остаточных данных. Например, аппаратные средства компьютерного процессора могут быть выполнены с возможностью: декодировать вторые части кодированных данных 182 в квантованные преобразованные остаточные данные; деквантовать квантованные остаточные данные для того, чтобы формировать преобразованные остаточные данные; обрабатывать преобразованные остаточные данные, соответствующее одно или более визуальных
представлений сигнала (фиг. 7А) для того, чтобы воспроизводить остаточные данные; и применять воспроизведенные остаточные данные к визуальному представлению сигнала.
Фиг. 5В является неограничивающей примерной схемой, описывающей остаточное декодирование согласно способу поярусного иерархического декодирования согласно вариантам осуществления в данном документе.
Кодированные данные 410 разбиваются на множество поднаборов кодированных данных, соответствующих данному уровню качества плоскости остатков 435.
Поднабор 41 О-В кодированных данных, соответствующий самому
низкому (нижнему) уровню качества для остаточных данных,
обрабатывается посредством остаточного декодера 530+В, формируя
остаточную плоскость увоттом 560+В. Плоскость 560+В
обрабатывается посредством модуля 57 0+В вычисления
прогнозирования, формируя прогнозированное визуальное
представление UB+1 580+В+1. В неограничивающем варианте осуществления, операции, выполняемые, чтобы формировать прогнозированное визуальное представление UB+1, включают в себя операцию повышающей дискретизации. Блок 430 продолжает посредством декодирования поднаборов кодированных данных для последующих (постепенно более высоких) уровней качества и посредством комбинирования остаточных данных, декодированных из упомянутого поднабора, с соответствующим прогнозированным визуальным представлением U на основе предыдущего (более низкого) уровня качества. Например, поднабор 410-1 кодированных данных обрабатывается посредством остаточного декодера 531, по меньшей мере, частично на основе информации 532-1 наследования, формируя промежуточные данные 541. В неограничивающем варианте осуществления, информация 532-1 наследования указывает части промежуточных данных 541, которые непосредственно унаследованы из более низкого уровня качества, без необходимости для поднабора 410-1 указывать какую-либо информацию относительно них. Промежуточные данные 541 и прогнозированное визуальное представление U-1 581 обрабатываются и комбинируются посредством модуля 551 восстановления, формируя плоскость Y-1
561 остатков, плоскость 561 обрабатывается посредством модуля 571 вычисления прогнозирования, формируя прогнозированное визуальное представление U0 580.
Поднабор 410-0 кодированных данных обрабатывается посредством остаточного декодера 530, по меньшей мере, частично на основе информации 532-0 наследования, формируя промежуточные данные 540. Промежуточные данные 540 и прогнозированное визуальное представление U0 58 0 обрабатываются и комбинируются посредством модуля 550 восстановления, формируя плоскость Y0 560 остатков, которая соответствует остаткам 435. В неограничивающем варианте осуществления, модули 570, 571,..., 57 0+В вычисления прогнозирования реализуют операции повышающей дискретизации и/или операции обработки изображений согласно параметрам, указываемым в соответствующих поднаборах кодированных данных, принимаемых посредством блока 430. В других неограничивающих вариантах осуществления, остаточные декодеры 530, 531,..., 530+В формируют промежуточные данные также на основе опорных данных для того, чтобы эффективно учитывать временную корреляцию для множества изображений в видеопоследовательности. В некоторых неограничивающих вариантах осуществления, опорные данные представляют собой одну или более опорных плоскостей, которые комбинированы с данными, указываемыми в соответствующих поднаборах кодированных данных множества изображений в видеопоследовательности. В других неограничивающих вариантах осуществления, опорные данные являются соответствующими остаточными данными для опорного изображения в видеопоследовательности; в некоторых упомянутых вариантах осуществления, информация 532-0,..., 532-В наследования содержит информацию, указывающую то, что элемент промежуточных данных 54 0+N должен вычисляться посредством комбинирования декодированных данных с соответствующим элементом Y" для опорного изображения в видеопоследовательности (т.е. информация относительно того, какие элементы плоскости Y должны быть основаны на опорном изображении, унаследована вдоль многоярусной иерархии, позволяя эффективно различать, например, указывая и "завершая" наследование с низким уровнем качества
для значительной части изображения, элементы, которые могут извлекать выгоду из временной корреляции); в некоторых неограничивающих вариантах осуществления, соответствующий элемент Y" вычисляется согласно способу компенсации движения посредством обработки подходящей информации относительно движения, которая принимается посредством блока 430. Фиг. 5С является неограничивающей примерной схемой, иллюстрирующей реализацию остаточного декодера 531 по фиг. 5В согласно вариантам осуществления в данном документе.
Поднабор 410-1 кодированных данных обрабатывается
посредством модуля 580-1 оценки вероятностей таким образом,
чтобы формировать вероятности 581 символов. В неограничивающем
варианте осуществления, модуль 580-1 оценки вероятностей
восстанавливает, по меньшей мере, частично на основе
параметров, указываемых в поднаборе 410-1 кодированных данных,
распределение вероятностей для символов, которые энтропийно
кодированы в поднабор 410-1 кодированных данных, с тем чтобы
предоставлять возможность эффективного статического
энтропийного декодирования. Поднабор 410-1 кодированных данных и вероятности 581 символов затем обрабатываются посредством декодера 580-2 на основе статического диапазона, формируя декодированные символы 582. В некоторых неограничивающих вариантах осуществления, блок 580-1 формирует множество наборов из вероятностей 581 символов (по одному в расчете на каждый смежный мозаичный фрагмент символов для декодирования), с тем чтобы давать возможность блоку 58 0-2 реализовывать параллельное энтропийное декодирование декодированных символов 582. В другом неограничивающем варианте осуществления, блок 58 0-2 реализует различные способы статического энтропийного декодирования, такие как арифметическое декодирование.
Декодированные символы 582 обрабатываются посредством деквантователя 580-3, формируя деквантованные символы 583. Деквантованные символы 583, информация 532-1 наследования и ссылочная информация 584 обрабатываются посредством модуля 5803 комбинирования, формируя как промежуточные данные 541, так и информацию 53 0-1 наследования. В неограничивающем варианте
осуществления, информация 532-1 наследования указывает части
промежуточных данных 541, которые непосредственно унаследованы
из более низкого уровня качества без необходимости для
поднабора 410-1 кодированных данных указывать какую-либо
информацию относительно них. Это обеспечивает большую
эффективность при передаче данных, поскольку кодированные
данные не должны обязательно указывать информацию относительно
элементов, которые могут эффективно прогнозироваться
посредством декодера посредством информации, которой уже
обладает декодер. В неограничивающем варианте осуществления,
информация 530-1 наследования также указывает то, какая часть
промежуточных данных 541 должна формироваться, по меньшей мере,
частично на основе ссылочной информации 584. Таким образом,
кодированные данные могут декодироваться через энтропийный
декодер на основе статического диапазона в соответствии с
распределением вероятностей символов, указываемым в данных для
восстановления. В соответствии с еще одним дополнительным
вариантом осуществления, кодированные данные могут
декодироваться через статический арифметический энтропийный декодер в соответствии с распределением вероятностей символов, указываемым в данных для восстановления.
Фиг. 6А и 6В являются неограничивающими примерными
схемами, иллюстрирующими преобразованное остаточное
декодирование согласно вариантам осуществления в данном документе.
Фиг. 6А описывает последовательность операций, используемую в неограничивающем варианте осуществления, чтобы формировать четыре SD-плоскости преобразованных остатков (т.е. четыре плоскости с SD-разрешением): преобразованные А-остатки 640-1, преобразованные В-остатки 640-2, преобразованные С-остатки 640-3, преобразованные D-остатки 640-4. Как показано, другие части кодированных данных 42 0 декодируются согласно комбинации способов энтропийного декодирования методом Хаффмана (декодер 610 Хаффмана) и декодирования по длинам серий (RLE) (RLE-декодер 620) . В неограничивающем варианте осуществления, блоки 630-1, 630-2, 630-3, 630-4 деквантования используют
различные способы и/или параметры деквантования (согласно тому факту, что различные наборы преобразованных остатков квантованы посредством кодера согласно различным параметрам квантования).
Фиг. 6В описывает неограничивающий вариант осуществления, в котором А-остатки 640-1 и D-остатки 640-4 восстановлены согласно плоскостям по умолчанию, известным на стороне декодера (например, в неограничивающем варианте осуществления, плоскостям элементов, инициализированных, равными нулю), а не посредством декодирования информации, содержащейся в кодированных данных 420.
Другие неограничивающие варианты осуществления (не показаны на фиг. 6А и 6В) декодируют наборы 420-1,..., 420-4 кодированных данных согласно способу статического энтропийного декодирования, аналогично способу, проиллюстрированному на фиг. 5С, в котором энтропийный декодер реализует способ статического энтропийного декодирования согласно распределению вероятностей символов, экстраполированному из одного или более параметров, указываемых в кодированных данных.
Фиг. 7А, 7В и 7С являются неограничивающими примерными схемами, иллюстрирующими использование преобразованных остатков, иллюстрирующими операции, выполняемые посредством неограничивающего варианта осуществления блока 490.
Фиг. 7А иллюстрирует то, как блок 490 восстанавливает, на основе предварительного HD LOQ 280, измененного SD LOQ 460 и преобразованных остатков 640, конечный HD LOQ 150-1 согласно вариантам осуществления в данном документе.
Каждый блок 2x2 элементов 150-1-1 конечного HD LOQ 150-1 (фиг. 7А иллюстрирует 150-1-1, но аналогичные операции реализуются для других блоков 2x2 изображения) формируется посредством обработки соответствующего блока 280-i предварительного HD LOQ 280, соответствующего элемента 460-i измененного SD LOQ 4 60 (например, в неограничивающем варианте осуществления, элемента, совместно размещаемого с 280-i и 150-1-i в изображении, также заданного в качестве "родительского элемента" 280-i и 150-1-i) и четырех соответствующих преобразованных остатков 640-1-i, 640-2-i, 640-3-i и 640-4-i.
Более конкретно, для проиллюстрированного случая блока 2x2 элементов 150-1-1, четыре элемента 280-1 обрабатываются посредством блока 7 00 формирования РА вместе со своим соответствующим родительским элементом 4 60-1 измененного SD LOQ 460, формируя значение РА 730-1.
В-остаток 640-2-1 суммируется или вычитается для каждого из значений блока 280-1, например, в неограничивающем варианте осуществления, суммируется с элементами слева от блока 2x2 и вычитается из элементов справа от блока 2x2.
С-остаток 640-3-1 суммируется или вычитается для каждого из значений блока 280-1, например, в неограничивающем варианте осуществления, суммируется с элементами в верхней части блока 2x2 и вычитается из элементов в нижней части блока 2x2.
D-остаток 640-3-1 суммируется или вычитается для каждого из значений блока 280-1, например, в неограничивающем варианте осуществления, суммируется с элементами вверху слева и внизу справа от блока 2x2 и вычитается из элементов вверху справа и внизу слева от блока 2x2.
Результат всех этих комбинаций представляет собой блок 2x2 элементов 150-1-1 конечного HD LOQ 150-1.
Процедура затем повторяется для всех блоков 2x2 конечного HD LOQ 150-1. В неограничивающем варианте осуществления, если одна из размерностей конечного HD LOQ 150-1 имеет нечетное число элементов, декодер сначала восстанавливает изображение с дополнительной строкой или столбцом и затем отбрасывает такую дополнительную строку или столбец.
Другими словами, описанный неограничивающий вариант осуществления восстанавливает конечный HD LOQ 150-1 следующим образом: формирование, на основе второго визуального представления сигнала (измененного SD LOQ 4 60), третьего визуального представления сигнала (предварительного HD LOQ 280), причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения; декодирование вторых частей кодированных данных в набор преобразованных остаточных данных (А-остатки, В-остатки, С
остатки и D-остатки 640); обработку комбинации набора преобразованных остаточных данных, второго визуального представления сигнала (измененного SD LOQ 4 60) и третьего визуального представления сигнала (предварительного HD L0Q 280) для того, чтобы формировать новый набор остаточных данных (не показан на чертеже, поскольку непосредственно применяется к предварительному HD LOQ 280); и применение нового набора остаточных данных к третьему визуальному представлению сигнала для того, чтобы формировать четвертое визуальное представление сигнала.
Фиг. 7В иллюстрирует неограничивающий вариант
осуществления блока 700, в котором каждое значение 730-i SD-плоскости РА 730 формируется посредством вычисления разности между элементом 460-i (например, yh,к) и средним значений соответствующих четырех элементов блока 2 8 0-i 2x2 (например, Pi,jf Pi,j+if Pi+i,jf Pi+i,j+i) • Значение 730-1 комбинировано с А-остатком 640-1-1, и результирующее значение суммируется с каждым из четырех элементов блока 280-1.
Фиг. 7С иллюстрирует неограничивающий вариант
осуществления с использованием преобразованных остатков в восстановлении остаточных данных (к примеру, остаточных данных, которые должны применяться для того, чтобы модифицировать первое визуальное представление сигнала во второе визуальное представление сигнала) согласно иерархическому способу.
Согласно варианту осуществления, остаточные данные
восстановлены с постепенно более высокими уровнями качества,
согласно следующей последовательности: восстановление
остаточных данных с более низким уровнем качества; формирование
(к примеру, через операции повышающей дискретизации)
предварительного визуального представления остаточных данных со
следующим более высоким уровнем качества; декодирование
преобразованных остатков; формирование относительных остаточных
данных со следующим более высоким уровнем качества, как указано
посредством преобразованных остатков; модификация
предварительного визуального представления остаточных данных со следующим более высоким уровнем качества посредством применения
относительных остаточных данных, формирования остаточных данных со следующим более высоким уровнем качества. Остаточные данные с самым высоким уровнем качества в иерархии остаточных данных затем применяются к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Другими словами, вариант осуществления обрабатывает
кодированные данные следующим образом: декодирование вторых
частей кодированных данных в остаточные данные с первым уровнем
качества; формирование, на основе остаточных данных с первым
уровнем качества, предварительного визуального представления
остаточных данных со вторым уровнем качества, причем второй
уровень качества выше первого уровня качества; декодирование
вторых частей кодированных данных в квантованные
преобразованные остаточные данные; деквантование квантованных
преобразованных остаточных данных для того, чтобы формировать
преобразованные остаточные данные; обработку комбинации
преобразованных остаточных данных, остаточных данных с первым
уровнем качества и предварительного визуального представления
остаточных данных со вторым уровнем качества таким образом,
чтобы воспроизводить остаточные данные со вторым уровнем
качества (к примеру, посредством комбинирования
предварительного визуального представления остаточных данных со вторым уровнем качества с набором относительных остаточных данных, как описано на фиг. 1С); и применение воспроизведенных остаточных данных со вторым уровнем качества к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Неограничивающий вариант осуществления дополнительно содержит: формирование, на основе второго визуального представления сигнала, третьего визуального представления сигнала, причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения; декодирование вторых частей кодированных данных в новый набор преобразованных остаточных данных; обработку комбинации нового
набора преобразованных остаточных данных, второго визуального представления сигнала и третьего визуального представления сигнала для того, чтобы формировать новый набор остаточных данных; и применение нового набора остаточных данных к третьему визуальному представлению сигнала для того, чтобы формировать четвертое визуальное представление сигнала.
Фиг. 8 является схемой, иллюстрирующей примерную компьютерную архитектуру, в которой можно выполнять любую функциональность согласно вариантам осуществления в данном документе. Любая из одной или более различных технологий обработки могут реализовываться через выполнение программного кода на аппаратных средствах компьютерного процессора.
В неограничивающем варианте осуществления, компьютерная система 850 расположена в абонентской приставке или на другом подходящем ресурсе. Варианты осуществления в данном документе обеспечивают возможность компьютерной системе 850 декодировать кодированные данные и восстанавливать сигнал с любым из одного или более различных более высоких уровней качества, как описано в данном документе. В качестве неограничивающего примера, аппаратные средства компьютерного процессора в компьютерной системе 8 50 могут быть выполнены с возможностью формировать второй уровень качества (например, HD-видео) посредством обработки идентичного потока данных, который другие унаследованные абонентские приставки декодируют только с первым уровнем качества (например, формируя SD-видео).
Например, как показано подробнее, компьютерная система 850 (например, аппаратные средства компьютерного процессора) настоящего примера может включать в себя механизм 811 межкомпонентного соединения, который связывает машиночитаемые носители 812 хранения данных, такие как энергонезависимый тип носителей (т.е. любой тип аппаратного носителя хранения данных), на которых может сохраняться и извлекаться цифровая информация. Компьютерная система 850 дополнительно может включать в себя процессор 813 (т.е. аппаратные средства 106, 107 компьютерного процессора и т.д., к примеру, одно или более совместно размещаемых или отдельно размещаемых относительно
процессора процессорных устройств), интерфейс 814 ввода-вывода, интерфейс 817 связи и т.д. Аппаратные средства компьютерного процессора (т.е. процессор 813) могут быть расположены в одном местоположении или могут быть распределены по множеству местоположений.
Как предполагает название, интерфейс 814 ввода-вывода предоставляет возможности подключения к таким ресурсам, как репозиторий 880, устройства управления (к примеру, контроллер 892), один или более экранов отображения и т.д. Машиночитаемый носитель 812 хранения данных может представлять собой любое аппаратное устройство хранения данных для того, чтобы сохранять данные, такое как запоминающее устройство, оптическое устройство хранения данных, жесткий диск, гибкий диск и т.д. В одном варианте осуществления, машиночитаемый носитель 812 хранения данных сохраняет инструкции и/или данные. Интерфейс 817 связи обеспечивает возможность компьютерной системе 850 и ресурсу 813 процессора передавать по ресурсу, к примеру, по любой из сетей 190. Интерфейс 814 ввода-вывода обеспечивает возможность ресурсу 813 процессора осуществлять доступ к данным из локального или удаленного местоположения, управлять соответствующим экраном отображения, принимать ввод и т.д.
Как показано, машиночитаемые носители 812 хранения данных могут кодироваться с помощью приложения 840-1 декодера (например, программного обеспечения, микропрограммного обеспечения и т.д.), выполняемого посредством процессора 813. Приложение 8 4 0-1 декодера может быть выполнено с возможностью включать в себя инструкции, чтобы реализовывать любую из операций, как пояснено в данном документе.
В ходе работы одного варианта осуществления, процессора 813 осуществляет доступ к машиночитаемым носителям 812 хранения данных через использование механизма 811 межкомпонентного соединения для того, чтобы запускать, прогонять, приводить в исполнение, интерпретировать или иным образом выполнять инструкции в приложении 840-1 декодера, сохраненном на машиночитаемом носителе 812 хранения данных.
Выполнение приложения 8 4 0-1 декодера формирует
функциональность обработки, такую как процесс 840-2 декодера в ресурсе 813 процессора. Другими словами, процесс 840-2 декодера, ассоциированный с ресурсом 813 процессора, представляет один или более аспектов выполнения приложения 8401 декодера в рамках или на ресурсе 813 процессора в компьютерной системе 850.
Специалисты в данной области техники должны понимать, что компьютерная система 850 может включать в себя другие процессы и/или программные и аппаратные компоненты, такие как операционная система, которая управляет выделением и использованием аппаратных ресурсов для того, чтобы выполнять приложение 8 4 0-1 декодера. В соответствии с различными вариантами осуществления, следует отметить, что компьютерная система может представлять собой любые из различных типов устройств, включающих в себя, но не только, абонентскую приставку, точку доступа, мобильный компьютер, персональную компьютерную систему, беспроводное устройство, базовую станцию, телефонное устройство, настольный компьютер, переносной компьютер, ноутбук, нетбук, мэйнфреймовую компьютерную систему, карманный компьютер, рабочую станцию, сетевой компьютер, сервер приложений, устройство хранения данных, бытовое электронное устройство, такое как камера, записывающая видеокамера, абонентская приставка, мобильное устройство, консоль для видеоигр, карманное устройство для видеоигр, периферийное устройство, такое как коммутатор, модем, маршрутизатор и т.д., либо, в общем, любой тип вычислительного или электронного устройства. Компьютерная система 850 может постоянно размещаться в любом местоположении или в множестве местоположений в сетевом окружении. Компьютерная система 850 может быть включена в любой подходящий ресурс в сетевом окружении, чтобы реализовывать функциональность, как пояснено в данном документе. Ниже поясняется функциональность, поддерживаемая посредством различных ресурсов, с помощью блок-схем последовательности операций способа на фиг. 9, 10 и 11. Следует отметить, что этапы на нижеприведенных блок-схемах последовательности операций способа могут выполняться в любом
подходящем порядке.
Фиг. 9 является блок-схемой 900 последовательности операций, иллюстрирующей примерный способ согласно вариантам осуществления. Следует отметить, что возникает определенное пересечение с принципами, поясненными выше. На этапе 910 обработки, аппаратные средства компьютерного процессора синтаксически анализируют поток данных на первые части кодированных данных 181 и вторые части кодированных данных 182.
На этапе 92 0 обработки, аппаратные средства компьютерного процессора реализуют первый декодер 130 для того, чтобы декодировать первые части кодированных данных 181 в первое визуальное представление сигнала.
На этапе 930 обработки, аппаратные средства компьютерного процессора реализуют второй декодер 120 для того, чтобы декодировать вторые части кодированных данных 182 в данные 184 для восстановления, причем данные 184 для восстановления указывают то, как модифицировать первое визуальное представление сигнала.
На этапе 94 0 обработки, аппаратные средства компьютерного процессора применяют данные 184 для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
Фиг. 10 является блок-схемой 1000 последовательности операций, иллюстрирующей примерный способ согласно вариантам осуществления.
Следует отметить, что возникает определенное пересечение с принципами, поясненными выше.
На этапе 1010 обработки, аппаратные средства компьютерного процессора синтаксически анализируют поток данных на первые части кодированных данных, вторые части кодированных данных и третьи части кодированных данных.
На этапе 102 0 обработки, аппаратные средства компьютерного процессора реализуют первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала с первым уровнем качества.
На этапе 1030 обработки, аппаратные средства компьютерного
процессора реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в первые данные для восстановления, причем первые данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала во второе визуальное представление сигнала со вторым уровнем качества, причем второй уровень качества выше первого уровня качества.
На этапе 104 0 обработки, аппаратные средства компьютерного процессора обрабатывают первые данные для восстановления и первое визуальное представление сигнала для того, чтобы формировать второе визуальное представление сигнала со вторым уровнем качества.
На этапе 1050 обработки, аппаратные средства компьютерного процессора реализуют третий декодер для того, чтобы декодировать третьи части кодированных данных во вторые данные для восстановления, причем вторые данные для восстановления указывают то, как модифицировать второе визуальное представление сигнала в третье визуальное представление сигнала с третьим уровнем качества, причем третий уровень качества выше второго уровня качества.
На этапе 106 обработки, аппаратные средства компьютерного процессора обрабатывают вторые данные для восстановления и второе визуальное представление сигнала для того, чтобы формировать третье визуальное представление сигнала с третьим уровнем качества.
Фиг. 11 является блок-схемой 1100 последовательности операций, иллюстрирующей примерный способ согласно вариантам осуществления. Следует отметить, что возникает определенное пересечение с принципами, поясненными выше. На этапе 1110 обработки, аппаратные средства компьютерного процессора синтаксически анализируют принимаемый поток данных на декодированные данные и кодированные данные, причем декодированные данные указывают настройки, ассоциированные с первым визуальным представлением сигнала.
На этапе 112 0 обработки, аппаратные средства компьютерного процессора используют декодированные данные для того, чтобы
формировать первое визуальное представление сигнала.
На этапе ИЗО обработки, аппаратные средства компьютерного процессора реализуют декодер для того, чтобы декодировать кодированные данные в данные для восстановления, причем данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала.
На этапе 1140 обработки, аппаратные средства компьютерного процессора применяют данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала. Фиг. 12А иллюстрирует неограничивающий примерный способ кодирования согласно вариантам осуществления в данном документе.
Исходный видеосигнал 100 обрабатывается посредством преобразователя 1200 с понижением частоты, формируя преобразованный с понижением частоты сигнал 1220. В неограничивающем варианте осуществления, преобразованный с понижением частоты сигнал 122 0 представляет собой сигнал с более низким разрешением элементов отображения.
Унаследованный кодер 1240 обрабатывает преобразованный с понижением частоты сигнал 122 0, формируя кодированные данные 1250. В неограничивающем варианте осуществления, унаследованный кодер 1240 кодирует преобразованный с понижением частоты сигнал согласно способу кодирования MPEG (стандарт экспертной группы по киноизображению). Формирователь 1230 данных для восстановления обрабатывает исходный сигнал 100 и восстановленное визуальное представление сигнала, кодированного посредством унаследованного кодера 1240 (полученное либо посредством приема восстановленного визуального представления из унаследованного кодера 1240, либо, как проиллюстрировано на фиг. 12А, посредством приема и декодирования кодированных данные 1250), формируя кодированные данные 1260 (к примеру, кодированные улучшающие данные).
Модуль 12 7 0 комбинирования принимает кодированные данные 12 50 (первые части кодированных данных) и кодированные данные 12 60 (вторые части кодированных данных) и комбинирует их в поток 115 данных. В неограничивающем варианте осуществления,
поток 115 данных организован в качестве транспортного MPEG-2-потока, при этом вторые части кодированных данных ассоциированы с другим идентификатором пакета (PID) относительно первых частей кодированных данных.
Фиг. 12В иллюстрирует неограничивающий примерный способ кодирования согласно вариантам осуществления в данном документе.
Исходный видеосигнал 100 (к примеру, UltraHD-видеосигнал) обрабатывается посредством преобразователя 1200 с понижением частоты, формируя преобразованный с понижением частоты сигнал 1220 (к примеру, визуальное SD-представление исходного видеосигнала) и преобразованный с понижением частоты сигнал 1225 (к примеру, визуальное HD-представление исходного видеосигнала).
Унаследованный кодер 1240 обрабатывает преобразованный с понижением частоты сигнал 122 0, формируя кодированные данные 1250. В неограничивающем варианте осуществления, унаследованный кодер 1240 кодирует преобразованный с понижением частоты сигнал согласно способу кодирования MPEG (стандарт экспертной группы по киноизображению). Формирователь 1230 HD-данных для восстановления обрабатывает преобразованное с понижением частоты визуальное HD-представление сигнала 1225 и восстановленное визуальное представление сигнала, кодированного посредством унаследованного кодера 1240 (полученное либо посредством приема восстановленного визуального представления из унаследованного кодера 1240, либо, как проиллюстрировано на фиг. 12В, посредством приема и декодирования кодированных данные 1250), формируя кодированные данные 1260 (к примеру, кодированные улучшающие HD-данные).
Формирователь 1237 UltraHD-данных для восстановления обрабатывает исходный сигнал 100 и восстановленное визуальное представление HD-сигнала 1235, принимаемые из 1230, формируя кодированные данные 12 65 (к примеру, кодированные улучшающие UltraHD-данные).
Модуль 12 71 комбинирования принимает кодированные данные 12 50 (первые части кодированных данных), кодированные данные
12 60 (вторые части кодированных данных) и кодированные данные 1265 (третьи части кодированных данных) и комбинирует их в поток 115 данных. В неограничивающем варианте осуществления, поток 115 данных организован в качестве транспортного MPEG-2-потока, при этом вторые части кодированных данных и третьи части кодированных данных ассоциированы с конкретными идентификаторами пакетов (PID), отличающимися от PID первых частей кодированных данных. Снова следует отметить, что технологии в данном документе оптимально подходят для кодирования и декодирования принимаемых данных. Тем не менее, следует отметить, что варианты осуществления в данном документе не ограничены использованием в таких вариантах применения, и что технологии, поясненные в данном документе, также оптимально подходят для других вариантов применения.
На основе описания, изложенного в данном документе, приведено множество конкретных подробностей для того, чтобы предоставлять полное понимание заявленного предмета изобретения. Тем не менее, специалисты в данной области техники должны понимать, что заявленный предмет изобретения может быть использован на практике без этих конкретных подробностей. В других случаях, способы, устройства, системы и т.д., которые известны специалистами в данной области техники, подробно не описываются, с тем чтобы не затруднять понимание заявленного предмета изобретения. Некоторые части подробного описания представлены с точки зрения алгоритмов или символических представлений операций для битов данных или двоичных цифровых сигналах, сохраненных в запоминающем устройстве вычислительной системы, к примеру, в компьютерном запоминающем устройстве. Эти алгоритмические описания или представления являются примерами технологий, используемых специалистами в данной области техники в областях техники обработки данных для того, чтобы доносить сущность своей работы до других специалистов в данной области техники. Алгоритм, описанный в данном документе, в общем, считается самосогласованной последовательностью операций или аналогичной обработкой, приводящей к требуемому результату. В этом контексте, операции или обработка заключают в себе
физическую обработку физических величин. Типично, хотя и не обязательно, такие величины могут принимать форму электрических или магнитных сигналов, допускающих сохранение, передачу, комбинирование, сравнение и иную обработку. Периодически удобно, преимущественно по причинам широкого использования, упоминать такие сигналы как биты, данные, значения, элементы, символы, знаки, члены, числа, цифры и т.п. Тем не менее, следует понимать, что все эти и аналогичные термины должны быть ассоциированы с надлежащими физическими величинами и являются просто удобными обозначениями. Если прямо не указано иное, как очевидно из нижеприведенного пояснения, следует принимать во внимание, что в этом подробном описании, пояснение с использованием таких терминов, как "обработка", "вычисление", "расчет", "определение" и т.п. означает действия или процессы вычислительной платформы, такой как компьютер или аналогичное электронное вычислительное устройство, которое обрабатывает или преобразует данные, представленные в качестве физических электронных или магнитных величин в запоминающих устройствах, регистрах или других устройствах хранения информации, передающих устройствах или на устройствах отображения вычислительной платформы.
Хотя это изобретение было конкретно показано и описано со ссылкой на его предпочтительные варианты осуществления, специалисты в данной области техники должны понимать, что различные изменения по форме и содержанию могут вноситься без отступления от сущности и объема настоящего изобретения, определяемых посредством прилагаемой формулы изобретения. Как предполагается, такие изменения входят в объем настоящего изобретения. В связи с этим, вышеприведенное описание вариантов осуществления настоящего изобретения не имеет намерение быть ограничивающим. Наоборот, все ограничения на изобретение представлены в прилагаемой формуле изобретения.
ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ, содержащий этапы, на которых:
используя аппаратные средства компьютерного процессора: синтаксически анализируют поток данных на первые части
кодированных данных и вторые части кодированных данных;
реализуют первый декодер для того, чтобы декодировать
первые части кодированных данных в первое визуальное
представление сигнала;
- реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в данные для восстановления, причем данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала; и
применяют данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
2. Способ по п. 1, в котором первые части кодированных данных декодируются в соответствии с форматом MPEG (стандарт экспертной группы по киноизображению); и
при этом данные для восстановления, извлекаемые из вторых частей кодированных данных, декодируются в соответствии с форматом иерархического кодирования.
3. Способ по п. 1, в котором первые части кодированных данных содержат несжатые видеоданные; и
при этом данные для восстановления, извлекаемые из вторых частей кодированных данных, декодируются в соответствии с форматом иерархического кодирования.
4. Способ по п. 2, в котором вторые части кодированных данных являются сжатыми данными; и
- при этом реализация второго декодера включает в себя этап, на котором применяют операции повышающей дискретизации к сжатым данным для того, чтобы формировать данные для восстановления, причем применяемые операции повышающей дискретизации преобразуют настройки элемента отображения более низкого разрешения в настройки элемента отображения более высокого разрешения.
5. Способ по п. 1, в котором аппаратные средства
компьютерного процессора представляют собой первые аппаратные средства компьютерного процессора:
через вторые аппаратные средства компьютерного процессора:
- принимают поток данных;
инициируют декодирование только первых частей кодированных данных, принимаемых в потоке данных, в первое визуальное представление сигнала; и
- инициируют отображение первого визуального представления сигнала на экране отображения.
6. Способ по п. 5, в котором первые части кодированных данных декодируются согласно способу декодирования, совместимому с аппаратными средствами компьютерного процессора унаследованного декодера, и поток данных организован таким образом, что вторые части кодированных данных не используются посредством аппаратных средств компьютерного процессора унаследованного декодера; и
- при этом аппаратные средства компьютерного процессора унаследованного декодера: i) инициируют декодирование только первых частей кодированных данных, и И) инициируют отображение первого визуального представления сигнала на соответствующем экране отображения.
7. Способ по п. б, в котором поток данных представляет собой HDMI-сигнал, при этом первые части кодированных данных являются несжатыми видеоданными.
8. Способ по п. б, в котором поток данных принимается по DisplayPort-интерфейсу, в котором первые части кодированных данных являются несжатыми видеоданными.
9. Способ по п. б, в котором поток данных представляет собой транспортный поток MPEG (стандарт экспертной группы по киноизображению), включающий в себя первые части данных и вторые части данных.
10. Способ по п. 1, в котором сигнал включает в себя
множество элементов отображения; и
- при этом второе визуальное представление сигнала имеет более высокий уровень качества относительно первого визуального
-
представления сигнала.
11. Способ по п. 10, в котором второе визуальное
представление сигнала имеет разрешение элементов отображения,
идентичное разрешению элементов отображения первого визуального
представления сигнала.
12. Способ по п. 1, в котором реализация второго декодера для того, чтобы декодировать вторые части кодированных данных, включает в себя этапы, на которых:
декодируют первый набор остаточных данных с первым уровнем качества, как указано посредством вторых частей кодированных данных;
используют первый набор остаточных данных для того, чтобы модифицировать первое визуальное представление сигнала и формировать второе визуальное представление сигнала;
- формируют, по меньшей мере, частично на основе второго визуального представления сигнала, третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет более высокое разрешение относительно разрешения второго визуального представления сигнала;
декодируют второй набор остаточных данных со вторым уровнем качества, как указано посредством вторых частей кодированных данных;
используют второй набор остаточных данных для того, чтобы модифицировать третье визуальное представление сигнала и формировать четвертое визуальное представление сигнала.
13. Способ по п. 12, причем способ дополнительно содержит этапы, на которых:
формируют, на основе четвертого визуального представления сигнала, пятое визуальное представление сигнала, причем пятое визуальное представление сигнала имеет более высокое разрешение относительно разрешения четвертого визуального представления сигнала;
декодируют третий набор остаточных данных с третьим уровнем качества, как указано посредством вторых частей кодированных данных; и
используют третий набор остаточных данных для того,
чтобы модифицировать пятое визуальное представление сигнала и формировать шестое визуальное представление сигнала.
14. Способ по п. 13, в котором первое визуальное
представление сигнала представляет собой чересстрочный
видеосигнал, и шестое визуальное представление сигнала
представляет собой построчный видеосигнал.
15. Способ по п. 1, в котором реализация второго декодера для того, чтобы декодировать вторые части кодированных данных, включает в себя этапы, на которых:
идентифицируют операции повышающей дискретизации, как указано посредством вторых частей кодированных данных; и
- применяют операции повышающей дискретизации ко второму визуальному представлению сигнала для того, чтобы формировать третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет значительно более высокое разрешение элементов отображения относительно разрешения элементов отображения второго визуального представления сигнала.
16. Способ по п. 15, в котором идентификация операций повышающей дискретизации, как указано посредством вторых частей кодированных данных, содержит этапы, на которых:
декодируют параметры, соответствующие конкретным коэффициентам ядра повышающей дискретизации;
по меньшей мере, частично на основе декодированных параметров, формируют ядро повышающей дискретизации, соответствующее части третьего визуального представления сигнала; и
- применяют ядро повышающей дискретизации к части второго визуального представления сигнала для того, чтобы формировать часть третьего визуального представления сигнала.
17. Способ по п. 16, в котором третье визуальное
представление сигнала является предварительным визуальным
представлением сигнала со значительно более высоким разрешением
элементов отображения, при этом реализация второго декодера
дополнительно содержит этап, на котором:
- используют данные для восстановления для того, чтобы
модифицировать предварительное визуальное представление сигнала
со значительно более высоким разрешением элементов отображения,
причем модифицированное предварительное визуальное
представление сигнала имеет идентичное разрешение, но более высокий уровень качества относительно предварительного визуального представления сигнала.
18. Способ по п. 1, в котором данные для восстановления включают в себя, по меньшей мере, первый набор остаточных данных и второй набор остаточных данных, причем первый набор остаточных данных указывает то, как модифицировать визуальное представление сигнала с первым разрешением элементов отображения, второй набор остаточных данных указывает то, как модифицировать визуальное представление сигнала со вторым разрешением элементов отображения, причем второе разрешение элементов отображения выше первого разрешения элементов отображения.
19. Способ по п. 18, причем способ дополнительно содержит этапы, на которых:
используют первый набор остаточных данных для того, чтобы модифицировать первое визуальное представление сигнала и формировать второе визуальное представление сигнала;
- формируют, на основе второго визуального представления сигнала, третье визуальное представление сигнала, причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со вторым разрешением элементов отображения;
используют второй набор остаточных данных для того, чтобы модифицировать третье визуальное представление сигнала и формировать четвертое визуальное представление сигнала со вторым разрешением элементов отображения.
20. Способ по п. 19, в котором второй набор остаточных данных формируется из преобразованных остаточных данных, при этом способ содержит этапы, на которых:
декодируют вторые части кодированных данных в квантованные преобразованные остаточные данные;
деквантуют квантованные остаточные данные для того,
чтобы формировать преобразованные остаточные данные;
- обрабатывают преобразованные остаточные данные, второе визуальное представление сигнала и третье визуальное представление сигнала для того, чтобы воспроизводить остаточные данные; и
- применяют воспроизведенные остаточные данные к третьему визуальному представлению сигнала для того, чтобы формировать четвертое визуальное представление сигнала.
21. Способ по п. 18, в котором сигнал представляет собой видеосигнал;
- при этом набор остаточных данных формируется согласно временному наследованию для множества кадров сигнала, при этом способ содержит этап, на котором:
- декодируют остаточные данные для кадра, по меньшей мере, частично на основе остаточных данных, декодированных для различного кадра.
22. Способ по п. 1, в котором первые части кодированных данных перемежаются со вторыми частями кодированных данных в потоке данных; и при этом синтаксический анализ потока данных на первые части кодированных данных и вторые части кодированных данных включает в себя этап, на котором: используют теги в потоке данных для того, чтобы идентифицировать первые части данных и вторые части данных.
23. Способ по п. 22, в котором поток данных организован в
качестве транспортного MPEG-потока, в котором первым частям
кодированных данных назначается первый идентификатор пакета
(PID), а вторым частям кодированных данных назначается второй
идентификатор пакета (PID).
24. Способ по п. 22, в котором первые части кодированных данных кодируются согласно h.264-формату кодирования MPEG (стандарт экспертной группы по киноизображению).
25. Способ по п. 22, в котором первые части кодированных данных кодируются согласно формату кодирования MPEG2 (стандарт экспертной группы по киноизображению 2).
26. Способ по п. 1, в котором сигнал представляет собой видеосигнал, включающий в себя множество кадров элементов
24.
отображения, причем способ дополнительно содержит этап, на котором:
идентифицируют временные ассоциирования между первыми частями кодированных данных и вторыми частями кодированных данных, причем временные ассоциирования указывают то, к какому из множества кадров элементов отображения в первом визуальном представлении сигнала относятся данные для восстановления; и
- при этом применение данных для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала, включает в себя этап, на котором: в соответствии с временными ассоциированиями, используют данные для восстановления для того, чтобы приметь временную повышающую дискретизацию к первому визуальному представлению сигнала для получения второго визуального представления сигнала, причем второе визуальное представление сигнала включает в себя большее число кадров элементов отображения относительно первого визуального представления сигнала.
27. Способ по п. 10, в котором сигнал представляет собой
видеосигнал;
- при этом первое визуальное представление сигнала имеет первую частоту кадров;
- при этом второе визуальное представление сигнала имеет вторую частоту кадров, причем вторая частота кадров превышает первую частоту кадров, при этом способ содержит этапы, на которых:
- формируют, на основе первого визуального представления сигнала на первой частоте кадров, и как указано посредством данных для восстановления, предварительное визуальное представление сигнала на второй частоте кадров;
формируют набор остаточных данных, как указано посредством данных для восстановления;
применяют набор остаточных данных к предварительному визуальному представлению сигнала на второй частоте кадров, чтобы формировать второе визуальное представление сигнала.
28. Способ по п. 1, в котором применение данных для
восстановления включает в себя этап, на котором:
как указано посредством данных для восстановления, применяют пространственную повышающую дискретизацию ко второму визуальному представлению сигнала для получения третьего визуального представления сигнала, причем третье визуальное представление сигнала имеет более высокое разрешение элементов отображения относительно второго визуального представления сигнала.
29. Способ по п. 1, в котором данные для восстановления включают в себя иерархию остаточных данных, кодированных в соответствии с множеством разрешений элементов отображения, причем второй декодер применяет операции повышающей дискретизации ко вторым частям кодированных данных для того, чтобы воспроизводить иерархию остаточных данных.
30. Способ по п. 29, в котором сигнал представляет собой видеосигнал, и иерархия остаточных данных формируется согласно временному наследованию остатков для множества кадров элементов отображения в сигнале, при этом способ содержит этап, на котором:
- на данном уровне иерархии остаточных данных, декодируют остаточные данные для первого кадра, по меньшей мере, частично на основе остаточных данных, декодированных для второго кадра, причем второй кадр соответствует различному моменту времени, относительно первого кадра.
31. Способ по п. 29, в котором иерархия остаточных данных формируется согласно пространственному наследованию остатков в данном кадре элементов отображения в сигнале, при этом способ содержит этап, на котором:
- при данном уровне качества в иерархии остаточных данных, декодируют остаточные данные для части данного кадра только на основе данных для восстановления, декодированных для более низкого уровня качества в иерархии остаточных данных.
32. Способ по п. 2 9, дополнительно содержащий этапы, на которых:
- извлекают первый набор остаточных данных из базового набора остаточных данных;
-
- извлекают второй набор остаточных данных из базового набора остаточных данных, причем первый набор остаточных данных отличается от второго набора остаточных данных;
применяют первый набор остаточных данных к первой временной выборке первого визуального представления сигнала для того, чтобы формировать соответствующую первую временную выборку во втором визуальном представлении сигнала; и
применяют второй набор остаточных данных ко второй временной выборке первого визуального представления сигнала для того, чтобы формировать соответствующую вторую временную выборку во втором визуальном представлении сигнала.
33. Способ по п. 32, причем способ дополнительно содержит этапы, на которых:
- формируют, на основе второго визуального представления сигнала, третье визуальное представление сигнала, причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со значительно более высоким разрешением элементов отображения;
- декодируют второй базовый набор остаточных данных;
извлекают третий набор остаточных данных из второго базового набора остаточных данных;
- извлекают четвертый набор остаточных данных из второго базового набора остаточных данных, причем третий набор остаточных данных отличается от четвертого набора остаточных данных;
применяют третий набор остаточных данных к первой временной выборке третьего визуального представления сигнала для того, чтобы формировать соответствующую первую временную выборку в четвертом визуальном представлении сигнала; и
- применяют четвертый набор остаточных данных ко второй временной выборке третьего визуального представления сигнала для того, чтобы формировать соответствующую вторую временную выборку в четвертом визуальном представлении сигнала.
34. Способ по п. 1, дополнительно содержащий этапы, на которых:
декодируют вторые части кодированных данных в
преобразованные остаточные данные;
- обрабатывают преобразованные остаточные данные для того, чтобы формировать квантованные остаточные данные;
деквантуют квантованные остаточные данные для того, чтобы воспроизводить остаточные данные; и
- применяют воспроизведенные остаточные данные к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
35. Способ по п. 1, дополнительно содержащий этапы, на которых:
- декодируют вторые части кодированных данных в остаточные данные с первым уровнем качества;
- формируют, на основе остаточных данных с первым уровнем качества, предварительное визуальное представление остаточных данных со вторым уровнем качества, причем второй уровень качества выше первого уровня качества;
декодируют вторые части кодированных данных в квантованные преобразованные остаточные данные;
деквантуют квантованные преобразованные остаточные данные для того, чтобы формировать преобразованные остаточные данные;
обрабатывают комбинацию преобразованных остаточных данных, остаточных данных с первым уровнем качества и предварительного визуального представления остаточных данных со вторым уровнем качества таким образом, чтобы воспроизводить остаточные данные со вторым уровнем качества; и
- применяют воспроизведенные остаточные данные со вторым уровнем качества к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
36. Способ по п. 1, причем способ дополнительно содержит этапы, на которых:
- формируют, на основе второго визуального представления сигнала, третье визуальное представление сигнала, причем третье визуальное представление сигнала является предварительным визуальным представлением сигнала со значительно более высоким
-
разрешением элементов отображения;
декодируют вторые части кодированных данных в набор преобразованных остаточных данных;
обрабатывают комбинацию набора преобразованных остаточных данных, второго визуального представления сигнала и третьего визуального представления сигнала для того, чтобы формировать набор остаточных данных; и
- применяют набор остаточных данных к третьему визуальному представлению сигнала для того, чтобы формировать четвертое визуальное представление сигнала.
37. Способ по п. 1, дополнительно содержащий этап, на котором:
- применяют операцию повышающей дискретизации ко второму визуальному представлению сигнала для того, чтобы формировать третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет значительно более высокое разрешение элементов отображения относительно второго визуального представления сигнала; и при этом применение операции повышающей дискретизации включает в себя этап, на котором извлекают настройки для элемента отображения в третьем визуальном представлении сигнала на основе настроек для множества элементов отображения во втором визуальном представлении сигнала.
38. Способ по п. 37, в котором данные для восстановления включают в себя остаточные данные, причем способ дополнительно содержит этап, на котором:
применяют остаточные данные к множеству элементов отображения в третьем визуальном представлении сигнала для того, чтобы формировать четвертое визуальное представление сигнала, причем применяемые остаточные данные модифицируют настройки множества элементов отображения в третьем визуальном представлении сигнала для того, чтобы формировать настройки для соответствующих элементов отображения в четвертом визуальном представлении сигнала.
39. Способ по п. 38, дополнительно содержащий этап, на котором:
39.
- реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в остаточные данные, что включает в себя: декодирование посредством второго декодера, по меньшей мере, одного остатка в остаточных данных посредством комбинирования результата с практически случайным числом, сформированным согласно данному распределению вероятностей.
40. Способ по п. 18, в котором кодированные данные декодируются согласно комбинации способов энтропийного декодирования методом Хаффмана и декодирования по длинам серий (RLE) .
41. Способ по п. 18, в котором кодированные данные декодируются через энтропийный декодер на основе статического диапазона в соответствии с распределением вероятностей символов, указываемым в данных для восстановления.
42. Способ по п. 18, в котором кодированные данные декодируются через статический арифметический энтропийный декодер в соответствии с распределением вероятностей символов, указываемым в данных для восстановления.
43. Способ, содержащий этапы, на которых:
- через аппаратные средства компьютерного процессора:
- синтаксически анализируют поток данных на первые части кодированных данных, вторые части кодированных данных и третьи части кодированных данных;
- реализуют первый декодер для того, чтобы декодировать первые части кодированных данных в первое визуальное представление сигнала с первым уровнем качества;
- реализуют второй декодер для того, чтобы декодировать вторые части кодированных данных в первые данные для восстановления, причем первые данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала во второе визуальное представление сигнала со вторым уровнем качества, причем второй уровень качества выше первого уровня качества;
- обрабатывают первые данные для восстановления и первое визуальное представление сигнала для того, чтобы формировать второе визуальное представление сигнала со вторым уровнем
-
качества;
- реализуют третий декодер для того, чтобы декодировать третьи части кодированных данных во вторые данные для восстановления, причем вторые данные для восстановления указывают то, как модифицировать второе визуальное представление сигнала в третье визуальное представление сигнала с третьим уровнем качества, причем третий уровень качества выше второго уровня качества; и
- обрабатывают вторые данные для восстановления и второе визуальное представление сигнала для того, чтобы формировать третье визуальное представление сигнала с третьим уровнем качества.
44. Способ по п. 43, в котором первые части кодированных данных декодируются в соответствии с форматом MPEG (стандарт экспертной группы по киноизображению); и
- при этом первые данные для восстановления, извлекаемые из вторых частей кодированных данных, и вторые данные для восстановления, извлекаемые из третьих частей кодированных данных, декодируются в соответствии с форматами иерархического кодирования.
45. Способ, содержащий этапы, на которых:
- через аппаратные средства компьютерного процессора:
синтаксически анализируют принимаемый поток данных на декодированные данные и кодированные данные, причем декодированные данные указывают настройки, ассоциированные с первым визуальным представлением сигнала;
используют декодированные данные для того, чтобы формировать первое визуальное представление сигнала;
реализуют декодер для того, чтобы декодировать кодированные данные в данные для восстановления, причем данные для восстановления указывают то, как модифицировать первое визуальное представление сигнала; и
применяют данные для восстановления к первому визуальному представлению сигнала для того, чтобы формировать второе визуальное представление сигнала.
46. Способ по п. 45, в котором кодированные данные
кодируются в соответствии с форматом иерархического кодирования, в котором данные кодируются в соответствии с различными разрешениями в иерархии.
47. Способ по п. 46, дополнительно содержащий этап, на котором:
- применяют операции повышающей дискретизации для того, чтобы формировать данные для восстановления, причем операции повышающей дискретизации преобразуют настройки элемента отображения более низкого разрешения в настройки элемента отображения более высокого разрешения.
48. Способ по п. 45, в котором сигнал представляет собой видеосигнал, указывающий настройки для множества элементов отображения;
- при этом второе визуальное представление сигнала имеет более высокий уровень качества относительно первого визуального представления сигнала; и
- при этом второе визуальное представление сигнала имеет разрешение элементов отображения, идентичное разрешению элементов отображения первого визуального представления сигнала.
49. Способ по п. 45, в котором реализация декодера для того, чтобы декодировать кодированные данные, включает в себя этапы, на которых:
идентифицируют операции повышающей дискретизации, как указано посредством кодированных данных; и
- применяют операции повышающей дискретизации ко второму визуальному представлению сигнала для того, чтобы формировать третье визуальное представление сигнала, причем третье визуальное представление сигнала имеет значительно более высокое разрешение элементов отображения относительно второго визуального представления сигнала.
50. Способ по п. 49, в котором третье визуальное
представление сигнала является предварительным визуальным
представлением сигнала со значительно более высоким разрешением
элементов отображения, при этом реализация декодера
дополнительно содержит этап, на котором:
- используют данные для восстановления для того, чтобы
модифицировать предварительное визуальное представление сигнала
со значительно более высоким разрешением элементов отображения,
причем модифицированное предварительное визуальное
представление сигнала имеет более высокий уровень качества
относительно предварительного визуального представления
сигнала.
51. Способ, содержащий этапы, на которых:
- через аппаратные средства компьютерного процессора:
- принимают сигнал;
- реализуют первый кодер таким образом, чтобы формировать первые части кодированных данных, чтобы воспроизводить первое визуальное представление сигнала;
реализуют второй кодер для того, чтобы формировать вторые части кодированных данных, причем вторые части кодированных данных указывают то, как модифицировать первое визуальное представление сигнала и формировать второе визуальное представление сигнала, причем второе визуальное представление сигнала имеет более высокий уровень качества относительно первого визуального представления сигнала;
- формируют поток данных таким образом, что он включает в себя первые части кодированных данных и вторые части кодированных данных; и
передают поток данных, по меньшей мере, в одно назначение.
52. Способ по п. 51, в котором передача потока данных, по меньшей мере, в одно назначение включает в себя этап, на котором:
- инициируют передачу потока данных по транспортному MPEG-потоку .
53. Способ по п. 51, дополнительно содержащий этап, на котором:
формируют первые части кодированных данных в соответствии с MPEG-протоколом сжатия.
54. Способ по п. 52, дополнительно содержащий этап, на котором:
54.
формируют вторые части кодированных данных согласно протоколу сжатия с иерархическим кодированием, причем вторые части кодированных данных включают в себя сжатые остаточные данные и указывают операции повышающей дискретизации, которые должны применяться для того, чтобы модифицировать первое визуальное представление сигнала во второе визуальное представление сигнала.
55. Способ по п. 51, дополнительно содержащий этап, на котором:
тегируют первые части кодированных данных с помощью первого уникального тега, причем первый уникальный тег указывает то, что первые части кодированных данных должны декодироваться посредством первого декодера; и
тегируют вторые части кодированных данных с помощью второго уникального тега, причем второй уникальный тег указывает то, что вторые части кодированных данных должны декодироваться посредством второго декодера.
56. Способ по п. 51, в котором передача потока данных, по меньшей мере, в одно назначение включает в себя этапы, на которых:
передают поток данных в первое назначение, которое декодирует только первые части кодированных данных для того, чтобы воспроизводить и воспроизводить первое визуальное представление сигнала; и
передают поток данных во второе назначение, которое декодирует первые части кодированных данных и вторые части кодированных данных, причем второе назначение воспроизводит первое визуальное представление сигнала на основе декодированных первых частей кодированных данных, причем второе назначение применяет декодированные вторые части кодированных данных к первому визуальному представлению сигнала для того, чтобы формировать и воспроизводить второе визуальное представление сигнала.
По доверенности
529327
сета
¦нал
о ю
о ю
<
<
cc n:
|g8
<
CN1
о о
о о
. CD
CD id
o_ n: ¦= О S^- Ю CD
CD ^
m со
о c> s о о
Q_ I CD
^ о га
-° X х
^ га
j 2 s
ш о 9
х оЛ
о о td
^ mid
о ю
о о
-О CD
^ о со -° X х
I m 1-
j 2 s
ш о 9 х оЛ о о td ^ mid
са О
ч: I
о оо см
CD CD
2 S
ГО 13 CD
ш о <М О s со
О ^ СО v
о о
CD О (М
> <
55 со ^ са со - О о -°
Чо ц СО
го АО см
CD Q
С1СЛ > ,СЛ
ГО CD
Д. СО
> > сс
ш m й
S ^ о. го
о о
CD Q
О <М
CD -О
CD -О
с; CD
m CD
О -О
СЕ з:
го ^ см
> СЛ > <
X CD I
CD J X
с; 5 15
о го j.
со > <
го ct i
О О
О 1= о
ГО CD
I I О > , ? CM
5 S см
S ГО О Ft m °
b §
о col
* 4
о ^ c5 1 ю
Е о ?
" а: О ^ О а
S СО
о. о '5 го Г. о ш 5
S Е "
,2- s ГО Сот
О СО СО
-О О
_ О
i о о,
О) о q
с; л
О I-о
са са
^ ГО С;
5 о g к-
=п о i± о
О о s ГО
У m о J
са О о. сг ГО
О СО
13 со
eg го =i
lies
CD CD -Q 9-s о. -° ^ S со го са
? ECO
о й о
CD CD '5
I g °
IE 1-. ^
го о са ю
g_° s x
О 3:
CD со _
ГО "2 а>
3 CD
3" cz _
> g СО
ГО са
§. ш s О
9 со
a> -
I g e
го о о
са vo о
О о со
с; -о о о
о п: § S.
ГО I m
п: го
О СО СО
-О -О
с; CD
I ГО CD
§ I ш
см со
CQ СО
CD > s
Л О
п: "
ГО ^
са :с
О о
g ^
о го
го со
ct IT
г щ -г
о..
g. Э" со
CD fO
-о Э
са О
с: СП
CO m О
CD I-
la S3 So
Q CO
la CD
го О ^
1 Й ¦ K 2
="0 С b= О CO CO S -Q CO CD
Hit
о о
со со S
I-CD
со CD 3
X СО СО CZ
О CD
о. _о
сп п: О со si. ^ сп сг^г
CD -О
со со о
О. S
CD CZ о
> <
> <
2 со ^ со со - О о -°
О. СП 31
S CD ? ч <"> с со О s о сп О соЛ СО CN
CDQ
сЕсл > ,сл
со О
со со о о.
4 °. о о
CD Q El СО
О СО
со g g й о §
Oof
о. со со
S О. 1-
спю о
ООО
CD Q.Q d ЕГсо
CD -О
CD -О
CD -О
g CD О -О
сп п: > СО
со со
О CD
s I О
сп п: -5-
о га \г
^ сп
> < > <
-О -О
п: I
I S -О i 2 > < 5 *
5 о -о i- =S
CD § i i i
с; г- Ш q л _.
aJ 5 сп о сп О
О > ,СО спХ ^ 1
со со
° - О
s i СМ
сп п: -sr
О со
^ сп
> <
со СП ю
о I-о
О О
ГО Ю 1- со
О ^
O-DOv <
LQ m _i
m о
н го
6
о о.
§ о о со
ОСС
Ю Ю
> - <
Мод
ВОСС
CD -О
о I-> - <
И CD T-
2 1 Q. CO
г11 ¦= I- о
3 g го о s о. о: о CD g: ск s ^ _о го со ^г1- ^ х го о: х р з- S го го t
О О-Х сс2
СО ¦
го ш о о.
О Ю
CD -О
го са
о _ о.-О _ s q п сто со О са ю
го I са см о со сп ю
CD с; о го
с; CD I-
го ш о I-х го ш
CD со
О СО Ю
1=1 о
CD J3
а> §
н го
CD ? О о
О со х о
и: о О са
CD 1
m о
со ю
CD са О х о
о о 5о
СП 1=10 СП
ГО са
О _ О.-О s [= СПО о m OJ со ю
0> 1 1=1 о
О СО
о "о
> <
о х
го СО 1Г ^ СП
ГО (tm)
о О О
о о
00 ¦
О CD со
О CD
1-X
CO О
o_ s c[ о
-I CD
cc En
о см
о o_ s c[ о
-I CD CC cn
О CM CD
I о
СГ cn
со со О
o_ s cn о
-I CD CC cn
<м
со со
s о s
5 5 go
CD CD CO 4SX
X со
S О -2
gggo
2Ј= I- TT^-
CD CD CO FN
CO X
S О ^
§5 §0
CD CD CO
Ч5Х
CO X
со со
S О ^
CD CD CO
4SX
CD -O
CD -O
CD -O
00
О CD Y
§" X °
In x CN1
о ra N
^ cn
CD CNJ
§- X ° In x CN1
О ГО N
^ cn со
g CD CO
S X °
In x og
О ГО N
Ъ1 СП
О CD
S X °
In х CN
О ГО N
^ СП ^
CD -О
ГО О
СП х о го ^ СП
о О
<- со
ГО CN1
О 6
m со
Б со
8° ?
о со го ^
Л со
ГО о
о ш см
О. _Q "^f
сп п:
О ГО
^ сп
о о
о о
О СО
О < со ?_
СП о
со ш о о.
со О
е о IS
о со
SO со О
СО СО О О-
е о о
== Q_LO -О Ъ?
m о О s 1= i=t
о со
CD CD
О О
О CD
с; CD
Is ° гаО со
со о CN cnlj си ^ о. О
с; CD
> <
-О -г- X ,
zr ' О CD i
SSo о
о oo О)
iЈ X О О X О С ГО 5
> <
т о I-го
-О S
?г ай CD О
о. со го m
СП ?> CD
о > <
о с;
о см о со о
СП О
СТИ
СЛпп
13"
данн
длят нала
я =
1-о
е I
ализ
CD CD СП
Р со
со > s
перво! предст
СКИ
2 CD
§-?
SЈ X
еализа изуалы
со _о
Д со
О сп
Q_ ш
¦ со m X о 15 Q-
о 2
2Ј Si
s CO
I- -D CO CO
" со
со "m c^ о ^
s. о
СП CO 15 о
о m
О CD ' 3 CO
ск x q i ra сп со F
Q. S О ?> CD CD
i _^
О n: Q. CD
Ј^ m
9 s x
- I-o cn CD m o_ О cz
О • ^ m ГО
Ж K " Ш q s Q- cn m
cn X -О
го СП
1- ГО
о ^
О CD О S
1= п: о g
го ^
О > - < СП " CD
ro g-
^ CD ГО о
ГО _TJ
S CO
?3 о
2 iI- CO
сп ?
= 8
о o_
i= о ro-8-
2^ о -m
o_ s CD n: t= CD
m P О О ? ю го
О m
о о о см о о со о о о о о о
со ш о о.
СП о
о со т
о. о
1С 1С со СП X
со ш о о.
СП о
о со т
со х з: со х =т
Si X 31 SI
з: п: со п:
СП СО
го!
О СП cz О со =*=
CD zr
о со
О СП
о ш о.
CD 1=
со СП X
со ш о о.
СП о
о со zr
SI СО
о. CD со 1= ш
g-=
СП CD О з: ш CD О
О SI I- ш =г Q. - CD
2 = о о со
с; со сп п:
о. о
о ?
SЈ 31
CD CD СП с;
о со
о ГЗ
8-2.
с EZ
2: CD
CU S Q_ CQ
ш со
> < *
-О О
со с; со
со о
^го х: со
-О -О X со
х со
m -> > О о; Q-S
СП CD О С;
ш S О
I- з: о со со I-zr о о
CD о .О ш
CI CO
m ca
со i-
I- о
О CD
СП zr Ф со о. ^
¦= о;
CD з: о ш
?С О -О Q-
ч; =^
со о
> ^ 1- со о S ш Ш Q_ CD 03 о ¦=
О. CD
m si о m m со
CO CD
CD т
CD m о
о о 4 9-
CD О
o_ i-
_ =m
О CD S I- S О SgЈi-
й§го"
Q° со CO СП m Q.2
Г! п: О g-
5-CO S g CO CD ^ Q.
s 3-0-0 q ш s h-
CO 5. СП CQ О
ZC-
ДСТ
o_ > - <
o_ 1=
> *ci
О m
> - <
СП _o
1-co
¦в-
о го c; со
0 ^ S
m го о
X a- CD
^ oi
X ^ CD CO h- cz СП 2 CQ CO
¦ь, го ГО ca
2 Ш H h
-° "n 0 0
з: ^ СП CD
1 S (D J
со Э О.ГО
CO ^CZ ^
CD 5
0 ?
^ ^ 5 ca ГО
? О > r-p
I- -1- CO I-
" m s о ГО L__ ca o_
о CD
[- CO CD CD О Ф X
9-го ^
cn^Sc?
О CD CD iЈ
|cii ^
Чо CD CD ¦7 I- q ш
io m Й 0
q CD о 3- zr cn> s
-S CD О Q.Q.
О = =
сеГ CD
^ = ^
CD zr
со -
ca со ca
СП CD ^ CD °
ISP
2c!-2
1- cn ? S g_CD to "
r S Л
Q_ ca
го g-спсв
c; cn со c; со
со ca 1-o
CD zr со
CD ¦== C. CD
ca 1 со J?
о o_ сп =^ CD s
О I> - CD
о o_
^ I-
го ro > - cz
со со
ш E
О CD
I"1
s ca 5ГО CD CD
го о
F35 о с; О ГО ca
спш CD X S 3 1-
го |-
сп^
> < со .a са о. о О о. I- s со ш
го о. ^ о
5-8-ю -
ю 2
О zr
CM о со о ^з-
CD > - <
со ш m ^ о -°
СП О
О S CD CD -О
CD S
15 E-
п: о со о
CD 2"
cnG
со CO
coS
СП -Й
_ CO
2 > -
О CD cz 15
21 о со S c[
1 со 5 ca °-0 _ i-> со
CD zr s о
CD : СП '
CD SJ
g_CD = c3
cS > - <
со _о
ПОЛ
гнал
ОНЕ
ЯСТ
СПо
_TJ
сп са
о o_
О. СП
cnS
СП О
со ca
В Л
СП о
сп с;
СП -о
Z3"
се с; СП
> < г~
$ со 1 Е
СО S СП о S fD о ^ са -1(tm) ? о cz
сп са CD со г-> ь-о " о
cz CD
g = СО CD со О СО 1С
Si _fj
> si СО
со > ¦>
Si со
со са
S CD со о
= 2 " ш
Е о Pi
CD О
0.-8-
2vЈ о о п: I-
-О ZT
го 2" S °
са ее
2^ о -са се о. s CD з: cz CD
h= О О zc ю го
О са
< CM
> <
со СП ю
\ ^с
CNI
- 1
-о s з: о
сп о О CD
о о
1/27
1/27
1/27
1/27
1/27
1/27
2/27
2/27
2/27
2/27
3/27
4/27
3/27
4/27
3/27
4/27
3/27
4/27
5/27
4/27
6/27
6/27
7/27
7/27
9/27
9/27
9/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
10/27
11/27
11/27
11/27
11/27
11/27
11/27
11/27
11/27
11/27
11/27
12/27
12/27
13/27
13/27
13/27
13/27
13/27
13/27
13/27
13/27
13/27
13/27
13/27
13/27
14/27
14/27
15/27
15/27
15/27
15/27
15/27
15/27
16/27
16/27
16/27
16/27
16/27
16/27
16/27
16/27
16/27
16/27
16/27
16/27
16/27
16/27
16/27
16/27
17/27
17/27
17/27
17/27
17/27
17/27
17/27
17/27
17/27
17/27
18/27
18/27
18/27
18/27
19/27
20/27
19/27
20/27
19/27
20/27
19/27
20/27
19/27
20/27
21/27
20/27
21/27
20/27
22/27
22/27
23/27
23/27
24/27
24/27
25/27
25/27
25/27
25/27
26/27
26/27
27/27
27/27
27/27
27/27
27/27
27/27
27/27
27/27