🗊Презентация Стандарт MPEG-1

Наиболее ярко особенности кодирования сигналов динамических изображений проявляются в системах вещательного телевидения. Многочисленные исследования в области кодирования сигналов динамических изображений привели к разработке новых принципов построения устройств и систем, стандартов кодирования и передачи видеосигналовВ 1988 г. сформирована международная группа экспертов по Движущимся изображениям - Motion Pictures Experts Group (MPEG) при Объединенном техническом комитете по информационным технологиям За последующие годы с целью хранения, обработки и передачи динамических изображений в мультимедийных приложениях этой группой были разработаны стандарты MPEG-1 MPEG-2, MPEG-4 и MPEG-7.

Стандарт MPEG-1 Сигналы от источников сообщений (видео, звука и данных), подвергнутые сжатию, в телевидении мультиплексируются в общий цифровой поток (называемый системным в MPEG-1, программным или транспортным в MPEG-2). Синтаксис этих потоков установлен соответствующим стандартом MPEG. Цифровой поток подвергается помехоустойчивому кодированию, вид которого зависит от используемого канала связи. Стандарт MPEG-1 принят в 1993 г. и получил в международной классификации индекс ISO/IEC11172. MPEG-1 не определяет схему и конструкцию кодера и декодера, он лишь описывает средства, используемые для обработки сигнала, определяет синтаксис (правила построения последовательности символов) цифрового потока. В качестве кодера может быть аппаратное или программное устройство любой сложности, дающее на выходе синтаксически правильный цифровой поток.

Избыточность Избыточность является следствием определенных корреляционных связей. Наличие корреляции означает, что некоторый элемент изображения находится в определенной зависимости от соседних элементов в пространстве и во времени. Избыточность по восприятию (психовизуальная) связана с особенностями зрения человека. Например, цветовое разрешение человеческого зрения ниже яркостного, и эта особенность учтена во всех стандартных аналоговых системах цветового кодирования. В NTSC, PAL, SECAM цветовое разрешение существенно понижено по отношению к яркостному.

Алгоритм обработки видеоданных При разработке стандарта были приняты следующие ограничения, определившие его область применения: размер изображения по горизонтали <768 пикс; размер изображения по вертикали < 576 строк; число макроблоков < 396; частота кадров < 30 Гц; развертка прогрессивная; скорость цифрового потока < 1,856 Мбит/с. Ограничивающим параметром стандарта MPEG-1 для кодирования сигналов вещательного телевидения является число макроблоков в видеокадре. Для обработки сигнала изображения Телевидения стандартной четкости (720 х 576 пикс.) надо иметь (720:16) х (576:16) = 1620 макроблоков/кадр. Второе ограничение - отсутствие чересстрочной развертки, принятой сегодня во всех телевизионных системах стандартного качества (уже и для аналогова ТВ).

Разрядность квантования входного сигнала должна быть 8 бит. При поступлении на вход кодера MPEG-1 10-битового потока он игнорирует два LSB {Least Significant Bit) - младших бита, огрубляя отсчеты. Алгоритм работает следующим образом. Видеокадр разбивается на макроблоки размером16 х 16 пикселов, каждый из которых содержит по 4 блока отсчетов яркости размером 8x8 пикселов и по одному блоку отсчетов сигналов цветности СВ и Cr (с учетом понижающей дискретизации). При кодировании макроблока в составе I-видеокадра вычисляются коэффициенты ДКП (дискретное косинусное преобразование), затем они квантуются с использованием таблицы квантования, имеющейся в памяти кодера и декодера и применяемой «по умолчанию». Кодер может изменить элементы таблицы, тогда он сообщает об этом декодеру.

Структурная схема типичного алгоритма сжатия пример MPEG Можно выделить три основные подсистемы кодера - подсистема устранения пространственной избыточности - подсистема устранения временной избыточности - подсистема управления скоростью потока. В первой подсистеме (подсистема устранения пространственной избыточности) блок преобразования цветового пространства и субдискретизации (уменьшения разрешения компонентов цветности) предназначен для первичного устранения психовизуальной избыточности кадра. Данная подсистема позволяет получить коэффициент сжатия до 10 : 1.

Во второй подсистеме (подсистема устранения временной избыточности) устранение временной избыточности производится на основе межкадровой обработки потока, объединения кадров в группы, предсказания межкадровых сдвигов компенсации ошибок предсказания. Данная подсистема позволяет получить коэффициент сжатия до 30 : 1].

Преобразование цветового представления растрового изображения Цветное изображение содержит как яркостную, так и цветовую информацию. Яркостная информация существенно важнее для качества изображения, чем цветовая, поскольку зрение человека значительно сильнее реагирует на небольшие изменения яркости, чем на небольшие изменения цветового тона

RGB не используется для кодирования в телевидении Одна из этих причин – необходимость совместимости с черно-белыми телевизорами. Сам телевизионный сигнал является составным (композитным) – то есть представляет собой смесь нескольких сигналов. В него входит 3 составляющих: Y (luma) сигнал яркости U – 1 цветоразностный сигнал V – 2 цветоразностный сигнал Y – определяет яркость точки, которая может изменяться в диапазоне от чёрной до белой. Таким образом, сигнал яркости полностью формирует чёрно-белое изображение). Сигнал яркости Y в сочетании с цветоразрастными сигналами U и V формирует цветное изображение. Сигнал яркости Y формируется из RGB сигнала по следующей формуле: Y = 0.299R + 0.587G + 0.114B

U сигнал формируются по формуле: U = R - Y V сигнал формируются по формуле: V = B - Y Для получения RGB представления изображения из YUV : R = Y + U B = Y + V G = Y - 0.509U - 0.194V

Преобразование цветового пространства RGB в цветовое пространство YUV представляется с помощью матрицы перехода в виде:

Теоретически каждый элемент изображения требует 3 байта. Такое представление, когда и яркость, и компоненты цветности имеют равное число независимых значений, обычно обозначают как схема 4 : 4 : 4. Способ сжатия цветовой информации называется субдискретизацией и заключается в объединении цветовой информации для соседних элементов изображений. При использовании данного способа значения яркости Y запоминаются для каждого элемента изображения. Для значений U и V вычисляется и запоминается только среднее значение для четырех (схема субдискретизации 4 : 2 : 2), восьми (схема субдискретизации 4 : 1 : 1) и 16 элементов (схема субдискретизации 16:1:1). Требуемый объем памяти на каждый пиксель при таких способах составляет соответственно 12, 10 и 9 битов. Таким образом, количество данных на элемент изображения можно сократить с 24 до 12, 10 или 9 битов соответственно.

На каждый пиксел отводится определенное фиксированное число бит. MPEG-1 использует цветовую схему YСbCr, где Y - это яркостная плоскость, Сb и Cr - плоскости цветовые. Эти плоскости кодируются с разным разрешением. Существуют несколько вариантов кодирования, которые можно представить с следующем виде:

Перед началом кодирования происходит анализ видеоинформации, выбираются ключевые кадры, которые не будут изменяться при сжатии, а так же кадры, при кодировании которых часть информации будет удаляться. Всего выделяется три типа кадров: Кадры типа I - Intra frame. Ключевые кадры, которые сжимаются без изменений. Кадры типа P - Predirected frame. При кодировании этих кадров часть информации удаляется. При воспроизведении P кадра используется информация от предыдущих I или P кадров. Кадры типа В - Bidirectional frame. При кодировании этих кадров потери информации еще более значительны. При воспроизведении В кадра используется информация уже от двух предыдущих I или P кадров. Наличие В кадров в видеоролике - тот самый фактор, благодаря которому MPEG-1 имеет высокий коэффициент сжатия (но и не очень высокое качество).

Подготовка I кадры при подготовке к кодированию - кадр разбивается на блоки. В MPEG-1 блоки имеют размер 8х8 пикселов. При подготовке кадров типа P и B используется алгоритм предсказания движения. входная информация алгоритма предсказания движения получает блок 16х 16 пикселов текущего кадра и аналогичные блоки от предыдущих кадров (I или P типа). На выходе данного алгоритма имеем следующую информацию о вышеуказанном блоке: 1. Вектор движения текущего блока относительно предыдущих 2. Разницу между текущим и предыдущими блоками, которая собственно и будет подвергаться дальнейшему кодированию. Вся избыточная информация подлежит удалению, благодаря чему и достигается столь высокий коэффициент сжатия, невозможный при сжатии без потерь.

В статических сценах P и B кадры, по сути, представляют собой копии I кадров, потерь практически нет, но и сжатие информации незначительно. - Качество выше При корректном срабатывании алгоритма предсказания движения, объемы кадров разного типа в байтах соотносятся друг с другом примерно следующим образом - I:P:B как 15:5:2. Далее кодирование – 3 стадии Discrete Cosine Transformation - DTC, дискретно- косинусное преобразование, преобразование Фурье. Quantization - квантование. Перевод данных из непрерывной формы в прерывистую, дискретную. Преобразование полученных блоков данных в последовательность, то есть преобразование из матричной формы в линейную.

Если частота дискретизации изображения недостаточна и возникают перекрытия спектров, то в восстановленном изображении, даже при идеальных характеристиках восстанавливающих фильтров, синтезируются ложные пространственные гармоники, которые приводят к появлению ложных узоров (муар-эффект). Для уменьшения этих нежелательных эффектов используют низкочастотную фильтрацию исходного изображения.

Чтобы искажений, вызванных дискретизацией, не возникало, необходимо выбирать достаточно большие пространственные частоты для дискретизации по обеим координатам. Однако если рассматривать этот процесс в телевидении (при передаче изображения в цифровой телевизионной системе осуществляется двумерная дискретизация; при этом дискретизация по вертикальной координате выполняется уже в оптико-электронном преобразователе путём разложения передаваемого кадра на строки, т.е. эта операция имеется уже в аналоговом телевидении; дискретизация по горизонтальной координате выполняется путём дискретизации видеосигнала во времени), эти пространственные частоты фактически предопределены параметрами, задаваемыми в используемой стандартом разложения, т.е. количеством строк и количеством элементов в каждой строке

Для согласования пространственного спектра изображения с указанными параметрами во многих случаях приходится ограничивать верхние граничные пространственные частоты изображения перед дискретизацией. Эта операция выполняется с помощью специальных оптических рассеивающих элементов, располагаемых перед ПЗС-матрицей (прибор с зарядовой связью), или просто путём небольшой расфокусировки объектива в телевизионной камере.

Дискретно косинусное преобразование. Для уменьшения корреляции соседних пикселей применяются различны обратимые преобразования, представляющие исходные данные в видео не коррелированных коэффициентов. ДКП является одним из эффективных преобразований для решения задачи декорреляции и концентрации энергии в спектральных составляющих Косинусное преобразование в отличие от преобразования Фурье применяется только для симметричных функций. При использовании частотно-временных преобразований используется понятие периодического расширения функции, заключающееся в следующем: Если преобразуется дискретный ряд отсчетов, то его спектр становится периодичным, а в случае преобразования частотного спектра периодически продолжается восстановленный дискретный ряд данных.

Прямое, двухмерное ДКП блока //A\\ размером M x N исходного изображения определяется следующим образом:

Для стандартного блока 8 x 8, который используется в стандарте MPEG, M = N = 8, поэтому ДКП имеет вид:

В результате исходный блок точек преобразуется в матрицу частотных коэффициентов ДКП такого же размера. Наиболее важным коэффициентом является коэффициент с координатами (0,0), поскольку он представляет собой среднее значение всей матрицы и является постоянной составляющей сигнала DC (Direct Current). Все остальные коэффициенты являются переменными составляющими АС (Alternating Current). Матрица частотных коэффициентов ДКП не имеет прямой геометрической связи с положением пикселей видеосигнала на растре, а представляет собой форму математической записи, при которой частотные коэффициенты ДКП являются двухмерным спектром изображения по горизонтальному и вертикальному направлениях кадра.

Изображение базисных функций преобразования ДКП представлено на рис

Графический смысл этого преобразования заключается в том, что блок изображения рассматривается как суперпозиция изображений синусоидальных колебаний разной частоты. Так, если изображение имеет постоянную яркость, то (для простоты рассматривается черно-белое изображение) его блок коэффициентов будет содержать только один коэффициент DC с координатами (0,0). Спектр ДКП имеет важную особенность для компрессии видеоданных: основная энергия частотных составляющих этого спектра концентрируется в небольшой области около нулевых частот. Амплитуда высокочастотных составляющих мала или равна нулю.

Часть информации теряется за счет выравнивания сильно выделяющихся участков, которые не подчиняются корреляции. Алгоритм Quantization - квантование, который формирует Quantization matrix. Quantization matrix - это матрица квантования, элементами которой являются преобразованные из непрерывной в дискретную форму данные, то есть числа, которые представляют собой значения амплитуды частотных фурье-компонентов. После формирования quantization matrix происходит разбивка частотных коэффициентов на конкретное число значений. Точность частотных коэффициентов фиксирована и составляет 8 бит. После квантования многие коэффициенты в матрице обнуляются. И в качестве завершающей стадии происходит преобразование матрицы в линейную форму.

· Устраняется временная избыточность видео (учитывается только разностная информация). · Устраняется пространственная избыточность изображений путем подавления мелких деталей сцены. · Устраняется часть информации о цветности. · Повышается информационная плотность результирующего цифрового потока путем выбора оптимального математического кода для его описания. В третьей подсистеме происходит управление скоростью потока. Важным звеном алгоритма кодирования остается обеспечение постоянства выходной скорости цифрового потока. Отсчеты сигнала от источника поступают с постоянной скоростью, однако на выходе квантователя скорость поступления битов может варьироваться в широких пределах. Она зависит от типа видеокадра (I-кадр требует значительно больше битов, чем Р- и В-кадры), от его содержания («спокойный» кадр с однородными участками требует меньше битов, чем кадр с выраженной мелкозернистой структурой).

Попытка кодировать все кадры одинаковым числом битов приведет к изменению качества изображения от кадра к кадру, а это крайне неприятно для телезрителя. Единственным средством выравнивания скорости потока является применение буферной памяти в кодере и декодере. Буфер может заполняться со стороны квантователя неравными порциями, а опустошаться в сторону канала равномерно, обеспечивая постоянную скорость цифрового потока. Однако быстрая смена сюжетов и связанное с этим увеличение доли I-кадров вскоре может привести к переполнению буфера, а длинный сюжет без движения - к его опустошению. Увеличение размера буфера вызывает возрастание задержки сигнала в кодере, что в некоторых случаях мешает телезрителям . В декодере восстанавливается опорный кадр путем выполнения операций, обратных кодированию - восстановления отсчетов, обратного ДКП и восстановления движения по векторам перемещения, т.е. тех же операций, которые осуществляются в кодере

Для сохранения приемлемого качества изображения при постоянной скорости потока необходимо, во-первых, регулировать шкалу квантования и, во-вторых, адаптивно распределять имеющийся ресурс битов между разными типами кадров с учетом их сложности. Адаптивное управление процессом квантования осуществляется умножением всех элементов матрицы на масштабирующий множитель величиной от 8 до 1/4, общий для всех отсчетов макроблока, который также сообщается декодеру. Величина множителя больше 1 означает увеличение доли битов, выделяемой данному макроблоку или кадру, меньше 1 - соответствующее уменьшение. Перераспределение ресурса между /-, Р- и В-кадрами производится кодером на основе оценки соотношения битов в предыдущих кадрах. Некоторые кодеры осуществляют кодирование «в два прохода», оценивая на первом проходе сложность видеокадра, выделяя ему на основе этой оценки определенный ресурс битов и уже на втором проходе кодируя отсчеты с учетом выделенного ресурса. .

Кодер MPEG-1 работает следующим образом В режиме /-кадров осуществляется только пространственное кодирование. Коэффициенты ДКП квантуются с переменной длиной шага, зависящей от состояния буфера, кодируются кодом Хаффмана и направляются в буфер, откуда считываются с постоянной скоростью. В режиме с предсказанием дискретно-косинусному преобразованию подвергается не весь текущий кадр, а только разность между ним и предыдущим, опорным кадром. В режиме двунаправленного предсказания формируются одновременно два опорных кадра - предыдущий и будущий, для чего используются две независимые схемы формирования. Кодер сравнивает предсказанные кадры с текущим кадром, кодирует разности и решает, какое из предсказаний требует меньше битов. Кадр с минимальным числом битов посылается декодеру.

Видеопоследовательность в стандарте MPEG-1 Видеопоследовательностью называется любая последовательность видеокадров произвольной длины. В заголовке видеопоследовательности передается информация о скорости цифрового потока, разрешающей способности изображения, формате цветности, формате кадра, частоте кадров и т.п.

Привязка сборки ПЭП (пакетированные элементарные потоки ПЭП) к определенному моменту времени в этом стандарте осуществляется периодическим помещением в заголовок ссылок на системные часы (SCR - System Clock Reference) - 33-битового числа отсчитывающего периоды опорной частоты 90 кГц. Число периодов частоты 90 кГц подсчитывается многоразрядным счетчиком и вводится в заголовок потока.  Основная задача, решаемая системными часами, обеспечение синхронизации тактовых частот кодера и декодера. Она решается с помощью схемы дискретной автоподстройки частоты в декодере . Привязка к временным меткам позволяет обеспечить одинаковую задержку кодера и декодера для всех составляющих программы при их независимой передаче с разбивкой на пакеты. Таким образом обеспечивается синхронизм элементарных потоков видео и аудео из которых формируется ТВ программа.

Синтаксис кодирования Синтаксис кодированного битового потока содержит шесть уровней: – уровень кадров видеопоследовательности, – уровень группы кадров, – уровень кадров, – уровень слайсов, - уровень макроблоков, – уровень блоков.

Выводы Для получения приемлемого качества изображения в стандарте MPEG-1 максимальное число элементов изображения было ограничено до 352 х 288 элементов, частота кадров до 30 Гц при прогрессивном разложении. Верхняя граница системного потока данных составляла 1,5 Мбит/с. Такие существенные ограничения стандарта не позволили использовать его для целей телевизионного вещания. Не предусматривалась также возможность работы с различными форматами субдискретизации сигналов цветности кроме 4:2:0 и с чересстрочными изображениями. MPEG-1 стандартизует запись динамических изображений и сопутствующего звука на компакт-диски (CD-ROM, VideoCD/DVD) и передачу видеоизображений пониженной четкости по сравнительно низкоскоростным каналам связи (скорость цифрового потока до 1,5–3 Мбита/с)  Стандарт определяет принципы обработки информации и структуру цифрового потока

Объективные оценки качества *Среднеквадратичная погрешность (Mean Square Error):

отношение сигнал/шум

Субъективные оценки качества Международный союз электросвязи (ITU) . Метод измерения под названием Double Stimulus Impairment Scale ("Шкала деградации с двумя стимулами") заключается в следующем. Участники просматривают эталонную сцену (часто в форме видео стандарта 601), а затем - ту же сцену после ее обработки в тестируемой системе. Каждый участник оценивает деградацию изображения сцены после обработки одним числом по пятибалльной шкале: 1 - очень раздражает; 2 - раздражает; 3 - слегка раздражает; 4 - заметно, но не раздражает; 5 - незаметно. Баллы выставляются для некоторого количества различных сцен.

Звук в MPEG: Форматы кодирования звука деляться на три части: Layer I, Layer II, Layer III (прообразом для Layer I и Layer II стал стандарт MUSICAM, . Принципы кодирования основаны на том факте, что человеческое ухо не совершенно и на самом деле в несжатом звуке (CD-audio) передается много избыточной информации. Принцип сжатия работает на эффектах маскировки некоторых звуков для человека (например, если идет сильный звук на частоте 1000 Гц, то более слабый звук на частоте 1100 Гц уже не будет слышен человеку, также будет ослаблена чувствительность человеческого уха на период в 100 мс после и 5 мс до возникновения сильного звука).

Psycoacustic (психоакустическая) модель используемая в MPEG разбивает весь частотный спектр на части, в которых уровень звука считается одинаковым, а затем удаляет звуки не воспринимаемые человеком В Layer III части разбитого спектра самые маленькие, что обеспечивает самое хорошее сжатие. MPEG Audio поддерживает совместимость Layer'ов снизу вверх, т.е. decoder (декодировщик) для Layer II будет также распознавать Layer I. Синхронизация и объединение звука и видео, осуществляется с помощью System Stream , который включает в себя: Системный слой, содержащий временную и другую информацию чтобы разделить и синхронизовать видео и аудио. Компрессионный слой, содержащий видео и аудио потоки.

Видео поток  содержит заголовок, затем несколько групп картинок (заголовок и несколько картинок необходимы для того, что бы обеспечить произвольный доступ к картинкам в группе в независимости от их порядка). Звуковой поток состоит из пакетов каждый из которых состоит из заголовка и нескольких звуковых кадров (audio-frame). Для синхронизации аудио и видео потоков в системный поток встраивается таймер, работающий с частотой 90 КГц (System Clock Reference -- SCR, метка по которой происходит увеличения временного счетчика в декодере) и Presentation Data Stamp (PDS, метка начала воспроизведения, вставляются в картинку или в звуковой кадр, чтобы объяснить декодеру, когда их воспроизводить. Размер PDS составляет 33 бита, что обеспечивает возможность представления любого временного цикла длинной до 24 часов). 

Параметры MPEG-1 в аудео Параметры MPEG-1 (Утверждены в 1992) Параметры Аудио:  48, 44.1, 32 КГц, mono, dual (два моно канала), стерео, интенсивное стерео (объединяются сигналы с частотой выше 2000 Гц.), m/s stereo (один канал переносит сумму - другой разницу). сжатие скорость

Параметры Видео: в принципе с помощью MPEG-1 можно передавать с разрешением вплоть до 4095x4095x60 fps (в этих границах кадр может быть произвольного размера). Так как существует Constrained Parameters Bitstream (CPB, неизменяемые параметры потока данных; другие стандарты для MPEG-1 поддерживаются далеко не всеми декодерами) которые ограничивают общее число макроблоков в картинке (396 для скорости <= 25 fps и 330 для скорости <= 30 fps) то MPEG-1 кодируется стандартом SIF /352*240*30 - (получено урезанием стандарта CCIR-601) или 352*288*25 - (урезанный PAL, SECAM) формат 4:2:0, 1.15 MBPS (мегабит в сек.), 8 bpp (бит на точку) - в каждой плоскости/.

Существует более высокое разрешение для MPEG-1 - так называемый MPEG-1 Plus, разрешение как у MPEG-2 ML@MP (Main Level, Main Profile) - этот стандарт часто используется в Set-Top-Box для улучшения качества. Компрессия по стандарту MPEG-2 кардинально меняет положение вещей. Более 97% цифровых данных, представляющих видео сигнал дублируются, т.е. являются избыточными и могут быть сжаты без ущерба качеству изображения. Алгоритм MPEG-2 анализирует видеоизображение в поисках повторений, называемых избыточностью. В результате процесса удаления избыточности, обеспечивается превосходное видеоизображение в формате MPEG-2 при более низкой скорости передачи данных. По этой причине, современные средства поставки видеопрограмм, такие как цифровые спутниковые системы и DVD, используют именно стандарт MPEG-2.