Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации...
Transcript of Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации...
![Page 1: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/1.jpg)
Основы сжатия данных Лекция 7
![Page 2: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/2.jpg)
2
Избыточность информации
степень избыточности данных зависит от принятой системы кодирования
избыточность русского языка выше, чем английского
избыточность графических данных выше, чем текстовых
избыточность видеоданных данных выше, чем графических
2
![Page 3: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/3.jpg)
3
Способы сжатия данных
изменение содержания данных ◦ методы сжатия с регулируемой потерей
информации .JPG для графических данных .MPG для видеоданных .MP3 для звуковых данных
изменение структуры данных ◦ обратимые методы сжатия .GIF, .TIF, .PCX для графических данных .AVI для видеоданных .ZIP, .ARJ, .RAR, .LZH, .LH, .CAB
![Page 4: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/4.jpg)
4
Обратимые методы
Для любой последовательности данных существует теоретический предел сжатия, который не может быть превышен без потери части информации
Для любого алгоритма сжатия можно указать такую последовательность данных, для которой он обеспечит лучшую степень сжатия, чем другие методы
Для любого алгоритма сжатия можно указать такую последовательность данных, для которой этот алгоритм вообще не позволит получить сжатия
![Page 5: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/5.jpg)
5
Алгоритмы обратимых методов
Алгоритм
Выходная
структура
Сфера
применения Примечание
RLE
(Run-Length
Encoding)
Список
(вектор данных)
Графические
данные
Эффективность
алгоритма не
зависит от
объема данных
KWE
(Keyword
Encoding)
Таблица данных
(словарь)
Текстовые
данные
Эффективен для
массивов
большого
объема
Алгоритм
Хафмана
Иерахическая
структура (дерево
кодировки) Любые данные
Эффективен для
массивов
большого
объема
![Page 6: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/6.jpg)
6
RLE – групповое кодирование
использует принцип выявления повторяющихся последовательностей данных и замены их простой структурой, в которой указывается код данных и коэффициент повтора ◦ пример – для последовательности: 0; 0; 0; 127;
127; 0; 255; 255; 255; 255 (всего 10 байтов) образуется следующий вектор: 0; 3; 127; 2; 0; 1; 255; 4 (всего 8 байтов), что дает коэффициент сжатия равный 80%
![Page 7: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/7.jpg)
7
KWE – сжатие со словарем
использует кодирование лексических единиц исходного документа группами байтов фиксированной длины
результат кодирования сводится в таблицу, которая прикладывается к результирующему коду и представляет собой словарь ◦ токены - двухбайтная кодировка слов
английского языка
![Page 8: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/8.jpg)
8
Код переменной длины (Хафмана)
1 бит
2 бита
4 бита
6 бит
8 бит
10 бит
16 бит
А 1
О 01
Е 0010 Т 0011
С 000100 И 000101 К 000110 Р 000111
8 значений
16 значений
128 значений
![Page 9: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/9.jpg)
9
Синтетические алгоритмы
сложные алгоритмы, основанные на комбинации нескольких теоретических методов
используют предварительный просмотр и анализ исходных данных для индивидуальной настройки алгоритма
![Page 10: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/10.jpg)
10
Диспетчер архивов
извлечение файлов из архивов
создание новых архивов
создание самораспаковывающихся архивов
создание распределенных архивов на носителях малой емкости
тестирование целостности структуры архивов
полное или частичное восстановление поврежденных архивов
защита архивов от просмотра и несанкционированной модификации
![Page 11: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/11.jpg)
11
Самораспаковывающиеся архивы
готовится на базе обычного архива с присоединением к нему модуля программы распаковки
файл архива имеет расширение .EXE и запускается как программа
защита архивов выполняется с помощью пароля
![Page 12: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/12.jpg)
12
Алгоритм JPEG
преобразование в цветовую модель с яркостным каналом
преобразование участков 8х8 в числовой массив данных с помощью DCT
разные уровни квантования частот
◦ нули – групповое кодирование
◦ ненулевые – алгоритм Хаффмана
![Page 13: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/13.jpg)
13
Сжатие JPEG
декомпрессия файла JPEG происходит в обратном порядке
данные, потерянные при квантовании, не могут быть восстановлены
13
DCT преобразование Квантование Кодирование RLE -Хаффман
![Page 14: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/14.jpg)
14
14
Форматы файлов JPEG
Тип Описание файла
JFIF JPEG File Interchange Format
Raw JPEG как JFIF
HSI Handmade Software
Storm Storm Technology
PICT-JPEG Macintosh PICT
PhotoCD Kodak Photo CD
14
![Page 15: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/15.jpg)
15
Варианты JPEG
чересстрочный режим использует Progressive JPEG
технология вейвлетного сжатия в формате JPEG2000
метод сжатия без потерь – JBIG Joint
Bi-level Image Group позволяет управлять разрешением при декодировании изображений
![Page 16: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/16.jpg)
Применение JPEG 2000
мультимедийные устройства
клиент/серверные взаимодействия
военное применение
медицинские изображения
хранение видео
сенсорные устройства
цифровые устройства/архивы
16
![Page 17: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/17.jpg)
Сравнение JPEG
17
![Page 18: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/18.jpg)
JPEG/JPEG-2000 сжатие 130:1
18
JPEG: сохранено больше деталей JPEG-2000: отсутствие блочных артефактов
![Page 19: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/19.jpg)
19
Вейвлетное сжатие
любой сигнал может быть получен разложением на базовые функции
◦ преобразование Фурье
◦ дискретное косинус преобразование
◦ би-ортогональное преобразование
![Page 20: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/20.jpg)
20
Дерево фильтрации
14 12
9
6
3
1
13 11
10 8
7 5
4 2
![Page 21: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/21.jpg)
Вейвлетное сжатие
Окончательное сжатие так же использует групповое кодирование и алгоритм Хаффмана
21
![Page 22: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/22.jpg)
Вейвлет-преобразование
22
H2
H1
↓2
↓2 Коэффициенты
x[n]
H2
H1
↓2
↓2
Двумерное вейвлет- преобразование
на каждом шаге получаем 4 набора коэффициентов:
НЧ («основные») и ВЧ («детализирующие»)
![Page 23: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/23.jpg)
23
Фрактальное сжатие
фрактал описывает структуру, состоящую из множества одинаковых форм и повторяющихся структур
при увеличении фрактального изображения становятся различимы новые детали изображения.
![Page 24: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/24.jpg)
Фрактальный алгоритм разбиение на ряд базовых областей
выявление последовательности зональных областей
24
![Page 25: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/25.jpg)
25
Фрактальная декомпрессия
![Page 26: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/26.jpg)
Фрактально-каскадный метод
26
С генерацией дополнительных мип-мэпов
![Page 27: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/27.jpg)
Тестовое изображение «Барбара»
Много полосок (высоких частот) в разных направлениях и разной толщины
27
![Page 28: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/28.jpg)
Тестовое изображение «Boat»
Много тонких деталей и наклонных границ в разном направлении
28
![Page 29: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/29.jpg)
Сравнение алгоритмов
29
Алгоритм К-ты сжатия Симметричн. по
времени На что
ориентирован Потери
Размер-ность
Групповое кодирование
1/32 1/2 2/1 1 3,4 битные Нет 1D
LZW 1/100 1/4 7/5 1.2-3 1-8 битные Нет 1D
Хаффмана 1/8 2/3 1/1 1-1.5 1-битные Нет 1D
JBIG 1.5 раза ~1 1-битные Нет 2D
Lossless JPEG 2 раза ~1 24-битн. сер. Нет 2D
Рекурс. сжатие 2-20 раз 1.5 серые Да 2D
JPEG 2-200 раз ~1 24-битн. сер. Да 2D
Фрактальный 2-2000 раз 1000-10000 24-битн. сер. Да 2D
![Page 30: Лекция 7potok.spb.ru/Lek12IT.pdfЛекция 7 2 Избыточность информации степень избыточности данных зависит от принятой](https://reader033.fdocuments.net/reader033/viewer/2022060316/5f0c29d77e708231d4340d2d/html5/thumbnails/30.jpg)
Цикл лекций подготовлен в 2011/2012 уч. году
Кузнецовым Игорем Ростиславовичем, доцентом кафедры радиоэлектронных средств Санкт-Петербургского Государственного электротехнического университета «ЛЭТИ»
Прочитан в дисциплине «Информационные технологии»
© Кузнецов И.Р.
30