📊 Количество информации

Теория информации: сколько бит несёт сообщение/пиксель/кадр. Формулы простые — главное не путать единицы.

1. Главная идея

Источник может выдать одно из n равновероятных сообщений. Информация одного сообщения:

I = log₂ n (бит)

Бит — это выбор из 2 вариантов (log₂2 = 1). Если сообщений много (N), общий объём V = N · I.

Если просят минимальную длину двоичного слова m — округляй log₂n вверх: m = ⌈log₂n⌉.

Единицы: 1 B = 8 бит; 1 KB = 2¹⁰ B; 1 MB = 2¹⁰ KB; 1 GB = 2¹⁰ MB.

88 приложений, источник со 128 сообщениями. Цветной логотип 256×256, 32 уровня.

а) I = log₂128 = 7 бит V = 88·7 = 616 бит = 616/8 = 77 B б) I = 3·256·256·log₂32 = 3·2⁸·2⁸·5 = 3·2¹⁶·5 бит в KB: 3·2¹⁶·5 / 2¹³ = 3·2³·5 = 120 KB

Тип задачи

…

26. Алфавит из 32 символов. Бит на символ? Байт на слово из 6 символов?

показать

I = log₂32 = 5 бит; слово = 6·5 = 30 бит = 3,75 B

27. Источник со 100 сообщениями. Минимальная длина слова m?

показать

m = ⌈log₂100⌉ = 7 (2⁶=64 < 100 < 128=2⁷)

28. Ч/б изображение 64×64, 16 градаций. Объём в байтах?

показать

I = 64·64·log₂16 = 2⁶·2⁶·4 = 2¹⁴ бит = 2¹¹ B = 2048 B = 2 KB

29. Цветное 128×128, 256 уровней. Объём в KB?

показать

I = 3·128·128·log₂256 = 3·2⁷·2⁷·8 = 3·2¹⁷ бит → 3·2¹⁷/2¹³ = 48 KB

30. 200 цветных фото 256×256, 256 цветов. Суммарно в MB?

показать

1 фото: 3·256·256·log₂256 = 3·2¹⁹ бит = 192 KB; 200·192 = 38400 KB = 37,5 MB

31. (2025) N фильмов по 2 мин, 25 кадр/с, 512×512, 256 уровней; всего 7500 MB. Найти N.

показать

I = 2·60·25·512·512·log₂256 = 750 MB; V=N·I → 7500=N·750 → N=10