← Все темы  ·  ⬇ Материалы

📊 Количество информации

Теория информации: сколько бит несёт сообщение/пиксель/кадр. Формулы простые — главное не путать единицы.

1. Главная идея

Источник может выдать одно из n равновероятных сообщений. Информация одного сообщения:
I = log₂ n (бит)
Бит — это выбор из 2 вариантов (log₂2 = 1). Если сообщений много (N), общий объём V = N · I.
Если просят минимальную длину двоичного слова m — округляй log₂n вверх: m = ⌈log₂n⌉.

2. Формулы (выучить)

Что считаемФормула
1 сообщение / длина словаI = log₂n  |  m = ⌈log₂n⌉
Все сообщенияV = N · I
Ч/б, градации серогоI = mx · my · log₂n
Цветное изображениеI = 3 · mx · my · log₂n
ВидеоI = T · f · (mx·my) · log₂n

Единицы: 1 B = 8 бит; 1 KB = 2¹⁰ B; 1 MB = 2¹⁰ KB; 1 GB = 2¹⁰ MB.

3. 📖 Теория, которую тоже спрашивают (не только формулы)

В заданиях про информацию встречаются «теоретические» под-вопросы. Вот всё, что реально спрашивали.

Дискретизация (часто: «разложение на пиксели — это …»)

Дискретизация — превращение непрерывного сигнала в набор отдельных значений. Три вида:
ВидЧто делаетПример
во времениберём отсчёты сигнала в моменты t₁,t₂,…оцифровка звука, кадры видео
по уровню (квантование)округляем значение до одного из заданных уровнейуровни яркости / громкости
в пространстверазбиваем изображение на пиксели (растр)«разложение изображения на пиксели»
Мнемоника: пиксели → в пространстве; уровни яркости → квантование (по уровню); отсчёты звука → во времени. Ответ 2025: «дискретизация в пространстве».

Диапазон n при заданной минимальной длине m

Если минимальная длина двоичного слова = m, то число сообщений n попадает в диапазон:
2^(m−1) < n ≤ 2^m (потому что m = ⌈log₂n⌉)
Пример (2025): m = 4 → 8 < n ≤ 16 → из списка {4, 8, 10, 14, 20} подходят 10 и 14. (4 и 8 — хватило бы ≤3 бит; 20 > 16 — нужно 5 бит.)

Проверка правильности кода

Если сообщения кодируются словами равной длины m, то правильный код имеет ровно m знаков. Код другой длины — неправильный. Все коды должны быть различны (для однозначного декодирования).
Пример (2022): m = 5 → "101101" (6 знаков) — Неправильно "00111" (5 знаков) — Правильно

Сетевые адреса (только 2020 — низкий приоритет)

Если под номер узла отведено k бит, сеть вмещает 2ᵏ компьютеров. Класс C: под узел 1 байт = 8 бит → 2⁸ = 256. Класс C используется для локальных сетей. Типы сетей: локальная (LAN), региональная, глобальная (Интернет).

4. Разбор примера (2024)

88 приложений, источник со 128 сообщениями. Цветной логотип 256×256, 32 уровня.
а) I = log₂128 = 7 бит V = 88·7 = 616 бит = 616/8 = 77 B б) I = 3·256·256·log₂32 = 3·2⁸·2⁸·5 = 3·2¹⁶·5 бит в KB: 3·2¹⁶·5 / 2¹³ = 3·2³·5 = 120 KB

5. 📚 Все вопросы с экзаменов (Тема I, задание 1) — с решениями

Здесь собрано задание про количество информации из каждого экзамена 2020–2025. Сначала попробуй сам, потом жми «решение».

2020, вариант 1

а) Код ученика состоит из 3 двоичных слов: «ученик · предмет · класс». Зарегистрировано 140 учеников, 5 предметов, 8 классов. Найди наименьшую длину каждого из трёх слов.
b) Данные о каждом из 128 учеников закодированы словом в 192 бита. Объём памяти в KB?

► решение
а) Длина = ⌈log₂n⌉ для каждого слова: ученик: ⌈log₂140⌉ = 8 (2⁷=128 < 140 < 256=2⁸) предмет: ⌈log₂5⌉ = 3 (2²=4 < 5 < 8=2³) класс: ⌈log₂8⌉ = 3 (log₂8 = 3 ровно) b) V = N·I = 128·192 бит. 192 = 3·64 = 3·2⁶, а 128 = 2⁷ V = 2⁷·3·2⁶ = 3·2¹³ бит бит → KB это ÷2¹³ (÷8 потом ÷1024) ⇒ V = 3 KB

2020, вариант 2

а) Цифровые адреса класса C: 32 бита, под номер узла отведён последний байт. Наибольшее число компьютеров в сети класса C?
c) Цветное изображение 4096×1024 пикселей, 64 уровня яркости на каждый из 3 основных цветов. Объём в MB?

► решение
а) Под номер компьютера отведён 1 байт = 8 бит ⇒ 2⁸ = 256 компьютеров. c) I = 3·mx·my·log₂n = 3·4096·1024·log₂64 = 3·2¹²·2¹⁰·6 = 18·2²² = 9·2²³ бит бит → MB это ÷2²³ (8·2²⁰) ⇒ I = 9 MB

2022 (доп. сессия)

а) 19 короткометражных фильмов кодируются двоичными словами наименьшей равной длины. Найди длину. Проверь коды: A = 101101, B = 00111.
b) Фильм: объём 4500 MB, частота 25 кадр/с, на 1 кадр 4 Mбит. Длительность T в минутах?

► решение
а) m = ⌈log₂19⌉. 2⁴=16 < 19 < 32=2⁵ ⇒ m = 5. Коды должны быть длиной 5: A = "101101" — 6 знаков → Неправильно B = "00111" — 5 знаков → Правильно b) Длительность T = V / (f · I_кадр). Приводим к одним единицам: 4500 MB = 8·4500 Mбит = 36000 Mбит T = 36000 / (25·4) = 36000/100 = 360 сек = 360/60 = 6 минут

2024, вариант 1

а) 88 приложений — сообщения источника со 128 возможными сообщениями, кодируются словами равной длины. Объём для всех 88 в байтах.
b) Логотип — цветное изображение 256×256, 32 уровня яркости. Объём в KB.

► решение
а) I (одного приложения) = log₂128 = 7 бит V = 88·7 = 616 бит = 616/8 = 77 B b) I = 3·256·256·log₂32 = 3·2⁸·2⁸·5 = 3·2¹⁶·5 бит бит → KB это ÷2¹³ ⇒ I = 3·2³·5 = 120 KB

2024, вариант 2

а) На конкурс — 720 фотографий. Наименьшая длина двоичных слов равной длины для однозначного кодирования всех 720?
b) Каждое фото — цветное 512×768, 256 уровней яркости. Объём всех 720 фото в MB.

► решение
а) m = ⌈log₂720⌉. 2⁹=512 < 720 < 1024=2¹⁰ ⇒ m = 10. b) I одного фото = 3·512·768·log₂256 = 3·2⁹·(3·2⁸)·8 = 9·2¹⁷·2³ = 9·2²⁰ бит = 9 Mбит V = 720·9 Mбит = 6480 Mбит = 6480/8 = 810 MB

2025, вариант 2

а) Имена закодированы двоичными словами минимальной длины, равной 4. Какие из чисел могут быть числом учеников: 4, 8, 10, 14, 20?
b) N классов, фильм 2 мин, 25 кадр/с, 512×512, 256 уровней; суммарно 7500 MB. Найти N.
c) Разложение изображения на пиксели — это какая дискретизация?

► решение
а) Минимальная длина = 4 значит: 2³ < n ≤ 2⁴, т.е. 8 < n ≤ 16. Подходят 10 и 14. (4, 8 — хватило бы ≤3 бит; 20 > 16 — нужно 5 бит) b) I одного фильма = T·f·mx·my·log₂n = 2·60·25 · 512·512 · log₂256 T·f = 2·60·25 = 3000 кадров; на кадр 512·512·8 = 2¹⁸·8 = 2²¹ бит I = 3000·2²¹ бит → в MB ÷2²³ ⇒ 3000/4 = 750 MB V = N·I → 7500 = N·750 ⇒ N = 10 c) Дискретизация в пространстве.

6. 🧪 Калькулятор

7. ✍️ Быстрая самопроверка

26. Алфавит из 32 символов. Бит на символ? Байт на слово из 6 символов?
показать
I = log₂32 = 5 бит; слово = 6·5 = 30 бит = 3,75 B
27. Источник со 100 сообщениями. Минимальная длина слова m?
показать
m = ⌈log₂100⌉ = 7 (2⁶=64 < 100 < 128=2⁷)
28. Ч/б изображение 64×64, 16 градаций. Объём в байтах?
показать
I = 64·64·log₂16 = 2⁶·2⁶·4 = 2¹⁴ бит = 2¹¹ B = 2048 B = 2 KB
29. Цветное 128×128, 256 уровней. Объём в KB?
показать
I = 3·128·128·log₂256 = 3·2⁷·2⁷·8 = 3·2¹⁷ бит → 3·2¹⁷/2¹³ = 48 KB
30. 200 цветных фото 256×256, 256 цветов. Суммарно в MB?
показать
1 фото: 3·256·256·log₂256 = 3·2¹⁹ бит = 192 KB; 200·192 = 38400 KB = 37,5 MB
31. (2025) N фильмов по 2 мин, 25 кадр/с, 512×512, 256 уровней; всего 7500 MB. Найти N.
показать
I = 2·60·25·512·512·log₂256 = 750 MB; V=N·I → 7500=N·750 → N=10