для чего добавляется искусственная избыточность сообщений в большинстве реальных систем

Избыточность сообщений

Полезное

Смотреть что такое «Избыточность сообщений» в других словарях:

Избыточность — наличие в техническом устройстве возможностей сверх тех, которые могли бы обеспечить его нормальное функционирование. И. вводится для повышения надёжности работы изделия в различных условиях эксплуатации или для исключения влияния на… … Большая советская энциклопедия

Избыточность — Избыточность термин из теории информации, означающий превышение количества информации, используемой для передачи или хранения сообщения, над его информационной энтропией. Для уменьшения избыточности применяется сжатие данных без потерь, в то же… … Википедия

избыточность языка — 1. Необходимое условие передачи и приема сообщения. Она не только способствует надежности коммуникации, но и создает условия порождения и восприятия речи. Без существующей избыточности языка человек не смог бы перерабатывать всю поступающую или… … Толковый переводоведческий словарь

Избыточность информации — В этой статье не хватает ссылок на источники информации. Информация должна быть проверяема, иначе она может быть поставлена под сомнение и удалена. Вы можете … Википедия

ИЗБЫТОЧНОСТЬ — мера возможного увеличения скорости передачи информации за счет использования статистич. зависимостей между компонентами сообщения, вырабатываемого источником сообщений. И. стационарного источника сообщений с дискретным временем, вырабатывающего… … Математическая энциклопедия

Избыточность данных — Обнаружение ошибок в технике связи действие, направленное на контроль целостности данных при записи/воспроизведении информации или при её передаче по линиям связи. Исправление ошибок (коррекция ошибок) процедура восстановления информации после… … Википедия

ИЗБЫТОЧНОСТЬ ИНФОРМАЦИИ — величина, которой измеряется относительная доля излишне используемых сообщений в некотором алфавите. Определяется формулой: где Н энтропия сообщения, п средняя длина кодового слова, М число символов алфавита. Естественным языкам свойственна… … Энциклопедический словарь по психологии и педагогике

Кодирование — операция отождествления символов или групп символов одного Кода с символами или группами символов другого кода. Необходимость К. возникает прежде всего из потребности приспособить форму сообщения к данному каналу связи или какому либо… … Большая советская энциклопедия

MIL-STD-1553 — (MIL STD 1553B) стандарт Министерства обороны США, распространяется на магистральный последовательный интерфейс (МПИ) с централизованным управлением, применяемый в системе электронных модулей. Изначально разрабатывался по заказу МО США для… … Википедия

КОДИРОВАНИЕ И ДЕКОДИРОВАНИЕ — процесс представления информации в определенной стандартной форме и обратный процесс восстановления информации по ее такому представлению. В математич. литературе кодированием наз. отображение произвольного множества Ав множество конечных… … Математическая энциклопедия

Источник

Кодирование информации и избыточность кода

Любое сообщение, может быть представлено в различной форме, то есть закодировано различными способами. Разные способы кодирования неравноценны по занимаемому ими количеству информации. Оптимальным кодом будет тот, при использовании которого среднее значение энтропии, приходящееся на один символ, равно энтропии источника информации.

Чем выше избыточность кода, тем больше вероятность безошибочной передачи информации, но тем больший объём требуется для её хранения и большая пропускная способность канала передачи. Естественные человеческие языки характеризуются очень высокой степенью избыточности, также велика избыточность генома высших организмов, хранящегося в молекулах ДНК.

Величина \(H /Q\) называется экономичностью кода. Для оптимального кода \(H /Q=1\) а избыточность отсутствует, то есть \(E = 0\).

Процесс уменьшения избыточности кодирования называется сжатием информации и применяется для понижения объёма памяти, требуемой для хранения информации. Для сжатия информации, хранящейся в памяти, используются– архиваторы и упаковщики.

Пример: определить энтропию информации, содержащейся в сообщении «ученье − свет, а не ученье – тьма» и избыточность кода. Каждый символ в сообщении кодируется 1 байтом (8 бит).
Решение: Подсчитаем количество символов в сообщении, для простоты игнорируя пробелы: N=26. Найдём частоту повторения каждого символа (вероятность в сообщении), составив следующую таблицу, приведенную на скрине слева.

Удельная энтропия (энтропия одного символа в сообщении) в битах на символ, равна \[\tilde H = 5 \cdot \frac<1><<13>><\log _2>13 + \frac<3><<13>><\log _2>\frac<<13>> <3>+ 2 \cdot \frac<3><<26>><\log _2>\frac<<26>> <3>+ 4 \cdot \frac<1><<26>><\log _2>26 \approx \] \[ \approx \frac<5><<13>> \cdot 3.7004 + \frac<3><<13>> \cdot 2.1155 + \frac<6><<26>> \cdot 3.1155 + \frac<4><<26>> \cdot 4.7004 \approx 3.3535\] Полная энтропия сообщения \(H = 3.3535 \cdot 26 = 87.19\) бит. Количество бит, необходимое для кодирования каждого символа одним байтом, составляет \(Q = 208\;\) бит.
Избыточность кода \(E=1-87.19/208=0.58=58%\).

Источник

Избыточность источника сообщений

Из энтропийных оценок источников сообщений, ясно, что она зависит от статических характеристик самих сообщений. Энтропия максимальна при равномерном появлении букв на любом месте сообщения. Для характеристики источника сообщений с различным алфавитом представляет интерес сравнение фактической энтропии источника с максимально возможной. В этом смысле введено понятие избыточности источника сообщений или избыточности алфавита.

M – количество различных букв в алфавите;

H(X) – средняя энтропия на одну букву.

Избыточность источника R показывает на сколько хорошо используются буквы в данном источнике. Чем меньше R, тем большее количество информации вырабатывается источником на одну букву. Однако, не всегда необходимо стремиться к R = 0. С повышением избыточности повышается помехоустойчивость (надежность) источника. Выяснение количества избыточности важно потому, что мы должны вводить ее разумно, чтобы получить максимальный эффект помехозащищенности, а не полагаться на стихию. Например, избыточность любого языка оказывается порядка 50-70%, то есть если бы все буквы имели одинаковую вероятность использования и можно было бы использовать любые комбинации букв, то среднюю длину слова можно было бы значительно уменьшить. Однако разбираться в этой записи было бы значительно труднее, особенно при наличии ошибок (лектора или студента).

Современные системы связи построены без учета ограничений, существующих в языке, а поэтому не достаточно эффективны, так как они приспособлены для передачи равновероятных букв алфавита, которые могут следовать друг за другом в любых комбинациях.

Колоссальная избыточность присуща телевизионным изображениям: естественно передавать не весь кадр, а только информацию соответствующую тому, чем отличается один кадр от другого. Этим можно существенно сократить требуемую (в среднем) полосу частот.

Различают две составляющие избыточности:

где H(X) – энтропия для букв, когда они неравновероятны и взаимосвязаны;

H₁(X) – энтропия для букв, когда они статистически не взаимосвязаны и неравновероятны.

Но статистические связи между элементами укрупненного алфавита падают R_с ≈ 0; следовательно возрастает неравномерность употребления отдельных букв алфавита M₂, то есть R_р2 >> R_р1; R_р2 ≈ R₁ ≈ R₂.

Доказательство, что R₁ ≈ R₂ сводится к следующему:

Из свойства аддитивности информации следует, что в одном элементе второго алфавита содержится столько же информации, сколько ее содержится в n элементах первичного алфавита. Среднее количество информации на один элемент первого алфавита – H₁; математическое ожидание на n элементов первого алфавита – n · H₁ равно информации на один элемент второго алфавита H₂(X) = n · H₁.

2. Избыточность второго алфавита

Избыточность языка подсчитывается по формуле:

где H_max = log M, а M – число букв в алфавите.

а 0; 1; 2… – количество букв между которыми учитываются взаимосвязи.

Примеры

1. Во сколько раз больше содержится информации на странице текста для иностранца, начавшего изучать новый для себя язык (например, русский) и для носителя языка?

Ответ. Для носителя языка среднее количество информации на одну букву определяется как H_языка ≈ H₃₀ = 1.35 бит ⁄_буква, а для иностранца, плохо знающего словарь и не учитывающему взаимосвязь букв между собой H = H₀ или H₁, что соответствует

бит ⁄_буква.

То есть на странице текста для носителя языка содержится информации в

раза меньше информации, чем для иностранца. http://peredacha-informacii.ru/ Частичное знание словаря и закономерностей языка уменьшает эту разницу.

2. Во сколько раз удлиняется текст в деловых бумагах, если их избыточность составляет 90÷95%?

Ответ. При такой избыточности энтропия на одну букву составляет:

;
;

В то время как в письменной речи: H_∞(X) = 0.87÷1.37 бит ⁄_буква.

Текст удлиняется в раз.

Источник

Избыточность информации, как средство повышения надежности её передачи

Тема: «Избыточность информации, как средство повышения надежности её передачи»

Цели: Дать понятие «избыточность», рассмотреть виды избыточности.

Развивать логико-алгоритмическое мышление, память, произвольное мышление, связную устную речь.

Тип урока: комбинированный.

Форма: индивидуальная, фронтальная.

Образовательные ресурсы: ПОЭВМ, наглядный материал (презентация), дидактический материал (карточки с заданием для организации опроса).

УУД: личностные, регулятивные, познавательные, коммуникативные.

Планируемые образовательные ресурсы:

— предметные- формирование информационной и алгоритмической культуры; формирование представлений об основных изучаемых понятиях – «избыточность» и её виды, «функциональная избыточность», «структурная избыточность», «временная избыточность», информационная избыточность», «избыточность сообщения».

-метапредметные- развивать познавательный интерес, речь и внимание обучающихся, формировать у них информационную культуру и потребность в приобретении знаний; расширение кругозора; развитие коммуникативных качеств личности; развитие навыков самообразования с использованием информационных и коммуникационных технологий;

-личностные- способность увязать учебное содержание с собственным жизненным опытом; п онять значимость подготовки в области информатики в условиях развития информационного общества; способность и готовность к общению и сотрудничеству со сверстниками и взрослыми в процессе образовательной деятельности.

I . Мотивационно-ориентировочный этап.

— Здравствуйте! Присаживайтесь (пауза, жду, когда все сядут и установится тишина).

— Сегодня урок информатики проведу у вас я, меня зовут……..

2. Организация внимания.

— На столе у вас должны лежать тетради, письменные принадлежности. Всё лишнее уберите. Начинаем урок!

3. Индивидуальная работа по карточкам.

Тест по прошлому материалу на тему: «Информационные процессы»

1. Каналы связи делятся на: ___________ ____________.

2. Канал связи — это:

а) совокупность устройств, обеспечивающих прием информации при ее передаче;

б) совокупность устройств, преобразующих исходное сообщение источника информации к виду, в котором это сообщение передается;

в) устройство кодирования и декодирования информации при передаче сообщений;

г) технические средства, позволяющие осуществлять передачу данных на расстоянии.

3. Расследование преступления представляет собой информационный процесс:

а) кодирования информации; б) поиска информации; в) хранения информации; г) передачи информации.

4. Пропускная способность – это …

а) объем данных, передаваемых модемом в единицу времени, без учета дополнительной служебной информации;

б) совокупность устройств, преобразующих исходное сообщение источника информации к виду, в котором это сообщение передается;

в) распространение новой информации, полученной в процессе научного познания.

5. Дуплексной передачи связи называется?

а) осуществляется передача сигналов в одной паре проводников в одном направлении;

б) осуществляется передача сигналов в одном направлении в четырехпроводной линии связи;

в) одновременной передачи сигналов между абонентами в обоих направлениях, т.е. канал связи должен быть двустороннего действия.

6. При телефонном разговоре в качестве источника информации следует рассматривать:

а) человека слушающего; б) телефонную трубку; в) человека говорящего; г) телефонную сеть;

7. Хранение информации невозможно без:

а) компьютера; б) носителя информации; в) библиотек, архивов; г) линий связи.

8. Что такое кабель?

1. Место соприкосновения проводников между собой.

2. Проводник, который служит для передачи электрического тока в земле, воде и воздухе.

3. Служит жестким неизолированным проводником.

1) список абонентов компьютерной сети;

2) программа, приводящая полученное сообщение к стандартной форме;

1. Перевод текста с английского языка на русский является процессом:

а) хранения информации; б) передачи информации; в) поиска информации; г) обработки информации.

2. Браузер – это … 1)техническое устройство; 2)программа создания web – страниц; 3)программа просмотра web – страниц.

3. Какой из следующих сигналов является аналоговым:

а) сигнал маяка; б) сигнал S0S; в) кардиограмма; г) дорожный знак; д) сигнал светофора.

4. Внутреннее представление информации в компьютере:

а) непрерывно; б) дискретно; в) частично дискретно, частично непрерывно;

г) нельзя описать с использованием терминов «дискретно», «непрерывно».

5. Какая система исчисления используется для передачи цифровых сигналов?

а) Восьмеричная; б) Двоичная; в) Шестнадцатеричная.

6. Записная книжка обычно используется:

а) при обработке информации; б) для хранения информации; в) для передачи информации; г) для защиты информации.

7. Сигналом называется:

а) любой материальный предмет; б) радиоволна; в) изменение некоторой физической величины во времени, обеспечивающее передачу сообщения; г) вещество в различном состоянии; д) физический процесс.

8. Аналоговый сигнал — это:

а) сигнал, непрерывно изменяющийся по амплитуде и по времени;

б) сигнал, который может принимать лишь конечное число значений в конечное число моментов времени; в) сигнал, несущий текстовую информацию;

г) любой процесс, несущий информацию.

4. Фронтальный устный опрос.

— Что называют каналами связи? (технические средства, позволяющие осуществлять передачу данных на расстоянии).

— Какие классификации компьютерных каналов связи вы знаете?

(по способу кодирования: цифровые и аналоговые;

по способу коммуникации: выделенные и коммутируемые;

по способу передачи сигнала: 1.Кабельные: витая пара, коаксиальные кабели, оптико-волоконные кабели; оптические, беспроводные, спутниковые. 2.Телефонные; 3.Радио: радиорелейные, спутниковые).

-Что такое протокол? (полный набор операций, который один объект может осуществлять над другим объектом вместе с правиль­ным порядком).

5. Подведение итога этапа.

— Итак, материал прошлого урока вы усвоили хорошо. Молодцы!

1. Формулирование темы и цели урока обучающимися.

— Прочитайте тему урока. Как вы думаете, о чём пойдёт речь на нашем уроке?

— Поставьте перед собой цель на данный урок.

— Сегодня на уроке мы рассмотрим такие понятия как «избыточность» и её виды, «функциональная избыточность», «структурная избыточность», «временная избыточность», информационная избыточность», «избыточность сообщения».

2. Изучение нового материала.

— Откройте тетради и подпишите число и тему урока.

Тема «Избыточность информации, как средство повышения надежности её передачи»

Функциональная избыточность – это меры обеспечивающие сохранение работоспособности системы при выходе некоторых параметров за пределы допусков. К числу таких средств относятся адаптация системы за счёт введения дополнительных обратных связей.

Структурная избыточность заключается в дублировании систем, элементов, деталей машин, живых организмов.

Временная избыточность – увеличение надёжности за счёт увеличения времени работы с информацией.

Информационная избыточность заключается в использовании слов, кодов, которые содержат как бы «излишние» элементы, что обеспечивает надёжность передачи сообщений.

Постановка задачи обеспечения надежности передачи

Все реальные каналы связи подвержены воздействию помех.

К. Шеннон доказал теоретическую возможность передачи сообщения без потерь информации по реальным каналам, если обеспечить выполнение ряда условий.

Задача была сформулирована в виде теоремы, которая затем получила строгое математическое доказательство. Ранее была представлена первая теорема Шеннона, касающаяся кодирования информации при передаче по идеальному каналу связи. Критерием оптимальности кодирования служила избыточность кода.

Вторая теорема Шеннона касается реальных каналов связи и гласит:

При передаче информации по каналу с шумом всегда существует способ кодирования, при котором сообщение будет передаваться со сколь угодно высокой достоверностью, если скорость передачи не превышает пропускной способности канала.

Последняя часть определения, относится и к идеальному каналу – в любом случае, если скорость передачи превышает пропускную способность канала, происходит потеря информации.

Смысл данной теоремы в том, что при передаче по реальным каналам можно закодировать сообщение таким образом, что действие шумов не приведет к потере информации. Это достигается за счет повышения избыточности кода, то есть за счет увеличения длины кодовой цепочки. Безусловно, при этом возрастает время передачи, что следует считать платой за надежность. При этом в теореме и в ее доказательстве не указывается, каким образом следует осуществлять такое кодирование. Вторая теорема Шеннона лишь утверждает, что существует принципиальная возможность такого кодирования, причем поиск необходимого кода – это отдельная задача.

Рассмотрим некоторые методы повышения надежности передачи данных. Широко известными методами борьбы с помехами являются следующие:

1. передача в контексте;

2. дублирование сообщений;

3. передача с переспросом.

Рассмотрим подробней каждый из этих способов.

1. Передача в контексте. С этим хорошо известным и общепринятым способом сталкивался каждый, кто, пытаясь передать по телефону с плохой слышимостью чью-либо фамилию, называл вместо букв, ее составляющих, какие-нибудь имена, первые буквы которых составляют данную фамилию. В данном случае правильному восстановлению искаженного сообщения помогает знание его смыслового содержания.

2. Дублирование сообщений. Этот способ тоже широко применяется в житейской практике, когда для того, чтобы быть правильно понятым, нужное сообщение повторяют несколько раз.

3. Передача с переспросом. В случае, когда получатель имеет связь с источником сообщений, для надежной расшифровки сообщений пользуются переспросом, т. е. просят повторить все переданное сообщение или часть его.

Общим во всех этих способах повышения надежности является введение избыточности, то есть увеличение тем или иным способом объема передаваемого сообщения для возможности его правильной расшифровки при наличии искажений.

Следует отметить, что введение избыточности уменьшает скорость передачи информации, так как только часть передаваемого сообщения представляет интерес для получателя, а избыточная его доля введена для предохранения от шума и не несет в себе полезной информации.

Естественно выбирать такие формы введения избыточности, которые позволяют при минимальном увеличении объема сообщения обеспечивать максимальную помехоустойчивость.

3. Подведение итога этапа.

— Что такое избыточность?

— Какие бывают виды избыточности?

— Что такое избыточность сообщения?

III . Рефлексивно-оценочный этап.

-Давайте подведём итоги урока.

— Вам было легко работать на уроке?

— Как бы вы оценили свою работу?

— Что вы узнали сегодня нового?

2. Домашнее задание.

— Запишите домашнее задание: выучить лекцию в тетради.

Источник

Избыточность кодов.

Понятие избыточности означает, что фактическая энтропия кода или сообщения (Н) меньше, чем максимально возможная энтропия (H_max), т. е. число символов в сообщении или элементов в символе кода больше, чем это требовалось бы при полном их использовании.

Понятие избыточности легко пояснить следующим примером.

Выделение полезного сигнала на уровне помех — одна из основных проблем передачи информации. Одним из путей повышения надёжности передачи сообщений может быть передача дополнительных символов, т.е. повышение избыточности сообщений.

Действительно, по теореме Котельникова (§ 1.7), непрерывное сообщение (сигнал) можно передать последовательностью мгновенных отсчетов его значений с промежутками между ними :

где f_max – верхняя граничная частота в спектре сигнала.

При наличии помех промежутки между отсчетами (Δt_n) необходимо уменьшать, т.е.

В этом случае мы увеличиваем число отсчетов и, следовательно, увеличиваем избыточность сообщения и тем самым повышаем его помехозащищенность.

Пусть сообщение из n символов содержит количество информации I. Если сообщение обладает избыточностью, то его (при отсутствии шума) можно передать меньшим числом символов n₀ (n₀

Дата добавления: 2017-05-18 ; просмотров: 4358 ; ЗАКАЗАТЬ НАПИСАНИЕ РАБОТЫ

Источник