- Избыточность языка
-
Избыточность языка — статистическая величина, обозначающая избыточность информации, содержащейся в тексте на определённом языке.
Содержание
Математическое определение
Математически данная величина определяется как
где — абсолютная энтропия языка, — фактическая энтропия языка.
Если принять фактическую энтропию английского языка за 1,3 бита на букву, то его избыточность равна 3,4 бита на букву (абсолютная энтропия — 4,7 бита на букву).
Избыточность естественных языков
Величина избыточности разных языков мира колеблется в пределах 70-80%[1]. Во всех языках на всех уровнях присутствуют избыточные элементы. Избыточность в языке неслучайна: её функция — облегчить коммуникацию при неблагоприятных условиях передачи информации. Избыточность представляет собой систему предупреждения возможных ошибок[2].
Избыточность и сжатие текстов
С точки зрения теории информации большая избыточность позволяет хорошо сжимать тексты с помощью энтропийного кодирования.
Литература
- Шнайер Б. Глава 11. Математические основы. Энтропия языка. // Прикладная криптография. Протоколы, алгоритмы, исходные тексты на языке Си = Applied Cryptography. Protocols, Algorithms and Source Code in C. — М.: Триумф, 2002. — С. 269. — 816 с. — 3000 экз. — ISBN 5-89392-055-4
Примечания
- ↑ Гуларян А.Б. Принцип избыточности как основа построения семантических систем // Электронный научно-образовательный журнал "Грани познания". - № 1(6). - Май 2010.
- ↑ Ягелло М. Алиса в стране языка: Тем, кто хочет понять лингвистику. Пер. с фр. Изд. 3-е. М.: Едиториал УРСС, 2010. - С. 38-41.
Категория:- Теория информации
Wikimedia Foundation. 2010.