Полная версия

Главная arrow Техника arrow ВВЕДЕНИЕ В РАДИОЭЛЕКТРОНИКУ

  • Увеличить шрифт
  • Уменьшить шрифт


<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>

Зарождение и развитие теории информации

Теория информации - наука о статистических (случайных) процессах передачи информации в технических, природных и социальных системах. Принято считать, что она берет свое начало с работ К. Шеннона[1] [2], который в 40-е годы XX в. ввел основные понятия этой науки: меру количества информации, пропускную способность канала связи, эффективность кодирования сообщения. По своей сути теория информации является статистической теорией связи. Её особенность состоит в том, что информация рассматривается с количественной стороны без учета смыслового содержания. Тем ни менее, её положения носят настолько общий характер, что позволяют решать широкий круг задач получения, храпения и обработки информации". Конечно, у К. Шеннона были предшественники. Это, прежде всего, Г. Найквист[3], Р. Хартли[4]. Значительный вклад в развитие современной теории связи внесли отечественные ученые. Среди них В. А. Котельников[5], А. Я. Хинчин[6], А. Н. Колмогоров[7] и многие другие.

Первые работы по корреляционной теории случайных процессов были выполнены в 1934 году А. Я. Хинчиным, а первая работа по фильтрации сигналов на фоне помех по среднеквадратичному критерию качества в 1939 году А. Н. Колмогоровым. Такой фильтр теперь называют фильтром Колмогорова-Винера.

В 1941 году К. Шеннон поступил на работу в фирму «Bell Laboratories'». В свободное время он начал развивать идеи, которые потом вылились в теорию информации. Исходная цель К. Шеннона заключалась в повышении качества передачи информации по телеграфному или телефонному каналу, находящемуся под воздействием помех. Он вскоре пришел к выводу, что решение проблемы заключается в более эффективном кодировании информации. Первоначальные результаты К. Шеннона были расширены многими математиками и в первую очередь нашими соотечественниками А. Н. Колмогоровым и А. Я. Хинчиным.

Для решения проблемы, прежде всего, надо было определить количественную меру информации. К. Шеннон первым ввел такую меру и опубликовал свои идеи в работах 1948-1949 годов. Он определил количество информации через энтропию - величину, известную в термодинамике и статистической физике как мера хаотичности системы. За единицу информации он принял то, что впоследствии окрестили «битом», то есть выбор одного из двух равновероятных вариантов. Трудно представить, что чуть более полувека назад понятие «количество информации» еще нуждалось в строгом определении и что это определение могло вызывать какие-то споры.

На прочном фундаменте определения количества информации К. Шеннон доказал теорему о пропускной способности каналов связи в присутствии помех. Во всей полноте эта теорема была опубликована в его работах 1957-1961 годов. Суть теоремы .К. Шеннона заключается в следующем.

В присутствии шумов и помех всякий канал связи характеризуется своей предельной скоростью передачи информации, называемой пределом Шеннона. При скоростях передачи выше этого предела неизбежны ошибки в передаваемой информации. Однако снизу к этому пределу можно подойти сколь угодно близко, обеспечивая соответствующим кодированием ииформации сколь угодно малую вероятность ошибки при любом уровне шума в канале[8].

Кроме теории информации, К. Шеннон проявил себя во многих других областях научной и технической деятельности. Одним из первых он высказал мысль о том, что машины могут играть в игры и самообучаться. В 1950 г. он создал механическую мышку «Тесей»[9], дистанционно управляемую сложной электронной схемой. Эта мышка училась находить выход из лабиринта. В честь его изобретения ШЕЕ (Международный институт инженеров по электротехнике и радиоэлектронике) учредил международный конкурс «микро-мышь», в котором принимают участие тысячи студентов технических вузов. Тогда же К. Шеннон создал машину, которая «читала мысли» при игре в «монетку»: человек загадывал «герб» (аверс) или «решетку» (реверс), а машина отгадывала сделанный выбор с вероятностью выше 50%. Этот результат связан с тем, что человек никак не может избежать каких-либо закономерностей, которые машина выявляла и использовала.

В конце 40-х - начале 50-х гг. XX века В. А. Котельников разработал теоретические основы помехоустойчивости радиосвязи, которые изложил в своей докторской диссертации «Теория потенциальной помехоустойчивости», защищенной в 1947 г. на заседании Учёного совета Московского энергетического института.

В этой работе идет речь о предельных возможностях радиоприёма при наличии шумов. Её фундаментальность заключается в том, что она устанавливает принципиальные ограничения на чувствительность радиоприёмников в присутствии шума. Такого рода предельные ограничения весьма важны в физике и инженерной практике, так как они предостерегают разработчиков от попыток решения задач, принципиальная неразрешимость которых обусловлена фундаментальными законами природы.

Большую роль в распространении идей и методов статистической теории связи сыграли работы многих ученых, как в нашей стране, так и за рубежом. Благодаря их усилиям статистическая теория связи приобрела современный вид. Её достижения используются для решения широкого круга практических задач передачи, приёма, обработки и хранения сигналов (информации [10].

  • [1] Клод Элвуд Шеннон (англ. Claude Elwood Shannon, 1916-2001)- американский инженер и математик. Его работы являются синтезом математических идейс конкретным анализом чрезвычайно сложных проблем.
  • [2] В частности кодирование наследственности в молекуле ДНК.
  • [3] Гарри Найквист (англ. Harry NyquisV, 1884-1976)- один из пионеров теорииинформации. По происхождения швед. Иммигрировал в США в 1907 году.
  • [4] Ральф Винтон Лайон Хартли (англ. Ralph Vinton Lyon Hartley, 1888-1970) -американский учёный-электронщик. Он предложил новую схему генератора(генератор Хартли), преобразование Хартли, сделал вклад в теорию информации.
  • [5] ' Владимир Александрович Котельников (1908-2005) - советский и российский учёный в области радиотехники, радиосвязи и радиолокации планет, академик АН СССР (1953) и Российской академии наук, С 1931 г по 1941 г, а затемс 1944 г по 1980 г работал в МЭИ деканом РТФ и заведующим кафедрой Основрадиотехники радиотехнического факультета МЭИ.
  • [6] Александр Яковлевич Хинчин (1894-1959)- советский математик, один изнаиболее значимых учёных в советской школе теории вероятностей. С 1927 г.профессор МГУ, члсн-коррсспондснт АН СССР (1939).
  • [7] Андрей Николаевич Колмогоров (1903-1987) - советский математик, одиниз крупнейших математиков XX века. Один из основоположников современнойтеории вероятностей, Им получены основополагающие результаты в ряде областей математики и сс приложений, академик АН СССР (1939). Иностранныйчлен Национальной академии наук США (1967), Лондонского королевского общества (1964).
  • [8] Эти результаты в несколько ином виде были получены В. А. Котельниковым в1933 году.
  • [9] Тесей - в греческой мифологии, великий афинский герой, сын царя АфинЭгея. Он победил Минотавра, а чтобы не заблудится в лабиринте, использовалнить клубка, подаренного ему Ариадной.
  • [10] Вплоть до задач, связанных с исследованием наследственности и мутаций вживой природе.
 
<<   СОДЕРЖАНИЕ ПОСМОТРЕТЬ ОРИГИНАЛ   >>