Vorlesung "Informationstheorie"

Sommersemester 2006

In dem zweistündigen Kurs wird eine Einführung in die klassische Informationstheorie gegeben. Dabei sollen die Teilgebiete Datenkompression, Kanalkodierung, Hypothesentests und algorithmische Komplexitätstheorie im Vordergrund stehen. Insbesondere wird das asymptotische Verhalten von stationären Informationsquellen studiert. Benutzt werden mathematische Methoden aus der Wahrscheinlichkeitstheorie, Ergodentheorie und der Theorie diskreter dynamischer Systeme.

Keywords: Shannon-Entropie, relative Entropie, gemeinsame Information, typische Teilmengen, Stationarität und Ergodizität, Kolmogorov-Komplexität.

Voraussetzungen: Abgeschlossenes Mathematik- oder Physik-Grundstudium

Literatur:

• "The Ergodic Theory of Discrete Sample Paths", P.C. Shields, American Mathematical Society 1996
• "Elements of Information Theory" T.M. Cover, J.A. Thomas, John Wiley and Sons 1991
• "An Introduction to Kolmogorov Complexity and its Applications", M. Li, P. Vitanyi, Springer Verlag 1993