Une bonne intro à la théorie de l'information, s'il vous plaît?

Question

Je connais le Wikipedia et le Information Theory, Inference, and Learning Algorithms de MacKay (est-ce approprié comme manuel?). Un manuel commençant par l'entropie de Shannon et passant par l'entropie conditionnelle et l'information mutuelle est recherché ... Une idée? Si vous suivez un tel cours dans votre université, quel manuel est utilisé?

Merci.

Answer 1

J'ai utilisé le manuel suivant pendant mes études dans CS au EPFL. IMO, c'est bien écrit, avec de bonnes explications, et couvre plus qu'assez pour une introduction au domaine.

Elements of Information Theory

Elements of Information Theory http://ecx.images-amazon.com/images/I/51HVK59X77L.jpg

EDIT: Pour aller plus loin, voici quelques autres lectures que mon professeur n'a pas recommandé. Je ne les ai pas lus (honte à moi), donc je ne peux pas dire s'ils sont bons ou pas.

1. RG Gallager, Information Theory and Reliable Communication, Wiley, 1968.
2. D. MacKay, Information Theory, Inference & Learning Algorithms, Cambridge University Press, 2008. (vous déjà mentionné)
3. I. Csiszar et J. Korner, Information Theory: Coding Theorems for Discrete Memoryless Systems, Akademiai kiado, 1997.
4. C. E. Shannon, The Mathematical Theory of Communication