séminaire biblio lisc - 3/04/02 complexité, information daprès jp delahaye (1999)
TRANSCRIPT
![Page 1: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/1.jpg)
Séminaire Biblio LISC - 3/04/02
Complexité, information
D’après JP Delahaye (1999)
![Page 2: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/2.jpg)
Séminaire Biblio LISC - 3/04/02
Logico-empirisme
Systèmes formels logiques
Divers empirique
Structurent
![Page 3: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/3.jpg)
Séminaire Biblio LISC - 3/04/02
Langage formel
Ensemble de signes axiomes règles d’inférence qui permettent
de dériver des formules à partir des axiomes
![Page 4: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/4.jpg)
Séminaire Biblio LISC - 3/04/02
Machine de Turing
1 1 11 0 0
Nombre d’états fini
Règles de transition de type : (étati, clu, étatf, cécrit, dpl)
On appelle M(n) le résultat en écriture
![Page 5: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/5.jpg)
Séminaire Biblio LISC - 3/04/02
Thèse de Church-Turing
Toute fonction définissable par un algorithme est définissable par une machine de Turing
Equivalence avec les fonction récursives partielles ou les fonctions lambda-définissables.
![Page 6: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/6.jpg)
Séminaire Biblio LISC - 3/04/02
0
Calculateur1 1 11 0 0Programme
11 1 100Travail
01 1 00Résultats
Uniquement lecture vers la droite
Uniquement écriture vers la droite
![Page 7: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/7.jpg)
Séminaire Biblio LISC - 3/04/02
Calculateur universel
Il existe des calculateurs universels Ci tels que pour tout calculateur Ck, pour tout programme réduit pr de Ck, il existe pr’ un programme réduit de Ci tel que pour toute donnée s :Ci(pr’,s)=Ck(pr,s) etlongueur(pr’) <longueur(pr)+simul(Ck)
![Page 8: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/8.jpg)
Séminaire Biblio LISC - 3/04/02
Complexité de Kolmogorov
Soit une chaine de caractères (binaires) s finie
K(s) est définie comme la taille du plus petit programme tel que, pour Cu calculateur universel :
Cu(pr,)=s
![Page 9: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/9.jpg)
Séminaire Biblio LISC - 3/04/02
Complexité de Chaitin et Levin
Idem complexité de Kolmogorov, mais programmes auto-délimités
Permet de définir une probabilité de tirage au hasard d’un programme et de faire un lien avec l’entropie
![Page 10: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/10.jpg)
Séminaire Biblio LISC - 3/04/02
Théorie de l’information de Shannon
La quantité d’information correspond à la longueur moyenne des programmes minimaux permettant de de reconstituer des chaines s de caractères ci dont les probabilités d’apparition sont pi
valeur : longueur(s)(-pilogpi)
![Page 11: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/11.jpg)
Séminaire Biblio LISC - 3/04/02
Chaînes de caractères infinies
Chaine binaire infinie s Partie A de N :
Si sn=1 alors nA, si sn=0 alors nA
Ensemble de formules d’un système formel : on numérote les formules dans l’ordre lexicographique.
![Page 12: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/12.jpg)
Séminaire Biblio LISC - 3/04/02
Cinq classes d’ensembles
Récursifs
Récursivement énumérables
Approximables Inapproximables
Incompressibles
![Page 13: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/13.jpg)
Séminaire Biblio LISC - 3/04/02
Récursif Il existe une machine de Turing M telle
que pour tout entier n :M(n)=1 si nA et M(n)=0 si nA
Il existe un système formel correct et complet pour les énoncés de la forme nA et de la forme nA
Exemples : l’ensemble des entiers pairs l’ensemble des nombres premiers
![Page 14: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/14.jpg)
Séminaire Biblio LISC - 3/04/02
Récursivement énumérable
Il existe une machine de Turing telle que M(n)=1 pour tout nA(mais ne s’arrête pas forcément pour nA)
Il existe un système formel correct et complet pour les énoncés de la forme nA
Exemple L’ensemble E tel que Mi(i) existe
![Page 15: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/15.jpg)
Séminaire Biblio LISC - 3/04/02
E est récursivement énumérable
Soit M la machine qui, à partir de i : Reconstitue la machine Mi, en utilisant les
règles de numérotation (cette opération est récursive et se termine)
Fait tourner Mi sur i et inscrit 1 comme résulat après l’arrêt
M est telle que M(i)=1 pour tout i E
![Page 16: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/16.jpg)
Séminaire Biblio LISC - 3/04/02
E n’est pas récursif (Turing 1936)
Soit M la machine qui donne M(i) =1 si Mi(i) s’arrête, M(i) = 0 si Mi(i) ne s’arrête pas.
alors on peut en déduire M’ telle que M’(i) n’existe pas si Mi(i) existe, et M’(i) = 0 si Mi(i) n’existe pas.
Posons M’=Mk, alors on a :Mk(k) existe => Mk(k) n’existe pas
![Page 17: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/17.jpg)
Séminaire Biblio LISC - 3/04/02
Ensemble approximable
A est approximable si et seulement si A est fini ou contient un ensemble infini récursivement énumérable
Exemple : L’ensemble des formules vraies pour
l’arithmétique est approximable, mais pas récursivement énumérable
![Page 18: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/18.jpg)
Séminaire Biblio LISC - 3/04/02
Arithmétique
Formules du calcul des prédicats du premier ordre utilisant ‘=‘, ‘0’, ‘s’, ‘+’ , ‘.’
On peut numéroter les formules de l’arithmétique, par exemple par taille croissante et par ordre lexicographique
Soit Arith l’ensemble des formules vraies de l’arithmétique
Arith est approximable car il contient l’ensemble des formules vraies m+n=p
![Page 19: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/19.jpg)
Séminaire Biblio LISC - 3/04/02
Arith est non récursivement énumérable (Gödel 1931)
si c’était possible alors il existerait une machine de Turing capable de prédire si Mi(i) s’arrête (car ce sont des formules de l’arithmétique), ce qui est impossible
![Page 20: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/20.jpg)
Séminaire Biblio LISC - 3/04/02
Ensemble inapproximable
L’ensemble des formules de l’arithmétique vraies de la forme “la suite s est de complexité n”
Cad : Tout système formel correct pour les énoncés de la forme “la suite s est complexité n” n’en produit qu’un nombre fini
![Page 21: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/21.jpg)
Séminaire Biblio LISC - 3/04/02
Ensemble incompréssible
A est incompréssible si et seulement si : il existe une constante c telle que tout système formel S correct pour les énoncés de la forme “n est dans A” et de la forme “n n’est pas dans A” en produit au plus H(S)+c
![Page 22: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/22.jpg)
Séminaire Biblio LISC - 3/04/02
Exemple d’ensemble incompressible
La partie de N associée au nombre réel :
=nA 2-H(n)
où A est récursivement énumérable infini est un ensemble incompressible
Un système formel ne peut donner un nombre de digits du début de qu’égal à sa propre complexité (à une constante près)
![Page 23: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/23.jpg)
Séminaire Biblio LISC - 3/04/02
Profondeur logique de Bennett
Définition : Soit s une chaine binaire finie, P(s) est le lemps de calcul du programme minimal de s
Intérêt : donne une idée de la complexité organisée. La profondeur diminue avec l’aléatoire, alors que la complexité de Kolmogorov augmente
![Page 24: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/24.jpg)
Séminaire Biblio LISC - 3/04/02
Problème de décision polynomial
Soit A un ensemble récursif, A est dans P s’il existe M une machine prédisant l’appartenance ou la non-appartenance de n à A, avec un temps de calcul majoré par une fonction polynomiale de la taille de n.
![Page 25: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/25.jpg)
Séminaire Biblio LISC - 3/04/02
Problème NP
Un ensemble A est dans NP ssi il existe un ensemble B et une machine M telle que : Pour tout n tel que nA, il existe m
B, de taille polynomiale avec n, tel que M(n,m)=1 en temps polynomial
Pour tout nA, pour tout m N, M(n,m)=0 (en temps polynomial)
![Page 26: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/26.jpg)
Séminaire Biblio LISC - 3/04/02
Problème NP complet
Un problème A de décision est dit NP complet s’il est NP, et que tout problème NP peut être transformé en A en temps polynomial.
Exemple de problème NP complet : la satisfiabilité des conjonctions de disjonctions (CNF)
![Page 27: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/27.jpg)
Séminaire Biblio LISC - 3/04/02
Problème NP difficile
Un problème (pas forcément NP) tel que s’il était résolu, alors il permettrait de résoudre en temps polynomial un problème NP complet.
![Page 28: Séminaire Biblio LISC - 3/04/02 Complexité, information Daprès JP Delahaye (1999)](https://reader036.vdocuments.mx/reader036/viewer/2022081513/551d9d8c497959293b8c08dd/html5/thumbnails/28.jpg)
Séminaire Biblio LISC - 3/04/02
Conclusion
Importance de la machine de Turing universelle qui donne du sens aux complexités de Kolmogorov et Bennett
Pas de sens unique pour complexité ou information
Lien avec la physique (entropie) la biologie et la cognition à manipuler avec beaucoup de prudence