Modèles de calculs sur les réels Olivier Bournez LORIA / INRIA Rencontres Arithmétique de l Informatique Mathématique Montpellier, 24 Janvier 2007.
Pub!! L École Jeunes Chercheurs Informatique Mathématique (ex : École Jeunes Chercheurs en Algorithmique et Calcul Formel) aura lieu du 19 au 23 mars 2007 au LORIA à Nancy http://ejcim2007.loria.fr
Le monde classique : généralités Calculabilité Complexité. Calculabilité : Relations entre modèles de calculs. Existence d algorithmes. Complexité : Efficacité d algorithmes. Bornes inférieures, Bornes supérieures.
Le monde classique : thèse(s) de Church Thèse(s) de Church Thèse de Church : Ce qui est effectivement calculable est calculable. Thèse M : Ce qui est calculable par une machine est calculable. Conséquences fortes : Tous les modèles de calculs suffisamment puissants sont équivalents. Il y a un accord global sur la notion de calculable (= raisonnable pour un modèle de calcul discret).
Le monde classique : complexité Thèse de Church effective : Les modèles de calculs sont équivalents à un ralentissement polynomial près. Conséquences fortes : Il y a accord sur la notion d algorithme raisonnable. (= raisonnable pour un algorithme digital classique). Classes P (NP, BPP, ZPP, NC, PAR, PSPACE,...)
Le monde des calculs sur les réels : problème majeur Plusieurs modèles de calculs, avec peu de relations connues. Les modèles ont en fait des motivations 1 foncièrement différentes. Constat : Pas de thèse(s) de Church pas d accord sur la notion de calculable. Pas de thèse(s) de Church effective pas d accord sur la notion d algorithme raisonnable. 1 Il est important de réaliser que, pour le monde des calculs discrets, la (les) thèse(s) de Church unifi(ent) des concepts à priori foncièrement distincts comme effectivement calculable, prouvable, définissable, calculable par machines.
Le monde des calculs sur les réels : problème majeur Plusieurs modèles de calculs, avec peu de relations connues. Les modèles ont en fait des motivations 1 foncièrement différentes. Constat : Pas de thèse(s) de Church pas d accord sur la notion de calculable. Pas de thèse(s) de Church effective pas d accord sur la notion d algorithme raisonnable. 1 Il est important de réaliser que, pour le monde des calculs discrets, la (les) thèse(s) de Church unifi(ent) des concepts à priori foncièrement distincts comme effectivement calculable, prouvable, définissable, calculable par machines.
Le monde des calculs sur les réels : problème majeur Plusieurs modèles de calculs, avec peu de relations connues. Les modèles ont en fait des motivations 1 foncièrement différentes. Constat : Pas de thèse(s) de Church pas d accord sur la notion de calculable. Pas de thèse(s) de Church effective pas d accord sur la notion d algorithme raisonnable. 1 Il est important de réaliser que, pour le monde des calculs discrets, la (les) thèse(s) de Church unifi(ent) des concepts à priori foncièrement distincts comme effectivement calculable, prouvable, définissable, calculable par machines.
Motivation 1 : machines de Calculs NACA Lewis Flight Propulsion Laboratory s Differential Analyser Question : Quelle est la puissance de cette machine?
Motivation 2 : effectivité en analyse Question : Peut-on calculer le maximum d une fonction continue sur un compact? Un point qui rend la fonction maximale?
Motivation 3 : complexité algébrique Question : Quelle est la complexité de la méthode de Newton?
Cet exposé Des modèles issus de machines analogiques : le GPAC, (les réseaux de neurones), Des modèles issus de la calculabilité/complexité classique : l analyse récursive. Des modèles issus de la complexité algébrique : le modèle BSS. (le modèle de Valiant)
Cet exposé Des modèles issus de machines analogiques : le GPAC, (les réseaux de neurones), Des modèles issus de la calculabilité/complexité classique : l analyse récursive. Des modèles issus de la complexité algébrique : le modèle BSS. (le modèle de Valiant)
Le General Purpose Analog Computer de Shannon
Exemple Un intégrateur moderne C U R - + V V (t) = 1/RC t 0 U(t)dt Générer cos(t) t -1 y 1 y 2 y 3 y 1 = cos(t) y 2 = sin(t) y 3 = sin(t)
Le General Purpose Analog Computer Le GPAC de [Shannon41] Une abstraction mathématique de l analyseur différentiel (mécanique) du MIT de Vannevar Bush (1931). Blocs de base : constantes, additions, intégrations, multiplications. La caractérisation [Shannon41] est incomplète. Corrections [PourEl-Richards74], [Lipshitz-Rubel87], [Graça-Costa03]. Proposition (Graça-Costa03) Une fonction unaire f : R R est générée par GPAC ssi elle correspond à une coordonnée d un système où p est un vecteur de polynômes. y = p(t, y), (1)
Doug Coward s Analog Computer Museum http://dcoward.best.vwh.net/analog/
Un inte grateur me canique Bureau of Naval Personnel, Basic Machines and How They Work, 1964 Un analyseur diffe rentiel en Meccano Douglas Rayner Hartree, 1933 Tim Robinson, 2004
Un modèle des calculs analogiques modernes Proposition (Graça-Costa03) Une fonction unaire f : R R est générée par GPAC ssi elle correspond à une coordonnée d un système y = p(t, y) où p est un vecteur de polynômes. Theorem (Graça2007) Toute coordonnée d un système y = f (t, y), où chaque coordonnée de f est la composée de fonctions GPAC-générables, et de polynômes, est GPAC-générable.
Résultats de non-calculabilité Fonctions non différentiellement algébriques : La fonction Γ(x) = 0 t x 1 e t dt La fonction Zeta de Riemann ζ(x) = k=0 1 k x
Analyse Récursive 2 2 Beaucoup d emprunts au tutorial de Vasko Brattka, CIE 2005
Le point de départ [Turing36] : The computable numbers may be described briefly as the real numbers whose expressions as a decimal are calculable by a finite means.
Le corps des réels calculables Definition Un nombre réel est calculable, s il existe une machine de Turing qui peut produire son écriture décimale (sans entrée). Theorem (Rice54) L ensemble des réels calculables R c est un corps réel algébriquement clos. Ce corps contient tous les nombres réels courants rencontrés en analyse (ex. 2, π, e, etc.). On a Q A R c R (A est l ensemble des nombres algébriques). R c est dénombrable. Le corps R c n est pas complet. Dans l école Russe (ex. Markov, Sanin, Kushner, Aberth) on étudie la calculabilité f : R c R c.
Caractérisations de réels calculables Theorem Soit x [0, 1]. Les assertions suivantes sont équivalentes x est un réel calculable. il existe une suite calculable de rationnels (q n ) n N qui converge rapidement vers x, i.e q i x < 2 i. {q Q : q < x} est un ensemble récursif. il existe un ensemble récursive A N tel que x = i A 2 i 1. x admet une écriture en fraction continue calculable : c.a.d il existe une fonction calculable f : N N telle que x = f (0) + 1. 1 f (1) + f (2)+ 1 f (3)+
Fonctions Calculables : idée naïve Un ruban représente un nombre réel M se comporte comme une machine de Turing Ruban de sortie one-way write-only. M produit une représentation de f (x 1, x 2 ) à partir de représentations de x 1, x 2. Theorem La fonction f : R R, x 3x n est pas calculable vis-à-vis de la représentation par écriture décimale.
Fonctions Calculables : définition correcte Due à Turing, Grzegorczyk, Lacombe. Présentation ici de Weihrauch. Un ruban représente un nombre réel Chaque nombre réel x est représenté par une suite infinie (q n ) n Q, q n x 2 n M se comporte comme une machine de Turing Ruban de sortie one-way write-only. M produit une représentation de f (x 1, x 2 ) à partir de représentations de x 1, x 2.
Fonctions calculables Theorem Les fonctions suivantes sont calculables : Les opérations arithmétiques +,,., : R R R. La fonction valeur absolue abs : R R, x x. Les fonctions min, max : R R R. Les fonctions constantes R R, x c avec c R c. Les projections pr i : R n R, (x 1,, x n ) x i. Les polynômes p : R n R avec des coefficients calculables. La fonction exponentielle et les fonctions trigonométriques exp, sin, cos : R R. La fonction racine carré et la fonction logarithme log sur son domaine naturel.
Quelques résultats Theorem Si f : R R est calculable alors f : R R est continue. Quelques résultats : TVI : Il n y a pas d algorithme général qui détermine un 0 d une fonction continue f : [0, 1] R avec f (0)f (1) < 0. Brouwer FPT : Il existe une fonction calculable f : [0, 1] 2 [0, 1] 2 sans point fixe calculable [Orevkov63]. Il existe une fonction calculable f : [0, 1] R de classe C 1, mais dont la dérivée n est pas calculable [Myhill71]. Il existe une fonction f : [0, 1] [ 1, 1] R calculable telle que y = f (t, y), possède aucune solution calculable sur aucun intervalle fermé [PE-R79].
Ensembles calculables Principe : Un ensemble fermé A R 2 est récursif ssi il peut être dessiné par un ordinateur physique à une résolution arbitraire. Definition La fonction distance d A : R n R d un ensemble non-vide A R n est définie par d A (x) = inf y A x y. Definition Un ensemble fermé A R n est récursif si d A : R n R est calculable.
L ensemble de Mandelbrot Question ouverte : Est-ce que l ensemble de Mandelbrot M = {c C : n fc n (0) < 2} est un ensemble récursif fermé de R 2? (ici f c : C z z 2 + c) Theorem (Hertling2005) Si la conjecture hyperbolique est vraie, alors l ensemble de Mandelbrot est récursif.
Complexité Il est possible de définir une notion de réel et de fonction calculable en temps polynomial [Ko91] il faut changer la représentation (signed digit representation) l idée est qu on impose que l on doit produire le nième bit en temps p(n) pour un polynôme p.
Quelques résultats P = NP ssi pour toute fonction f : [0, 1] R calculable en temps polynomial, la fonction maximum g : [0, 1] R définie par g(x) = max{f (y) : 0 y x} pour tout x [0, 1] est calculable en temps polynomial [Friedman84] P = PSPACE implique que pour toute fonction f : [0, 1] [ 1, 1] R qui satisfait une condition de Lipschitz f (x, z 1 ) f (x, z 2 ) L z 1 z 2 pour L > 0, la solution unique y : [0, 1] R de l équation différentielle y = f (x, y(x)), y(0) = 0 est calculable en temps polynomial [Ko83].
Problèmes numériques vs Complexité Classification grossière ([Ko91,Brattka2005] ) : Problème numérique Optimisation (fonctions) Équations différentielles ordinaires Intégration Optimisation (nombres) Racines (dim 1) Différentiation Classe de complexité EXPSPACE-complet PSPACE-complet #P-complet NP-complet P-complet P (si calculable)
Plus d informations Klaus Weihrauch, Computability and Complexity in Analysis, Springer, 2000. Ker-I Ko, Complexity Theory of Real Functions, Birkhäuser, 1991. Marian Pour-El and J. Ian Richards, Computability in Analysis and Physics, Springer 1989.
Modèle de Blum Shub Smale
Motivation initiale Fournir un cadre théorique pour étudier la calculabilité et la complexité de problèmes de l analyse numérique, de la géométrie, de la topologie...
Notion de réduction Problème 1 : Etant donné f R[X 1,, X n ], existe t il un zéro réel x R n de f? Problème 2 : Etant donné a 1,, a m, b 1,, b m, est-ce que a T 1 x = b 1,, a T mx = b m possède une solution? Problème 2 Problème 1. Considérer la réduction via f (X ) = m i=1 (at i x b i ) 2.
Simple vs Compliqué f (x) = ax + b, a, b entrées a 0 : il y a un zéro, et x = b/a. a = 0, b = 0, similaire, et x arbitraire Prouver l existence est facile, si les tests y = 0 sont autorisés. Calcul facile, si la division est autorisée. f (x) = ax 2 + bx + c, a, b, c entrées. Existence si b 2 4ac 0, facile avec les tests y 0? Calcul facile, si +,,, :, y y sont autorisés. f univariée existence : Sturm calcul : en général impossible. général f : R n R m : théorie de la complexité sur les réels
Méthode de Newton x R, e > 0 avec f : R R polynôme. x <- x - f(x)/f'(x) f(x) e non oui Arrêt, sortie x
1989 : Calculs sur R Machine de Blum Shub Smale : similaire à une machine de Turing, avec les propriétés : Les cases des rubans contiennent des éléments arbitraires de R. Noeuds de calculs pour calculer les opérations +,,, / à coût unitaire. Noeuds constants pour produire des constantes dans R. Noeuds de branchement pour brancher sur des tests a b (réalisé à coût unitaire). Noeuds de déplacement pour déplacer la tête de lecture. Entrées et les sorties sont des vecteurs de R = n N Les problèmes de décision sont des sous-ensembles de R. R n
Quelques résultats de calculabilité Il existe une machine BSS Universelle. Le problème de l arrêt des machines BSS est BSS-indécidable. L ensemble de Mandelbrot est indécidable (mais co-récursivement énumérable). L ensemble des points qui convergent sous l algorithme de Newton est indécidable.
1995 : Structures arbitraires K (Poizat) Une structure K = (K, {op i } i I, rel 1,..., rel l, 0, 1) est donnée par : Un ensemble sous-jacent K Des opérations op ı, ı I sur K, avec arités. Des relations rel 1,..., rel l over K, avec arités. Conventions : Les constantes correspondent à des opérateurs d arité 0. K contient au moins deux éléments avec les constantes associées 1, 0. La relation d égalité = sur K est une relation de K. Il y a au moins une opération Sel d arité 3 avec Sel(0, x, y) = x, Sel(1, x, y) = y. L ensemble I des opérations d arité > 0 est fini.
Machine BSS sur K Machine de Blum Shub Smale : similaire à une machine de Turing, avec les propriétés : Les cases des rubans contiennent des éléments arbitraires de K. Noeuds de calculs pour calculer les opérations {op i } i I à coût unitaire. Noeuds de branchement pour les tests rel 1,..., rel l à coût unitaire. Noeuds de déplacement pour déplacer la tête de lecture. Entrées et les sorties sont des vecteurs de K = n N Les problèmes de décision sont des sous-ensembles de K. K n
Cadres principaux Classique : K = Z 2 = ({0, 1}, =, 0, 1) Additif (ordonné) : K = R ovs = (R, +,, c R, ) Réel non-restreint : K = R = (R, +,,, /, c R, ) Complexe : K = C = (C, +,,, /, c C, =)
P, NP, conp,... Mesure du temps : # de pas de calculs P K : sous-ensemble de K décidés en temps polynomial (coût unitaire). NP K = Σ 1 K : sous-ensemble de K décidés en temps polynomial non-déterministe (témoins existentiels dans K ) DNP K = DΣ 1 K : sous-ensemble de K décidés en temps polynomial non-déterministe (témoins existentiels dans {0, 1} )
Relations d inclusions
Réductions et Complètude Définition : A K B ssi il existe une machine BSS sur K telle que, pour tout x K, x A Φ M (x) B et M travaille en temps polynomial. Il existe des problèmes NP K -complets naturels. Ex : K = Z 2 : 3SAT est NP-complet. K = R ovs : DIM ovs (dimension d un ensemble semi-linéaire) est NP Rovs -complet. K = R : 4FEAS R (existence d un zéro à un polynôme multivarié de degré 4) est NP R -complet. K = C : HN C (existence d un zéro commun à un système de polynômes) est NP C -complet.
Statut de la question P K = NP K K = Z 2 : P = NP est ouvert. K = R ovs : P ovs = NP ovs est ouvert. P ovs = NP ovs P/Poly = NP/Poly. NP ovs = DNP ovs K = R : P R = NP R est ouvert. PH R EXP R K = C : P C = NP C est ouvert. PH C EXP C K = R sin : P R sin NP R sin (pas d élimination des quanteurs) K = R vs = (R, +,, c R, =) : (Σ 2 R vs Π 2 R vs ) \ (Σ 1 R vs Π 1 R vs ) PH Rvs EXP Rvs P vs = NP vs est ouvert.
Statut de la question P K = NP K K = Z 2 : P = NP est ouvert. K = R ovs : P ovs = NP ovs est ouvert. P ovs = NP ovs P/Poly = NP/Poly. NP ovs = DNP ovs K = R : P R = NP R est ouvert. PH R EXP R K = C : P C = NP C est ouvert. PH C EXP C K = R sin : P R sin NP R sin (pas d élimination des quanteurs) K = R vs = (R, +,, c R, =) : (Σ 2 R vs Π 2 R vs ) \ (Σ 1 R vs Π 1 R vs ) PH Rvs EXP Rvs P vs = NP vs est ouvert.
Statut de la question P K = NP K K = Z 2 : P = NP est ouvert. K = R ovs : P ovs = NP ovs est ouvert. P ovs = NP ovs P/Poly = NP/Poly. NP ovs = DNP ovs K = R : P R = NP R est ouvert. PH R EXP R K = C : P C = NP C est ouvert. PH C EXP C K = R sin : P R sin NP R sin (pas d élimination des quanteurs) K = R vs = (R, +,, c R, =) : (Σ 2 R vs Π 2 R vs ) \ (Σ 1 R vs Π 1 R vs ) PH Rvs EXP Rvs P vs = NP vs est ouvert.
Statut de la question P K = NP K K = Z 2 : P = NP est ouvert. K = R ovs : P ovs = NP ovs est ouvert. P ovs = NP ovs P/Poly = NP/Poly. NP ovs = DNP ovs K = R : P R = NP R est ouvert. PH R EXP R K = C : P C = NP C est ouvert. PH C EXP C K = R sin : P R sin NP R sin (pas d élimination des quanteurs) K = R vs = (R, +,, c R, =) : (Σ 2 R vs Π 2 R vs ) \ (Σ 1 R vs Π 1 R vs ) PH Rvs EXP Rvs P vs = NP vs est ouvert.
Statut de la question P K = NP K K = Z 2 : P = NP est ouvert. K = R ovs : P ovs = NP ovs est ouvert. P ovs = NP ovs P/Poly = NP/Poly. NP ovs = DNP ovs K = R : P R = NP R est ouvert. PH R EXP R K = C : P C = NP C est ouvert. PH C EXP C K = R sin : P R sin NP R sin (pas d élimination des quanteurs) K = R vs = (R, +,, c R, =) : (Σ 2 R vs Π 2 R vs ) \ (Σ 1 R vs Π 1 R vs ) PH Rvs EXP Rvs P vs = NP vs est ouvert.
Statut de la question P K = NP K K = Z 2 : P = NP est ouvert. K = R ovs : P ovs = NP ovs est ouvert. P ovs = NP ovs P/Poly = NP/Poly. NP ovs = DNP ovs K = R : P R = NP R est ouvert. PH R EXP R K = C : P C = NP C est ouvert. PH C EXP C K = R sin : P R sin NP R sin (pas d élimination des quanteurs) K = R vs = (R, +,, c R, =) : (Σ 2 R vs Π 2 R vs ) \ (Σ 1 R vs Π 1 R vs ) PH Rvs EXP Rvs P vs = NP vs est ouvert.
Questions d espace Sur K = R, il existe une constante universelle c telle que, pour tout problème de décision L décidable et toute entrée x, il existe un algorithme qui décide x L en espace au plus x + c (ralentissement exponentiel). Sur K = R ovs x 2, il existe une constante universelle c telle que, pour tout problème de décision en temps polynomial et toute entrée x, il existe un algorithme en temps polynomial qui décide x L en espace au plus x + c. pas d analogue à PSPACE, LOGSPACE, etc... sur K = Z 2, PAT = PSPACE = PAR
Circuits Un circuit C calcule F C : K n K m. x y z - π 0 sortie si x y 0 alors z sinon π, n = 3, m = 1
Calculs avec des circuits Les classes de complexité peuvent se définir en termes de circuits : P K est l ensemble des langages de K décidés par une famille uniforme de circuits de taille polynomiale. NP K est l ensemble des langages L de K tel qu il existe L P K, et un polynôme p, avec x L y K p( x ) : (x, y) L
Calculs avec des circuits Les classes de complexité peuvent se définir en termes de circuits : P K est l ensemble des langages de K décidés par une famille uniforme de circuits de taille polynomiale. NP K est l ensemble des langages L de K tel qu il existe L P K, et un polynôme p, avec x L y K p( x ) : (x, y) L
P K défini par les circuits Theorem Un problème L est dans P K ss il existe un m-uple de paramètres a = (a 1,..., a m ) K m, et une famille C n (x, z) de circuits sur K, où x = (x1,..., x n ) z = (z 1,..., z m ) tels que 1 la fonction qui a n associe C n (x, z) considéré comme un mot booléen est calculable par un algorithme standard en temps polynomial en n. 2 C n (x, a) résout le problème pour les entrées de taille n : i.e. donne 1 pour x si x appartient a L, 0 sinon.
Conclusion Plusieurs modèles sur les réels Avec des motivations différentes. Peu de relations Cet exposé General Purpose Analog Computer Approche de l analyse récursive Modèle de Blum Shub Smale, étendu par Poizat