FROM FlNDlNG MAXIMUM FEASIBLE SUBSYSTEMS OF LINEAR SYSTEMS TO FEEDFORWARD NEURAL NETWORK DESIGN

Transcription

1 FROM FlNDlNG MAXIMUM FEASIBLE SUBSYSTEMS OF LINEAR SYSTEMS TO FEEDFORWARD NEURAL NETWORK DESIGN ÉCOLE POLYTECHNIQUE FÉDÉRALE DE LAUSANNE POUR L'OBTENTION DU GRADE DE DOCTEUR Ès SCIENCES PAR EDOARDO AMALDI Ingénieur mathématicien diplômé EPF de nationalités italienne et suisse acceptée sur proposition du jury: Prof. D. de Werra, rapporteur Prof. Y. Abu-Mostafa, corapporteur Prof. M. Hasler, corapporteur Prof. J.-P. Vial, corapporteur Lausanne, EPFL 1 994

2 Abstract The central theme of this dissertation is the important class of problems that consist, given a possibly infeasible linear system, of finding a solution that satisfies a maximum number of relations or violates a minimum number of them. Many variants of these problems are attracting considerable attention in a wide range of fields such as operations research, pattern recognition and machine learning. Previous and ongoing works include a number of exact and heuristic algorithms for tackling various special cases. Before we started our work, not much was known on the intrinsic complexity of solving this widespread class of problems. What is more, their approximability was unresolved even though approximate solutions are of great practical value. In the first part of this thesis we consider the main variants of these combinatorial problems within a unified framework and investigate their inherent complexity, independently from any particular algorithm. Building on the recent advances in computational complexity, we study in detail the two complementary problems with any of the four types of relational operators =, 2, > and #. Besides the basic versions, particular at- tention is devoted to important variants with mixed types of relational operators, to weighted versions where a different importance can be assigned to each relation and to constrained ones with mandatory relations or discrete variables. Since in practice ap proximate solutions often suffice, we determine the complexity of solving these problems to optimality and, whenever they are intractable, we try to determine their degree of approximability as precisely as possible. Our collection of results shows that the approximability of similar variants can differ enormously and it allows to locate them within the emerging hierarchy of approximation classes. The second part of this thesis is devoted to the special variants of these combinatorial problems arising in the rapidly growing field of artificial neural networks. The focus is on feedfomard networks of linear threshold units. First we discuss the implications of our complexity results on the difficulty of training this type of networks. In particular, we disprove the "folk" theorem stating that training single-layer networks is easy while it becomes intractable as soon as there are hidden units. However, we show that the situation is not as bad as it has subsequently been claimed by some other authors. Based on this discussion which goes beyond artificial neural networks, we propose an extension of the famous PAC mode1 of learning from examples that makes it more realistic. The fundamental issue of designing close-tominimum size networks is also addressed with a special focus on nonzero weights instead

3 of computing units. In particular, we prove that polynomial time algorithms guaranteed to design near-optimum perceptrons with a number of nonzero weights that is at most logarithmically larger than the minimum one are extremely unlikely. The intrinsic complexity of training even single-layer networks and designing compact perceptrons, compels us to look for efficient heuristics. Our interest is in simple methods that require local information and are reasonable candidates for hardware implementa- tion. Two variants of the famous perceptron algorithm are presented for minimizing the number of errors made by a single unit. The first one is a version of the thermal rule that makes it adaptive and more efficient. The second one is a probabilistic variant that requires lower precision computations and has an asymptotic convergence guarantee. The numerical experiments carried out on simulated and real-world data show that our variants converge much faster than the competing ones while providing comparable solutions. Three constructive methods for designing multilayer networks are then presented. Starting with a single-layer network, new units are allocated incrementally and each of them is trained using the above-mentioned procedures. Unlike in conventional training algorithms, in constructive methods the topology does not need to be guessed a priori and the computational burden is much lower. A set of experiments indicates that our SHIFT method compares favorably with various competing strategies for building multilayer networks. Since constructive algorithms are based on a greedy approach, it turns out that it is not necessary and even desirable to train each unit optimally. In fact, if efficient variants of the perceptron procedure are used to train single units, our simple constructive strategy produces rapidly compact networks with good generalization properties.

4 Résumé Le thème central de cette thèse est l'étude d'une classe importante de problèmes qui consistent, étant donné un système linéaire, à déterminer une solution satisfaisant un nombre maximum de relations ou en violant un nombre minimum. De nombreuses variantes de ces problèmes se rencontrent dans des domaines aussi variés que la recherche opérationnelle, la reconnnaissance de formes et l'apprentissage automatique. Les travaux de recherche achevés et en cours portent principalement sur des méthodes exactes et heuristiques visant plusieurs cas particuliers. Avant ce travail, on ne savait que peu de chose de la complexité de cette vaste classe de problèmes et, bien que les solutions approchées soient d'une importance capitale en pratique, leur niveau d'approximabilité n'avait pas encore été étudié. Dans la première partie de cette thèse nous considérons les principales variantes de ces problèmes combinatoires dans un même cadre et nous étudions leur degré d'approximabilité intrinsèque, indépendamment de tout algorithme. Sur la base des récents développe- ments en théorie de la complexité, nous analysons en détail les deux problèmes com- plémentaires en envisageant les quatre principaux opérateurs =, >, > et #. Partant des versions de base, nous considérons également les variantes contenant divers types d'opérateurs, les versions pondérées dans lesquelles un poids propre peut être attribué à chaque relation et les versions contraintes contenant des relations obligatoires ou des variables astreintes à prendre des valeurs discrètes. Les solutions approchées étant sou- vent satisfaisantes, nous établissons la complexité de ces divers problèmes en termes de solutions optimales et, lorsqu'ils ne peuvent être résolus en temps polynomial, nous déterminons aussi précisément que possible leur degré d'approximabilité. Nos résul- tats montrent que des variantes apparemment semblables peuvent avoir des propriétés d'approximation très différentes. De plus, ils nous permettent de les situer à l'intérieur de la hiérarchie des classes de complexité qui est en cours de d'élaboration. La deuxième partie de cette thèse est consacrée aux cas particuliers de ces problèmes que l'on rencontre dans le domaine, en plein essor, des réseaux de neurones artificiels. Dans ce cadre, nous nous intéressons aux réseaux multicouches à unités binaires à seuil. Nous étudions tout d'abord les conséquences de nos résultats de complexité au niveau de la difficulté de l'apprentissage dans ce type de réseaux. En particulier, nous réfutons la conjecture communément admise selon laquelle le problème d'apprentissage dans les réseaux monocouches est facile et devient difficile dès que le réseau possède des

5 unités cachées. Cependant, nous montrons que ce problème n'est pas aussi difficile que d'autres auteurs l'on prétendu à la suite de nos premiers travaux. En plaçant ce résultat dans un contexte plus général, nous proposons une extension du célèbre modèle PAC d'apprentissage sur la base d'exemples qui le rend plus réaliste. Le problème fonda- mental de configuration de réseaux de taille minimum est également abordé en mettant l'accent sur le nombre de poids non nuls au lieu du nombre d'unités. Nous démontrons notamment qu'il n'existe très vraisemblablement pas d'algorithme fournissant des per- ceptrons dont le nombre de poids non nuls dépasse le minimum d'au plus un facteur logarithmique. La complexité des problèmes d'apprentissage et de configuration même pour de sim- ples perceptrons, ne permet d'envisager que des méthodes heuristiques. Dans ce cadre, nous nous intéressons à des algorithmes qui nécessitent des informations locales et qui pourraient faire l'objet de réalisations matérielles. Deux variantes de la célèbre méthode du perceptron sont proposées afin de min- imiser le nombre d'erreurs commises par une unité isolée. La première est une version de l'approche "thermique" qui ne nécessite pas de réglage explicite des paramètres et qui s'avère plus efficace. La deuxième est une variante probabiliste qui présente des avantages quant au calcul et qui possède une garantie de convergence asymptotique. Les résultats numériques montrent que nos variantes convergent plus rapidement que celles concurrentes, tout en fournissant des solutions d'aussi bonne qualité. Enfin, nous proposons trois méthodes constructives pour la configuration de réseaux multicouches. Partant d'un réseau sans unités cachées, de nouvelles unités sont ajoutées de manière incrémentale et l'apprentissage de chacune d'entre elles est réalisé avec les procedures sus-mentionnées. Contrairement aux méthodes conventionnelles, les alg* rithmes constructifs ne nécessitent pas le choix de la topologie du réseau a priori et ils sont nettement moins coûteux en temps de calcul. Des expériences portant sur des données simulées et réelles indiquent que notre algorithme du SHIFT présente plusieurs avantages par rapport à plusieurs méthodes de même catégorie. Les approches con- structives étant basées sur un principe "glouton", il ne s'avère pas nécessaire, ni même souhaitable, de réaliser un apprentissage optimal au niveau de chaque unité. En utilisant les variantes efficaces de la méthode du perceptron, notre stratégie constructive fournit des réseaux de petite taille qui possèdent de bonnes propriétés de généralisation.

6 Contents 1 Introduction Maximum feasible subsystems of linear systems The many fields of occurrence Computational geometry Political science Linear editing Linear programming Discriminant analysis Artificial neural networks Outline of the thesis Preliminaries Computational complexity Optimization problems Approximation algorithms and schemes Approximation preserving reductions Some approximation classes Classes defined using approximability measures MAX SNP: a class defined by logical formulae Towards a hierarchy of approximation classes Randomized algorithms: basic definitions The complexity of MAX FLS and MIN ULR The hardness of solving MAX FLS and MIN ULR optimally The hardness of approximating MAX FLS Basic MAX FLS MAX FLS= in finite fields: a particular case Weighted and constrained MAX FLS

7 CONTENTS MAX FLS with bounded discrete variables Summary of MAX FLS results The hardness of approximating MIN ULR Basic MIN ULR MIN RVLS: a class of closely related problems Weighted and constrained MIN ULR Variants with bounded discrete variables Summary of MIN ULR and MIN RVLS results Concluding remarks On the complexity of learning in feedforward neural networks Feedforward networks of linear threshold units Computational learning theory The PAC mode Sample complexity for feedforward networks PAC-learnability and the hardness of the consistency problem The complexity of training single-layer networks Training perceptrons is harder than linear programming A more realistic PAO-leaming mode Approximability of MIN P-DISAGREEMENT Approximability of MAX P-CONSISTENCY The true difficulty of training single-layer networks The hardness of designing close-to-minimum size networks Training single perceptrons The perceptron algorithm The thermal perceptron algorithm revisited The TPA error function Two adaptive and efficient TPA versions The probabilistic perceptron algorithm Comparative results Concluding remarks Designing feedforward networks Network design Limitations on constructive strategies

8 CONTENTS ix The SNEAK algorithm The PT1 algorithm The SHIFT algorithm Experimental results Network size Generalization Real-world problem Concluding remarks 166 Conclusion 169 Appendix: List of problems 171 Bibliography 175