Cours de Compilation: 2004/2005 Maîtrise d’Informatique Paris VII Roberto Di Cosmo e-mail: [email protected] WWW: http://www.dicosmo.org Modalités du cours I Nb cours : 12 (vendredi de 14h30 à 16h30 en Amphi 34A) I Nb TD : 12 (début la semaine du 11 Octobre) I Chargés de TD : Vincent Balat, Juliuz Chroboczeck, Alexandre Miquel Lundi 16h30-18h30 (J6), Mardi 12h30-14h30 (J4 et J7), Jeudi 16h30-18h30 (J8) I Partiel projet : mi-décembre I Soutenance projet : fin décembre I Examen final : entre le lundi 17 janvier 2005 et le samedi 5 février 2005 I Note Janvier : 1 2 note projet + I Note Septembre : 1 2 note projet + 1 2 1 2 exam Janvier exam Septembre Checklist I inscrivez-vous tout de suite sur la mailing list: http://ufr.pps.jussieu.fr/wws/info/m1-0405-compilation I marquez la page web du cours dans vos signets: http://www.dicosmo.org/CourseNotes/Compilation/ I commencez à reviser OCaml I reflechissez à la composition des groupes pour le projet (maximum 3 personnes) 1 Plan du cours 1. Notions préliminaires : structure d’un compilateur (front-end, back-end, coeur), description de la machine cible assembleur (RISC 2000) 2. Mise à niveau Ocaml faite exclusivement en TP (langage disponible librement par ftp depuis l’Inria ftp.inria.fr) 3. Analyse lexicale et syntaxique : bref rappel sur Lex, Ocamllex, Yacc, Ocamlyacc 4. Arbre de syntaxe abstraite : structure et représentation 5. Analyse statique : typage (rappels) 6. Structure de la machine d’éxécution pour un langage a blocs 7. Pile des blocs d’activation pour fonctions/variables locales 8. Interface entre front-end et coeur: le code intermediaire (génération, optimisation, linéarisation) 9. Génération du code assembleur 10. Allocation des régistres 11. Extensions: I typage des types recursifs I allocation de registres par coloriage de graphes I compilation des langages à objets I compilation des langages fonctionnels I machines virtuelles I algèbre des T pour la génération et le bootstrap des compilateurs Bibliographie I Compilers: Principles, Techniques and Tools. Alfred V. AHO, Ravi SETHI, Jeffrey D. ULLMAN, Addison-Wesley. Version française en bibliothèque. I Modern Compiler Implementation in ML. Andrew APPEL, CAMBRIDGE UNIVERSITY PRESS http://www.cs.princeton.edu/~appel/modern/ml/ Une vingtaine de copies à la bibliothèque. 2 I Développement d’applications avec Objective Caml Emmanuel CHAILLOUX, Pascal MANOURY, Bruno PAGANO, O’Reilly. Bibliothèque et en ligne1 . I Manuel Ocaml en ligne: http://caml.inria.fr/ocaml/htmlman/ index.html I SPIM, un simulateur RISC 2000 http://www.cs.wisc.edu/~larus/ spim.html Généralités: le terme “compilateur” compilateur : “Personne qui reunit des documents dispersés” (Le Petit Robert) compilation : “Rassemblement de documents” (Le Petit Robert) Mais le programme qui “reunit des bouts de code dispersés” s’appelle aujourd’hui un Editeur de Liens2 Le terme “compilateur” On appelle “compilateur” une autre chose: com·pil·er (Webster) 1: one that compiles 2: a computer program that translates an entire set of instructions written in a higher-level symbolic language (as COBOL3) into machine language before the instructions can be executed Qu’est-ce que le “langage machine”? Notions (abstraites) de base machine hardware le processeur machines virtuelle une machine qui reconnait un certain nombre d’instructions qui ne sont pas toutes “natives” pour la machine hardware. Ex: le compilateur C produit du code assembleur qui fait appel à un ensemble de fonctions système (ex.: les E/S). Donc il produit du code pour la machine virtuelle définie par les instructions hardware, plus les appels système. On rencontre souvent les machines virtuelles suivantes 1 http://www.pps.jussieu.fr/Livres/ora/DA-OCAML/index.html ld 3 :-) 2 3 I Programmes d’application I Langage de programmation evolué I Langage d’assemblage I Noyau du système d’exploitation I Langage machine Qu’est-ce qu’un interpreteur? Un programme qui prends en entrée un autre programme, écrit pour une quelque machine virtuelle, et l’execute sans le traduire. Ex: I l’interpréteur VisualBasic, I le toplevel Ocaml, I l’interpreteur PERL, I l’interpreteur OCaml, I etc. Qu’est-ce qu’un compilateur? I Un programme, qui traduit un programme écrit dans un langage L dans un programme écrit dans un langage L’ différent de L (en général L est un langage évolué et L’ est un langage moins expressif). Quelques exemples: – Compilation des expressions régulières (utilisées dans le shell Unix, les outils sed, awk, l’éditeur Emacs et les bibliothèques des langages C, Perl et Ocaml) – Minimisation des automates (compilation d’un automate vers un automate plus efficace) – De LaTex vers Postscript ou HTML (latex2html/Hevea) – De C vers l’assembleur x86 plus les appels de système Unix/Linux – De C vers l’assembleur x86 plus les appels de système Win32 On peut “compiler” vers une machine. . . interpretée (ex: bytecode Java, bytecode Ocaml) 4 La décompilation on va dans le sens inverse, d’un langage moins structuré vers un langage évolué. Ex: retrouver le source C à partir d’un code compilé (d’un programme C). Applications: I récupération de vieux logiciels I découverte d’API cachées I ... Ell’est authorisée en Europe à des fins d’interopérabilité Notions (abstraites) de base, II Il ne faut pas tricher. . . un compilateur ne doit pas faire de l’interprétation. . . Pourtant, dans certains cas, il est inevitable de retrouver du code interprété dans le code compilé I printf("I vaut %d\n",i); serait à la limite compilable I s="I vaut %d\n"; printf(s,i); est plus dur I alors que void error(char *s) { printf(s,i);} devient infaisable Pause questions . . . Pourquoi étudier des compilateurs? Pourquoi construire des compilateurs? Pourquoi venir au cours? 5 (Presque) toute l’informatique dans un compilateur algorithmique parcours et coloration de graphes 4 programmation dynamique5 stratégie gloutonne6 théorie automates finis7 , à pile8 treillis, point fixe9 réécriture10 intelligence algorithmes adaptatifs artificielle recuit simulé architecture pipelining, scheduling Un problème actuel I on crée des nouveaux langages (essor des DSL 11 ), ils ont besoin de compilateurs I les anciens langages évoluent (C, C++, Fortran) I les machines changent (architectures superscalaires, etc.) I des concepts difficiles deviennent mieux compris, et implémentables (polymorphisme, modularité, polytypisme, etc.) I les préoccupations changent (certification 12 , securité) Comparaison multicritères Qu’est-ce qui est important13 dans un compilateur? I le code produit est rapide I le compilateur est rapide I les messages d’erreurs sont précis I le code produit est correct I le code produit est certifié correct I il supporte un debogeur I il supporte la compilation séparée I il sait faire des optimisations poussées 11 domain specific languages Travail de Andrew Appel 13 pour vous 12 6 Structure logique d’un compilateur Un compilateur est un logiciel très complexe: I on essaye de réutiliser au maximum ses composantes, donc on identifie : code source front-end code machine IR IR coeur back-end – un “front-end” lié au langage source – un “back-end” lié à la machine cible – un “code intermédiaire” commun IR sur lequel travaille le coeur du système Cela permet d’ecrire les nm compilateurs de n langages source à m machines cible L1 M1 .. . .. . Ln Mm en écrivant seulement un coeur, n front-ends et m back-ends L1 .. . M1 IR Ln .. . Mm Structure d’un compilateur moderne 7 Structure détaillée d’un compilateur Front-end: I analyse lexicale (flot de lexemes) théorie: langages réguliers outils: automates finis logiciels: Lex (et similaires) I analyse syntaxique (flot de reductions) théorie: langages algébriques outils: automates à pile logiciels: Yacc (et similaires) I actions sémantiques (contruction de l’arbre de syntaxe abstrait, AST) outils: grammaires attribuées logiciels: encore Yacc I analyse sémantique (vérification des types, portée des variables, tables des symboles, gestion des environnements etc.) rends l’AST décoré et les tables des symboles outils: grammaires attribuées, ou à la main I traduction en code intermédiaire (souvent un arbre, independant de l’architecture cible) Coeur: I linéarisation du code intermédiaire (transformation en liste d’instructions du code intermediaire) I diffèrentes optimisations – analyse de vie des variables et allocation des registres – transformation des boucles (déplacement des invariants, transformations affines) – function inlining, depliement des boucles, etc. Back-end: I séléction d’instructions (passage du code intermédiaire à l’assembleur de la machine cible, eventuellement abstrait par rapport aux noms des registres) I émission du code (production d’un fichier écrit dans l’assembleur de la machine cible) I assemblage (production des fichiers contenant le code machine) 8 I édition des liens (production du fichier executable) Ces quatre dernières phases seulementdépendent de la machine assembleur cible Les phases cachées d’un compilateur: l’apparence ranger> cat simplaffine.c #include <stdio.h> main () {int i=0; int j=0; for (i=0;i<10;i++) {j=6*i;}; printf("Resultat: %d", j); exit(0);} ranger> gcc -o simplaffine simplaffine.c ranger> ls -l simplaffine* -rwxr-xr-x 1 dicosmo 50784 Oct 2 15:43 simplaffine* -rw-r--r-- 1 dicosmo 139 Oct 2 15:42 simplaffine.c Les phases cachées d’un compilateur: la réalité ranger>gcc -v -o simplaffine --save-temps simplaffine.c Reading specs from /usr/lib/gcc-lib/i386-linux/2.95.4/specs gcc version 2.95.4 20011002 (Debian prerelease) /usr/lib/gcc-lib/i386-linux/2.95.4/cpp0 -lang-c -v -D__GNUC__=2 -D__GNUC_MINOR__=95 -D__ELF__ -Dunix -D__i386__ -Dlinux -D__ELF__ -D__unix__ -D__i386__ -D__linux__ -D__unix -D__linux -Asystem(posix) -Acpu(i386) -Amachine(i386) -Di386 -D__i386 -D__i386__ simplaffine.c simplaffine.i GNU CPP version 2.95.4 20011002 (Debian prerelease) (i386 Linux/ELF) /usr/lib/gcc-lib/i386-linux/2.95.4/cc1 simplaffine.i -quiet -dumpbase simplaffine.c -version -o simplaffine.s GNU C version 2.95.4 20011002 (Debian prerelease) (i386-linux) compiled by G as -V -Qy -o simplaffine.o simplaffine.s GNU assembler version 2.12.90.0.1 (i386-linux) using BFD version 2.12.90.0. /usr/lib/gcc-lib/i386-linux/2.95.4/collect2 -m elf_i386 -dynamic-linker /lib/ld-linux.so.2 -o simplaffine /usr/lib/crt1.o /usr/lib/crti.o /usr/lib/gcc-lib/i386-linux/2.95.4/crtbegin.o -L/usr/lib/gcc-lib/i386-linux/2.95.4 simplaffine.o -lgcc -lc -lgcc 9 /usr/lib/gcc-lib/i386-linux/2.95.4/crtend.o /usr/lib/crtn.o ranger> ls -rwxrwxr-x -rw-rw-r--rw-rw-r--rw-rw-r--rw-rw-r-- -al simplaffine* 1 dicosmo 4764 1 dicosmo 136 1 dicosmo 21353 1 dicosmo 1028 1 dicosmo 877 Sep Sep Sep Sep Sep 19 19 19 19 19 18:29 18:28 18:29 18:29 18:29 simplaffine simplaffine.c simplaffine.i simplaffine.o simplaffine.s 4 étapes: I preprocesseur: cpp0 traduit simplaffine.c en simplaffine.i I compilateur: cc1 traduit simplaffine.i en simplaffine.s I assembleur: as traduit simplaffine.s en simplaffine.o I éditeur de liens: collect214 transforme simplaffine.o en executable simplaffine, en résolvant les liens externes Un exemple simple #include <stdio.h> main () {int i=0; int j=0; for (i=0;i<10;i++) {j=6*i;}; printf("Resultat: %d", j); exit(0);} Produit: ranger> gcc -o simplaffine -v -save-temps simplaffine.c Un exemple simple: preprocesseur #1 "simpleaffine.c" #1 "/usr/include/stdio.h" 1 ... extern int printf ( const char * format , ... ) ; ... #1 "simpleaffine.c" 2 main ( ) { int i = 0 ; int j = 0 ; 14 un enrobage de ld 10 for ( i = 0 ; i < 10 ; i ++ ) { j = 6 * i ; } ; printf ( "Resultat: %d" , j ) ; exit ( 0 ) ; } Un exemple simple: compilation vers assembleur .file .rdata .align $LC0: .ascii .text .align .globl .ent 1 "example.c" 2 "Resultat: " 2 main main # prologue de la fonction main: subu sw sw sw move sw sw sw $sp,$sp,48 $31,40($sp) $fp,36($sp) $28,32($sp) $fp,$sp $0,24($fp) $0,28($fp) $0,24($fp) # # # # # # # # allocation variables sur la pile sauve adresse de retour sauve vieux frame pointer sauve gp change frame pointer initialise variable i initialise variable j compilo bete $L3: lw slt bne j $L6: lw move sll addu sll sw $2,24($fp) $3,$2,10 $3,$0,$L6 $L4 # charge i dans $2 # | # si i<10, va a L6 $2,24($fp) $4,$2 $3,$4,1 $3,$3,$2 $2,$3,1 $2,28($fp) #charge i dans $2 (encore!) #i dans $4 #$3 = $4*2 #$3 = $3+$2 = 3* $2 #$2 = $3 *2 = 6* $2 #j = $2 = 6*i $L5: lw addu sw j $2,24($fp) $3,$2,1 $3,24($fp) $L3 #$2 #$3 #i= #on 11 = i (encore!!!) = i+1 $3 = i+1 reboucle a L3 $L4: la li syscall lw li syscall $L2: move lw lw addu j .end # on a fini!!!!!! $a0,$LC0 $v0,4 # print_string $a0,28($fp) $v0,1 # print_int $sp,$fp $31,40($sp) $fp,36($sp) $sp,$sp,48 $31 main # epilogue: # on restaure sp, fp, gp, ra # on revient la ou on nous a appele OUFFF! Un exemple simple: optimisations I Le compilateur arrive a faire tenire tout dans des registres, et trouve une façon plus efficace pour multiplier par 6. main: subu $sp,$sp,32 sw $31,28($sp) sw $28,24($sp) move $3,$0 $L23: sll $2,$3,1 addu $2,$2,$3 sll $5,$2,1 addu $3,$3,1 slt $2,$3,10 bne $2,$0,$L23 la $a0,$LC0 li $v0,4 syscall li $v0,1 addu $a0,$5,$0 syscall # # # # alloue place sur la pile sauve adresse de retour sauve gp initialise $3 (i) a 0 # ] # met $3 * 6 dans $5 (j) # ] # incremente $3 #] #si $3 < 10, reviens a $L23: # on a fini!!!!! # print_string # print_int # imprime j 12 Un exemple simple: optimisations II Le compilateur decouvre que j est une fonction affine de i. main: li $2,9 $L23: addu $2,$2,-1 bgez $2,$L23 la $a0,$LC0 li $v0,4 syscall li $v0,1 li $a0,54 syscall # boucle de 9 a 0 # # # # decremente $2 si pas 0, va a $L23 on a fini! print_string # print_int # 0x36 13