Expérimentation M++ #227

denismerigoux · 2023-11-29T12:42:06Z

No description provided.

into experimentation_mpp

denismerigoux

Merci beaucoup David ! J'ai pas fini ma review (il me manque les changements dans m_frontend notamment) mais je te laisse déjà quelques commentaires.

denismerigoux · 2024-02-28T15:35:01Z

Makefile

OK, c'est une grosse réécriture des Makefiles mais ta nouvelle organisation m'a l'air assez propre donc je suis pas contre changer ça. Par contre ça mérite de la doc, notamment une réécriture du README.md, pour expliquer comment appeler tes nouveaux Makefile pour builder, tester, etc.

On va essayer...

denismerigoux · 2024-02-28T15:35:44Z

Makefile.config.template

@@ -9,6 +9,8 @@

 # SOURCE_FILES=$(SOURCE_DIR_2018)

+# SOURCE_EXT_FILES=$(SOURCE_EXT_DIR_2018)


On peut mettre à jour < 2018 -> 2022 partout sur ces choses là.

denismerigoux · 2024-02-28T15:59:04Z

examples/dgfip_c/ml_primitif/c_driver_inline_4/annee.h

Suite à notre discussion, on a convenu que ces fichiers dans examples/dgfip_c/ml_primitif/c_driver_inline_4 et examples/dgfip_c/ml_primitif/c_driver_with_macro ne sont pas directement utiles au ml_driver mais servent en réalité au build d'artefacts internes à la DGFiP, donc il faut les supprimer d'ici et les mettre dans un dépôt interne à la DGFiP.

examples/dgfip_c/ml_primitif/ml_driver/irdata.c

denismerigoux · 2024-02-28T16:08:39Z

examples/dgfip_c/ml_primitif/ml_driver/irdata.c

+#else
+  int i = 0;
+  int trouve = 0;
+  T_discord *pDisco = discords;
+  nb_err_finalise = 0;
+  while (pDisco != NULL) {
+    trouve = 0;
+    for (i = 0; i < nb_err_archive && ! trouve; i++) {
+      if (strcmp(pDisco->erreur->nom, err_archive[i]) == 0) {
+        trouve = 1;
+      }
+    }
+    if (! trouve) {
+      ajouter_espace(&sz_err_archive, &err_archive, nb_err_archive);
+      err_archive[nb_err_archive] = pDisco->erreur->nom;
+      nb_err_archive++;
+      ajouter_espace(&sz_err_finalise, &err_finalise, nb_err_finalise);
+      err_finalise[nb_err_finalise] = pDisco->erreur->nom;
+      nb_err_finalise++;
+    }
+    pDisco = pDisco->suivant;


CF discussions avec @mdurero, est-il nécessaire de maintenir ces deux versions séparées du code qui diffèrent juste par le fait qu'on ait irdata dans un cas et ses champs séparément dans l'autre ? Le FLAG_MULTITHREAD n'est-il pas activé tout le temps ?

Le FLAG_MULTITHREAD n'est pas stable pour le moment. Dans le doute, les deux versions sont conservées (sachant que seule la version monothread est testée, vu qu'elle n'est pas compatible avec le reste de l'interface C côté DGFiP).

Le flag sera sans aucun doute supprimé quand la version de référence sera écrite et décidée.

denismerigoux · 2024-02-28T16:51:13Z

src/mlang/backend_compilers/dgfip_gen_files.ml

+  }
+}
+
+void print_double(FILE *std, T_print_context *pr_ctx, double f, int pmin, int pmax) {


C'est quoi cette fonction du démon ?

C'est la fonction qui affiche les valeurs numériques dans les appels aux 'instruction afficher et afficher_erreur. Elle permet l'affichage des flottants avec un paramétrage du nombre de décimales affichées, et surtout l'utilisation de la virgule comme séparateur décimal sans avoir recours au mécanisme des «locales».

denismerigoux · 2024-02-28T16:52:50Z

src/mlang/backend_ir/bir_interface.ml

Fichier à supprimer comme on en a discuté.

Grand nettoyage en cours.

denismerigoux · 2024-02-28T16:54:49Z

src/mlang/backend_ir/bir_interpreter.ml

@@ -626,6 +765,32 @@ struct
      else raise (RuntimeError (e, ctx))
    else out

+  let _report_error (err : Mir.error) (var_opt : string option) (_pos : Pos.t)


Pourquoi le nom commence par _ ?

Cette fonction n'est plus utilisée. Elle a été commentée de cette manière pour éviter que l'indentateur la rende illisible (il est pénible ce truc: il ne devrait pas toucher au contenu des commentaires).

denismerigoux · 2024-02-28T16:55:28Z

src/mlang/backend_ir/bir_interpreter.ml

+        | None ->
+            evaluate_stmts canBlock p ctx
+              (Bir.FunctionMap.find f p.mpp_functions).mppf_stmts loc 0)
+    (* Mpp_function arguments seem to be used only to determine which variables


Vieux commentaire à virer

SFunctionCall continue à trimballer des arguments qui ne correspondent à rien. Je n'ai pas encore nettoyé cette partie.

denismerigoux · 2024-02-28T16:56:24Z

src/mlang/backend_ir/bir_number.mli

@@ -19,6 +19,8 @@ module type NumberInterface = sig

  val format_t : Format.formatter -> t -> unit

+  val format_prec_t : int -> int -> Format.formatter -> t -> unit


Ça fait quoi ça ?

C'est la version de print_double pour l'interpréteur, qui sert à afficher les flottants de la même manière en C et en interprété. Cela ne fonctionne qu'avec des doubles; les autres formats appellent directement format_t. J'ai laissé le reste pour plus tard, vu que je ne travaille qu'avec les doubles pour l'instant.

noeensarguet

J'ai pas du tout tout regardé mais 2-3 commentaires

noeensarguet · 2024-03-01T17:00:50Z

src/mlang/utils/topologicalSorting.ml

+
+  exception AutoCycle of (vertex * edge)
+
+  let sort ?(auto_cycle = None) (g : 'a graph) =


Il y a un tri topo dans l'oir (eg https://github.com/MLanguage/mlang/blob/experimentation_mpp/src/mlang/optimizing_ir/dead_code_removal.ml#L190), ce serait bien de le modifier pour prendre le tien ou de modifier celui-là pour la cohérence ?

La fonction dead_code_removal n'est plus appelée nulle-part. Je l'ai finalement supprimée.

noeensarguet · 2024-03-01T17:04:53Z

src/mlang/utils/topologicalSorting.ml

+      G.vertexMapFold fold (G.vertices g) G.vertexMapEmpty
+    in
+    let rec parcours nd orig_opt (couls, ord, tmp) =
+      match Option.get (G.vertexMapFindOpt nd couls) with


Ça vaudrait le coup d'avoir un G.vertexMapFind ? (j'ai l'impression qu'il suffit de transmettre le find du module intMap à G, au lieu de transmettre juste find_opt)

On pourrait, mais ça alourdirait l'interface pour pas grand chose.

noeensarguet · 2024-03-04T15:37:28Z

src/mlang/m_frontend/expand_macros.ml

+let format_loop_domain fmt (ld : loop_domain) =
+  ParamsMap.pp (Format_mast.pp_print_list_comma format_loop_param_value) fmt ld
+
+let add_const (name, name_pos) (cval, cval_pos) const_map =


J'aurais été d'avis d'avoir une seule variable qui encapsule chaque tuple, comme qqch du genre

Suggested change

let add_const (name, name_pos) (cval, cval_pos) const_map =

let add_const (name_marked : variable_name Pos.marked) (cval_marked : literal Pos.marked) (const_map : const_context) =

ou a minima l'annotation de type (sauf s'il y avait une raison de ne pas le faire bien sûr)

On est ensuite obligé de récupérer les éléments du tuple avec des Pos.unmark et des Pos.get_position. Dans la version actuelle, la destructuration se fait au plus tôt.

noeensarguet · 2024-03-04T15:50:51Z

src/mlang/m_frontend/expand_macros.ml

+          | None -> Err.unknown_constant cval_pos)
+      | _ -> assert false)
+
+let expand_table_size const_map table_size =


Annotation de type : const_context ? (imo plus pour la cohérence avec la suite)

Pourquoi pas. J'ai effectué la modification.

noeensarguet · 2024-03-04T16:24:22Z

src/mlang/m_frontend/expand_macros.ml

+  in
+  List.rev expanded_prog
+
+(** Screugneugneuh ! *)


Peut-être expliciter un peu cette doc ;)

C'est le problème avec le paramétrage du complilateur: il refuse que les fonctions déclarées en soient pas utilisées, ce qui pose problème avec les fonctions qui servent au débeugage (typiquement des fonctions d'affichage ou de formatage des structures de données). Quand on ne s'en sert pas, on fait quoi ? On renomme les screugheugheuh en _screugneugneuh ? Ou alors il faut les utiliser d'une manière ou d'une autre, en les ignorant au passage...

denismerigoux

OK j'ai fini de review ! Demain je te fais le merge depuis master si ça te va :)

denismerigoux · 2024-03-06T12:40:06Z

README.md

Merci pour la mise à jour du README.md !

denismerigoux · 2024-03-06T12:41:42Z

examples/dgfip_c/ml_primitif/ml_driver/main.ml

+  let unexpected_errs = StrSet.diff err expected_err in
+  if not (StrSet.is_empty missing_errs && StrSet.is_empty unexpected_errs) then (
+    result := false;
+    StrSet.iter (Printf.eprintf "KO | %s attendue non recue\n") missing_errs;


OK, mais dans ce cas il faut qu'on donne un vrai statut à evalcalc.sh et potentiellement en le publiant ici.

denismerigoux · 2024-03-06T12:48:30Z

examples/dgfip_c/ml_primitif/ml_driver/main.ml

@@ -200,11 +201,23 @@ let main () =
    | None | Some "0"-> false
    | _ -> exit 31
  in
+  let annee_exec =
+    match Sys.getenv_opt "FAKE_YEAR" with


Tout comme toi je n'aime pas la bidouille de FAKETIME. Mais plutôt qu'une variable d'environnement, tu veux pas plut^ôt récupérer l'année par un paramètre de ligne de commande (obligatoire) ? Je trouve ça plus propre, comme ça les utilisateurs ne peuvent pas oublier de dire quelle est l'année avec laquelle ils veulent faire tourner les tests.

denismerigoux · 2024-03-06T12:58:11Z

src/mlang/backend_compilers/bir_to_dgfip_c.ml

+        let ic = Char.code c in
+        match c with
+        | '"' | '%' ->
+            let cc = Format.sprintf "\\%03o" ic in


Ça veut dire quoi "\\%03o" ? C'est pour échapper les caractères non-ASCII dans la sortie C qui va être compilée dans les mainframes ?

Dans une chaîne échappée, les caractères interdits ou non-affichables sont encodés en octal avec la notation littérale \ooo (par exemple, \012 pour un saut de ligne NL).

denismerigoux · 2024-03-06T13:12:16Z

src/mlang/backend_ir/bir_interpreter.ml

-                                    (Mir.map_expr_var Bir.var_to_mir)
-                                    cond.cond_expr)))) ),
-               ctx ))
+             (ConditionViolated (fst cond.cond_error, cond.cond_expr, []), ctx))


Pourquoi tu as supprimé la liste des variables dépendantes de ce message d'erreur ? Je trouvais ça utile pour débbuguer.

La fonction qui englobe ce code n'est plus appelée depuis que les anomalies sont stockées dans une liste au lieu d'être encapsulée dans une exception ML. Le constructeur SVerif a disparu.

denismerigoux · 2024-03-06T16:28:14Z

src/mlang/m_frontend/mast_to_mir.ml

+      if def_kind = NoIndex then
+        { Mir.var_definition = Mir.SimpleVar var_expr; Mir.var_typ }
+      else
+        Errors.raise_multispanned_error


Ça aurait pas du être vérifié avant dans check-validity.ml ça ?

Le dictionnaire des variables est encore géré par l'ancien système. Je ferai sans doute la transition après le merge car ce serait trop long à faire maintenant.

denismerigoux · 2024-03-06T16:31:04Z

src/mlang/m_frontend/parse_utils.ml

+  let s = Re.Str.string_before s (String.length s - 1) in
+  let l = String.length s in
+  let buf = Buffer.create l in
+  let rec aux = function


Alors que fais-tu ici ? C'est bien cryptique pour moi, ça mérite un commentaire :)

La fonction parse_string transforme une chaîne littérale en une suite de char. Il faut donc enlever le premier guillemet (ligne 111), le dernier aussi (ligne 112), puis ajouter dans un Buffer.t chaque caractère, éventuellement en les décodant quand ils sont spécifiés par des échappements (\t, \xA0, etc.)

Des commentaires équivalents ont été ajoutés.

denismerigoux · 2024-03-06T16:32:49Z

src/mlang/test_framework/dune

OK tu l'as déplacé là, parfait

denismerigoux · 2024-03-06T16:34:10Z

src/mlang/utils/pos.ml

@@ -129,11 +129,9 @@ let retrieve_loc_text (pos : t) : string =
            let lng = String.length src in
            let rec new_curr () =
              if !curr < lng then
-                if src.[!curr] = '\n' || src.[!curr] = '\r' || !curr = lng then (
+                if src.[!curr] = '\n' then (


Ça corrige un bug ça ?

Le cas !curr = lng n'arrive jamais puisque !curr < lng. Quant au cas src.[!curr] = \r, je ne sais plus; je crois que certains sauts de ligne étaient ignorés quand les \r et les \n étaient bizarrement ordonnés.

denismerigoux · 2024-03-06T16:34:36Z

src/mlang/utils/topologicalSorting.ml

OK mais on retire complètement la dépendance à ocamlgraph alors.

Elle a disparu.

david-michel1 and others added 30 commits September 7, 2023 18:22

Ajout des cibles (assignations et si/sinon/alors).

b846cfe

Cibles: ajout du calcul des domaines.

6447820

Enrichissement des filtres de vérifs.

c8f9645

Remplacement de dgfip_base.mpp par des cibles.

1d44023

Ajout des instructions "afficher" et "afficher_erreur".

bdb5fba

Préparation des itérateurs dans le backend C.

6f05635

Introduction des itérateurs dans l'interpréteur.

a33d437

Itérateurs pour le backend C.

0f83ad1

Environnements de restauration.

4317fc2

Traduction du primitif ml vers M en cours.

3cc7fe1

Primitif unifié

898a326

Séparation de la logique d'expansion des macros/constantes.

ad6dd65

Découplage de la gestion des macros (boucles et constantes).

33d5f85

Généralisation des accès aux tableaux.

4a66970

Généralisation des tableaux dasn les itérateurs.

af31e40

Primitif 2019 interprété en M.

ec11e28

Forcer les déclarations ordonnées dans les fichiers M.

bc1e58c

Oubli d'un ficher...

294236b

Gestion améliorée des domaines.

c0c0ff1

Suite de la validation du code M.

0bba81d

Fuzzing primitif 2022

0466e23

Fiabilisation de l'analyse M, suite.

6fd7d16

Merge branch 'experimentation_mpp' of https://github.com/MLanguage/mlang

6fa311c

into experimentation_mpp

Ordonnancement des règles.

53c81ad

Validité des enchaîneurs.

6c556ca

Vérifs des vérifs

9f9bdd6

Vérifs des vérifs (suite).

d2e63ec

Appels de verifs

4375b33

heck_validity, suite et fin.

1da2e0a

Compilation des cibles dans des fichiers séparés.

fb94a02

david-michel1 added 11 commits January 30, 2024 15:43

Primitif 2022

32047d0

Primitif 2022 inteprété

09e00f3

Gestion des erreurs.

4560604

Ordre des vérifs + erreurs bloquantes.

11fa71a

Gestion des anomalies, interpréteur + backend C

7add6d8

Interface C DGFiP.

07edd68

Intégration du M étendu dans le backend C.

7c03718

Modifs irdata dans tous les backends C.

76526c2

Correction makefiles.

3d8500c

Suppression de Mir.program_conds

d57a0df

Suppression program_rules.

4fa098c

denismerigoux commented Feb 28, 2024

View reviewed changes

david-michel1 added 3 commits February 28, 2024 18:57

Simplification de l'interface (encore des erreurs).

a479d38

Nettoyage

85378b0

Modifications suites à commentaires

be59871

noeensarguet reviewed Mar 4, 2024

View reviewed changes

david-michel1 added 5 commits March 5, 2024 14:26

Nettoyage

3f9969d

Nettoyage

1865df3

Nettoyage

6f9d00c

déplacement des fichiers cibles.m

1a89a59

Déplacement de Irj vers test_framework

6df95cd

denismerigoux commented Mar 6, 2024

View reviewed changes

denismerigoux and others added 6 commits March 7, 2024 09:24

Merge branch 'master' into experimentation_mpp

3e3edea

Remove annoying ocamlformat behavior

85ea298

Nettoyage et ajout du script DGFiP.

5afe83c

Bug "Out of memory" dans le backend ML

70a4906

Nettoyage du backend ML

dad7eaa

Rafistolage du backend ML (out of memory).

2d10ecd

david-michel1 merged commit 724393a into master Mar 8, 2024
1 check passed

david-michel1 deleted the experimentation_mpp branch March 8, 2024 15:08

		@@ -9,6 +9,8 @@

		# SOURCE_FILES=$(SOURCE_DIR_2018)

		# SOURCE_EXT_FILES=$(SOURCE_EXT_DIR_2018)

		@@ -19,6 +19,8 @@ module type NumberInterface = sig

		val format_t : Format.formatter -> t -> unit

		val format_prec_t : int -> int -> Format.formatter -> t -> unit


		exception AutoCycle of (vertex * edge)

		let sort ?(auto_cycle = None) (g : 'a graph) =

	let add_const (name, name_pos) (cval, cval_pos) const_map =
	let add_const (name_marked : variable_name Pos.marked) (cval_marked : literal Pos.marked) (const_map : const_context) =

Expérimentation M++ #227

Expérimentation M++ #227

Conversation

denismerigoux commented Nov 29, 2023

denismerigoux left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

noeensarguet left a comment • edited Loading

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

denismerigoux left a comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

Choose a reason for hiding this comment

noeensarguet left a comment •

edited

Loading