Improvements and additions to modelisation and evaluation elements

[bowni]

List of topics to study to improve/complement the existing eval elements and answer items:

[ME] Modélisation, éval de perf.

ME1- Qualité de l’apprentissage : limiter l’overfitting, l’évaluer

ME2- Si biais suite métriques de fairness, quelle méthode / algo de débiaisage ? À ajouter à la carte d’identité. Ressources possibles : gros article fairness sur Medium, MOOC Ivado

ME3- Evaluation de perf. : définir un mode d’évaluation en conditions réelles, et un écart max de perf admissible vs. données d’environnement contrôlé

ME4- Caractériser les comportements du modèle sur les data hors du domaine d’application spécifié dans la carte d’identité

ME5- Quelles sont les “contre-indications” à l’usage du modèle ? Par ex. certains types de données sur lesquelles le modèle marche mal

[bowni]

Tentative de répartition de ces points au sein du référentiel :

• ME1 sur éval overfitting : à ajouter au 3.4
• ME2 sur méthode de débiaisage : à ajouter au 2.3 et/ou 2.4 ?
• ME3 sur éval de perf en cnditions réelles et écart max vs données de validation : ajouter au 3.4 et/ou 3.5
• ME4 sur caractérisation comportement hors du domaine : ajouter au 4.2
• ME5 sur contre-indications : ajouter au 4.2