Skip to content

Commit

Permalink
Add precision on GDPR compliance of predictions logging
Browse files Browse the repository at this point in the history
  • Loading branch information
bowni committed Sep 14, 2023
1 parent 96f2f25 commit bb4d34e
Show file tree
Hide file tree
Showing 2 changed files with 2 additions and 2 deletions.
2 changes: 1 addition & 1 deletion assessment_framework_eng.md
Original file line number Diff line number Diff line change
Expand Up @@ -1040,7 +1040,7 @@ _(Specific risk domain: use of AI models, provision or operation of AI model-bas
<details>
<summary>Expl5.6 :</summary>

Using automatic systems based on AI models whose rules have been learned questions the way organisations design and operate their products and services. It is important to preserve the responsiveness and resilience of organisations using those AI models, particularly in dealing with situations where AI models have led to an undesirable outcome for the organisation or its stakeholders. To that end, logging predictions from AI models used in production (coupled with the input data and the associated models references) is key to enable ex-post auditability on concrete use cases.
Using automatic systems based on AI models whose rules have been learned questions the way organisations design and operate their products and services. It is important to preserve the responsiveness and resilience of organisations using those AI models, particularly in dealing with situations where AI models have led to an undesirable outcome for the organisation or its stakeholders. To that end, logging predictions from AI models used in production (coupled with the input data and the associated models references) is key to enable ex-post auditability on concrete use cases. It should be noted that predictions might involve personal data and be regulated by GDPR. Anonymization of processed data, when logged & made available to customers or internal operators, could be part of a solution to avoid leaking sensitive information.

</details>

Expand Down
2 changes: 1 addition & 1 deletion referentiel_evaluation.md
Original file line number Diff line number Diff line change
Expand Up @@ -1045,7 +1045,7 @@ _(Domaine de risque spécifique : utilisation de modèles d'IA pour son propre c
<details>
<summary>Expl5.6 :</summary>

Utiliser des systèmes automatiques basés sur des modèles dont les règles ont été apprises interroge donc le fonctionnement des organisations. Il est important de préserver la capacité de réaction et la résilience de l'organisation utilisatrice, notamment pour traiter les cas de figure où les modèles d'IA auront été à l'origine d'un résultat non souhaitable pour l'organisation ou ses parties prenantes. Pour ce faire, l'historistation des prédictions obtenues des modèles (avec les données d'entrée et les références des modèles concernés) est cruciales pour permettre l'auditabilité a posteriori de cas de figure concrets.
Utiliser des systèmes automatiques basés sur des modèles dont les règles ont été apprises interroge donc le fonctionnement des organisations. Il est important de préserver la capacité de réaction et la résilience de l'organisation utilisatrice, notamment pour traiter les cas de figure où les modèles d'IA auront été à l'origine d'un résultat non souhaitable pour l'organisation ou ses parties prenantes. Pour ce faire, l'historistation des prédictions obtenues des modèles (avec les données d'entrée et les références des modèles concernés) est cruciales pour permettre l'auditabilité a posteriori de cas de figure concrets. Il est à noter cependant que les prédictions et les données d'entrée peuvent être des données personnelles soumises au RGPD (auquel cas leur anonymisation peut être une voie à considérer).

</details>

Expand Down

0 comments on commit bb4d34e

Please sign in to comment.