🚪 [ENRICH] Cloturer acteurs cessés/fermés

[maxcorbeau]

🚪 Cloturer acteurs cessés/fermés

---

📦 Grosse PR

Grosse PR car bcp de travail de fond pour de la réutilisation, cf:

• 🕵 [ENRICH] RGPD: anonymiser les acteurs #1535 = PR RGPD en ~400 lignes
• 🌆 [ENRICH] BAN: villes anciennes -> nouvelles #1534 = PR BAN villes en ~150 lignes

---

Carte Notion 🚪 ANNUAIRE ENTREPRISE: cloturer acteurs cessés/fermés

🗺️ contexte: on a des acteurs qui on arrêter d'éxercer, on a ingéré l'Annuaire Entreprise (AE): #1408

💡 quoi: DAG Airflow qui recherche nos acteurs dans l'AE via siren/siret et propose des suggestions de cloturation

🎯 pourquoi: résoudre le problème d'acteurs inactifs dans notre DB

🤔 comment:

• champs acteurs django:
  • siret_is_closed: pour mémoriser la fermeture (ex: dans les DAGs de source on pourra décider d'ignorer l'ingestion des SIRET fermés)
  • parent_reason: explication du pourquoi un acteur a été rattaché à un parent
• dbt:
  • sampling: ajout d'un mode sampling pour itérer plus rapidement (ex: voir base_ae_etablissement, activable via export DBT_SAMPLING='true' && dbt ...), on décide par modèle de ce qu'il y a de plus pertinent
  • int_acteur: ajout de acteur_type_code et source_code pour faciliter la revue de donnée et éviter les blending dans python/airflow (qui seraient répétés au lieu d'être centralisés dans dbt)
  • modèles de marts: pour générer les suggestions
• airflow: j'ai essayé d'être le plus générique possible, essentiellement on a
  • enrich_dbt_models_refresh_task: pour rafraichir les modèles
  • enrich_dbt_model_suggest_task: pour faire les suggestions

🖼️ UI Django Admin

🚪 Acteurs Fermés: 🔴 non remplacés

🚪 Acteurs Fermés: 🟡 remplacés par SIRET d'un autre SIREN

🚪 Acteurs Fermés: 🟢 remplacés par SIRET du même SIREN

Même que 🚪 Acteurs Fermés: 🟡 remplacés par SIRET d'un autre SIREN avec juste le parent_reason qui change

🔍 DBT (plus de détails)

dbt docs generate --select tag:ae
dbt docs serve --port 8089

Logique de remplacement:

• A) _closed_candidates: acteurs dont le SIRET (mais par forcément le SIREN sinon on pourrait pas récupérer les remplaçeants du même SIREN) est fermé dans AE
• B) _closed_replaced: on a trouvé un autre SIRET ouvert sur les mêmes code_postal, adresse, numéro rue et NAF, priorité au SIRET du même SIREN

Suggestions:

• C) _suggest_not_replaced = A) - B) = cohorte de suggestion pour les acteurs non remplacés
• D) _suggest_replaced_other_siren = B) WHERE siret_is_from_same_siren IS FALSE = cohorte de suggestion pour remplacés par un SIRET d'un autre SIREN
• E) _suggest_replaced_same_siren = B) WHERE siret_is_from_same_siren IS TRUE = cohorte de suggestion pour remplacés par un SIRET d'un même SIREN

📆 Prochaines PRs/tâches

• Reprendre la PR RGPD: pour réutiliser le travail de fond de cette PR
• Migration Django: pour tous les parent_reason hitoriques (parent_reason="clustering avant {date}")
• Amélioration Clustering: pour les parent_reason futures (parent_reason="clustering {date} {cluster_id}")
• Sampling améliorable: ex: prendre % d'acteurs ACTIFs pas juste %, à itérer en fonction des besoins

[kolok]

Ok pour moi à cndition que le DAG de rafraichissement des modèles DBT ne soit pas cassé.

A itérer selon la pair review