Stats annuelles et mensuelles du nombre de simulations en fonction des institutions

[Shamzic]

• Changement: nombre de simulations apr institutions sur 6 mois -> sur 1 an
• Nouveau: nombre de simulations par mois par institution

Précède betagouv/mes-aides-analytics#221

[jenovateurs]

Je suis ok sur la fonctionnalité, mais pas sur l'impact côté BDD.
Je ne connais pas le nombre de consultations de cette page de stats, car on n’a pas mis de tracking. Mais le coup de la requête est lourd. Je propose donc une mise en cache du calcul sur n-1 à n-11 et un rafraîchissement de la data sur n si on veut être précis. Afin de limiter le calcul récurrent sur 1 an. Qu'en penses-tu @Shamzic ?

[Shamzic]

Je suis ok sur la fonctionnalité, mais pas sur l'impact côté BDD. Je ne connais pas le nombre de consultations de cette page de stats, car on n’a pas mis de tracking. Mais le coup de la requête est lourd. Je propose donc une mise en cache du calcul sur n-1 à n-11 et un rafraîchissement de la data sur n si on veut être précis. Afin de limiter le calcul récurrent sur 1 an. Qu'en penses-tu @Shamzic ?

Ok pour ta proposition, je suis d'accord qu'il y a de la redondance qu'on pourrait supprimer. Je me demandes juste sur quel calcul tu t'es basé pour estimer la lourdeur de la requête et de quelle manière veux-tu mettre cela en cache ?

[jenovateurs]

Ok pour ta proposition, je suis d'accord qu'il y a de la redondance qu'on pourrait supprimer. Je me demandes juste sur quel calcul tu t'es basé pour estimer la lourdeur de la requête et de quelle manière veux-tu mettre cela en cache ?

Il suffit de faire un explain sur MongoDb, voici les variantes pour les requêtes :
1 - $gt: new Date(new Date().setFullYear(new Date().getFullYear() - 1))
2 - $gt: new Date(new Date().setMonth(new Date().getMonth() - 6))

1 an

6 mois

Résultat

Doublement en terme de performance et de besoin en ressource même si je pense qu'on a un bon serveur.
On passe donc de 5 secondes à 11 secondes.

Solution

Création d'une nouvelle table avec mise en cache des données sur les 11 derniers mois. Ajout du nouveau mois en cache lorsqu'on passe au mois suivant. Et pour finir pour l'utilisateur :

• jointure dans une vue sur Mongo entre la table en cache et le mois courant
  => une requête légère

Qu'en penses-tu ?