05-plotnine.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Analyse et visualisation de données avec Python\n",
    "## Créer des graphiques avec Plotnine\n",
    "Questions\n",
    "* Comment faire davantage de visualisation en Python?\n",
    "* Qu'est-ce que la \"grammaire des graphiques\"?\n",
    "\n",
    "Objectifs\n",
    "* Créer un objet `plotnine`.\n",
    "* Configurer certains options globales.\n",
    "* Modifier l'apparence du graphique, comme les couleurs.\n",
    "* Éditer le nom des axes.\n",
    "* Créer des graphiques plus élaborés, étape par étape.\n",
    "* Créer différents types de graphiques.\n",
    "* Utiliser `facet_wrap` et `facet_grid` pour créer des graphiques selon des variables de type \"factor\"."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "\n",
    "# Charger et nettoyer les données\n",
    "surveys_complet = pd.read_csv('data/surveys.csv')\n",
    "surveys_complet = surveys_complet.dropna()\n",
    "surveys_complet"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Pourquoi `plotnine`? Pourquoi pas `matplotlib`?\n",
    "Bien que `matplotlib` soit un module de visualisation largement répandu, très flexible et puissant, son utilisation est parfois compliquée. Pour ce chapitre, nous allons utiliser le module `plotnine` qui facilite la création de graphiques hautement informatifs tout en s'intégrant bien avec Pandas. Le fonctionnement de `plotnine` se base sur le module R `ggplot2` et [The Grammar of Graphics](https://link.springer.com/book/10.1007%2F0-387-28695-0) par Leland Wilkinson."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Générer des graphiques avec `plotnine`"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Les graphiques `plotnine` sont construits étape par étape en ajoutant différents éléments aux autres en utilisant l'opérateur `+`. La somme de ces étapes doit être dans des parenthèses pour une meilleure compatibilité avec la syntaxe Python."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Pas de panique! C'est normal que le graphique soit vide\n",
    "surveys_complet"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Définir les \"aesthetics\" (ou `aes`) du graphique en sélectionant\n",
    "  les variables du DataFrame qui seront assignées (via `mapping`)\n",
    "  à divers éléments du graphiques. Les plus importants paramètres de\n",
    "  `aes` sont : `x`, `y`, `alpha`, `color`, `colour`, `fill`,\n",
    "  `linetype`, `shape` et `size`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Ajout des axes. Patience, les données s'en viennent!\n",
    "p9.ggplot(data=surveys_complet,\n",
    "          (='hindfoot_length', ='weight'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Les données s'affichent à l'aide d'objets `geom_*` que l'on peut ajouter à l'aide de l'opérateur `+`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='hindfoot_length', y='weight'))\n",
    "    \n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Vous pouvez facilement créer des gabarits et les réutiliser avec différentes représentations des données."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Créer un gabarit\n",
    "axesWL = p9.ggplot(data=surveys_complet,\n",
    "                   mapping=p9.aes(x='hindfoot_length', y='weight'))\n",
    "\n",
    "# Afficher les points\n",
    "axesWL"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Après la création du graphiques, c'est possible de le sauvegarder dans le format de notre choix."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "scatterWL = axesWL + p9.geom_point()\n",
    "\n",
    "scatterWL.(\"scatterplot.png\", =6, =4, dpi=150)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Exercice - Créer un `bar`-plot\n",
    "Avec le dataframe `surveys_complet`, utilisez la colonne `plot_id`\n",
    "pour créer un \"`bar`-plot\" montrant le décompte du nombre\n",
    "d'enregistrements par site.\n",
    "Indice: la fonction `geom_bar()` effectue le décompte implicitement."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(=surveys_complet,\n",
    "           mapping=p9.(x=))\n",
    "    +\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "tags": []
   },
   "source": [
    "## Construire un graphique par itérations\n",
    "* Habituellement, `data`, `aes` et `geom-*` sont les éléments de base de tout graphique.\n",
    "* Ensuite, on commence à modifier le graphique pour en extraire davantage d'information. Par exemple, avec de la transparence (`alpha`) :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='hindfoot_length', y='weight'))\n",
    "    + p9.geom_point()\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Une couleur pour chaque type de d'espèce; il faut \"mapper\" la variable `species_id` à l'`aes` `color` :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='hindfoot_length', y='weight', ))\n",
    "    + p9.geom_point(alpha=0.05)\n",
    "    #+ p9.guides(colour=p9.guide_legend(override_aes={\"alpha\": 1.0}))\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Modifier le nom des axes :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='hindfoot_length', y='weight', color='species_id'))\n",
    "    + p9.geom_point(alpha=0.05)\n",
    "    + p9.guides(colour=p9.guide_legend(override_aes={\"alpha\": 1.0}))\n",
    "    + (\"Longueur de patte (mm)\")\n",
    "    + (\"Poids (g)\")\n",
    "    + (\"Poids selon la longueur de patte\")\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Utiliser un axe semi-log :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='hindfoot_length', y='weight', color='species_id'))\n",
    "    + p9.geom_point(alpha=0.05)\n",
    "    + p9.guides(colour=p9.guide_legend(override_aes={\"alpha\": 1.0}))\n",
    "    + p9.xlab(\"Longueur de patte (mm)\")\n",
    "    + p9.ylab(\"Poids (g)\")\n",
    "    + p9.ggtitle(\"Poids selon la longueur de patte\")\n",
    "    \n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Changer le thème (`theme_*`) ou des éléments spécifiques du thème :\n",
    "  * pour avoir un arrière-plan en noir et blanc, on utiliserait le\n",
    "    thème prédéfini `theme_bw()`;\n",
    "  * pour modifier la taille du texte, on peut créer un thème `theme()`\n",
    "    et modifier une de ses propriétés."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='hindfoot_length', y='weight', color='species_id'))\n",
    "    + p9.geom_point(alpha=0.05)\n",
    "    + p9.guides(colour=p9.guide_legend(override_aes={\"alpha\": 1.0}))\n",
    "    + p9.xlab(\"Longueur de patte (mm)\")\n",
    "    + p9.ylab(\"Poids (g)\")\n",
    "    + p9.ggtitle(\"Poids selon la longueur de patte\")\n",
    "    + p9.scale_y_log10()\n",
    "    \n",
    "    #+ p9.theme(legend_position=\"top\")  # bottom, left, right\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Exercice - Modifier le `bar`-plot\n",
    "Adaptez le `bar`-plot de l'exercice précédent pour associer la variable `sex` au paramètre de couleur `fill`. Spécifiez ensuite une liste de couleurs (`\"blue\"` et `\"orange\"`) via la fonction `scale_fill_manual()` (voir la [référence de l'API](https://plotnine.readthedocs.io/en/stable/api.html#color-and-fill-scales) pour plus d'information) :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='plot_id', ))\n",
    "    + p9.geom_bar()\n",
    "    ([\"blue\", \"orange\"])\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Visualiser des distributions\n",
    "* Un box-plot peut être utilisé :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='species_id',\n",
    "                          y='weight'))\n",
    "    + p9.geom_\n",
    "    # + p9.scale_y_log10()\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* On peut ajouter un nuage de points verts derrière le box-plot :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='species_id',\n",
    "                          y='weight'))\n",
    "    + p9.geom_\n",
    "    + p9.geom_boxplot()\n",
    "    + p9.scale_y_log10()\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Exercice - Distributions\n",
    "* Affichez un **violin-plot** transparent par-dessus les points et forcez la couleur de ligne `\"grey\"`.\n",
    "* Pour l'axe des `x`, on veut que les différentes valeurs numériques de `plot_id` soient considérées comme des catégories. Pour ce faire, on utilisera `'factor(plot_id)'`.\n",
    "* Faites en sorte que la couleur des points soit en fonction de l'identifiant d'espèce `'species_id'`."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x=,\n",
    "                          y='weight',\n",
    "                          color=))\n",
    "    + p9.geom_jitter(alpha=0.3)\n",
    "    (alpha=0, color=)\n",
    "    + p9.scale_y_log10()\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Visualiser des données selon le temps\n",
    "* Calculez le nombre d'enregistrements par type d'espèces pour chaque année.\n",
    "* Réinitialisez l'index ; `year` et `species_id` deviendront des colonnes."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "yearly_counts = surveys_complet.(['year', 'species_id'])['species_id'].()\n",
    "# yearly_counts = yearly_counts.reset_index(name='counts')\n",
    "yearly_counts"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* La visualisation peut ensuite se faire avec un \"line-plot\" (ou `geom_line`) avec les années en `x` et les décomptes en `y`.\n",
    "* Afin d'avoir une ligne par espèce, il faut spécifier l'option couleur selon l'identifiant d'espèce."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=yearly_counts,\n",
    "           mapping=p9.aes(='year',\n",
    "                          ='counts',\n",
    "                          ='species_id'))\n",
    "    + p9.geom_\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Création de facettes\n",
    "* `plotnine` a une technique spéciale appelée *création de facettes* permettant de diviser un graphique en plusieurs sous-graphiques selon une variable de type catégorie."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='hindfoot_length',\n",
    "                          y='weight',\n",
    "                          color='species_id'))\n",
    "    + p9.geom_point(alpha=0.1)\n",
    "    \n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* Avec `facet_wrap()`, nul besoin de convertir en `factor`:"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='hindfoot_length',\n",
    "                          y='weight',\n",
    "                          color='species_id'))\n",
    "    + p9.geom_point(alpha=0.1)\n",
    "    + p9.facet_wrap()\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "* La fonction `facet_grid()` permet de spécifier l'arrangement d'une grille de graphiques avec la notation `rangées ~ colonnes` de graphiques."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Garder uniquement quelques années\n",
    "survey_2000 = surveys_complet[surveys_complet[\"year\"].isin([2000, 2001, 2002])]\n",
    "\n",
    "(p9.ggplot(data=survey_2000,\n",
    "           mapping=p9.aes(x='hindfoot_length',\n",
    "                          y='weight',\n",
    "                          color='species_id'))\n",
    "    + p9.geom_point(alpha=0.1)\n",
    "    + p9.('sex  year')\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Exercice - Facettes\n",
    "* Créez deux facettes selon le `sex`\n",
    "* Chaque facette aura :\n",
    "  * Les années en axe des x\n",
    "  * Le poids moyen en axe des y\n",
    "  * Une courbe par espèce"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "yearly_weight = surveys_complet.groupby(['year',\n",
    "                                          'species_id',\n",
    "                                          ])[].().reset_index()\n",
    "(p9.ggplot(data=yearly_weight,\n",
    "           mapping=p9.aes(x=,\n",
    "                          y=,\n",
    "                          ='species_id'))\n",
    "    + p9.geom_line()\n",
    "    + p9.\n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Ajustements supplémentaires\n",
    "* La fonction `theme()` retourne un objet permettant d'orienter verticalement le texte sur l'axe des `x` :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "mon_theme = p9.theme(\n",
    "    axis_text_x=p9.element_text(),\n",
    "    text=p9.element_text(size=))\n",
    "\n",
    "(p9.ggplot(data=surveys_complet,\n",
    "           mapping=p9.aes(x='factor(year)'))\n",
    "    + p9.geom_bar()\n",
    "    + p9.xlab(\"Year\")\n",
    "    \n",
    ")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Résumé technique\n",
    "* **Module Plotnine**\n",
    "  * `import plotnine as p9`\n",
    "* **Création d'un graphique vierge** avec Plotnine\n",
    "  * `p9.ggplot(data=df)`\n",
    "* **Assigner des variables** à des éléments du graphique\n",
    "  * `p9.ggplot(data=df, mapping=p9.aes(...))`\n",
    "    * Exemple : `p9.aes(x='var1', y='var2', color='var3')`\n",
    "  * Différentes variables :\n",
    "    * Axes : `x`, `y`, `='factor(var)'`\n",
    "    * Couleurs : `alpha`, `color`, `colour`, `fill`\n",
    "    * Formes : `linetype`, `shape`, `size`\n",
    "* **Ajout d'éléments géométriques** à afficher\n",
    "  * `p9.geom_point(alpha=0.1, color=\"green\")`\n",
    "  * `p9.geom_line()`\n",
    "  * `p9.geom_bar()`, `p9.geom_jitter()`\n",
    "  * `p9.geom_boxplot()`, `p9.geom_violin()`\n",
    "* **Configuration des axes, des étiquettes et du thème**\n",
    "  * `p9.scale_x_log10()` et `p9.scale_y_log10()`\n",
    "  * `p9.xlab(\"Axe en X\")` et `p9.ylab(\"Axe en Y\")`\n",
    "  * `p9.ggtitle(\"Longueur de patte selon le poids\")`\n",
    "  * `p9.theme_bw()`\n",
    "  * `p9.theme()`\n",
    "    * `legend_position=` : `top`, `bottom`, `left`, `right`\n",
    "    * `axis_text_x=p9.element_text(angle=90)`\n",
    "    * `text=p9.element_text(size=10)`\n",
    "* **Graphiques multiples**\n",
    "  * `p9.facet_wrap('varN')`\n",
    "  * `p9.facet_grid('rangées ~ colonnes')`"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.10"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}