03_mlp_operaciones.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Operaciones del Perceptrón Multicapa\n",
    "\n",
    "Con el Percetrón Multicapa o Multi-Layer Perceptron (MLP) no solo hay que calcular para varias capas los valores de activación, de error y corrección de los pesos, sino que también se debe tratar con la inclusión y omisión de las unidades umbral en varias operaciones.\n",
    "\n",
    "En esta guía vamos a ver una forma de tratar con estas operaciones en una simple pasada de propagación hacia adelante de los estimulos, propagación hacia atrás de los errores, y sus correspondiente correcciones a los pesos.\n",
    "\n",
    "Empecemos por importar las librerías necesarias y definir las dimensiones del problema. Tendremos **P** instancias de datos, con 2 variables de entrada y 1 objetivo. La arquitectura de red neuronal que vamos a definir usará estas dimensiones en la entrada y salida, además de una capa oculta con 3 unidades. Todo esto los especificaremos en una lista **S** (*sizes*) y, aunque todavía no lo necesitemos, vamos a guardar por conveniencia la cantidad de capas de nuestro modelo en **L** (*layers*)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import numpy as num\n",
    "from matplotlib import pyplot as mpl, cm\n",
    "\n",
    "P = 100\n",
    "S = [ 2, 3, 1]\n",
    "L = len(S)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Los datos van consistir en valores generados a azar para la entrada y el signo del producto de estas variables como objetivo, de manera que se obtiene un problema que es claramente *no linealmente separable*."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "x = num.random.uniform( -5, 5, (P,S[0]) )\n",
    "z = num.sign( num.prod( x, axis=1).reshape( (P,1) ) )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAXIAAAD4CAYAAADxeG0DAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjMsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+AADFEAAAgAElEQVR4nO3dd3hUZfbA8e+bnknovSOgFBUEEVQUpagIiL0iomBb27qu6+qq6+6q61p20bWxFhQRsYIVVFCKChZAUAGp0qUEEEjPJO/vj5P80mZCyp25c2fO53nmkdxk5p6gnnnnLecYay1KKaW8K87tAJRSStWNJnKllPI4TeRKKeVxmsiVUsrjNJErpZTHJbhx06ZNm9qOHTu6cWullPKsJUuWZFhrm1W87koi79ixI4sXL3bj1kop5VnGmE2BruvUilJKeZwmcqWU8jhN5Eop5XGayJVSyuM0kSullMdpIleetX0JTBoA9yfBo83hi39CUaHbUSkVfq5sP1SqrjJ+hpdPgYIs+Tp7N3zxIBzYCiOecTc2pcJNR+TKk758CPy55a8VZMP3kyB7jzsxRbzt2+GJJ+Chh2D5crej8bacHHlECE3kypN+XQo2wDRKQgrsWx/+eCLe229Dly5w551w771wwglw882g/QhqZtMmGDwY6teXx6BBsHGj21FpIlfe1PxoMAH+6/XnQcPDwh9PRNm4ET78EH7+Wb4+cADGjpURZG4uFBbKn196CebPdzVUT8nNlTfABQvA75fHggVyLTf30M8PIU3kypNOuktG32UlpMJRF0NapUoUMaKgAC6+GLp3h8svhz59YOhQeO89iI+v/PPZ2fDqq+GP06tmzIDMTHkjLFFUJNemT3cvLnSxU3lUi6Nh9Mcw8ybY9SMkpUHfG2DwA25H5qJ//hM++EBGhyUjxC+/LJ94VO2tXw9ZWZWvZ2XJ91ykiVx5VoeT4XfLZcuhiQNj3I7IZc88U3kBLi8PFi2CuAAfvn0+GDMmPLFFg2OOgbQ0OHiw/PW0NOjVy52YiunUivK8uHhN4oB8xA/E74cXX4TUVEhJgYQE+fP48TBwYHhjDKSwUKaFIt2ZZ0L79pCUVHotKUmujRjhXlxoIlcqegweHPgdrWdPuPRS+fj/8MNw//3w9deyFdHNd8D9+2Uu3+eTN5gBA+Cnn9yL51Di42Wq6uqroXFjeYwfD199FXgNIoyMdWH7Ud++fa3WI1duKMiGlW/D/s3Qui90Pj3w7hdPWrsW+vWT6ZW8PEhMhORk+OwzuR4qhYXwzjvw+uuSlMePl215VbEW+veX/ez5+XLNGKhXD9asgRYtQhevhxljllhr+1a8rnPkKmZkrIaXTpKDRPnZkOSDpt1g7DxZLPW8ww+HVavg6adlxH300XDLLRDKblxFRXDWWbINr2QhcMYMuO02GfkH8913sHJlaRIHSe75+fD883DPPbWPaeFCmDJF3mAuuUTeVKr7ycNa2LBB3gDbtq19DGGmiVxFpYIcsEXlE/T00cWnPos/hOZnwq6f5JRo1Ox2admy6gTqtJkz4Ysvyu/myM6Gxx6Da66R+eNA1q4NnFxzc+HHH2sfz913w+OPy6cSa+G11+Cyy+C55w793IUL5Wd375Y3qB494K23oFOn2sdTYvNm2be/Ywecfrq8+SU4l36j5UOlUgAc3A6vDoN/1YeHG8KLA2Qknp0h2xSpMJPoz4XlU1wJNTp88EHgRdb4eJnSCeaooyRZVpSaWvtpoLVrYcIEeSMpmTLOyoKpU+Hbb6t+7o4dcMYZcnIzO1veUJYtg5NPlsXiuvj4Y9nb/89/wsSJcMUVssicl1e31y3DsURujIk3xnxvjPnQqdeMdFm75ah43gG3I1FrZ8GU0+CJw2D9p1Dkl8fWRVIhMe9gFU+O1VPqmzfLfHb79tC3L7zxRs2P7DdsGHhkGRcnR9iD6dULTjxRFjlLxMdDejqMG1ezGErMnBk4/pwcORRVlZdeqrxzpqhIthp+8knt4gF5Exg9Wt4cSqaRMjNlbeD552v/uhU4OSL/PbDKwdeLWP48+Zg+oR1MHgSPtYA5d2rZCrd8+RC8dSFsmAOF+ZRPzBb8OZLcmx8NVPg0n5ACva4IY7CRYvt26N0bJk+GLVtgyRJJ6v/4R81e56qrZFG1org4GD686ue+/z7cdJPs/vD5YNQomTtv1KhmMZTw+QLvHklIkDeIqmzcGHiEXFgI27bVLh6ApUsDb610+FStI4ncGNMWGAG84MTrRbpPboNVM6AwT0bj/lz49klY/KzbkcWe3N9g/j9Ky9kGUpANe1bDeVPB1wSS0gEj/2x2pBz3jzmPPiqjzbKnPrOyZHvigRp8xOzWTaYLUlNlBF6vniTmWbPkWlVSUyWOPXvk3tOnQ4cOtft9AM47L/B0TUKCbL+syimnyMGeQI4/vvYxJScHH+Ed6u+nBpwakT8O3AEE+FuMLoUFsGySjPLKKsiGhY+5E1NZ+zbAmg9hzxq3IwmP7UsgPqnqn0lKh1bHQtOucOsmGP40nPp3uPAtuObbKNmxUh1FRaWjznnzAo8UExNlN0lNXHEF7NwpI8zp02W++YQT6hxujTVpItNDPp+8odSrJ1M3EyceeufOBRfIzyQnl17z+WTevGfP2sfUs6fEVVFaGlx3Xe1ft4I6L5saY0YCu6y1S4wxp1bxc9cC1wK0D7aS7QEHtkgyDyQ7I7yxlOXPg3cuhXWzJLEVFkCHgXDxdEj0uRdXqKU1r7orUFwi+JpDjwvk60RfDE6lZGfDH/4Ar7wi87RHHw0NGsiukYqjxfx8aN265veoV092YlTH8uXwn//AL7/I1sCbb4amTWt+z0DOOkveSD7+WD5tnHFG9aZqkpKklMGjj8K0afIGcN11cP31dYvHGFkQHjxY3kQLC+Xv/NJLpcCZQ+p8IMgY8xAwBvADKUB9YLq19vJgz/HigSBrYe5fYeGjAeZhi3UeBpfPqvu9/HmQuQPSW1Su8BfMnLvgmyfKf1JISIFeV8LIKJ7ysRYm9oLdKyvXJ0+qB0deDEMfAp9DecKTRo6UHSRlS62WLDKWvZacLFMMdVncO5QPPpC93bm58gkhOVneVJYtg1atQndft+XlyWLs7t3yd9y1a61eJtiBIEdPdhaPyG+31o6s6ue8mMhXvgPvjg08F2viITEVxi2Uqny1ZS0suB++eoT/f6PofysMvv/Qpw8fbgy5+ypfT0iFv2RFdy2Sg9th2ihJ5vGJsn982H+h91VuRxYBNmyAI4+sXC87IUFGw99/L7s6/H6pJTJ5ctW7TeqiqEhG+zt3Vo7l6qvh2SgecThET3bW0dcTgiyoGeh2Dgx5CJocXrd7fPcUfPWwzLeX+OZxmeM9+RALcmWfU5Y/VxKbcbcUREjVaw3XLoa96yBnL7ToWf1PMlFv/XoZ9VZM5H6/JPAdO2THRqNGskgZShs3Vq4cWBLLzJmhvXeUc/RAkLV23qFG416Vszfw9aR0GHhv3ZM4wJf/qpyQC7JlOudQOgyk0tY6gDb9pDpgLGjcRX5fTeJldO8euHtNUpLUOomPh86dQ5/EQaZQgtVGD8f9o5ie7KymrqMgPrny9bh4aNbDmXtk7Qp8PXefjKqrMuwJSK5fGmN8krzJjNBPq7GtbVu48MLyW92MkTny3/8+vLE0aSLTOUkVthmlpUltFlVrmsir6cQ/yQ6JktGeiYMEH4yYKPOyTmh2VODrTY449Bx5s+5w40o4/g9w2FDodwvcsAJa9XYmNuVhL70Ed90FzZtLQj/jDCmq1a5d+GOZOhWOPVbiaNBApn2uv17K2apa0zK2NZD7GyyeCOs+gQbtoP/vofWxzr3+xnkwdXiFnSepcNE7cPiZzt1HKdetWiUnJnv1gmax2mS15sKya6W6vJrIw2HLIpj3V6nK16QrDPpH8fy3Uirm6a4Vj2h3AoyZ7XYUSikv0TlypZTyOE3kSinlcZrIlaqNNWvkNOKxx0r519Wr3Y6oVF6eHHmvS/lV5SmayJXjrJWuPHvWRGmN9sWLoU8fePllqTc9ebJ8fdVVcgDn+OOlxZgbv/wLL8gukIEDoUsXKda0Z0/441BhpbtWVLVYCxnFbUOadg9eu2X7EnjrgtLDTWkt4KK3oVWf8MQZFiecIPuwKypbTTAtTXpWTpgQvrjmzYMRI6TaYYmkJHljmT8/fHGokNHth6rWtn0nyTm7eGDnawIXvg1tjiv/c7n74fEOkLe//PXkBvCHLZBcLzzxhlxCQvCj5mWlpEitk9qUha2J3btl1H3bbdLQIVAcq1Yduia3injBErlOragq5e6HKUNh/2YpGlaQJX+eMrRyr9KVb0mfzIqK/PK9qFGvmu9ISUnwzTehi2P/fqm/3a4dHHccfPpp8DgqVhxUUUUTuarSyrcCN24oKoQVb5a/dvDXwFUY/Tnyvahx443Va9NVVBTaGtsXXwyzZ8viZmZm8E8Jfr90rVdRSxO5qlLmDijIqXy9IAcyKwzy2g8I3DYtIRXanxSa+KpSWAD7foH8TIdf+L77oFOnqn8mPl4KVvXv7/DNi23dKvPegRoGl13A8PnggQeC96NUUUFPdqoqtT9JmmZUrMWeGCA5dxwErY+DrV+X1otJ9EHbE8JfZuC7Z+Gzu2RaxxZCzzEw/KlD9/esloQEqa0diDFSCKpnT+lfGaqOHjt2yJRJoBK1jRtLgayWLeH22w/dzV55niZyj8vcKX1EmxwhZWyd1uEUaHcibPmqdNok0QftBlROzsbA5R9LEl02CTDQexz0vT68HYpWzYDZt5ef5vnhVakgOXKiAzcoKJCmDIEkJsqe8lD3pe3eXaZMAt1/9Gh44onQ3l9FFN214lEFOdJ6bs0Hxc2W86WE7eAHnU+ahQWw5Lni5AwcMw6Ovda58r1Oe+5Y+HVp5esJqXBHhkPNqLt1C3wI6OSTYcECB25QDY89JtM8JdsNExKkNOzy5dCmTXhiUGGlRbOizKybJYn7c+UB0ny5YUdJsk6KT4R+N8rDCw5sDfINI52eHEnkTz0FZ58tI3NrIS5OFkD/8x8HXryabr9dDv088ohMtZx2GtxzjybxGKSLnR7kz4MfppYm8BLVbQsX7dr0J2Dbu8QUSG/p0E2GDpXFxlGj4Igj4KKLZKth30qDpdA65xxYuFCaLP/vf+40i1Cu0xG5B+VnAkFav2XraWwGPwi/zC1eoC2eOUz0wWmPQZyT/8X37QvvvuvgCypVOzoi96DUxnL0vRLjzja/SNPiaLj6a+h2DqS3gjbHw4VvQe+r3I5MqdDQEbkHGQMjnoG3Ly7e423BJMiWwKEPux1dZGh+JFw83e0olAoPHZF71BEjYexc6HY2NOsBx4yF65dJE2alVGzREbmHtekHF89wOwqllNt0RB4i+7fIgtvB7W5HopSKdjoid5g/D6aPhjUfQUKyfN3jAjh7UuQeoFFKeZsmcofN+TOsnQmFufIAWPUONOoEg/7ubmwqBH78Eb76Sqocnnmm1D9RKsw0kTvIWlj6QmnBqBL+HPjuaU3kUaWwEC69FD76SP7FJyRIpcH586Fr19Dd98sv4aWXID8fLrlE3jzidIY01mkid5AtClyPGyo3YVAe98ILksTLtlXLzITzz4effgrNPe+9V0oAlJQFmDFDGku89lp4q5KpiKNv5Q6Kiw/em7L9gPDGokLsf/8rn8RBkuuGDfJw2i+/SJGs7OzSvqBZWfDBB+Er0qUiliZyh414BhLT5IAOQFwiJKXDMK0qGl0CNXQAmebIz3f+fp98EnjUnZ0N773n/P2Up2gid1ibfnDd99BnHLQ9Ho69Dq7/AVr0dDsy5ajLLgvc7q1hw9DMkaelSdehihISqt9DVEWtOtcjN8a0A14BWiKlnJ6z1lY5/tR65MrzsrKk9vjatTI3npwsSXXmTBgYgnZIBw5A69Zy37JSU+GHH6ScrYp6oaxH7gf+aK1daoypBywxxsy21q504LWVikxpaVK29t13Yd48KR87dmzomi3Xry9TKOeeW3rN74dnn9UkrpzvEGSMeQ94ylo7O9jP6IhcqVrKyYHZs2UefuhQmcpRMSMsHYKMMR2B3sA3Ab53LXAtQPtQ9zNUKlqlpkozC6/y++VTzMcfQ4sWMH48dOrkdlSe59iI3BiTDswHHrTWVllAVEfkSsWgvDwYNEhOw2ZmSqPohAR4/XVvvzmFUbARuSO7VowxicA7wNRDJXGlVIx68UVpDJ2ZKV8XFMhU0RVXhGbLZgypcyI3xhjgRWCVtTaMnWeVUp4ybVrlQ1QgB5y++y788UQRJ0bkA4AxwGBjzLLix3AHXlcpFU0C7bsHKCoK/j1VLXVe7LTWfknAnuXKC3Ysh2UvS0Pn7udCl2Fg9JiYCoXrr4eFCyvvhW/cGHr3diemKKFFs2LYt0/B7DugME8Kfv00DTqfDhe9rclchcC558JVV0nBsfh4KWeQnAwffqhFv+rI8X3k1aG7VtyXtRsmtC+tmV4iKR3OnyY9QZUKifXrpdxv06YwbJjWcK+BsOwjV97xy2fSsahiIs/PhJVvayJ31Zw5Ul3xwAGpOT56dHQlu86d5aEco4k8RiWkEnBlw8TJqFy55K9/lZrjJfPIX34JkybB3Lmy5zrWHTwIL78Mn38ubwa/+52+KaCJ3HOslbnsrydAzl444iw4+S+Q1rxmr9P59MAr1AkpcMyVTkSqamzbNnj0Ucgt8zEpOxu+/16aSFx4oXuxRYKMDDj2WPlndrYcKHr2WXj/fRgyxO3oXKVLWh4z5w744FrYvhj2bYDvnoH/9YacfTV7ncRUuOR9SKpX/EiXJH7q36F1pRm40PLnwm+bpFF1TJs/P/CoOytLjrXHugcegB07SveiFxTIn6+8srTZRozSEbmHZO2SnSb+MgO2ogIZmX/3DAy8u2av1/EUuH0HrJ0lLeo6nwbpLZ2NuSq2CD6/F755XL42cTDgTvmE4clNDH6/dOz59lupH3LJJTWrFd6wYeBfPD4emjVzLk6vevfdwCdA9+yBjRvhsMPCHlKk0ETuIb9+D/HJ5RM5yNe/zKl5IgdI9EGP852Jr6a+fEiSeNk+p1/+E1IbwXE3uBNTrR04ACeeCJs2yRH0tDS4806Z4+7evXqvcdppsh3v4MHy15OT4ZprnI/Za4K9KRYVyd93DNOpFQ+p11pG4BWZeGjoscGItbDw35WbVRdkwxcPuRNTnfz977BuXWkdkaws2LcPxoyp/mskJkqJ2latJGnVrw8+n8wDt28PTz0lzZ3/9KfQ9AWNdDfdJH8fZSUkQP/+0LyGi0RRRkfkHtLiaGjaHXb+UD6hJyRD/9+7F1dt2CLIDTKvn7UzvLE4Ytq0yn08rZVKf3v3yunF6jjmGNi6FRYtkjeDAQOksNRRR5Vf5HvmGTlIM2iQ879LpLrmGmnmMW2a/B1YKw09Xn/d7chcpyNyjxk9E9oPkCmWxDTwNYPzpkLLXm5HVjNx8dA4SGOb5kcHf17OXphxBTyYCvcnwevnwIGtoYmxRgL10wRJNjWd8I+LkwR++ukyZRBskW/s2Nha5IuLk62YK1dKJcVPP4UVK0LXlclDdETuMWnNYexcyNwBufslGcYFySGRbtgT8OaF4C8zvZKQCmf8O/DP2yJ4+RTIWANFxWteaz6Ebd/CzWshyc1p0jFjYMKE8lsH4+LguOOgUaO6vfaMGYEX+TIyYPNm6NChbq/vNYcdFhkLm3l5sHq1TOu0DOMugQB0RO5R6S2haVfvJnGAw4fLJ4wOAyGtBXQaCld8Bh1PDfzzGz6D3zaWJnEAWwh5B2DFG+GIuAr33CPTIunp8rG/Xj35H/zVV+v+2ulBTmgVFVWeM1bh8eyzspPopJOgY0c480zYv9+1cHREXkv+XFg1Aw5sgTb9oMMpHt0y57KOp8CV86v3sxmroDDAYm9BFuz80dm4asznk8p+8+bB4sUyYhw1ypmj9TfeKAucZWt5JyTA8cfrtkQ3fPop3H57+X8fn38u201nzXIlJE3ktbBnDUw6WaYE/LkyX92qN4yZLYdqVGg07VZcH6bCmmJimiwEu84YWXx0egHy+utlb/obb5Rf5Js2zdn7qFIZGfC3v8H06VIr/frr4dZb5e//kUcqN8jIz5cyCr/+6sqcvU6t1MI7l0L2bikwVeSXEeH2JfDVo25HFt06DYUG7SEusfSaiYfkenDkxe7FFXJxcVJfZMUKKQH7ySe6yBdKWVnQty8895wk5g0b4L774KKL5PvbtgV+XlIS7NoVvjjL0EReQ5k7YdcKoMJmAX8OLHvJlZAiWmE+LHgAJrSDR5rBe+NkobY2TBxc9QUcdbF8CopLkHn2q791eaEzXDp1kmRy4ok6jxdKU6fKiLygzDxeTk7pG+jQoTIyr8ha6No1fHGWoVMrNWSLgn8vPzN8cXjFmxfAhjnyRgfwwxRY/yncuEpG0jWV2hjOnSKP2uzsU+qQFiyo3MUI5JPR4sVyYnfaNFnc9Pvlez4fPPwwpLgzt6oj8hqq1wpSguwmy9svI1Aldq0on8RBpqJy98HyV+r++prEVUgccYSURajIGNnq2aYNLF8O110nPztokMyl3+BeXQlN5LXgaxL4enyy1ENR4telgbdHFmTDlq/CH49S1XL11ZWnThISoHVrGDhQvm7TRkomrF4tO1bOOCP8cZahibwWglUItEXalKGsRkHObMQnyw4UVQPWyvzs8uWyf1yFTuvW0qWpZGSelCQJfN48mV6JQDpHXgv9boKtX8tulf9noH5baNbDtbBc4c+DlW/B5q/klOkxY8HXVL7XbgA06AB7VsuUSon4JOijxfyqb/lyaVy8a5d8vE9LgzffLB0dKuf17y+j7R07ZN67YUO3I6qSNl+uBWulwcM3T8m+ZoCUhjD28+D1Q6JR7m/wQn84uF0WehNSZSfJlfOgVR/5mazd8O6VsGG2fN20K5z9UvibV3hWTo58jN9XocJYWppsi4vxqn+xRpsvO8gYOO1R6H+rzPX6mskJRROZn7pCZv79cmS+ZIG3ZFFz+uVw40r5c1ozGP0R5GfJz6XWsexIzHnvvdKdEWUVFsrx/9tuC39MKuJoIq+D+m3gyIvcjsI9K98MvEtn3wbZK152LSEpDYiFvd5O27kzcMGs3Fw5rKIUutip6iAuwJkIAGwV31M1c/LJgUvkpqfDqaeGPRwVmTSRq1rrc7XMi5dl4qF1v+BbNOvCnwt71kLewUP/bNTo0weGDy/fysznk0qLw4a5F5eKKDq1omrtxNth03zY/KUsAMclyBz4+VOdvY+1sPAROeoPsgOm11g488nSxeao9vrrMHkyPP+8HBu/4go5jBKsmYWKObprRdXZ9sXyaNAeOp8uCd1Jy6fAR9eX7++Z6JMtjMMed/ZeSkUy3bWiQqZ139BuJ/ziwcBNmpc8B6c9IvvSlYplOkceg6yVphivDIUXjodFEyonykgSrBmzLdRCZUqBjshj0qd/lNFsycnUnT/AD6/A+K8hIUCtILe17ivFtypKbRK8gJlSscSREbkxZpgxZrUxZp0x5k4nXlOFxv7NsPjZ8uUF/DmyG2TFm+7FVZWhj0gXIMpUO0z0yfy4VkBUyoFEboyJB54GzgR6AJcaY2Ks4oh3bP4y8GJkQRasc6fd4CG16g3jF0G3c6F+O+mPeumHsX0YS6mynJha6Qess9ZuADDGvA6cDax04LVVdezZI4Xw27U75BDV14xyI9sScQmQHsGdw1ocDRe/43YUkaUgR0oFpzSAZkfqp5NY5sTUShtgS5mvtxZfK8cYc60xZrExZvHu3bsduK1i504YPFjKbnbrJkXv586t8imHDSoutVvhf/q4RDj22tCFqpy1bDI81hxeGy4L1s/0kNIIKjY5kcgDjQMqbU631j5nre1rre3brFkzB24b46yV3oFffCG1OHJyYMsWGDkS1q8P+rS4BBg7Fxp1lnnn5PqQ3ADOe1UqE6rIt30JzLxBduzkHZBpsT1rYMpp8p+Fij1OTK1sBdqV+botsN2B11VV+fZb2LixcmW8ggJ49ll47LGgT23aFW5eA7t+kiTQqo/uxfaS756WcgVl2SLI2iV18tud4E5cyj1OJPLvgMONMYcB24BLgMsceN3K9u6VUWenTlCvFp17o8nmzYEnRQsKYO3aQz7dGJl3Vt6T+WvgJuAmDnL2hD8e5b46T61Ya/3ATcAnwCrgTWvtirq+bjkFBTBuXGnPvObN4c9/Dv3nyNWr4ckn4eWX4bffQnuvmjruOPl7qcjnk3lzFbWOOEu2X1ZUmA9tjw9/PMp9juwjt9bOtNYeYa3tbK190InXLOfPf5bCQXl5cOCA1GJ+6il4+mnHbwXIG8Rtt0Hv3nDHHXDTTdC2LXz2WWjuVxsdO8Ill0jiLpGYCE2awFVXuRaWCr1jrpQWemUrTyamwUl/KW2zp2JL5BfNKiyE+vUhO8AZ8vbtYdMmZ4MDSdhnny1b+sqqX192iqSkOH/P2igqkvnwp5+GzEw45xy4915wcjG5qChiG87GsvxMWDwRVr0DKY2h/83QRavaRr1gRbMi///QvDx5BJKREZp7TppUOYmXOMT2vrCKi4Mbb4SVK2XO/L//dSaJWwsTJshrxcdD587w7rt1f13lmKR0KSM8fpG00itJ4jl7YfX7sHE+FBW6G6MKn8ivteLzyTRCoC11/fuH5p6BeiRW53vR4l//ggceKP0UtGEDXHYZzJgBZ5zhbmwusTbyDtzsWAbrPpEtpD0ugB+mwOd3yw4kayG5Hlz+KTQ/0u1IVahF/tQKwCefwHnnyV5pa2Ukmpoqe6h793Y+wPfeg9GjK4/KfT6ZWklPd/6ekcLvl3n2Awcqf69vX/juu/DH5KKfXoc5d0qNmnqtYdD90NvlJQhr4cPr4MepssAZn1Q6+i6s8OG1Xhv4w+bYawwerbw7tQIyCpw3D0aNgiOOgEsvlYQSiiQOcNZZcrCmpL1WUpK8cbz0UnQncZDdOcGmstatC28sLlvxJrw/HvZvAiwc3AazboKlL7ob17qP4cfXpPRwkV/+WZhXOYmDHBjasjD8MarwivyplRLHHRe+edq4OJg2Db78Em04Lr8AAByASURBVD78EBo2lKmFDh3Cc383NWokb1qBknm3buGPx0Wf3R24ocXce6HPeHdiAlg+uXz1yqoYI8lcRTfvJPJwM0Y6mJ98stuRhFd8PPz1r3DPPeV3Cvl88KDzO0sD+vVXWLVKDn517BieewawP8iGqMxfZSojzqWWmTWZDS3Mh3YDQheLigzemFpR4XXrrbJrpW1bSEiAo46C6dNDf9CosBCuvloS+HnnQffuMs2VkxPa+wbRsGPg6+mt3UviAL2uKK7PXoGJgwRf6Z8TfXDaY1IdUUU3byx2qtjwr3/B/feX/ySQkgJjxsBzz4U9nJXvwLtXVG76fOZT7i54WgvvjYOVb0rNlfgkwMC5r0L+QdlbntoEjvsdtOnnXpzKecEWOzWRq8jRpg1sD1BvLSUFDh6UTwdhtuIt+Owu+O0XaWox6B8yIo4E276D9cXbD4+8CNJbuh2RCrVgiVznyFXk2L8/8PWCAinV60IiP/JCeUSiNsfJQymdI1eR45RTAp+66dq1fE0ZpRywcR5MPAb+kQCPtYRFE7xbzz16E/nBg3JsvVDPKXvGv/8t5YkTE+XrhARJ4BMnuhuXijpbv4apw2HncrCFkLUT5t4D8+5zO7Laib5Enp0tpzKbNZNdDy1bSuVEFfm6dYOffpL6MccfD1deCUuWxN4WUBVy8+4Df4XNUAXZsOjf0gvVa6JvjnzMGJg5s/RAS3Y2jB8vC2maECJfu3ay9VGpENr1U5BvGDkn0KhTWMOps+gake/cKUk8t0IfrOxseOghd2JSSkWcpt0DX7cW0luFNxYnRFci375d6qIE8ssv4Y0lUhUVBe4spFQMOfXvlbssJfqkrntiauDnRLLoSuRHHBG4zGxCgk6rZGXBtddKIbCUFKlds2SJ21Ep5Yr2A+DiGcUjcwOpjWHgvTDkn25HVjvRdyDooYfK19KOi5OdEMuWuVq3w3Wnnw4LFpQvhpWeLouLsVAMTKkgIrHWfDDeLmNbE3fdBS++CL16yY6Viy6CxYtjO4mvXi2VHCtWNMzLk+bSSsUwryTxqkTfrhWQpsSXXOJ2FJFj7VrZm12x+FRBASxf7k5MSinHRN+IPFpkZ0sRqaOPlvnsSZNkobI2evSQI+4VJSdDP62qpJTXeXtEvm2bzH136CClVqNFQQEMGCBTIiWj6Ftugc8/h1dfrfnrdeoEI0bI1syS1zNGFj1vusm5uFVMKsiRqou+ZtExTeFF3hyRFxXBdddBly5yirN/fzjhBNi3z+3InDF9urRVKzsVkpUl11eurN1rvvYa3Hab9ONMSYFhw+Cbb6CVBzfNqojgz4X3r4ZHGsOE9vCftrBquttRQcZqace3+gMojJGdtt5M5M8+KyPT3FypmJedDUuXwtixbkd2aHPmwNChslVy/PjA+9s//xwyMytfNwa++qp2901Kkt08GRnyBjFzphSjUqqW3r1KGkD7c6VfaOZ2mD4GNtfyP9G6slZ6rP6vN3z8e5g+Gia0hd2r3IknnLyZyP/73/LNB0DmgD/5JHD390jx8stw9tnw2WeyADl5sjSQ3rCh/M+1ayfz1xXFx8tOnFiQkQErVlQ+pasiQnYG/PyuJPGy/NnwRRj2Yu9YDp/cBh9eB+s/lST+42vw0xtSQ6UgS6Z7snbD62e7W9XQnwvrPoH1s8EfpK95XXlzjjxY3eq4OJmCqF8/vPFUR0EB/OEP5d+ACgtl5P23v8Err5Rev/LKyiUFjJFKgMOGhSPa6vvtN/j4Y/nzsGHSqLousrLk9//gA/kUYa30Cr3lljqHqpxzYBskJEFhgPfZfetCe+9v/gtz7pR+pLYQfpgKR4yQmCo1pbZwcDtkrIJmPUIbVyBrPoJ3Li2zdmDgoreh01Bn7+PNEfnw4YGbDLRsGbkj1k2bAh+NLyyEefPKX2vbFj78EFq0kEM7Pp9UBpw/v7TEayR4/XVo3VpOjF57rfz5rbfq9prjxsnvnpcnpYgzM+VswPvvOxOzckTjLoHnn008tD0xdPfN2gVz/iyjbltcobogSxJm5s7AzzFxlT85hEPmDnjrQvlkkHeg+LFfPiHk7HX2Xt5M5PffD40ayaIdlNatfuGFyF02b9IkcPkAkARY0aBBUjtm0SLZ671yZWTNaW/bBlddJfPtBw/KIydH1il+/bV2r7lvH7z3nhY984CkNDjpzxWaQBupVzLw7tDdd/1siAswhivIkmP2CQHqpMQnQYteoYspmJ9eB4JM6ax829l7eTORt2kjie0vf4EhQ+Caa2Sxc8gQtyMLrlEjmR8vefMp4fPJiDOQuDjZVtmlS+jjq6m33go88WgtvF3L/0r37Anezi1QL0/lqoF/heFPS72S1CbQ9Sy4+msZrYdKQgoQYKxm4qD1sTJ9kpQu1+KT5I3lvKkQFx+6mILJ3R94TrywQL7nJG8mcoCmTeHee2UXyDPPRNZoNZhJk+DMM2Uhs149mTZ58EFJ8F6TkxP4E4bfL79nkyZSFuHRR6vfpalDh8BTR3Fx0gauJr79Vp5Tr57sEJo82bt9vCKUMXDMWLhxJdyRAZe8F/p56C7DCDjKjU+GPlfD+EUw6kXoPR4G3Ak3rIQuZ4Q2pmA6nx64kmJ8onzPSdFXNMsLdu+W2umdO0OqB2tmAvzwg3TxqXjsHyTxlpxC9fngvPNgypTqve6LL8rCZsmicHy8vOEtXSoHm6pj6VKpdll2Ydnnk0XlP/2peq+hItYvn8s8MwZsERQVwuAH4MQ/uh1ZedbKFsjV75cuwiamwVGXwKgXaveawYpm1SmRG2MeBc4C8oH1wFXW2t8O9byYT+TR4tZbZV2iJGEmJEgCrzgCT0mBVauqX7hs9myZE9+8WUbV99wDhx1W/bhGjIBZsyqPwOvVk22NwWrWK8/Iz4K1M6U9W5czID1C9zjYIknky18p/gRzFRw+ovZLeaFK5KcDn1tr/caYhwGstX8+1PM0kUcJa6Wq4tSpMgpfulROi1ZUv75srwzXFFLr1oEXXNPSZG+6lu1VHhWSMrbW2k+ttSUTpV8DbevyespjjJEpjIkTZZ3ihBMCz3H7/TUbUddV586BrxcVSVNupaKMk4ud44BZwb5pjLnWGLPYGLN49+7dDt5WRYybb648bZGUBD17yiNc7rtP5sTL8vlkr3vF60pFgUMmcmPMHGPMTwEeZ5f5mbsBPzA12OtYa5+z1va11vZtpqOi6NSpk5RJ6NpVEnhSEowcKfPV4TR0qOxSadNGPiGkpcmbzL//Hd44AshYLYdEHmsJE3sV7zVWqo7qvGvFGDMWuB4YYq3NPtTPg86Rx4S9e2WR080RsLVyUMnnC74/PYz2rofn+kB+piyCQfEBmnvhpDvdjU15Q0jmyI0xw4A/A6Oqm8RVjGjc2P1pDGNkoTUCkjjAggdkt4Ut0x+kIBsW3C//VKq26jpH/hRQD5htjFlmjJnoQExKRaUtX5bWBynLxMPeEBeaUrWTtQtm/wmeOQpeGSJbHiNRXXetdLHWtrPWHlP8uN6pwOrMWim0dO65cNZZ8OabtW+VprylsBAeeUTKATdoIAeS1q93OyoaBjnPVFgA9QKU21Huys6QdYxv/gu7V8hBpLcuhIXuL7VU4t0j+ody3XVw2WXw7rtSTW/cOLjwQj2mHQuuvhr+/nfYulXq07/3nvQ9rW0xL4ec/BeZEy8rIQW6jQJfU3diUsF9/Tjk7JNyuSUKsmHuvbLOEUmiM5H/+KN0EMoqU5w4K0t2VHzxhXtxqdDbtg2mTSt/PL+oSL5+8kn34gI6niJHs33NpEpffDL0uAjOftnVsDypyA9fPgyPd4RHm0tnoMwdzt5j3cfS+aii+ERpbBFJImMVyGlz5gSeRsnKkiYIAweGPyYVHj/9JLtl8ir8H5iXBwsXuhNTGUddKsk781dIaVhaqU/VzNuXwrqZpYvEy1+RxHvDSkhp4Mw96reFX5dUvl5YEHklAaJzRN6wYeCdCsnJUk5WRa9OnaTtX0UJCdDDhRYxAcTFS5LQJF47Gath7Ufld/oU+SH3N1j2snP3OeGPlafC4hKhVW9oHOTwsFuiM5Gfd17gqjRxcTB6dPjjUeFz+OEwYEDlnqdJSVLkS3ner0uDNJfIhs0Ozpx2OBmG/ReS6kFyfVnPaHu8lOuNNNE5tdKggSxwnntuaSU+a+G11wJ341HRZcYMuOEGeOMNmWLr0gWee07qkivPa9ix/F78EvFJ0LSbs/fqMx56Xg67V4KvCTRo7+zrOyW665EXFEh1vsJCOOmkyt15VHTLz5e2cZHYjFvVmrXwv2Ng9yooKtM3NCld5sgbtHMvtlALdrIzOkfkJRITpfel8h6/X7r8GCNbB2tzOrOk3ouKKsbAFZ/BjLHwyxy51qgTnP1SdCfxqkR3IlfeNHcuXHCBfKICme+ePl1K5iqF7Lsf/RHkHZQtgrG+D18TuYosGRlyErfsGYCDB2H4cOkYpLuOVBnJ9ZAiITEuOnetRIONG+Gaa6Qk7Omnyyg1FpQsUFZkLbz9dvjjUWGlB69rR0fkkWj9ejj2WBmV+v2wZg189RU8+yxccYXb0YXWnj2yQFlRXp58T0Wlvevgoxuknkl8Ehw9Gs74T/GIWx2Sjsgj0X33yXSC3196LTtb9kGXvRaNBg8OXP42OVm+FyUKC2DlOzDnTljyPOQdcDsi9+TshRf6wy+fSXVIfw78MAWmnK4j9OrSRB6J5s8PPL2Qny/zxNFswADp8JOWVnotLQ1GjIB+/dyLy0G5+2X73HtXwlcPwyd/gCcOk+10sej7l6Agp/ze8MI82PUjbP/Ovbi8RBN5JGoZpJCD3y8NGwLJz5dDL6ecAqedBm+95b3hTH6+lB4+4wy45x4YMkSS+vPPSyGsKDH/b9ItqKSCXkGWVNmbMcbVsFyz43sZhQcSq29uNaVz5JHorrtgzJjyFfxSUmDUKKkjU1FhoSS/b78tfc6iRTB7tiR3L/j5Z3kTysmR38daOOccqWIZV2a8UVJHxcP7w396PUBVPSsj0Jy9kBrkvTpatewNq6ZXTuZFfhmlWxu44kao5R2QY/9pLdy5f03oiDwSnXce/OMfMqVQv74k8TPPhEmTAv/8rFmweHH5xJ+VJUnw55/DE3NdWCvlFHbvlrWB7GxJ6O+/Dy+/LD+zbZtsQUxLkzn0IUNkZ48HmfjA160FE4P/R3Y+HfwB1rcL82HWzdLnNDuM69zZe+C1kfBoMymT+2QX2LQgfPevjRj8z8Yj/vhHSWxffAGbNsmBmLLzxmV9+ilkBql074Vti+vWydx/xamgrCzZqZOfDyecIL+n3y8j9nnz4PjjJeF7TK8rIL5CtQgTB236SWnbWPP53UFGvFamnXatkPWEcLAWXj0D1n8qbySFebBvA0wdLtNhkUoTeSRLTYWePaF586p/rnnzytX+QI61N/XAkbf8/PLTJ2Xl5cEHH8Bvv5UWQANZDM7KkrUAjxl4D7Q6RmqDxCVKdb20FnDuFLcjCz9rYd2swEWwShQVSGINR1eeHd9Dxs/la7iAJPXvng79/WtL58ijwdix8NBDla/Hx8PIkeGPp6a6d4f09MqfKhIT5Vj+2rWBR96ZmfI9j0n0wbiFsHGelGRt2BG6niX7p2NRdaeT/Lmhr+H+20apF19RUQHsWR3ae9eFjsijQbt2cuqxYUOZU09Pl3K9n30mo/pIFxcnu1LS0sp/sigslDnyyZMDV65MT4devcIWppOMgcMGwYl/hB7nx3ASN9D9fPlkUpVGncJTT6VVn/I9OkskpEKHU0J//9rSRB4tzjwTdu2Shc+5c2HLFujTx+2oqu/UU+UEa/fupdMsJb02N2yoXMkwMVG2aZ59tivhqrrJ3AHvXw2PtYDNX5W2vYtPAkzxA/k6KR1GBVnnd1rDjnDkReU7A8UlSGOJPteEJ4ba0KmVaJKYCCee6HYUtdeqFaxaVfkwVH6+zJWPGwevvy4Tq+efD488Ir+z8pTc3+B/fSB7t2wxBBnxtukPXUdJ84Z9G2DrQmjSDY77XXgbOoyaBC37wLdPyrz8ESNh0D8gNYLrtUV3YwnlLdZKYi67qFkiKalyQ2XlSYv+A5/fU3nfeEIK/O6n8PfDLCqENR/A+tmQ1hx6XxXBnYBisrGE8hZj5FDQ3LnltyLGxUkFSBUVNi0IfJIzLlEWf8OZyP158MoQ2LEcCjJlKmfhI3Dh23D4meGLo650jlxFlokTpeZ4SeEsnw+aNIEnn3Q3LuWYJl0DL+7aImjYIbyxfP+ibDksKN4wVZgvpzmnj5bCZl6hiVxFlsMPlwNC998vJXv/9S/ZYtixo9uRKYcc97vKu1TiEqHx4dD6uPLXty+BSSfBA8nwWEv48qGq95zX1I9TJXFXVFQIvy5x7j6hplMrKvI0agS33eZ2FCpEGnaEyz+R05r7twAWDhsK504uf8Iz42d4+RQ53QmQtRMWPAAHtsHwp5yJJSFYP/YiiA9wxi5SaSJXSoVd+wFw0xrZuZKQItv7Kvrin5VrsBRkw9IXineROFBc7NjrYOs3pW8WJVIbQ8tj6v764aJTK0opVxgju0QCJXGQhU8bYANTQopzdU96XAhHXSqvmeCTcgmpjeGS9yO/4mFZOiJXSkWk5kdBxqrKc+L+PJmecYIxMOp5OWG7aYGcHj18BCR4aFoFNJErpSLUyX+R/d1lFyMTfdDjIkhr5uy9mnaTh1c5MrVijLndGGONMR4otadUYNbKcfEFD8KS56Rrj3JPi54wepaMzDGQmA7H3QRneaRXSjjVeURujGkHnAZEeTNJFc2KCuGNc6WLuz9XPlp/ejtc/jG083DVA6/rMBB+96Mc5Tfx3pq3DicnRuQTgDsAjzWIVKrU8lckiRdkyQJbQTbkH4Q3znd237KqnbgETeJVqVMiN8aMArZZa5dX42evNcYsNsYs3r17d11uq5Tjlk2qvAUN5Nqv34c/HqVq4pBTK8aYOUCgtu53A38BqlUEw1r7HPAcSNGsGsSolLv0v1YV4Q6ZyK21QwNdN8YcDRwGLDfymactsNQY089au8PRKJUKsWPGyci74qg80Sdd3pWKZLVe7LTW/gj8fzNJY8xGoK+1NsOBuJQKq15j4OcZxfPkOZCYIotrF70TuPWXV9ki+R23fgP1WsORF4a+fZoKPd1HrhSymHbJe7DlK9g4Xw6GHHlRZDcTqCl/Lkw5DXYsg/ws+bTx6R/hyvnQ4mi3o1N14Vgit9Z2dOq1lHKDMdD+JHlEo6+fkGqCJbXAC7Lk8fbFcONKd2NTdaO1VpSKEcteCtzQYe86mH0HbFlYvp+H8g5N5Mr7MjPhiSdg6FAYOxaWeKiQdAQoKpD2a1NOh2mjSvtoKu/QRO60rVth0SL47Te3Iwmv/PzAvTZDbf9+6N0b7roLPvsMXn0VBg6EKVPCH0uE6zVWmhwHYgtlmmXjXFg2ObxxqbrTRO6UrCw46yzpcDNsmHSEv/NO731WzcmR5FhdK1fCgAGQmiqPiy+GfWEsUvLkk/LmmVM8Z1BUBNnZcOONUd2sOe+ALFpm76n+c074A7TqU7xLJcgpyYIs+P4FR0JUYaSJ3CnXXgtz5kBuLhw4IP986il46SW3I6ueffvgggugYUNo1gyOOgq++abq52RkSBJftEgSaEEBvPsuDBkSvjewGTPk77oiY2DZsvDEEEbWwpy74LEW0j1nQluYcYX0mjyUhBS4agFcPAP6/i54BxyvjT2UJnJnZGXBO+9UTihZWfDoo+7EVFNnnAEffCBTJAUFsGKFzDlv2hT8OZMmyai37P/5+fnSY3PRotDHDNKYOZCCAnlTijKLn4Vv/ytbCfMOyD9Xvi3bCKvDxEGnoTD8ycAddhJ90HucszGr0NNE7oSDB4NX9MnwwPmo77+XKZL8CsO6/Hx45pngz/vhh9IpjYrWrHEuvqrccgukpZW/Fh8vU1xdu4YnhjBa+GjlZsH+HFj6Ys0WKU0cXPS2dMRJ9CFlYtOg/clwzFWOhqzCQBO5E1q0CDwyjIuDwYPDH09Nbdggya+i/HxYtSr48/r1A5+v8vWiIujZ07n4qjJyJPzpT5CSAg0aQHq6JPEPPwzP/cMsO8i4oKhATqTWRLsT4dZNcPq/4dS/wWUfSf3v+MRDPlVFGE3kTjAGJk6UpFYyMk9MhHr14MEH3Y2tOnr1qjwaB1m8HDAg+PPGjpXEWfZNICVFEnyfPs7HGcx998mC52uvwdy58umiXbvw3T+M2h4f+Hr9drU7ap/aCPpeD6f8FTqeoqVivUoTuVNGjoT582XB8Jhj4LrrZOqhSxe3Izu0Ll1kx01qmb1p8fGSpK+5JvjzGjSAxYvh3HNleqNxY7jhBpg5M/QxV9SkCQwfDn37RnU2Ou0xSdim5L3TSNPg4U9H9a+tDsFYF5ao+/btaxcvXhz2+6oqFBTIwuyzz8oi7fDh8NBDUTuy9bKM1fDFg7DtO2jaVXpbtulX99dd8yEsuB/2b5bXG/SA1mCJNMaYJdbavpWuayJXSn3/Isy6pcxCqpFF0PGLNJlHkmCJXKdWlIpxRX749E8VdsNY+frzu10LS9WAJnKlYlzmDtmPXomFbYc4E6YigyZypWJcamOCtrOr3zasoaha0kSuVIxL9EGvKysX1Er0wcB7XQlJ1ZB2CFJKceYTgIXlk+XUZ1wSDHkIup3jdmSqOjSRK6WIT4KRE+WUZ3aG9PPUE57eoYlcKfX/ktLkobxF58iVUsrjNJErpZTHaSJXSimP00SulFIep4lcKaU8zpWiWcaY3UAVPcQiSlPAA21+HKe/d+yIxd8ZvPl7d7DWNqt40ZVE7iXGmMWBqo1FO/29Y0cs/s4QXb+3Tq0opZTHaSJXSimP00R+aM+5HYBL9PeOHbH4O0MU/d46R66UUh6nI3KllPI4TeRKKeVxmshrwBhzuzHGGmOauh1LOBhjHjXG/GyM+cEYM8MY09DtmELFGDPMGLPaGLPOGHOn2/GEgzGmnTFmrjFmlTFmhTHm927HFC7GmHhjzPfGmA/djsUJmsiryRjTDjgN2Ox2LGE0GzjKWtsTWAPc5XI8IWGMiQeeBs4EegCXGmN6uBtVWPiBP1pruwPHAzfGyO8N8HtgldtBOEUTefVNAO4gaHfD6GOt/dRa6y/+8msgWjs49gPWWWs3WGvzgdeBs12OKeSstb9aa5cW//kgktjauBtV6Blj2gIjgBfcjsUpmsirwRgzCthmrV3udiwuGgfMcjuIEGkDbCnz9VZiIKGVZYzpCPQGvnE3krB4HBmUFbkdiFO0Q1AxY8wcoGWAb90N/AU4PbwRhUdVv7e19r3in7kb+Rg+NZyxhZEJcC1mPnkZY9KBd4BbrbUH3I4nlIwxI4Fd1tolxphT3Y7HKZrIi1lrhwa6bow5GjgMWG6MAZleWGqM6Wet3RHGEEMi2O9dwhgzFhgJDLHRe+hgK9CuzNdtge0uxRJWxphEJIlPtdZOdzueMBgAjDLGDAdSgPrGmFettZe7HFed6IGgGjLGbAT6Wmu9VjWtxowxw4D/AKdYa3e7HU+oGGMSkMXcIcA24DvgMmvtClcDCzEjI5PJwF5r7a1uxxNuxSPy2621I92Opa50jlxV5SmgHjDbGLPMGDPR7YBCoXhB9ybgE2TB781oT+LFBgBjgMHF/36XFY9UlcfoiFwppTxOR+RKKeVxmsiVUsrjNJErpZTHaSJXSimP00SulFIep4lcKaU8ThO5Ukp53P8BZaDQop+e63MAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 1 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "mpl.scatter( x[:,0], x[:,1], c=z.flatten(), cmap=cm.rainbow)\n",
    "mpl.show()\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Además como parte de la especificación del modelo vamos a definir unos *arrays* $Y_k$ para guardar los valores de activación de las unidades y $W_k$ para los valores de los pesos de las conexiones, incluyendo en ambos casos la dimesión adicional para los umbrales en donde sea necesario."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "Y0 = num.zeros( (1,S[0]+1) )\n",
    "Y1 = num.zeros( (1,S[1]+1) )\n",
    "Y2 = num.zeros( (1,S[2]) )"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "W1 = num.random.normal( 0, 0.5, (S[0]+1, S[1]))\n",
    "W2 = num.random.normal( 0, 0.5, (S[1]+1, S[2]))\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Y para facilitar las operaciones también vamos a definir dos funciones adicionales que sirvan para agregar las unidades umbrales, es decir concatenar una columna con *-1* a una matriz, y quitar los umbrales, es decir eliminar la última columna de la matriz."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "def bias_add( V):\n",
    "    bias = -num.ones( (len(V),1) )\n",
    "    return num.concatenate( (V,bias), axis=1)\n",
    "\n",
    "def bias_sub( V):\n",
    "    return V[:,:-1]\n"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Cuando se trabaja con *backpropagation* generalmente hay que tener en cuenta en qué orden se toman los datos por época y cuántos datos se usan por vez para calcular las correcciones a los pesos.\n",
    "\n",
    "En el ejemplo de regresión lineal utilizamos el conjunto de datos entero para calcular las correcciones, esto se llama *aprendizaje por lotes* (*batch*/*off-line*), y en este caso el orden de los datos es indistinto.\n",
    "Pero cuando vimos cómo calcular las correcciones para el perceptrón simple usamos una instancia por vez, esto se llama *aprendizaje incremental* (*incremental*/*on-line*), y aquí recorrer las instancias en un orden aleatorio suele incrementar las chances de converger a una buena solución.\n",
    "\n",
    "Sin embargo quizás la mejor solución es un compromiso entra ambas técnicas llama *mini-lotes* (*mini-batch*) en donde se eligen al azar porciones relativamente chicas de los datos y se los utiliza para calcular las correcciones a los pesos. Estos mini-lotes pueden verse también como una generalización, en donde el caso **1** es igual al *incremental*, y **P** igual a *lotes*.\n",
    "\n",
    "De momento solo vamos a considerar mini-lotes de una sola instancia, es decir equivalente al *incremental*, y para esto vamos a definir una variable **B = 1**.\n",
    "Para recorrer las instancias en orden aleatorio sin repetición durante una época vamos a usar *permutation*, de donde elegiremos una instancia *h*."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "B = 1\n",
    "H = num.random.permutation(P)\n",
    "h = H[0]\n",
    "\n",
    "Xh = x[h:h+B]\n",
    "Zh = z[h:h+B]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Antes de empezar con el entrenamiento vamos a necesitar un *coeficiente de aprendizaje* o *learning rate* (*lr*), y una variable en donde ir acumulando el *error* por época."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "lr = 0.1\n",
    "error = 0.0"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "El primer paso es propagar los estímulos hacia adelante, calculando los niveles de activación de las neuronas en cada capa. En la capa de entrada tenemos que copiar el patrón de entrada, y en esta como en las capas sucesivas (excepto en la de salida), debemos agregar las unidades umbral correspondientes.\n",
    "\n",
    "Hacer la asignación a **Yk[:]** en lugar de sencillamente a **Yk** hace que los valores resultantes de la operación en la parte derecha se copien al *array* que definimos previamente. Esta es una forma de asegurarse que al menos el resultado de la operación tiene las dimensiones que esperabamos.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "Y0[:] = bias_add( Xh)\n",
    "Y1[:] = bias_add( num.tanh( num.dot( Y0, W1)))\n",
    "Y2[:] = num.tanh( num.dot( Y1, W2))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "También vamos a necesitar unos *arrays* para guardar los calculos de las correcciones. Como sabemos que estos van a tener la misma dimesión que los pesos **W** podemos usar la función *zeros_like*."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "dW1 = num.zeros_like( W1)\n",
    "dW2 = num.zeros_like( W2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Un últimos elemento que necesitamos es la derivada de la función de transferencia.\n",
    "Si se está utilizando una función sigmoidea como en este caso, es posible calcular la derivada utilizando la misma función de activación.\n",
    "Para el caso de $f(x)=tanh(x)$ la derivada se puede calcular como $f'(x)=1-f^2(x)$.\n",
    "\n",
    "Con esto ya podemos calcular los *deltas* que necesitamos para las correcciones de los pesos en la capa de salida."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "E2 = Zh-Y2\n",
    "dY2 = 1-num.square(Y2)\n",
    "D2 = E2*dY2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "dW2 += lr * num.dot( Y1.T, D2)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Para calcular las correcciones de la capa oculta es la misma operación pero con dos diferencias.\n",
    "\n",
    "- Los errores van a ser retro-propagados de la capa posterior.\n",
    "- Se debe eliminar la dimensión extra en los *deltas* correspondiente a la unidad umbral."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "E1 = num.dot( D2, W2.T)\n",
    "dY1 = 1-num.square(Y1)\n",
    "D1 = bias_sub( E1*dY1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "dW1 += lr * num.dot( Y0.T, D1)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Finalmente podemos actualizar los pesos con las correcciones y calcular la estimación del error.\n",
    "\n",
    "Especificamente la expresión general del error es el promedio por lote de la suma de las diferencias cuadradas entre la respuesta deseada y la obtenida para todas las unidades de salida."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "W1 += dW1\n",
    "W2 += dW2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "error += num.mean( num.sum( num.square( Zh-Y2), axis=1))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.2"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}