D04 CNN 圖形辨識.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# D04 CNN 圖形辨識\n",
    "\n",
    "Yann LeCun 被譽為 Deep Learning 的三巨頭之一。他的 CNN (Convolutional Neural Networks) 是讓 Neural Network 重新受到重視的主因之一。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "%matplotlib inline\n",
    "import numpy as np\n",
    "import matplotlib.pyplot as plt"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. 讀入套件、準備資料\n",
    "\n",
    "這裡我們新增一個 `Flatten` layer, 還有 `Conv2D`, `MaxPooling2D`, 使用訓練方式是 `Adadelta`, 這是參考原作的。\n",
    "\n",
    "[Keras 範例集](https://github.com/fchollet/keras/blob/master/examples)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras.datasets import mnist\n",
    "from tensorflow.keras.models import Sequential\n",
    "from tensorflow.keras.layers import Dense, Dropout, Activation, Flatten\n",
    "from tensorflow.keras.layers import Conv2D, MaxPooling2D\n",
    "from tensorflow.keras.utils import to_categorical\n",
    "from tensorflow.keras.optimizers import SGD"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "(x_train, y_train), (x_test, y_test) = mnist.load_data()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(60000, 28, 28)"
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.shape"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "做 CNN 的時候我們可以直接把矩陣塞進去。不過一張彩色的圖通常有 R, G, B 三個矩陣, 但我們這是灰階只有一個。所以 (28, 28) 的矩陣要變成\n",
    "\n",
    "* channels_last: (28, 28, 1)\n",
    "* channels_first: (1, 28, 28)\n",
    "\n",
    "注意很討厭的, 表示法是不一樣的!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [],
   "source": [
    "x_train = x_train.reshape(60000, 28, 28, 1)/255\n",
    "x_test = x_test.reshape(10000, 28, 28, 1)/255\n",
    "#x_train = x_train.astype(\"float32\")\n",
    "#x_test = x_test.astype(\"float32\")\n",
    "#x_train = x_train / 255\n",
    "#x_test = x_test / 255"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "y_train = to_categorical(y_train, 10)\n",
    "y_test = to_categorical(y_test, 10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "確定一下一個訓練輸入長什麼樣子。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(28, 28, 1)"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_train.shape[1:]"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2. 打造 CNN\n",
    "\n",
    "CNN filter 一般是「越用越多」, 但要幾次 CNN, 是不是每次都要接 MaxPooling 可以自己決定!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = Sequential()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "注意這是 Keras 2 的寫法。我們這裡要用 10 個 3x3 的 filters。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(Conv2D(10, (3, 3), padding='same', input_shape=(28,28,1),\n",
    "                activation='relu'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "然後每 2x2 的區域做 MaxPooling。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(MaxPooling2D(pool_size=(2, 2)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(Conv2D(20, (3, 3), padding='same',\n",
    "                activation='relu'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(MaxPooling2D(pool_size=(2, 2)))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(Conv2D(120, (3, 3), padding='same',\n",
    "                activation='relu'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(MaxPooling2D(pool_size=(2, 2)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "接著要送進一般的神經網路學了, 我們用一個 hidden layer, 200 個神經元。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(Flatten())\n",
    "model.add(Dense(200, activation='relu'))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "最後輸出用 softmax 處理一下。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.add(Dense(10, activation='softmax'))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.compile(loss=\"categorical_crossentropy\",\n",
    "              optimizer=SGD(lr=0.087),\n",
    "              metrics=['accuracy'])"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3. 訓練和結果"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Model: \"sequential\"\n",
      "_________________________________________________________________\n",
      "Layer (type)                 Output Shape              Param #   \n",
      "=================================================================\n",
      "conv2d (Conv2D)              (None, 28, 28, 10)        100       \n",
      "_________________________________________________________________\n",
      "max_pooling2d (MaxPooling2D) (None, 14, 14, 10)        0         \n",
      "_________________________________________________________________\n",
      "conv2d_1 (Conv2D)            (None, 14, 14, 20)        1820      \n",
      "_________________________________________________________________\n",
      "max_pooling2d_1 (MaxPooling2 (None, 7, 7, 20)          0         \n",
      "_________________________________________________________________\n",
      "conv2d_2 (Conv2D)            (None, 7, 7, 120)         21720     \n",
      "_________________________________________________________________\n",
      "max_pooling2d_2 (MaxPooling2 (None, 3, 3, 120)         0         \n",
      "_________________________________________________________________\n",
      "flatten (Flatten)            (None, 1080)              0         \n",
      "_________________________________________________________________\n",
      "dense (Dense)                (None, 200)               216200    \n",
      "_________________________________________________________________\n",
      "dense_1 (Dense)              (None, 10)                2010      \n",
      "=================================================================\n",
      "Total params: 241,850\n",
      "Trainable params: 241,850\n",
      "Non-trainable params: 0\n",
      "_________________________________________________________________\n"
     ]
    }
   ],
   "source": [
    "model.summary()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Train on 60000 samples\n",
      "Epoch 1/12\n",
      "60000/60000 [==============================] - 7s 118us/sample - loss: 0.4069 - accuracy: 0.8696\n",
      "Epoch 2/12\n",
      "60000/60000 [==============================] - 7s 111us/sample - loss: 0.0837 - accuracy: 0.9733\n",
      "Epoch 3/12\n",
      "60000/60000 [==============================] - 7s 111us/sample - loss: 0.0602 - accuracy: 0.9810\n",
      "Epoch 4/12\n",
      "60000/60000 [==============================] - 7s 111us/sample - loss: 0.0458 - accuracy: 0.9855\n",
      "Epoch 5/12\n",
      "60000/60000 [==============================] - 7s 112us/sample - loss: 0.0388 - accuracy: 0.9879\n",
      "Epoch 6/12\n",
      "60000/60000 [==============================] - 7s 111us/sample - loss: 0.0318 - accuracy: 0.9896\n",
      "Epoch 7/12\n",
      "60000/60000 [==============================] - 7s 111us/sample - loss: 0.0279 - accuracy: 0.9910\n",
      "Epoch 8/12\n",
      "60000/60000 [==============================] - 7s 112us/sample - loss: 0.0229 - accuracy: 0.9926\n",
      "Epoch 9/12\n",
      "60000/60000 [==============================] - 7s 112us/sample - loss: 0.0205 - accuracy: 0.9931\n",
      "Epoch 10/12\n",
      "60000/60000 [==============================] - 7s 111us/sample - loss: 0.0174 - accuracy: 0.9947\n",
      "Epoch 11/12\n",
      "60000/60000 [==============================] - 7s 111us/sample - loss: 0.0158 - accuracy: 0.9950\n",
      "Epoch 12/12\n",
      "60000/60000 [==============================] - 7s 111us/sample - loss: 0.0135 - accuracy: 0.9956\n"
     ]
    },
    {
     "data": {
      "text/plain": [
       "<tensorflow.python.keras.callbacks.History at 0x7fb03c6daf28>"
      ]
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "model.fit(x_train, y_train, batch_size=128, epochs=12)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3. 看最後分數\n",
    "\n",
    "我們把測試資料結果放 result。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "result = model.predict_classes(x_test)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "隨便看 25 個數字的結果。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 21,
   "metadata": {},
   "outputs": [],
   "source": [
    "pick = np.random.randint(1,9999, 25)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAUwAAAD3CAYAAAB2FG1dAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjAsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+17YcXAAAgAElEQVR4nO2deXgUVfb3v6c6wawCiYQgApEMCAwxQRgRkUUWEWEivyADsgnKLszAoOBEZBOByDYgIQOiIMLgIKC8yiIqq2KQVRDosBNCwp6tk3TW8/7RSZkmne7qLVVJ7ud57pPUdu+537516m51i5gZAoFAILCNpLYBAoFAUFkQDlMgEAgUIhymQCAQKEQ4TIFAIFCIcJgCgUCgEOEwBQKBQCHCYQoEAoFCXO4wicjwQCgkoo9cnU5lhoj2EZGxlEYJatukJYhoABGdI6IsIrpERB3UtkkrEFEIEe0golQiuklEy4nIQ227tIK79XG5w2Rmv5IAoC6AHABfujqdKsD4Ulo9obYxWoGIugOIATAcgD+AjgAuq2qUtlgB4DaAegAiAHQCME5Vi7SFW/Vxd5P8FZiMP+jmdARVh1kAZjNzPDMXMfMNZr6htlEa4nEAm5jZyMw3AewC8GeVbdISbtXH3Q7zNQDrWLx/aYl5RHSXiH4mos5qG6MFiEgHoA2AOkR0kYiSiptU3mrbpiGWAhhARD5EVB9AT5icgsCEW/Vxm8MkooYwVYc/c1calZipABoDqA9gFYBviChUXZM0QV0AnjC1TDrA1KRqBWCamkZpjP0w1ZgyACQBOArga1Ut0hZu1cedNcyhAH5i5ituTKNSwsyHmTmTmXOZ+TMAPwN4SW27NEBO8d+PmDmFme8CWAyhDQCAiCQA3wHYCsAXwCMAasPU51vtqQh93O0wRe1SGQyA1DZCbZg5FaZagejCsUwAgAYAlhc/bO8BWAPxQCnB7fq4xWES0bMwNTfF6PgDEFEtIupBRF5E5EFEg2AaCf5Obds0whoAE4goiIhqA5gI4FuVbdIExTXuKwDGFpedWjCNE/ymrmXaoCL0cVcN8zUAW5k5003xV2Y8AcwBcAfAXQATAPRhZjEX08T7AI4AOA/gHIATAD5Q1SJtEQXgRZjKz0UABQAmqWqRtnCrPiQGsAUCgUAZ4tVIgUAgUIhwmAKBQKAQ4TAFAoFAIcJhCgQCgUJsreKh9oiQ1ucmCn2sI/QpH6GNdTSpj6hhCjTN/fv38ac//QmSJEGSJLzzzjtqmySoxoh19ASapbCwEK+88gquXLkCItMD39tbrMMhUA9RwxQIBAKFiBqmRikqKkJKSoq8HRQUBADw9PRUy6QKZ9WqVdi/fz8AYPLkyQCAKVOmqGmSoJpj600fTXa8agiX6GM0GjFhwgQAQFJSEgAgNzcX+/btk89p164dAODnn38ufWmV1sfX1xdGoxEhISE4deqUvM8OtKxPudokJSUhOjoaGzZsgI+PD6ZPn172YmYEBwejf//+8PAw1Xt0Op096WtZG8ANvicsLAy///479u/fj+eeew6SZLWBbVEf4TCdw2l90tPT0aBBAxgMBrP9kiShefPm8vbTTz8NAPjkk09Kn1Zl9dm4cSMGDRoEIsKvv/6K1q1bOxKNlvUpV5uBAwdi06ZNppOY5f5bs4uL97du3RotWrQAACxatAgBAQFK09eyNoCNslNQUIDs7Gx8/PHH5Z7TokULdOnSRW6Vfffddxg6dCju37+P6dOnY/r06Ra1LcY1DjMrKwsxMX8sL2c0GrFgwQK5hhQTEyN3zBuNRtSoUcOWJ7dGpf5RbXHnzh00bdoU6enp8r7Vq1ejXbt28PDwQJMmTWxFUSX1uXPnDurWrQtmxhtvvIHVq1c7mr6W9SlXm+vXryM+Ph5z585F8+bNUbduXQBAjx494Ovri3Xr1iErKwsZGRnYteuPxcRHjx6N2NhYpelrWRugHH2YGZmZmejZsyfi4+PNjul0OgQEBCA9PR15eXny/k8//RQA8Oqrr2LWrFmYP38+ACAnJwc1atQoL33L+jCztVAGg8HADRs2ZEmSLIYWLVpwz549uWfPnhwWFsbDhw+3FI1SbNmndnCYL774ggMCApiIuE2bNnzjxg2+ceMGFxUV2RON2vl3iz5vvvkmS5LENWrU4MTEREejYRflQRVt7t+/zy1btuQff/yx3HPy8vJ4+/btrNPp5GAHauffIX2MRqPsazw9PXn69Om8bds23rZtGx86dIiZmY8dOybva926tXx+REQEL1++nCVJ4po1a3Jubq7d+jhk9M2bN80MsRZ0Oh2PHTuW58+fz/Pnz+dTp05xQUGBNUNtGq2h4BDr1q3jmjVrMhExEdmjx4OonX+X63PlyhX29vZmSZJ4woQJjkRRGrXz77A2e/fuZZ1Ox+vXr7d63urVq6ulw/T09OTevXvbzGRqaiq3adOG27RpY+aXVqxY4ZA+Dv+o+fn5HBMTw88884wix1k63Lt3z2ZGrRmtoaCIoqIizsnJ4ZycHN6wYQP7+fnJzpKI+Nlnn+V79+7Zo0uV0qc0e/bskctJfn6+I1GURu38O6zNoUOH2MPDgwcPHsx5eXmcl5dX5pxLly6Z3VcLFiyoKtqUq0+Jw/Tz8+OEhARFGT148CAfPHhQ1ql///5KypZFu8Q8TIFAIFCKI16+NHl5eXzgwAGOi4vjuLg4DgkJ4ZCQEFHDLCYrK4vj4+PNapRExI0aNeKOHTvK26GhoRwaGmpvLVPt/DutTwn5+fmcn5/PHTt2ZEmSeNiwYfZcXh5q598pbRYtWsSSJPGIESN4xIgRfP/+ffnYgQMHuEWLFmbNcb1eX1W0KVefgoICnjx5MkuSxAMGDOA7d+7YzOiDNcxz5845rI/LCvyD7N27l4OCgqq1wywqKuLly5czETFMo37s7+/Px44d48zMTM7Ly+P4+Hju0KGD7DibN2/Oqamp1UKf0nz22Wf82WefMRFxw4YN2WAw2HN5eaidf6e1WbBggewQu3TpwikpKczM3LRpU3n/jh07eMeOHfb2haudf4f1KSgo4HfffZeDg4O5Zs2avG/fPt63bx/n5OSUOffXX3/lbt26cbdu3WQnq7Crx6JdLivwlrhw4QKvXr2a582bJzvLpk2bcnZ2ttIo1P7RnNInLS2Na9WqxUTE/fr14379+lkcmcvJyeGwsDAOCwtjIuKFCxdWC31KM3HiRJ44cSJLksTjxo0zO2Y0GjkrK4uzsrKqklNQREFBAa9du5bXrl3LAwYM4KCgIJ46dao8oKrT6Tg5OZmTk5Pt0UXr2ijS5/z581yvXj3ZtwwdOlR+oDAzHz58mAMCAjg4OJiDg4O5Z8+efOHCBaf0cVmBt8asWbPMOlztQO0fzWl9Zs+ezcHBwfKgT3m8/PLL/PLLLzMRcfv27S128ltA7fy7pPycOnWKa9WqxbVq1WJJkvj69evysZSUFLNpbHFxcUqj1bo+dpOfny/PsCjtMHfv3s27d++2Nzq18+8SfVJSUrhv377ct29fliSJAwMD+YcffuAffviBAwICWJIkXrhwoT2VEKv6uPxHtcSgQYOqlcPMzMzkVatW8YEDB/jcuXN85coVq5nMzMw0a5ISETdo0IDPnDlTJfV5kNIzLYYMGSLPRc3Lyyszfc3X11dptFrXx2HWr1/PAMp0dc2YMcOeaNTOv8v0uXXrFt+6dYt//vlnsxqnJEncp08fzs3NtTXnUrE+Fb74Rrdu3So6yQonJiYGH3xg+jJs3bp10bVrV4wePVo+/sgjj5i99njv3r0y6zxOnTpVfuWtKrNx40YcPnxYfkWtRo0a8v/jx4/HiRMnzM7PycnBiRMn0KpVqwq3VUtIklTmtb45c+aAiDBjxgyVrFKHkoVpgoKC0K1bN2zYsEE+lp+fD2YXvuHtKi9fHkajkdu2bSt7/Pj4eKe9vIaCRSIjI8uMipcOHh4e3Lt3b96wYYPcAf3ee+/xe++9x0TETZs25aysrCqrT2neeustBiBrc/ToUWZm/uSTT8z2lw7Hjx9XErXW9XGIjIwMeSZB6RHykuDt7c1nz56t7NrYpY/RaGSj0cjjx4/ngIAArlevHo8cOVIedB4zZgyPGTPG3lqmRbvEPEyBQCBQiqu8fHmkpqaa9SlUhxrmmjVrzGpEgwYN4h49enCPHj3K1JauXbvGRqNRfn2rZH9GRkaV1ac0GzduZCJif39/9vf355s3b/KtW7fkt6EsTUuzA7Xz7/J7629/+5s80JOcnMzLly/nyMhIjoyMZJ1Ox5Ik8ZIlSyq7Nor1uXz5Mg8fPpyHDx/OkiRxVFSUPM/y/v37PGbMGLncjBo1yp5apkW73PKjlqY6OszMzExu2bKlPK8yPT1dnpidkZHBK1euZCLievXq8ahRozg4OFh2lAEBAXzlyhUuLCyssvqUZvfu3UxE7O3tzd7e3vzLL7/w+PHjWZIkiw5zwIABSqKtDPrYTWpqKjdq1Ii7d+9utj8xMZETExP5lVdeYUmS2MvLS8lrg2rn32l9Tp48ybVr15bLxoQJE8o4xNzcXI6JieGYmBiuXbu201P2XP6jPkhycnK1c5jMzKdPn+bQ0FAmIvbx8eG5c+fy3Llz+cSJE9ynT58yNc2SWsLJkyerhT4l5Ofnc2BgoFw+vL292cPDw8xhNm7cmDdv3sybN292ST+URoLdLF261OY748ePH2dJkvjVV1+1FZ3a+XdKH4PBIE+vGj9+PI8fP97mVLywsDCuWbOmU+MDbh8l37hxo7uT0CQtW7bE3r170aJFC2RlZeHdd98FAPlvCR06dMCQIUMwYMAAAICfn1+F26omHh4eOH/+PN58800AkBfOBYBHH30US5YsQe/evcXHzwDEx8dbW/AWABAcHAwisnleZScuLg6ZmZn48ssvERkZCQDyyvPWyMzMRFFRkcPpim/6uJEGDRogMzMThw4dwtmzZwEAW7dulY+/8MILGD16dLV3BgEBAfKDtbo+YO3hk08+wVtvvWXxWOfOnSvWGJXIzMwEABw4cAD5+fkWz+nVqxeOHz+OnTt3AgDOnTuHp59+2qnvYrn9ExWdOnXCTz/9JG8fOnQIbdu2VXq51h+T4hMe1hH6lI/d2hw4cABdunQBAMyYMQMdOnQAAHmu6pYtW/DLL7+AiNC/f3+z+YgW0LI2gA19cnJyMG/ePHm+syV8fHxgNBrlGuVf/vIXLF26VKn/qfhv+hQVFaFOnTpIS0tDvXr1AACXL1+2tix8GfucSb8CEA7BOkKf8rFbm4KCArRv3x7Hjh0Dc/nf+pk8eTJmz54NLy8va9FpWRtAgT7MbNa8/vnnn3H69Gns3bsXzz//vLw/IiICgOlDgpLyz+VY1EfMwxQIBAKFuLWGeebMGbRq1QqFhYVYtmwZAMid+wqp9E9BNyP0sY6W9RHaWEeT+ri9D7N3797YuXMnbty4AcA0imcH4ke1jtDHOlrWR2hjHU3qI75L7hxCH+sIfcpHaGMdTepjy2EKBAKBoBgx6CMQCAQKcYvDJKL1RJRCRBlEdJ6IRrgjncoKEe0jIiMRGYpDgto2aQVRdpRBRE2Ky9B6tW3RGkQ0gIjOEVEWEV0iog4ui9sdTXIi+jOAi8ycS0TNAOwD0IuZj7k8sUoIEe0DsJ6ZV6tti9YQZUcZRLQbgDeAa8w8WG17tAIRdQewGkB/AL8CqAcAzHzDFfG7pYbJzGeYObdksziEuiMtQdVClB3bENEAAGkAflTbFg0yC8BsZo5n5iJmvuEqZwm4sQ+TiFYQUTYAPYAUADvclVYlZR4R3SWin4mos9rGaAlRdsqHiB4GMBvAZLVt0RpEpAPQBkAdIrpIRElEtJyIXLZYg9scJjOPA+APoAOArQByrV9RrZgKoDGA+gBWAfiGiEQtqhhRdqzyPoBPmPm62oZokLoAPAG8AlPZiQDQCsA0VyXg1lFyZi5k5p8APAZgrDvTqkww82FmzmTmXGb+DMDPAF5S2y4tIcpOWYgoAkA3AEvUtkWj5BT//YiZU5j5LoDFcOG9VVHLu3lA9ENZg6H9icRqIcrOH3QGEAIgsXjhDT8AOiJqwcxPqWiXJmDmVCJKghsnvbu8hklEQcXD+n5EpCOiHgBeBbDH1WlVRoioFhH1ICIvIvIgokEAOgL4Tm3b1EaUHZusgunhEVEc/gNgO4AeahqlMdYAmFBclmoDmAjgW1dF7o4aJsPUhPoPTA75GoCJzLzNDWlVRjwBzAHQDEAhTAMbfZhZzMUUZccqzJwNILtkm4gMAIzMfEc9qzTH+wAeAXAegBHAJgDlL5ppJ+LVSIFAIFCIeDVSIBAIFCIcpkAgEChEOEyBQCBQiHCYAoFAoBBbo+RqjwhpfW6i0Mc6Qp/yEdpYR5P6iBqmQCCo0mRkZCAjIwNvvvkmJEnCX//6V4fjqqg3fQQCgUAVZsyYAQD44osv0K9fP/l77o4gapgCgUCgEJd8BC0/Px85Oab33lesWAEAiIuLQ1JSEoqKisw+nr5t2zb07t1bsX1KT1QJTfazaAihT/kIbazjEn1GjBiBtWvXAgC6d++OnTt3Kr3Uoj5ON8k3btyIzz//HLt37wYAMDOKFwYAEUGSJHkbAPr06YNvvvkGPXv2dDbpKkHJA6YES99tj4qKwpYtWyrKJM1x/fp1zJs3DwBw584dzJgxAy1btlTZKoFa5Ofnw8PDw8yvWOLkyZNYu3atfJ5LfA4zWwtWuXDhAgcHB7NOp5ODJElWt3U6HXt7e/P/+3//z1b0bMM2LQSH0ev1HBUVVbKiuM0QFRXFUVFR1UafnJwcnjJlCvv6+rKnpycTkRx0Oh2fO3eOjUajrWjUzr9T2pw4cYInTZqk5FSZ559/nvfs2aPkVLXz77A+R48e5fz8fKuZMxgMHBISwpIk8eTJk3ny5MlKNCmNRbuc+lFv3bpVxhlKksQhISEcExPDMTExvH//fo6IiChzTq9evRw2WkPBYfR6vWJnWd0cpsFg4J49e5o5SUth1qxZnJOTYy0qtfPvlDYvvvgi63Q6TkpK4qSkJCWX8JAhQ3jo0KFKTlU7/267t5iZP/nkE5YkiSVJ4vv37/P9+/ftjcKiXU41yYOCgvDNN99g/Pjx6Ny5MwBg5syZaNCggdl5zzzzDE6dOmVWqy0qKnIm6SpPbGwsAKBr16544oknVLamYvn444/x/fff2zxv5syZaN68Ofr161cBVlU8ERER2LVrF5KTkwEA9evXt3lNRkYGrl275m7TNM2OHTvw97//HQDwv//9D7Vq1XJZ3E73Yfbs2ROXLl0q93hKSgp2795dpr+h9EBQdSQ6Olr+v7r3UT5IWFgYCgsL5e2//e1v8lSQd955B1lZWfKxbdu2VVmHGR4eDgCYPn06AOCrr76Cl5dXuedfvnwZ3377LTp16lQh9mmRtLQ0rF+/HtnZ2Xj44YfRpUsXm32d9uDWeZgnTpxAnz59cOOG+UfbfHx85EJQ3UhISECzZs3kbeEsy9KpUyekpqZizZo1ePnll5Gbm4uxY01fqSjtLAFg4MCBaphYIfz+++8AgKSkJADArVu30KhRo3LPNxqNKCwsRP/+/SvEPq2Rm5uLXr16IT4+Hr6+vvjuu+8QEBDg0jSqdzVPIBAI7MAtNczMzEwsWLAAMTExKCgoKFMlXrRoEZ5++ml3JK1ZSqYPPThtSNQuzWFmXL58GYCpiblo0SLEx8fj+PHjZudJkoTly5ejS5cuapjpdvR6PZYvXw4AGD58OABYrV2WpkmTJm6zS8v88ssviI+PB2DyMW3btnV9Iq4aqTIajWw0Grlz587y6JQkSUxEZtuSJPGRI0c4Ly/P4ZEqDQWb2BoNj42NZb1erySqKqlPCWlpaZyWlsZTp061OTru4eHBX3zxRWXXxyrh4eFyGfn111/5119/tZnZM2fOMABeuXKlzXM1kH+XlZ2MjAzOyMiQy0efPn3subw8LNrlshrmV199BQA4cOBAmRrlg9tt27bFiBEjsGzZMjz00EOuMkGTlB7csURJjTMqKgoAMHfu3Go3Kg4A7777LoCyE/kf5OGHH8bVq1ddOvKpdUpGyZXy3HPPuckS7WEwGBAZGQnA5Gfq1q2LRYsWWTz35s2bSE1NhSRJjt9jrvLyx48f5+PHjyuauF6yb9SoUbZqmmo/5ZzWB3bMtSwJdtQ41c6/y8rPihUreMWKFTZrl56enrxkyRIlk9a1ro9V0tPTuXHjxgyAPT092dPTkwMDA3nq1Km8ZMkS3r9/P1+8eJEvXrzId+7c4Tt37vAbb7zBAPjevXuVXRvFZWfp0qVmrddDhw6VOSc6Opqjo6M5MDBQ9j3x8fEO6eOyAl/auBLHOG3aNJ4/fz7HxMTwsGHDeNiwYWWcaHp6ut1GayhYJTY21uIE9NjYWKtv+ViYoF5l9MnJyeHs7Owy+0+fPs2nT5/m6Ohobt26Nbdu3Zo3bdrEkydPtug4q4BTsEpqairXqFFD0QPW19eXfX19GQD7+PjYuqcqgzY29WFmvnr1Knt4eMi+5P333+fCwkJmZi4sLORr165x48aN2cPDgz08PDgoKEh2rLt27XJIH6eNtpfHH3/crF9z/vz5dhutoWCT2NhYm+dYcp4Ka5lq51+xPidPnuSTJ09yeHg4N2/enNetW2fz9TZm5gMHDlh0mL/99ltl18cqq1evZgBMRBwZGcmRkZG8efNmTklJkUNiYiIvXryYR4wYwSNGjGAA3KVLFyW6aF0bxfeWJElcs2ZNrlmzprw/MzOTP/roI5Ykidu3b8+TJk3iSZMm8a5du1iSJPbw8OCjR486pI/dRhuNRr5z5w4nJiYqyVMZGjdubFbDjImJsdtoDQWXERsba1YjrWoO85FHHuFHHnnEzOktXryYU1NTy3298ejRo9y8efMyzvK1116rCoOGVhk7diwHBgby4sWLbWby8OHDfPjw4WrnMMePH8+SJPHUqVN56tSpzMx87tw5/uc//ylXytatW8dNmjThJk2ayJW0devWOayPmIcpEAgESlHq5fPy8jgvL49HjhzJwcHB7OPjwy+++CKPHDmSDx06JB8vj7Nnz/LZs2c5ODjYrIZ57do1u728hoJLKFm5qHTTXCFq51+xPhMnTuSJEydabF7HxsbyhQsX+MKFC3z//n3euXMnDxo0iENDQ8uc6+Pjw9evX68K+riM6l7DDAwM5MDAQF69ejW3aNGi3OmMTZs25T179nBRUZHD+ig2+siRI3zkyJFyR8AbNWrEjRo14mnTpjEz8507d3jjxo383//+l/v168c+Pj7s4+Njdl2rVq0q82oz5f6oJU5PyRxLSwNDSvo9K5s+mZmZnJmZyW3btjVzgCjup/Py8mIvLy+uXbu2RacaHh7O4eHhfO/ePaXNca3r4zJKO8y5c+cqvUzt/Dutz4IFC9jPz6+MY5QkiQGwJEkcFhbG06ZN42nTpikdKLSqj2KjSyaHljbQkhd/cF9553h7e/POnTsdMlpDwSIPOsGoqCjW6/VmztPaSHlVn1b0yiuv2Jw+VDosWrSIL126xJcuXVKqS2XQx2WUdpgHDx5Uepna+XeJPvv37+ehQ4fy0KFDzXxMgwYN+Ny5c5ybm6s0qgexaJfdRr///vuK5ljaOmfUqFEOG62hYBG9Xm+x5mgtlLPeZZXUp6CggDdu3MhBQUHyA7ikbHh5ebGfnx9PmjSJP/74Y7537548VcQB1M6/3do4QmmHaTAYlF6mdv5dpk9+fj7n5+fzxIkTWZIk7tixIx87dsyeKCxh0S67v+mTm5uLhQsXIiYmBllZWWXe4mFms30PbgPArFmz8M9//hPe3t7W0gYq+XdHEhISEB0dja1bt1qNRK/XO/rmQaXWp4TDhw/Dx8cHABAcHIw6deq4Kn0t6+Oyb/qUXqfAYDDA19dXyWVa1gZwoT4OYlEfhz+CZjAYEBsbiy+++AKnT5/+4wILDnPo0KFo3rw5ANNCAg8//LDSVyIr/Y/64HJupYmNjcW4ceOcSb/S6+NmtKyPy7QZPXo0AOCHH37AuXPnUKNGDSWXaVkbQKNlxyVfjXQjVeZHLf2OtAtXUa8y+rgJLevjEm2YWf7agV6vx7Vr16wuMlwKLWsDaLTsiHmYAoFAoBBRw3QOoY91hD7l4xJtzp49iz//+c8AgH79+mHTpk1KL9WyNoBGy45wmM4h9LGO0Kd8hDbW0aQ+okkuEAgECrFVwxQIBAJBMW6pYRLReiJKIaIMIjpPRCPckU5lhIhCiGgHEaUS0U0iWk5Ebv16Z2WCiJoT0R4iSieii0T0f2rbpCWIaB8RGYnIUBwS1LZJS7j7/nJXk3wegBBmfhhAJIA5RNTaTWlVNlYAuA2gHoAIAJ0AODUZs6pQXLC3AfgWQACAUQDWE1FTVQ3THuOZ2a84VL/vmVjHrfeXWxwmM59h5tySzeIQ6o60KiGPA9jEzEZmvglgF4A/q2yTVmgG4FEAS5i5kJn3APgZwBB1zRJUItx6f7lt0IeIVhBRNgA9gBQAO9yVViVjKYABRORDRPUB9ITpRxVYHpkkAC0r2hCNM4+I7hLRz0TUWW1jNIZb7y+3OUxmHgfAH0AHAFsB5Fq/otqwH6YnXgaAJABHAXytqkXaQQ9Tc+ptIvIkohdgalL5qGuWppgKoDGA+gBWAfiGiETr7Q/cen+5dVpRcbPqJwCPARjrzrQqA0QkAfgOpgeIL4BHANQGEKOmXVqBmfMB9AHQC8BNAJMBbIKp4AsAMPNhZs5k5lxm/gymLouX1LZLC1TE/VVR8zA9IPowAdNARgMAy4sL/D0AayAKvAwzn2LmTswcyMw9YKpN/aq2XRqGof1J6BWF2+8vlztMIgoiogFE5EdEOiLqAeBVAHtcnVZlg5nvArgCYCwReRBRLQCvAfhNXcu0AxE9SURexX1Qb8E02rlWZbM0ARHVIqIexfp4ENEgAB1hqlVVeyri/nJHDZNhan4nAUgFsBDARGbe5oa0KiNRAF4EcAfARQAFACapapG2GALTIOFtAF0BdC8146K64wlgDkxl5y6ACQD6MLOYi/kHbr2/xJs+AoFAoBDxLrlAIBAoRDhMgUAgUG88EwAAACAASURBVIhwmAKBQKAQ4TAFAoFAIcJhCgQCgUJsLXuk9hC61ifkCn2sI/QpH6GNdTSpj6hhCgQCgUKEwxQIBAKFCIcpEAgEChEOUyAQCBTism9d5OXlAQBu3bqFlStXyv8TEYKCgtC/f38AQFhYmKuSFAgEAmRlZQEAZsyYgcWLF5sdq1mzJpYvXw4AGDBgAHQ6nVNpOf1d8uzsbOzbtw/Tp08HAJw8eRLMDCIq8xcAfv75Z7Rt21axfUpPVIly9UlISMCPP/4IAPjxxx+xdetWi+dFRUWha9eu8nbXrl3xxBOKP9NSafUpj4yMDHz++edYs2YNjh07hldeeQVjxowx08gOtKyPJkeBNYQifVJSUvDss88CABITE82OvfTSS9i+fbvse2bMmIFp06ZBkhQ1rC3rw8zWgk2WLl3KkiQxETERyf9b+itJEgcHB3NiYqKSqNmGbVoIFtHr9SXfMXIoxMbGVml9HuTq1as8e/Zsnj17NgcFBcllqSR4eXnxsGHDeNiwYZyVlaU0Wq3rozZq598l+jRu3Fj2LZIk8dtvv80pKSmckpLCBQUFfOnSJW7SpAk3adKEJUni7du3O6WP00ZLksQ6nU42uOR/S39L/p82bZpTRmsoWCQ2NtaqQ4yKirJ5Tsl5VVGf0ly9epXr1q1bxkmWF9q3b895eXlKota6Pk6TlZXF58+f5zlz5vCcOXM4JCSEg4KCyoTIyEiOjIysTNoo1sff31/2PePGjeOioqIy59y9e5fv3r3L9evX56VLl/KaNWvY39+fjxw5Yi1qi3Y53YdZVFQESZLAbKpB161bF82aNZOPHz16FAaDwaxGW9Wx1HyMiooCAGzZskXeN27cOCQkJCA6Otpik728ZnxV4scff8Tt27fL7Pfz80PHjh0BAL///rvc3Dp06BCOHz9uT7dOlcFgMCAiIgJt27bFoUOHkJ2djbt378o6NWnSBADQp08f1K5dG506dYK/vz+8vb3VNLvC0Ol0cvO7NIGBgQCAxx57DJMm/bE0ZmJiItq0aWNfIs54+fj4eLn22KdPH+7Tp0+Z5vbEiROrXQ2TmTkqKspmk1uv11s9z/TzVE19SujSpYtZDbJu3bp89uxZTktLY2bm/Px87t+/v9k5a9asURK11vWxm7y8PJ47dy63aNGCAwMD+d69e3zv3j0uLCzkwsJCe6NTO/8u0ad0DXPChAkWz9m3bx/v27eP/fz85G7BI0eOcEFBgd36iGlFAoFAoBRnvPytW7d44MCBFjvis7KyzAaESp4CRMTLli2zFbVVL6+hYBUlNcjygsKBH7Xz73QtITw83Kz2ePr0abPjs2bNKtOPOXXqVCVRa10fxeTk5HBOTg736tWLJUni559/ntPT0+UaZslxO1E7/y7Rp3QNc+zYsVxUVMQGg4Fv377Nubm5fODAAfb29mZvb2+WJIkDAwP5ypUrDuvjsh+1NNu3b+fnn3/e4qDPyJEjq0qnvWJ9ShynrWa6HaPjVUafBx1mQEAAT58+nadPn85RUVHs4eFRxmHu3LmzKuijiPT0dH755Zf55Zdflh1DvXr1uFu3bnJFpGnTpty0aVN7dNG6Nor1mTJlitko+ebNmzk7O5tbt25dprIWFhbG165dc0ofp+dhlnD9+nUAQNu2bXHz5s1y52FmZmbCx8dHabRVYq5Yafr27WtxMMfSoJACKr0+ixYtwttvv604wsjISGzdutW5uXTawKY2RUVFePHFF+X5vABQq1YtREREoEOHDvK+774zfTTS398fu3fvVpq+lrUBFN5bhYWFePXVVwGY7h0vLy8cOHAAf//73xEfHw9mxujRowEAS5cuRY0aNZSm7555mCXUq1eP69WrZ3NakR3zoMr18hoKitHr9YrmZ9pZy1Q7/07rEx8fz/Xr11c8rWjw4MFVRR+bJCYmsk6nYy8vL/by8uIJEyaUaXqnpaVxy5YtuWXLlvzmm29WFW3surf27NnDe/bs4cGDB5vVNjt27MjLly/nvLw8e1q1VvVx2ui0tDSuV6+emLhuhfIcZXl9nHagdv5dok9KSgp36dKFu3Tpwj4+PkxE7Ofnx76+vmUcZhV6oChi9+7dfOvWLb5161aZY4cOHeImTZpwt27duFu3bpySkqI0WtZA/l2iT2lu377N/v7+cll56623HOnbLcGiXU4bXfIUFBPXLWPJWT44Id2JWqba+XdLoU9KSuLbt29zhw4d5MLv4+PDPj4+9t4AauffpdqUZv369QyAhwwZIk/MthO18+9yfc6fP89+fn78t7/9jYOCgliSJO7ZsydnZWXZ+4YYl2eX00Zfu3bN7NXI1q1b8/bt2/n8+fO8fft2HjhwYJlR8urkMC3VIPV6vdk5lpxqddHHGqUdZkREBEdERNgbhdr5d7k2BQUFvHDhQvb09OQhQ4bYmktoDbXz7zJ9DAYDGwwG7tKlC/fo0YOZmVNTU2XfU/KmkysetmIepkAgECjFWS//YJPcUv/kg03yRx991Ckvr6FgOwMKa44PTjtSiNr5d1kt4UHy8vK4VatWcg1zxowZPGPGDHujUTv/LtXmwIEDHB4ezh4eHrxs2TJnapfspjxVuD5FRUU8duxYHjt2LLdv396sFnn16lX29fWVfZMr+nidrmEGBgaicePGcoRff/212fHs7GyLCVcXYmNjzbYTEhIsnrdlyxZs2bJFnl7Ut29ft9umZW7duoWTJ0+qbYbqZGRkYOHChVi4cCFeeOEF+Pn54cqVK5gwYYLTaztWBVJSUrBy5UqsXLkSc+bMgZeXl3ysUaNGeOedd1yantOLb/j4+GD9+vVo164dAGDSpEkwGAwIDw9HcnIyPvzwQxCR2Uvxb7zxhrPJVlm6du2KrVu3VouFNwTlk5eXh0OHDmHEiBG4cuUKAGDIkCFYunQpatasqbJ12mHTpk3y/yEhIWWO6/V6l6bnkhXXn376aRQVFQEAJElCdHQ0JEmSVzIq+QuYJuMGBQW5ItlKSXR0NObOnVvuIsFvvvkmgD8msldXsrOzzbYHDRqkkiUVi8FgwPHjxzFx4kT89ttvaNeunTwZvUGDBvD09FTZQu3x2GOPAQBq165ttn/Hjh3473//Cw8Pk5uztJKRvbjsExXLli0DYKphSpIEIirzFwBGjhyJMWPGuCpZzfPgUm+la48lzfVx48aVaYI7uMJ4laF0zYGIzJpaVZmwsDAkJiaiXbt22Lt3L5599ln5hhdYJikpCQDw8ccfyw/WGzdu4KOPPgIzY+TIkQBMS086jSs6Xkvz8ccfMwCWJEn++/zzz/Pq1at59erV9kandsezy/Sx9S75g6G6LL5RHu+//7484NO2bVtHo1E7/3Zrc+bMGd6zZ48jy7XZi9r5d0nZSUxMNHu758HQoEEDbc3DLKHEqIEDB5qtkfng6jOuMFpDwW6UrGD04DzN6qRPCT/88EO1dJgViNr5d4k+hYWF8sI1DzrLt99+m9PT0x0Spzy7xDxMgUAgUIjLVityE1ViRZXyKPmy5I8//ij3WY4bN86eKKqsPnl5eWjdujXOnDmDb7/9Fi+99JIj0WhZH3FvWUeT+giH6RxCH+sIfcpHaGMdTeojmuQCgUCgEFs1TIFAIBAU45YaJhGFENEOIkoloptEtJyIxGQyAEQ0noiOElEuEa1V2x6tIfQpHyJ6iIg+IaJrRJRJRCeIqKfadmkNIhpAROeIKIuILhFRB9tXKcNdTfIVAG4DqAcgAkAnAHaNZlRhkgHMAfCp2oZoFKFP+XgAuA7T/VQTwHsANhFRiIo2aQoi6g4gBsBwAP4AOgK47Kr43VXrexzAcmY2ArhJRLsA/NlNaVUqmHkrABBRGwCPqWyO5hD6lA8zZwGYWWrXt0R0BUBrAFfVsEmDzAIwm5nji7dvuDJyd9UwlwIYQEQ+RFQfQE8Au9yUlkBQLSGiugCaAjijti1agIh0ANoAqENEF4koqbg70NtVabjLYe6HqUaZASAJwFEAX1u9QiAQKIaIPAFsAPAZM7t2SZ7KS10AngBeAdABpu7AVgCmuSoBlztMIpIAfAdgKwBfAI8AqA1Tv4JAIHCS4nvscwB5AMarbI6WyCn++xEzpzDzXQCLATj01oMl3FHDDADQAKY+zFxmvgdgDVxotEBQXSHTsl+fwFSb6svM+SqbpBmYORWmFq3b5kq63GEWe/UrAMYSkQcR1QLwGoDfXJ1WZaRYEy8AOgA6IvISU67+QOhjkzgAzQH8lZlzbJ1cDVkDYAIRBRFRbQATAXzrqsjd1YcZBeBFAHcAXARQAGCSm9KqbEyDqenwDoDBxf+7rI+lCiD0KQciagRgNEx9czeJyFAcqsfqysp4H8ARAOcBnANwAsAHropcvOkjEAgEChHvkgsEAoFChMMUCAQChQiHKRAIBAoRDlMgEAgUYmu6htojQmKRU+sIfayjZX2ENtbRpD6ihikQCKoMffv2xa5d7lu2QnyiwjmEPtYR+pSP0MY6duuTlpaGJk2a4KGHHpK/Ve4EooYpEAgEzlAhDjMvLw+rVq3CqlWrMHjwYEiSBEmS8Pnnn1dE8ppi27ZtkCQJgYGBapsiqAQkJydjy5Yt2LJlC2JjY6HT6UBE0Ol0mDFjBrZs2aK2iZrBaDQiNTXVvYm44mPq1jh9+jQ/+uij8sfV69aty5GRkVy7dm1u1aoV5+fn2/0xdQ0Fu/n6669ZkiT29PTkTZs2ORJFadTOv9vLTwl6vZ71ej3HxsZybGys0svUzr9T2qxcuZIfffRR1ul0ZkGSJLPtKVOm8JQpUzgvL0+pLlrXxqGyk5KSwjqdjjt27OjI5Q9i0S63Lmpw5swZvPDCCzAYDJg0yfQqeXR0NAICAvDZZ5/h/Pnz8PCoXusqPPfccwgJCcHVq1dx44ZLF4Ou0vz4448AgDfffFPeruq1q9u3b+PWrVvy9kMPPYSmTZuW2b9w4UIAwCOPPIK33367wu3UGq+++qrb4nabtzIYDJgwYQL8/PywZcsWtGvXzux4eHg4Bg2qfmsGBAYGok6dOrh69araplQqShxmdaJ///5o0aKFvB0YGIhOnTohOTkZ8fHxiImJwbFjx+Tjv//+uxpmaob//Oc/YGbUqVPHfYlYqRI71aS6d+8e16hRgzt06FDuOUaj0aFqsYaCQzzzzDMsSRIvWbLE0ShKUDv/bis/ZTJqGjWVg16vV3SZhoPTDB48WG6iS5LEQ4cOtedytfPvcn1CQkJYp9NxVlaWI5c/iEW7KnyUvKCgAAcPHsSsWbPQvHlznD9/vqJN0Azp6ekoKipS2wzNs2LFCrPtqKgoPPHEEypZI9AqiYmJbk/DbQ6zoKAAzAwvLy8AwPXr13H9+nW8/vrr6Ny5M2bPno2QkBDUr1/fXSZontmzZ8NgMKhthuYp6bcsoWvXripZoh3y8vKQnZ2tthmaIzg4GJLkvnqgmIcpEAgESrHSh+BUP0taWhqHhISwv78/v/vuu+zt7c3e3t4sSRL/85//ZL1ez7m5uQ71I2goOMSZM2fkfqcxY8Y4Gg27KA8Vok/JtCB70ev1ZfovIfow+eTJk2bTjCRJ4u+//96eKNTOv8v1kSSJx40b58illrBol9tGyWvWrInatWvj2rVrmDdvHv70pz8BADZs2ICnnnrKrdVmrVOjRg35/5yc6vFZFkf6HBMSEtCsWbMy+/V6fbXuw9y8eTP69+8vb8+cORMA0K1bN5UsUpeUlBQApsqfu3Gbwzx58qQ8zSEqKgqffvopAMDf399dSQqqGNHR0WX2iQEf4NSpUzB9PNLE5MmTVbRGferVqwcAZpq4C5c7zJycHLzxxhv44osvAJi8/muvvSYcZSkerOYLyvJg4Y+KigKAKj9Z3RqFhYX4/PPP8cEHH4CI8NBDD2HevHnw8fFR2zTNcOzYMRw+fBjHjx/HqlWrcOvWLbOy1L9/f8yYMQM1a9Z0KH6XOczk5GQAwDvvvINt27aZGVkRw/2VCSIyCwJz+vbta7YdFRWFuXPnqmSNdkhLS8OIESPk7Xnz5uHvf/+7ihZpj6NHj6J9+/Zo06YN/vSnPyE0NNTsHtu0aRN++OEHbNiwAWFhYXbH7xKHmZubi+eeew4AcO3aNQBA/fr1kZycjMcff1zULgWK6du3L7Zu3Wq2rzrXKgFg7969AIApU6aAmVFUVISmTZtiwIABKlumDZYtW2a23adPH2zYsAEPPfRQmXOvXr2KZ555Bq+//jr27Nljv28qbzSI7Rip+uqrr9jPz4/9/Py4bt26vGvXLk5KSuIaNWpwYGAgZ2ZmunSkSkPBIc6fPy+PbL722muORsMusF8z+sDCSHhUVJRDI+ulo9VwUERqaiqHhITIb7HodDpu2rQpJycnO6bIH6idf5foExcXJ99LRMSSJHG/fv2sXvPee+8xAFsj6hbtqr5D1QKBQGAnTjtMo9GIiRMnIjs7G9nZ2di1axeee+45DB8+HAUFBYiLi4Ofn58rbK0ylO5T2bx5M/R6vYrWqEtCQoLFftzY2Fhs2bKlWo+IZ2dno0ePHvJbciVMnjxZHhmu7pTMGCAi6PV6PPfcc9izZw8SEhLKvcbHxweSJDlUtpzqwywsLMTMmTNx/fp1vPPOOwCAZs2aYeHChdi3bx/+9a9/oV+/fs4kUSXx9PSEr68vsrKykJOTA6PRqLZJqvHg1KGoqKhq32dZwuLFi81WIwKA0aNHY9SoUQBMDnXx4sVgNs20ICIEBQXJx6sDQ4YMwZNPPgnANGVx/fr1aNu2LVq1aoXo6GhMmjQJOp0OACBJEu7cuYOPPvoIoaGhGDp0qP0JOtOPkJuby02bNuUGDRpwdnY2Z2dn88yZM1mSJG7Tpg0XFhba7oSwjtr9KHbro9frOScnx2qmUlNTuU2bNnLfy4kTJ+xT5Q/Uzr9T5Sc2NtbszR1H3waygtr5d1gbZubZs2fLZaR0AFBmu/Q+hW+PqZ1/p/Upj8TERK5fv778FlRoaCiHhoby008/LfcD//rrrw7p45TRp06d4oCAAN6wYQMPGzaMhw0bxp6enhwREcEZGRmO59iG0RoKZcjPz+eioiKrmSosLOR169bJBTwiIsI+Vf5A7fw7XH5Kv/IYFRXlaP5toXb+Hb63mJnff//9MqutW1pxvaQclWy3bdu2smujSB9rpKen8/Lly3nChAlmWj3++ON88eJFJVFYtMupr0ZevnwZTzzxBPz9/ZGeng4A6N27N/73v//JqxQ5idYnKTo869xoNMLX1xcAEBoa6ugyd5VWn4SEBHlR4K5duzrcV5mQkGDtWi3rY7PszJkzR37t0exCZhARGjZsiJo1a+LFF18EAAwcOBAA5P020LI2gEa/qulUH6aHh4e8nuO8efMAAG+99Va1fk9cKR4eHhg+fDjWrFmDsWPHqm1OhfPEE0+4ZECnKg8K9e/fH8nJyVi1apXZ/i+//BKA6UHj6BsrAscQ3yV3DqGPdYQ+5SO0sY4m9RFVQYFAIFCIcJgCgUCgEOEwBQKBQCHCYQoEAoFCbA36CAQCgaAYUcMUCAQChbjcYRLReCI6SkS5RLTW1fFXdojI8EAoJKKP1LZLCwhtlENETYjISETr1bZFSxDReiJKIaIMIjpPRCNsX6Ucd3zTJxnAHAA9AHi7If5KDTPLSzcRkS+AWwC+VM8i7SC0sYtYAEfUNkKDzAPwBjPnElEzAPuI6AQzH7N1oRJcXsNk5q3M/DWAe66OuwryCoDbAA6qbYgGEdqUAxENAJAG4Ee1bdEazHyGmXNLNotDqKviF32Y6vIagHUsRt4sIbSxABE9DGA2gOr9qUgrENEKIsoGoAeQAmCHq+IWDlMliKghgE4APlPbFq0htLHK+wA+YebrNs+spjDzOAD+ADoA2Aog1/oVyhEOUz2GAviJma+obYgGEdpYgIgiAHQDsERtW7QOMxcy808AHgPgstVt3DHoI1DGUADz1TZCowhtLNMZQAiAxOLPevgB0BFRC2Z+SkW7tIwHtNyHSUQeROQFQAfTj+lFRMIxl4KIngVQH2IEuAxCG6usgunmjygO/wGwHaYZKdUeIgoiogFE5EdEOiLqAeBVAHtclYY7muTTAOQAeAfA4OL/p7khncrMawC2MnOm2oZoEKFNOTBzNjPfLAkADACMzHxHbds0AsPU/E4CkApgIYCJzLzNVQmIVyMFAoFAIWLQRyAQCBQiHKZAIBAoRDhMgUAgUIhwmAKBQKAQW9N91B4REh9qso7Qxzpa1kdoYx1N6iNqmAKBQKAQ4TAFAoFAIcJhCgQCgUJUcZj5+flYsmQJRo4cqUbyAoGgEpOZmYn9+/dj/vz5aNSoEXQ6HXQ6HYhI/v/bb79Fbq7LFimSsfWmj8s7Xm/evInevXtj1KhRGDp0KLy8vKydLjqmrVMp9TEajfDx8UFJ2SMiTJgwAQDQt29fAEC9evXQpEkTZ9PXsj6i7FinjD65ublYsGABPvzwQ2RlZaF4AZI/LmA227d+/XoMGDDA0fQt68PM1oLLSElJ4ZSUFG7YsCHHxsZydna2ksts2ad2UBu18++QPjk5Oezv78+SJJUbGjZsyEOGDOEhQ4bwxYsXOS8vj/Py8qqSPuVSUFDA2dnZXFhYaDODy5Yt40aNGnGjRo04Pz9fgSQyaudfsT5JSUmclJTEI0eOZJ1OxzqdjqdMmcKXL18uEw4fPsy9evVinU7H3bt3t0cPRfpUSA0zLS0NrVu3BgDMnj0bAwcOLPN0KIdK9xQsoaioCPn5+fjuu+/wzTff4NNPPy1z/NVXX8UzzzwDAAgJCQEA9OjRA5IkwdPTU0n6lVafCxcuYOPGjQCA2NhY3L1712pE/fr1AwAMGDAATz31FBo2bKgkfS3rU642Bw8eRKdOnZCWloaHH37YaiSzZs3CBx98AAA4fPgwWrVqpTR9LWsDlNJn/nzTSn/Tpk3Dk08+iX//+9/o2LFjuRf+8ssv6NChAyRJwq+//oqIiAhH0levhjlq1Cju3bs39+7d295L1X7K2a1PYWEh79y5kydMmCA/DS0FSZLKPRYeHs67du1SUsNQO/8uKT9JSUlyDaFjx47cvHlzWSNLITQ0lHv27Mnbt2/noqKiyqpPufTt25eJiK9evWpTO09PT/b19WVfX1++cOGCzfNLoXb+FesTFxfHcXFx3L17d87MzFSUuccff5yJiGfNmmWPJqWxaJdLCrw1du3axS1btuScnBzOyclxidEaCjJFRUVcVFTEGzZssOgEmzVrxs2aNePw8HAODw/nsLAwDg8P58DAwHIdp8FgqDL62MuKFSt4+fLl/Nprr1ltutsoU2rn3yFtShzmzJkzberk6enJRMRExAcOHLB5finUzr/byk58fLzc5dOrVy9Ho7Fol1sX9j169ChGjRqFjz76yNbgTqWH2dSCOHnyJEJDQ/HWW28hLCxMPv7UU6YFsWvUqGF2XWJiIpKTk/HZZ6bP13zxxRfIzDQtBblhwwaMGDECklT9Zn+NHWv6qoDRaMSCBQvw/fffAwBGjx6N7OxsNU0TaJiUlBT07NlTLiOhoaHIyckBAHh7O//V7+p3JwoEAoGjuKtazMzcuXNnbtq0qTNRqN0ssFuf/Px8zsjIcDjDX331lVmzPDc319rpauffreWnNHq9nvV6PdevX19ujo8aNcrWyLDa+XdIG3ua5N27d5eb5C+//LLN80uhdv5dXnbi4uK4fv36ZcYJ6tevz/Xr1+fXX3+dd+zY4ZQ+bqth/uc//8FPP/2ERYsWuSsJTeLh4QF/f3+Hr9+z54/PjzRp0qRaNscfRK/Xo127dmjXrh1SUlIAALVr18aoUaPg4VH1Phel0+kAAIWFhWbBEn/961/l/+/cuQNmtad3Vixffvklateujdq1a2PcuHFISUkBM+Oxxx7DY489BmZGSkoKUlJSsHbtWvTq1QvvvvsuCgoKHErPLdOKCgoK0LVrV9y8eROnTp3CQw895JBxqERTH1xFnz598O233wIwTRl59913rZ1eLfTp168ftm7darbvpZdewjfffGPrUi3rU642p06dMpsK4+vrCwCIjo4uc+7evXvxww8/yNu//fabWd+5FbSsDaCw7Lz00kvYvXu36QJm1KxZEx9//DEiIyMBAMeOHcOaNWsAmCayG41GEBEuXLiAxx9/3FrUFTetaP78+UxEvG7dOkejKEHtZoFb9LHE1atX+erVq+zn5yc3KW7fvm3rMrXz73Z9vv/+e/bw8DAbGY+Li+OCggIll6udf4e0+e233+Rmtr3h1KlTSnTRujaKy87hw4d53LhxPG7cOJ4yZQqnpKSUe+7OnTvlZvqoUaNsvQhh0S6XF/iCggIOCwtjb29vTk1NdSQKm0ZrKLiErKws7t69O3fv3l12lm3btmWj0WjrUrXz7zZ9CgsL2Wg0cufOnc2cZePGjZU8SEpQO/8OaWMwGDgyMtKiQwRg9rfkfwDcrFkzJVPRKoM2Lru3HiQ6Olq+x9LT062datEul3cARUdH48yZM9iyZQtq1arl6uirJNHR0WZ9l4CpOe5EV0al58iRI3j22Wfl7ZI3ogYOHIg6deqoZVaF4Ovri40bNyIlJQUxMTH46aefAJj6ckvekCv9plzJ/4GBgXLzXWCZRx99FMym1n5cXBymTp1qXwSu8vIlE9OJiFu0aKG0yWQLtZ9ybn8K7tixo8xk7HHjxim9XO38u1yf/Px8zszM5I4dO8p6eHp68sqVK3nlypX2Rqd2/l2ijcFgYIPBwLdu3SoT3nvvPbmm2b59+6qijUvuLUukp6fLNcyYmBhrp1q0SwzBCgQCgUJc1iQ/ePCg/P/ixYvlqRGC8snMzMTMmTPNmldeXl7yEmfVkUWLFpUZDX777bcxatQolSxSn5JmtqXmdlXvnrBGTk4O/vGPf+CFF14AALzyyis2r0lOTnYqTZc4TIPBO9yMogAAA1FJREFUgOHDhwMwNfFLXgMUlE9BQQG6deuGY8eOme3/73//iy5duqhklTrcvn1bXo0oPj5e3k9EmDZtGv71r3+pZZrmUbiqVZXku+++w6efforBgwcrvqb0NL2SfnG7cEU/wu3bt+X+pl69ermq/7LcfgQNBYdZt26d2Rs9/fr14379+nFWVpY90aidf6f1OXfuHE+dOtXiwhqTJ0+2RwtLqJ1/t5Sd0uTm5sqj5HXr1uWbN28qvVTt/Dutz9ixYzk8PNzqwj75+fmcnp7O6enpPHToUCYiliSJIyMjbc1CsWiXy0fJ//GPf4jmuA02bNiAYcOGyU3xFi1aYO3atQAAHx8fFS2rWM6dO4eOHTvi/v37ZY51794dr7/+Oi5fvgwACAgIAAAx8+IBdDqdvKr4//73P9y+fRt169ZV2aqK4/fff8eYMWMAANOnTzc7lp2djffffx9btmyR9xERwsPDsXLlSsdmoTjr5ZnNa5iDBg2yt5Zkt5fXULCbzz77jD09PeUJtO3bt+eDBw86EhVXUB7dok9CQgI3aNDA6tJtpcOHH37IH374YVXSxyUUFhby8OHDefjw4UxEHBcXp/RStfPvtD4JCQkcHBxc7hqzltacjYyMdOprDy55NdJgMMj9CBMmTEDHjh1d1bdSJV7fKk2jRo1w48YNMDN8fHxw9OhRPPHEE46mXyn1MRqNqFOnjs1l2jp37ozXX38dffv2lVstdpYrLevjktdG8/LyzJZOrG6vRl66dEmeS/nVV1+ZDaD6+/ub9X8/88wzaNu2rdKapUV9XNIk9/Pzw9dff+2KqKossbGxAEwfgQNMi3R8//33zjjLSounpyfGjBmDxYsXlzn2l7/8BQsWLAAAhIeH2/xEg6B6Exoais2bN1dYemIepkAgECikwj+zaydVotkAAE8++SQA4OzZswCA//u//8OXX37pbPpVRh83oWV9XKINM8vNzg8//LDaNcndiEV9hMN0DsX6vPXWWwCAf//73+jVqxe2bt3qitkEVUYfN6FlfYQ21tGkPsJhOofQxzpCn/IR2lhHk/rYcpgCgUAgKEYM+ggEAoFChMMUCAQChQiHKRAIBAoRDlMgEAgUIhymQCAQKEQ4TIFAIFDI/we7AICPzXoyRgAAAABJRU5ErkJggg==\n",
      "text/plain": [
       "<Figure size 432x288 with 25 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "plt.subplots_adjust(wspace=0.5, hspace=0.5)\n",
    "for i in range(25):\n",
    "    plt.subplot(5,5,i+1)\n",
    "    plt.imshow(x_test[pick[i]].reshape(28,28), cmap='Greys')\n",
    "    plt.title(result[pick[i]])\n",
    "    plt.axis(\"off\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "看看分數。"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "\r",
      "10000/1 [================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================================] - 1s 88us/sample - loss: 0.0166 - accuracy: 0.9891\n"
     ]
    }
   ],
   "source": [
    "score = model.evaluate(x_test, y_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "loss, acc = score"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.9891\n"
     ]
    }
   ],
   "source": [
    "print(acc)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "model.save('myCNNmodel.h5')"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### 讀回來!"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 27,
   "metadata": {},
   "outputs": [],
   "source": [
    "del model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tensorflow.keras.models import load_model"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 30,
   "metadata": {},
   "outputs": [],
   "source": [
    "model = load_model('myCNNmodel.h5')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 31,
   "metadata": {},
   "outputs": [],
   "source": [
    "predict = model.predict_classes(x_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "image/png": "iVBORw0KGgoAAAANSUhEUgAAAV0AAABYCAYAAABWMiSwAAAABHNCSVQICAgIfAhkiAAAAAlwSFlzAAALEgAACxIB0t1+/AAAADh0RVh0U29mdHdhcmUAbWF0cGxvdGxpYiB2ZXJzaW9uMy4xLjAsIGh0dHA6Ly9tYXRwbG90bGliLm9yZy+17YcXAAAPd0lEQVR4nO2dd5AU1RaHv6sgigFULBUTpWIZMGIOhYkniAlzRkRFMaEYMKBiVlS0CE8tMPAeBlDrqU9KDE/BrJhQjGAOGErFLIZ+f8yeudsTdmdmp/s27u+ronbpnuk5e+f27d8995xzXRRFCCGESIeFQhsghBCtCQ26QgiRIhp0hRAiRTToCiFEimjQFUKIFNGgK4QQKaJBVwghUiQTg65zrp1zbrxz7kPn3A/OuZedc71D2xUa59w6zrn/OefmOedmO+f6hrYpNOorxahNSuOc6+Kcm+Kc+9Y5N9c5N9o51ya0XZkYdIE2wMdAD6ADMAyY5JzrEtCmoDR0jnuB/wLLAMcA/3bOrRXUsPCorxSjNinNWOBLYEVgI3LtMyioRYDLakaac24mMDyKortD2xIC51w34FlgyajhS3LOPQQ8F0XRsKDGZYzW3ldKoTYB59ybwJAoiqY0/H8EsFQURQND2pUVpRvDObc8sBYwK7QtAXFljnVL25Aso75SjNokz3XAgc659s65lYDewIOBbcreoOucawtMBG6Nouit0PYE5C1yU6PTnXNtnXP/IDc9ah/WrOygvlKM2iTGNGA94HvgE2AG8J+gFpGxQdc5txDwL2A+cEJgc4ISRdHvwF5AH2AuMASYRK7ztHrUV4pRm3ga2mIqcA+wONAJWBq4IqRdkCGfrnPOATcBXYBdoyj6JaxF2cM59zQ5BXNDaFtCor5SjNokjnOuE/AV0DGKonkNx/YCLo6iKKiLLktK95/AOsDurb3DGM65DZxzizb4pE4jtwp7S2CzsoD6SjFqk0ZEUfQ18D5wnHOujXOuI9APeDWsZRkZdJ1zqwEDyYV1zHXO/djw75DApoXmMOBzcr7dnYCeURT9FtaksKivFKM2KcveQC9yinc28AdwSlCLyJB7QQghWgOZULpCCNFa0KArhBApokFXCCFSRIOuEEKkiAZdIYRIkebKnLWW0IZSdQ7KoTYpjdqlGLVJMa2+TaR0hRAiRTToCiFEimjQFUKIFNGgK4QQKaJBVwghUiT4Jm3fffcdAOPHjwfgyiuvBOCrr76Kvc5qRBxxxBEAXHLJJQB07tw5DTOFSI05c+bkf7/qqqtix1ZZZRUAnn/+eQBmzcptDnHBBRcAcMIJuTK6yyyzTCq2iuqR0hVCiBRprspY4jF1o0aNAmDw4MFVvc+e+Pb+3XffvSVmKM6wGMXpliaxvjJ9+nQA+vTpkz/2888/5y7UcJ/mapWX+KCG84svvjgAjz/+OADdu3evxoRa0f1TjOJ0hRAiCwRXuv379wdgwoQJNb1/1VVXBeC1117LH1tiiSWqvYye1MVkVun+9ttvsZ8LLZTTDjV877VQ977y/fffA7D99tsD8OqrfnOD9dZbD4B99tkHgJdeegmA9ddfH4Dbb78dgPfffz9nXIMSXm211QC49957Y69PiEzfP7///jsAM2fOBGDy5MkAXHFFfLu0Ll26AL4tW4iUrhBCZIHgSvfzzz8H4JVXXgFg4sSJsfMvv/wyAG+91fRu0tdff33+96OPPrpaMxJ7Un/99dcAdOrUqZq3xfjss88AeOihhwDfRo8++mhpA0v4//bff38Axo4dC1S0uh1c6c6dOxeAt99+G4Abbsjtx/n666/Hfnbo0AHwvtAxY8bEjteZuveVhx9+GIBevXoB8fWJcePGAeX7z/z58wGYOnUqABdffDEAM2bMAGCNNdYAvEJOaDaQSaVrY4vNpq2dy2GzA+tXFlkFNUVJSekKIUQWCK50m2PevHkA9OjRA4j7bhuz3HLL5X//8MMPAWjXrl2lHxP0Sf3NN98AcNdddwFx1Q7w7rvvAvDTTz8BxSvYCy+8cOyn+TpLrXRPmjQJ8D7CJkhF6f7yi9+41lTaNddcA3hf3F9//VXVNbt27Qr4vrLIIovUYlo56t5X7Ps1n2MF301Z7LsfMmQI4Gc2J598MgAjR46s+dpNkCmle+ONNwJwzjnnAP7+ao499tgD8P1u0003zZ+zOOgqkNIVQogsoEFXCCFSJPPuBcMWVVZaaaVmX2vTiwEDBlR6+SDTI1v8OP7444HiUJXNNtsM8FMb+67ee+89ALbcckvAB8S3aZPL6rbFlxEjRuSvZckktihVgeslFffCLbfckv/9yCOPbPK1Sy+9NOAXg/bee28ABg0aBMAOO+wA+IXH4cOHAzBs2LBaTCtHpqbS5TA3wyGHHALA/fffD8AHH3wAwIorrljPj8tEm3z66acAbLXVVrH/l8NCxL744gsg7uoqfP8KK6xQrTlyLwghRBYIXvCmUpZffnkABg4cCPjwoVLY4luWMOUBXoFa0R47Z3+jFTmxMK+2bdtW9VkWMtdY6Z577rlAVYuLqVAYoF4KWxSyv6FcKNjqq68OeKX7wAMPAHVXugsE9j0PHToUgHvuuQfwiveYY44JY1gC2MLX1ltvDXiFaguohx12GAD9+vUDYNlllwW8sj344IMBeOedd1KxV0pXCCFSZIFRuhb+ZGFRCxoXXnhh/vfLL788ds58UFOmTAFaHtR/6KGHFh1r3759i66ZFI39uDfddBMAK6+8MuCV+gYbbAD4dN9KMR9va6YwqeKHH34IZEly2FrHJ598EjtuayFnnnlm7LglXG233XaAV7w2xljK9JJLLpmIvVK6QgiRIguM0rWi5o888kizrzXfaBawqIvLLrus6JwFY1u0Qa0K13xaVsD62WefBeLJEc1EqQTj9NNPz/9+4oknArDoootWdQ0rEPPRRx/FjpuvrjVjK/Q777wzAM8880xAa9LlscceA+Ckk06KHd9xxx2B4miFbbbZBoBp06YlapeUrhBCpEjmla6puG233RaA2bNnl3ydlcUD2HfffRO3q1KsSE2plNy1114bqL4YTqEPy3xXFvNqn9W3b9/8e0zpZJlqFa75J61vWJq0seaaa9bHsL8B9v3fcccdgS1JDytwY9EvTz/9NOBLadqM+LzzzgPSmxlJ6QohRIpkVulakYrDDz8cKK9wLdPKijVD9mJRy2GFeSrFCrjY5p233XZbydcddNBBANx88835Y3Uu+pIJLPOwUOFacZdqlfPfmY033hjwxYRsG6CsRrVUg0U09ezZEygu4Vgupt/6ybHHHpugdcVI6QohRIokXnvBog6sSPlZZ50VO29bqq+77rqx47YSb7UCCrFYzieeeALw2/bUSGK54z/++CPgFTl4n5JhZSktk6xjx46x8+aHe+ONNwD49ddfS36WFSa34s1Wi6FGghcxL4f5cm1l/ttvv42dt+iNzTffPImPz0SdgWox9XfUUUcB/r6q02wgE21i95XFdX/88cclX2dF4m+99VYg/WL3UrpCCJEidVW6tr1F796988fsiVqveghW7cfUTGMF2QISf1I3Lr5uGWgWJ9jc9tr5Dy7zOlO4zz33HOBrELSQ4ErXtmiywuumXO6++24gvp1KY3bZZRfAK57BgwcDdauslQlVZ1jdji+//BLw0TI287NKdJYRaVs82fY9dSJom1iRe5sdN1WXBfwaQMI+fyldIYTIAi1SuuavLNxm5c8//6yLcaV48MEHAdhpp52A6vPxy5Dqk9p8suaPNnVSuPmm+Xht2xHbMK9Q6VpkR50UrpG60rV2sWpi1113HdDy/rTYYosBsNFGGwG+2hT4rEDzo1egfjKhdG0GueuuuwLFW7AXGdJwn1sb/J2UrtVSaLy9TlNI6QohRCuiJqVrCteqONX5qVkRVsvgjDPOqMflMqFeCjE/sGXY2QaGFpdotWjNZ1kn1W8kqnTND2c7GYCPm7Q6uM1hSsW2Xn/xxRcBn6n3xx9/VGyPZQcW+n1LbHMftK8U1o61e6+5dQE7b1l6s2bNAqqv1VyGIG1iscb2N9kOEJZptuGGGwJ+JmlI6QohRCuipkBOq3NgvpQQWLWxU045BajbEzsTWCUo81s33nUCvMI99dRT0zWsjjz55JNAvGZGpWyyySaAryJVWPd0zpw5ALz55puA9+EWxvM2xvzphX71rDFq1CjAK1yrF2CZm9Y2VmfggAMOALy/3NrGdo649tprgcRiVRNl4sSJgFe4Fu9ufcti+bt37w74OPfQSOkKIUSK1OTTNd9hc3GllWC7lRb6Zu+8804ALr300ibfb0/0LbbYoiVmZMJPZ3+LxTkXKtzzzz8f8Kv7dfbhFpKoT9d2MC6saVoKiyywXSasKtRSSy1V0WfZZ5g6fOGFF/LnLCupEIvxLXE+SF8x/7TVUDCfrEUxdO3aNfZ6y86yeF2Lky+8Z+3+M8ULfg+xKki1TSyaZc899wS83932OLPYfcuCtcxEq5dr2XktzNhsDvl0hRAiC6SudC0ba/jw4YB/+hSuJFqEhGVblYvVNNVivqwaCap0R44cCcBpp51W8rz560aPHg14lZgwiSpd6ztN9SFTuDYDsAiDwATpK/Pnzwd8GxRWqDP1P2PGDMArYXudVaYzP6jttmE0jto48MADAR8lY7PNJvYnTLVNZs6cCXjVb/eDqXvLXLT7Zvr06QBcffXVgI/2SRgpXSGEyAI1Kd2pU6cCvmJY4VOzMZYlYvnwZ599NlB5jJzljJsyNux69913H5BqRa0WP6nNh2vK1aIQClWfZWTZ3mEpk6jStTz5sWPH5o/16NEDgP322w+AAQMGAJmrjxx0VtS/f38AJkyYEP+gMnG6Vit2zJgxgPftWoy93buNxwG7hlW3s++jCVJtk2HDhgFegVv/sHWgoUOHAj4SxVS8ZXQWVvFLCCldIYTIAhp0hRAiRVpU8MZKCT711FOAd8Db4hd453utyQuW6mcB8BboblOexmUkW0Di0yPbih18ARvbSNK+g5TSeyslUfeChUDZ9wt+65iEQ3laSlD3grWXuabGjRsH+KJH3bp1i523dOHCNrVFJ5uKNw5PPO644wC/OF1B/wvqXmiOOpcMqBS5F4QQIgskvl3PAkJiT2pTdLvttlv+WOHGeZa+eNFFFwG+pGNgghcxzyiZLI4UmFTbZPz48YBPZS7HiBEjAH8/FaaLJ4yUrhBCZAEp3RyJPaknT54MeH93KayIyaBBg6q5dNJI6ZZGSreYVNukcPZoM0db57Gfffv2BbK3JiKlK4QQKSKlmyOxJ7WVnevcuXPRuUCrqpUipVsaKd1i1CbFSOkKIUQWkNLNoSd1MVK6pVFfKUZtUoyUrhBCZAENukIIkSIadIUQIkWa8+kKIYSoI1K6QgiRIhp0hRAiRTToCiFEimjQFUKIFNGgK4QQKaJBVwghUuT/UEOyXNjY65QAAAAASUVORK5CYII=\n",
      "text/plain": [
       "<Figure size 432x288 with 5 Axes>"
      ]
     },
     "metadata": {
      "needs_background": "light"
     },
     "output_type": "display_data"
    }
   ],
   "source": [
    "pick = np.random.randint(1,9999, 5)\n",
    "\n",
    "for i in range(5):\n",
    "    plt.subplot(1,5,i+1)\n",
    "    plt.imshow(x_test[pick[i]].reshape(28,28), cmap='Greys')\n",
    "    plt.title(predict[pick[i]])\n",
    "    plt.axis(\"off\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "anaconda-cloud": {},
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 1
}