6-DeepLearning_NLP/20일차/2019-09-06_Seq2Seq.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "#seq2seq:기계번역\n",
    "#영어단어 -> 한국어 단어로 번역"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "import tensorflow as tf\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 58,
   "metadata": {},
   "outputs": [],
   "source": [
    "tf.reset_default_graph()\n",
    "#S:디코딩 입력의 시작, E:디코딩 출력의 끝\n",
    "#P:패딩, time step크기보다 작은 단어의 경우, 빈 자리를 \n",
    "#채우는 문자\n",
    "#time step=4인 경우, love -> l, o, v, e\n",
    "# my -> m, y, P, P\n",
    "char_arr=[c for c in \"SEPabcdefghijklmnopqrstuvwxyz단어나무놀이소녀목록사랑\"]\n",
    "#char_arr #코퍼스\n",
    "num_dic={n:i for i,n in enumerate(char_arr)} #{1:'S', ...}\n",
    "#num_dic\n",
    "dic_len=len(num_dic) #41"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [],
   "source": [
    "#영어 단어를 한글로 번역하기 위한 학습용 데이터\n",
    "seq_data=[['word', '단어'], ['tree', '나무'],\n",
    "         ['game', '놀이'],['girl', '소녀'],\n",
    "         ['list', '목록'],['love', '사랑']]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "[[29, 30, 1]]\n",
      "[[29, 30, 1], [31, 32, 1]]\n",
      "[[29, 30, 1], [31, 32, 1], [33, 34, 1]]\n",
      "[[29, 30, 1], [31, 32, 1], [33, 34, 1], [35, 36, 1]]\n",
      "[[29, 30, 1], [31, 32, 1], [33, 34, 1], [35, 36, 1], [37, 38, 1]]\n",
      "[[29, 30, 1], [31, 32, 1], [33, 34, 1], [35, 36, 1], [37, 38, 1], [39, 40, 1]]\n",
      "epoch: 0001 cost: 3.794515\n",
      "epoch: 0002 cost: 2.641530\n",
      "epoch: 0003 cost: 1.607026\n",
      "epoch: 0004 cost: 1.039919\n",
      "epoch: 0005 cost: 0.549254\n",
      "epoch: 0006 cost: 0.313277\n",
      "epoch: 0007 cost: 0.156942\n",
      "epoch: 0008 cost: 0.094273\n",
      "epoch: 0009 cost: 0.082646\n",
      "epoch: 0010 cost: 0.081054\n",
      "epoch: 0011 cost: 0.042715\n",
      "epoch: 0012 cost: 0.022946\n",
      "epoch: 0013 cost: 0.026838\n",
      "epoch: 0014 cost: 0.029723\n",
      "epoch: 0015 cost: 0.028421\n",
      "epoch: 0016 cost: 0.016076\n",
      "epoch: 0017 cost: 0.011893\n",
      "epoch: 0018 cost: 0.014026\n",
      "epoch: 0019 cost: 0.002735\n",
      "epoch: 0020 cost: 0.010766\n",
      "epoch: 0021 cost: 0.007473\n",
      "epoch: 0022 cost: 0.005436\n",
      "epoch: 0023 cost: 0.003870\n",
      "epoch: 0024 cost: 0.002764\n",
      "epoch: 0025 cost: 0.001038\n",
      "epoch: 0026 cost: 0.002820\n",
      "epoch: 0027 cost: 0.000616\n",
      "epoch: 0028 cost: 0.001897\n",
      "epoch: 0029 cost: 0.000756\n",
      "epoch: 0030 cost: 0.002144\n",
      "epoch: 0031 cost: 0.001339\n",
      "epoch: 0032 cost: 0.001204\n",
      "epoch: 0033 cost: 0.000853\n",
      "epoch: 0034 cost: 0.002359\n",
      "epoch: 0035 cost: 0.000404\n",
      "epoch: 0036 cost: 0.001072\n",
      "epoch: 0037 cost: 0.003624\n",
      "epoch: 0038 cost: 0.000334\n",
      "epoch: 0039 cost: 0.002912\n",
      "epoch: 0040 cost: 0.000912\n",
      "epoch: 0041 cost: 0.000900\n",
      "epoch: 0042 cost: 0.000855\n",
      "epoch: 0043 cost: 0.000565\n",
      "epoch: 0044 cost: 0.000428\n",
      "epoch: 0045 cost: 0.000527\n",
      "epoch: 0046 cost: 0.000147\n",
      "epoch: 0047 cost: 0.000438\n",
      "epoch: 0048 cost: 0.000448\n",
      "epoch: 0049 cost: 0.000656\n",
      "epoch: 0050 cost: 0.000278\n",
      "epoch: 0051 cost: 0.001896\n",
      "epoch: 0052 cost: 0.000505\n",
      "epoch: 0053 cost: 0.000388\n",
      "epoch: 0054 cost: 0.000381\n",
      "epoch: 0055 cost: 0.000454\n",
      "epoch: 0056 cost: 0.000388\n",
      "epoch: 0057 cost: 0.000489\n",
      "epoch: 0058 cost: 0.000281\n",
      "epoch: 0059 cost: 0.000615\n",
      "epoch: 0060 cost: 0.000410\n",
      "epoch: 0061 cost: 0.000666\n",
      "epoch: 0062 cost: 0.000196\n",
      "epoch: 0063 cost: 0.000158\n",
      "epoch: 0064 cost: 0.001303\n",
      "epoch: 0065 cost: 0.000728\n",
      "epoch: 0066 cost: 0.000120\n",
      "epoch: 0067 cost: 0.000470\n",
      "epoch: 0068 cost: 0.000688\n",
      "epoch: 0069 cost: 0.000137\n",
      "epoch: 0070 cost: 0.000938\n",
      "epoch: 0071 cost: 0.000241\n",
      "epoch: 0072 cost: 0.000278\n",
      "epoch: 0073 cost: 0.000236\n",
      "epoch: 0074 cost: 0.000394\n",
      "epoch: 0075 cost: 0.000485\n",
      "epoch: 0076 cost: 0.000237\n",
      "epoch: 0077 cost: 0.000457\n",
      "epoch: 0078 cost: 0.000741\n",
      "epoch: 0079 cost: 0.000492\n",
      "epoch: 0080 cost: 0.000119\n",
      "epoch: 0081 cost: 0.000084\n",
      "epoch: 0082 cost: 0.000505\n",
      "epoch: 0083 cost: 0.000358\n",
      "epoch: 0084 cost: 0.000287\n",
      "epoch: 0085 cost: 0.000296\n",
      "epoch: 0086 cost: 0.000548\n",
      "epoch: 0087 cost: 0.000145\n",
      "epoch: 0088 cost: 0.000314\n",
      "epoch: 0089 cost: 0.000063\n",
      "epoch: 0090 cost: 0.000123\n",
      "epoch: 0091 cost: 0.000136\n",
      "epoch: 0092 cost: 0.000189\n",
      "epoch: 0093 cost: 0.000600\n",
      "epoch: 0094 cost: 0.000775\n",
      "epoch: 0095 cost: 0.000321\n",
      "epoch: 0096 cost: 0.000428\n",
      "epoch: 0097 cost: 0.000198\n",
      "epoch: 0098 cost: 0.000281\n",
      "epoch: 0099 cost: 0.000658\n",
      "epoch: 0100 cost: 0.000231\n",
      "모델 완료\n",
      "[[2, 2, 2, 2, 1]]\n",
      "word -> 단어\n",
      "[[2, 2, 2, 2, 1]]\n",
      "wodr -> 단어\n",
      "[[2, 2, 2, 2, 1]]\n",
      "love -> 사랑\n",
      "[[2, 2, 2, 2, 1]]\n",
      "loev -> 사랑\n",
      "[[2, 2, 2, 2, 1]]\n",
      "abcd -> 단어\n"
     ]
    }
   ],
   "source": [
    "def make_batch(seq_data): # ('word','PPPP')\n",
    "    input_batch=[]\n",
    "    output_batch=[]\n",
    "    target_batch=[]\n",
    "    for seq in seq_data:\n",
    "        #인코더 셀의 입력값\n",
    "        input=[num_dic[n] for n in seq[0]]\n",
    "        #디코더 셀의 입력값, S:시작\n",
    "        output=[num_dic[n] for n in ('S'+seq[1])]\n",
    "        #디코더 셀의 출력값, E:끝\n",
    "        target=[num_dic[n] for n in (seq[1]+'E')]\n",
    "        #print(target)\n",
    "        input_batch.append(np.eye(dic_len)[input])\n",
    "        output_batch.append(np.eye(dic_len)[output])\n",
    "        target_batch.append(target)\n",
    "        print(target_batch)    \n",
    "        #출력값만 원핫 인코딩이 아님.\n",
    "        #sparse_softmax_cross_entropy_with_logits사용\n",
    "    return input_batch, output_batch, target_batch\n",
    "\n",
    "learning_rate=0.01\n",
    "n_hidden=128\n",
    "total_epoch=100\n",
    "#입력과 출력의 형태는 one-hot 인코딩으로 크기가 같음.\n",
    "n_class=n_input=dic_len #41\n",
    "\n",
    "#신경망 구성\n",
    "#seq2seq모델은 인코더의 입력과 디코더의 형식이 같음\n",
    "#[batch size, time step, input size]\n",
    "#디코더의 출력형식\n",
    "#[batch size, time step]\n",
    "enc_input=tf.placeholder(tf.float32, [None, None, n_input])\n",
    "#배치크기, 글자 길이가 정해지 있지 않음\n",
    "#같은 배치인 경우에는 입력 데이터의 글자는 모두 같아야 함\n",
    "dec_input=tf.placeholder(tf.float32, [None, None, n_input])\n",
    "targets=tf.placeholder(tf.int64, [None, None])\n",
    "\n",
    "with tf.variable_scope('encode'):\n",
    "    #인코더 셀 구성\n",
    "    enc_cell=tf.nn.rnn_cell.BasicRNNCell(n_hidden)\n",
    "    #오버피팅 방지하기 위해 드랍아웃\n",
    "    enc_cell=tf.nn.rnn_cell.DropoutWrapper(enc_cell, output_keep_prob=0.5)\n",
    "    #드라이버 설정\n",
    "    outputs, enc_states=tf.nn.dynamic_rnn(enc_cell,enc_input,dtype=tf.float32)\n",
    "\n",
    "with tf.variable_scope('decode'):\n",
    "    #디코더 셀 구성\n",
    "    dec_cell=tf.nn.rnn_cell.BasicRNNCell(n_hidden)\n",
    "    dec_cell=tf.nn.rnn_cell.DropoutWrapper(dec_cell, output_keep_prob=0.5)\n",
    "    #드라이버 설정\n",
    "    outputs, dec_states=tf.nn.dynamic_rnn(dec_cell,dec_input,initial_state=enc_states,dtype=tf.float32)\n",
    "    #seq2seq 모델은 인코더 셀의 최종 상태 값이 디코더 셀의\n",
    "    #초기 상태값으로 입력해줘야 함.initial_state=enc_states \n",
    "\n",
    "model=tf.layers.dense(outputs, n_class, activation=None)\n",
    "#model수행 결과가 [batch size, time step, input]\n",
    "cost=tf.reduce_mean(tf.nn.sparse_softmax_cross_entropy_with_logits(logits=model, labels=targets))\n",
    "optimizer=tf.train.AdamOptimizer(learning_rate).minimize(cost)\n",
    "#디코더 셀 구성\n",
    "\n",
    "#학습\n",
    "\n",
    "sess=tf.Session()\n",
    "sess.run(tf.global_variables_initializer())\n",
    "input_batch, output_batch, target_batch=make_batch(seq_data)\n",
    "\n",
    "for epoch in range(total_epoch):\n",
    "    _,loss=sess.run([optimizer, cost], feed_dict={\n",
    "        enc_input:input_batch,\n",
    "        dec_input:output_batch,\n",
    "        targets:target_batch\n",
    "    })\n",
    "    print(\"epoch:\", \"%04d\" % (epoch+1),\n",
    "         \"cost:\", \"{:.6f}\".format(loss))\n",
    "print(\"모델 완료\")\n",
    "\n",
    "#단어를 입력받아서 번역된 단어를 예측하고 디코딩하는 함수\n",
    "def translate(word):\n",
    "    #단어 번역    \n",
    "    #[영어단어, 한글단어]\n",
    "    \n",
    "    #예측시에는 한글단어를 모르므로, 디코더의 입출력값을\n",
    "    #의미없는 값인 P로 채운다\n",
    "    #['word', 'PPPP']\n",
    "    seq_data=[word, 'P'*len(word)]\n",
    "    input_batch, output_batch, target_batch=make_batch([seq_data])\n",
    "    #[batch size, time step, input]\n",
    "    \n",
    "    prediction=tf.argmax(model,2)\n",
    "#model수행 결과가 [batch size, time step, input]\n",
    "#2번째 차원인 input차원을 argmax로 해서 가장 확률이\n",
    "#높은 글자를 예측값으로 함\n",
    "    result=sess.run(prediction,feed_dict={\n",
    "        enc_input:input_batch,\n",
    "        dec_input:output_batch,\n",
    "        targets:target_batch\n",
    "    })\n",
    "    decoded=[char_arr[i] for i in result[0]]\n",
    "    #결과값이 숫자로 나옴. 숫자의 인덱스에 해당하는 문자 가져옴\n",
    "    #출력의 끝 'E'이후의 글자들 제거하고 문자열 출력\n",
    "    end=decoded.index('E')\n",
    "    translated=\"\".join(decoded[:end])\n",
    "    \n",
    "    return translated\n",
    "\n",
    "print('word ->', translate('word')) #단어\n",
    "print('wodr ->', translate('wodr')) #단어\n",
    "print('love ->', translate('love')) #사랑\n",
    "print('loev ->', translate('loev')) #사랑\n",
    "print('abcd ->', translate('abcd')) #????\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}