6-DeepLearning_NLP/22일차/2019-09-10_chatbot.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "Using TensorFlow backend.\n"
     ]
    }
   ],
   "source": [
    "import numpy as np\n",
    "from keras.layers import *\n",
    "from keras.models import *"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([[[ 1,  2,  3],\n",
       "        [ 4,  5,  6]],\n",
       "\n",
       "       [[ 7,  8,  9],\n",
       "        [10, 11, 12]],\n",
       "\n",
       "       [[13, 14, 15],\n",
       "        [16, 17, 18]]])"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#rnn -> (batchsize, timestep, inputdim)\n",
    "x=np.array([[[1,2,3], [4,5,6]],\n",
    "         [[7,8,9], [10,11,12]],\n",
    "         [[13,14,15], [16,17,18]]])\n",
    "x\n",
    "#rnn->(batchsize(3),timesteps(2),inputdim(3))\n",
    "              "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(?, 50)\n"
     ]
    }
   ],
   "source": [
    "#simple rnn: 2개의 (timesteps, inputdim)\n",
    "rnn=SimpleRNN(50)(Input(shape=(10,30)))\n",
    "#                        (timestep, inputdim)\n",
    "#return_sequences = False로 디폴트 설정\n",
    "#=> 출력 값이 셀의 개수와 동일, 셀 하나당\n",
    "#하나의 스칼라값이 리턴\n",
    "print(rnn.shape)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "(?, ?, 50)\n"
     ]
    }
   ],
   "source": [
    "#simple rnn: 2개의 (timesteps, inputdim)\n",
    "rnn=SimpleRNN(50,return_sequences = True )(Input(shape=(10,30)))\n",
    "#                        (timestep, inputdim)\n",
    "#return_sequences = True로 설정\n",
    "#timestep * num of cell 개가 출력\n",
    "print(rnn.shape)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Tensor(\"simple_rnn_8/TensorArrayReadV3:0\", shape=(?, 50), dtype=float32)\n"
     ]
    }
   ],
   "source": [
    "rnn=SimpleRNN(50, return_sequences=False)(Input(shape=(10,30)))\n",
    "print(rnn)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Tensor(\"simple_rnn_9/transpose_1:0\", shape=(?, ?, 50), dtype=float32)\n"
     ]
    }
   ],
   "source": [
    "rnn=SimpleRNN(50, return_sequences=True)(Input(shape=(10,30)))\n",
    "print(rnn)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "from keras import *\n",
    "import pandas as pd\n",
    "import matplotlib.pyplot as plt\n",
    "import os\n",
    "import re\n",
    "from konlpy.tag import Okt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "chatbot_data=pd.read_csv(\"ChatbotData.csv\")\n",
    "question, answer=list(chatbot_data['Q']),list(chatbot_data['A'])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "#한 문장에서 단어 시퀀스의 최대 개수\n",
    "max_sequences=30\n",
    "\n",
    "#임베딩 벡터 차원\n",
    "embedding_dim=100\n",
    "\n",
    "#LSTM 히든레이어 차원\n",
    "lstm_hidden_dim=128\n",
    "\n",
    "#정규표현식 필터\n",
    "RE_FILTER=re.compile(\"[.,!?\\\"':;~()]\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 59,
   "metadata": {},
   "outputs": [],
   "source": [
    "PAD=\"<PADDING>\" #패딩\n",
    "STA=\"<START>\" #시작\n",
    "END=\"<END>\" #끝\n",
    "OOV=\"<OOV>\" #없는 단어\n",
    "\n",
    "#태그 문자에 대한 인덱스 정의\n",
    "PAD_INDEX=0\n",
    "STA_INDEX=1\n",
    "END_INDEX=2\n",
    "OOV_INDEX=3\n",
    "\n",
    "#데이터 타입\n",
    "ENCODER_INPUT=0\n",
    "DECODER_INPUT=1\n",
    "DECODER_TARGET=2"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#                      잘   가   eos (DECODER_TARGET)\n",
    "#                      안   녕   하\n",
    "# 인코더         ->       디코더\n",
    "# hello(ENCODER_INPUT) sos  잘   가 (DECODER_INPUT)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "11823"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(question)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "question=question[:100]\n",
    "answer=answer[:100]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Qustion:12시 땡!\n",
      "answer:하루가 또 가네요.\n",
      "\n",
      "Qustion:1지망 학교 떨어졌어\n",
      "answer:위로해 드립니다.\n",
      "\n",
      "Qustion:3박4일 놀러가고 싶다\n",
      "answer:여행은 언제나 좋죠.\n",
      "\n",
      "Qustion:3박4일 정도 놀러가고 싶다\n",
      "answer:여행은 언제나 좋죠.\n",
      "\n",
      "Qustion:PPL 심하네\n",
      "answer:눈살이 찌푸려지죠.\n",
      "\n",
      "Qustion:SD카드 망가졌어\n",
      "answer:다시 새로 사는 게 마음 편해요.\n",
      "\n",
      "Qustion:SD카드 안돼\n",
      "answer:다시 새로 사는 게 마음 편해요.\n",
      "\n",
      "Qustion:SNS 맞팔 왜 안하지ㅠㅠ\n",
      "answer:잘 모르고 있을 수도 있어요.\n",
      "\n",
      "Qustion:SNS 시간낭비인 거 아는데 매일 하는 중\n",
      "answer:시간을 정하고 해보세요.\n",
      "\n",
      "Qustion:SNS 시간낭비인데 자꾸 보게됨\n",
      "answer:시간을 정하고 해보세요.\n",
      "\n"
     ]
    }
   ],
   "source": [
    "for i in range(10):\n",
    "    print(\"Qustion:\" + question[i])\n",
    "    print(\"answer:\" + answer[i])\n",
    "    print()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [],
   "source": [
    "#1. 단어사전 생성\n",
    "#문장 -> 토큰(글자, 단어, 문장) 분리 -> KoNLPy(한국어) -> 형태소분석기(한나눔, 코모란, Okt 등)\n",
    "#KoNLPy(자바로 작성되어있음) 사용하기 위해 \n",
    "#1)java설치(>=1.7)->환경변수 이름:JAVA_HOME, 값:c:\\program files\\jdk....\n",
    "#2)jpype1 설치(파이썬에서 자바를 호출할 수 있도록 하는 라이브러리)  #아나콘다 프롬프트 -> pip install jpype파일저장경로\n",
    "#3)KoNLPy 설치 => 아나콘다 프롬프트 -> pip install KoNLPy\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [],
   "source": [
    "#형태소 분석 함수\n",
    "def pos_tag(sentences):\n",
    "    tagger=Okt()\n",
    "    sentences_pos=[]\n",
    "    for sentence in sentences:\n",
    "        sentence=re.sub(RE_FILTER,\"\",sentence)\n",
    "        sentence=\" \".join(tagger.morphs(sentence))\n",
    "        sentences_pos.append(sentence)\n",
    "    #print(sentences_pos)\n",
    "    return sentences_pos"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['하루 가 또 가네요',\n",
       " '위로 해 드립니다',\n",
       " '여행 은 언제나 좋죠',\n",
       " '여행 은 언제나 좋죠',\n",
       " '눈살 이 찌푸려지죠',\n",
       " '다시 새로 사는 게 마음 편해요',\n",
       " '다시 새로 사는 게 마음 편해요',\n",
       " '잘 모르고 있을 수도 있어요',\n",
       " '시간 을 정 하고 해보세요',\n",
       " '시간 을 정 하고 해보세요',\n",
       " '자랑 하는 자리 니까 요',\n",
       " '그 사람 도 그럴 거 예요',\n",
       " '그 사람 도 그럴 거 예요',\n",
       " '혼자 를 즐기세요',\n",
       " '돈 은 다시 들어올 거 예요',\n",
       " '땀 을 식혀주세요',\n",
       " '어서 잊고 새 출발 하세요',\n",
       " '빨리 집 에 돌아가서 끄고 나오세요',\n",
       " '빨리 집 에 돌아가서 끄고 나오세요',\n",
       " '다음 달 에는 더 절약 해봐요',\n",
       " '따뜻하게 사세요',\n",
       " '다음 달 에는 더 절약 해봐요',\n",
       " '가장 확실한 시간 은 오늘이 에요 어제 와 내일 을 놓고 고민 하느라 시간 을 낭비하지 마세요',\n",
       " '온 가족 이 모두 마음 에 드는 곳 으로 가보세요',\n",
       " '온 가족 이 모두 마음 에 드는 곳 으로 가보세요',\n",
       " '온 가족 이 모두 마음 에 드는 곳 으로 가보세요',\n",
       " '저 를 만들어 준 사람 을 부모님 저 랑 이야기 해 주는 사람 을 친구 로 생각 하고 있어요',\n",
       " '저 를 만들어 준 사람 을 부모님 저 랑 이야기 해 주는 사람 을 친구 로 생각 하고 있어요',\n",
       " '더 가까워질 기회 가 되겠네요',\n",
       " '저 도 요',\n",
       " '다 들 바빠서 이야기 할 시간 이 부족했나 봐요',\n",
       " '다 들 바빠서 이야기 할 시간 이 부족했나 봐요',\n",
       " '온 가족 이 모두 마음 에 드는 곳 으로 가보세요',\n",
       " '좋은 생각 이에요',\n",
       " '더 가까워질 기회 가 되겠네요',\n",
       " '저 를 만들어 준 사람 을 부모님 저 랑 이야기 해 주는 사람 을 친구 로 생각 하고 있어요',\n",
       " '좋은 생각 이에요',\n",
       " '정말 후회 할 습관 이에요',\n",
       " '무모한 결정 을 내 리지 마세요',\n",
       " '선생님 이나 기관 에 연락 해보세요',\n",
       " '떨리는 감정 은 그 자체 로 소중해요',\n",
       " '득템 했길 바라요',\n",
       " '휴식 도 필요하죠',\n",
       " '단 짠으로 두 개 사는게 진리 죠',\n",
       " '단 짠으로 두 개 사는게 진리 죠',\n",
       " '맛있게 드세요',\n",
       " '저 도 싫어요',\n",
       " '가세 요',\n",
       " '가세 요',\n",
       " '맛있게 드세요',\n",
       " '맛있게 드세요',\n",
       " '병원 가세 요',\n",
       " '이럴 때 잘 쉬는 게 중요해요',\n",
       " '이럴 때 잘 쉬는 게 중요해요',\n",
       " '이럴 때 잘 쉬는 게 중요해요',\n",
       " '따뜻하게 관리 하세요',\n",
       " '병원 가세 요',\n",
       " '병원 가세 요',\n",
       " '저 도 듣고 싶네요',\n",
       " '자신 을 더 사랑 해주세요',\n",
       " '그건 습관 이에요',\n",
       " '그건 습관 이에요',\n",
       " '콕 집어서 물어보세요',\n",
       " '좋은 생각 만 하세요',\n",
       " '마음 이 아픈가요',\n",
       " '갑작스러웠나 봐요',\n",
       " '관계 의 변화 가 왔나 봅니다',\n",
       " '처음 3초 가 중요해요 당신 의 매력 을 어필 해보세요',\n",
       " '책임질 수 있을 때 키워 보세요',\n",
       " '먼저 생활 패턴 을 살펴 보세요',\n",
       " '먼저 생활 패턴 을 살펴 보세요',\n",
       " '책임질 수 있을 때 키워 보세요',\n",
       " '아름다운 곳 이 죠',\n",
       " '안 될 것 도 없죠',\n",
       " '혼자 도 좋아요',\n",
       " '연인 은 살쪄도 잘 알아차리지 못 하고 알아차려도 싫어하지 않을 거 예요',\n",
       " '즐거운 시간 보내고 오세요',\n",
       " '질질 끌 지 마세요',\n",
       " '말 해보세요',\n",
       " '함께 하면 서로 를 더 많이 알 게 될 거 예요',\n",
       " '개시 해보세요',\n",
       " '개시 해보세요',\n",
       " '곧 방학 이 예요',\n",
       " '방학 이 참 짧죠',\n",
       " '벗어나는 게 좋겠네요',\n",
       " '벗어나는 게 좋겠네요',\n",
       " '세수 하고 오세요',\n",
       " '그게 제일 중요한 건데 요',\n",
       " '그게 제일 중요한 건데 요',\n",
       " '다음 부터는 더 많이 아세요',\n",
       " '갑작스러웠나 봐요',\n",
       " '공적 인 일 부터 하세요',\n",
       " '공적 인 일 부터 하세요',\n",
       " '낮잠 을 잠깐 자도 괜찮아요',\n",
       " '저 도 좋아해주세요',\n",
       " '친구 들 이 보고싶었나 봐요',\n",
       " '되도록 만나지 마세요',\n",
       " '당신 이 요',\n",
       " '당신 의 운 을 믿어 보세요',\n",
       " '일 못 하는 사람 이 있으면 옆 에 있는 사람 이 더 힘들죠']"
      ]
     },
     "execution_count": 39,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "question=pos_tag(question)\n",
    "question\n",
    "answer=pos_tag(answer)\n",
    "answer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Qustion:12시 땡\n",
      "answer:하루 가 또 가네요\n",
      "\n",
      "Qustion:1 지망 학교 떨어졌어\n",
      "answer:위로 해 드립니다\n",
      "\n",
      "Qustion:3 박 4일 놀러 가고 싶다\n",
      "answer:여행 은 언제나 좋죠\n",
      "\n",
      "Qustion:3 박 4일 정도 놀러 가고 싶다\n",
      "answer:여행 은 언제나 좋죠\n",
      "\n",
      "Qustion:PPL 심하네\n",
      "answer:눈살 이 찌푸려지죠\n",
      "\n",
      "Qustion:SD 카드 망가졌어\n",
      "answer:다시 새로 사는 게 마음 편해요\n",
      "\n",
      "Qustion:SD 카드 안 돼\n",
      "answer:다시 새로 사는 게 마음 편해요\n",
      "\n",
      "Qustion:SNS 맞팔 왜 안 하지 ㅠㅠ\n",
      "answer:잘 모르고 있을 수도 있어요\n",
      "\n",
      "Qustion:SNS 시간 낭비 인 거 아는데 매일 하는 중\n",
      "answer:시간 을 정 하고 해보세요\n",
      "\n",
      "Qustion:SNS 시간 낭비 인데 자꾸 보게 됨\n",
      "answer:시간 을 정 하고 해보세요\n",
      "\n"
     ]
    }
   ],
   "source": [
    "for i in range(10):\n",
    "    print(\"Qustion:\" + question[i])\n",
    "    print(\"answer:\" + answer[i])\n",
    "    print()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "sentences=[]\n",
    "sentences.extend(question)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['12시 땡',\n",
       " '1 지망 학교 떨어졌어',\n",
       " '3 박 4일 놀러 가고 싶다',\n",
       " '3 박 4일 정도 놀러 가고 싶다',\n",
       " 'PPL 심하네',\n",
       " 'SD 카드 망가졌어',\n",
       " 'SD 카드 안 돼',\n",
       " 'SNS 맞팔 왜 안 하지 ㅠㅠ',\n",
       " 'SNS 시간 낭비 인 거 아는데 매일 하는 중',\n",
       " 'SNS 시간 낭비 인데 자꾸 보게 됨',\n",
       " 'SNS 보면 나 만 빼고 다 행복 해보여',\n",
       " '가끔 궁금해',\n",
       " '가끔 뭐 하는지 궁금해',\n",
       " '가끔 은 혼자 인게 좋다',\n",
       " '가난한 자의 설움',\n",
       " '가만 있어도 땀 난다',\n",
       " '가상 화폐 쫄딱 망함',\n",
       " '가스 불 켜고 나갔어',\n",
       " '가스 불 켜놓고 나온거 같아',\n",
       " '가스 비 너무 많이 나왔다',\n",
       " '가스 비 비싼데 감기 걸리겠어',\n",
       " '가스 비 장난 아님',\n",
       " '가장 확실한 건 뭘 까',\n",
       " '가족 여행 가기 로 했어',\n",
       " '가족 여행 고고',\n",
       " '가족 여행 어디 로 가지',\n",
       " '가족 있어',\n",
       " '가족 관계 알려 줘',\n",
       " '가족 끼리 여행 간다',\n",
       " '가족 들 보고 싶어',\n",
       " '가족 들 이랑 서먹해',\n",
       " '가족 들 이랑 서먹해졌어',\n",
       " '가족 들 이랑 어디 가지',\n",
       " '가족 들 이랑 여행 갈거야',\n",
       " '가족 여행 가야 지',\n",
       " '가족 이 누구 야',\n",
       " '가족 이랑 여행 가려고',\n",
       " '가족 한테 스트레스 풀었어',\n",
       " '가출 할까',\n",
       " '가출 해도 갈 데 가 없어',\n",
       " '간만 에 떨리니까 좋더라',\n",
       " '간만 에 쇼핑 중',\n",
       " '간만 에 휴식 중',\n",
       " '간식 뭐 먹을까',\n",
       " '간식 추천',\n",
       " '간장 치킨 시켜야지',\n",
       " '간접흡연 싫어',\n",
       " '갈까 말까 고민 돼',\n",
       " '갈까 말까',\n",
       " '감 말랭이 먹고 싶다',\n",
       " '감 말랭이 먹어야지',\n",
       " '감기 같 애',\n",
       " '감기 걸린 것 같아',\n",
       " '감기 기운 이 있어',\n",
       " '감기 들 거 같 애',\n",
       " '감기 가 오려나',\n",
       " '감기 약 이 없어',\n",
       " '감기 인거 같 애',\n",
       " '감미로운 목소리 좋아',\n",
       " '감정 이 쓰레기통 처럼 엉망 진창 이야',\n",
       " '감정 컨트롤 을 못 하겠어',\n",
       " '감정 컨트롤 이 안 돼',\n",
       " '감히 나를 무시 하는 애가 있어',\n",
       " '갑자기 나쁜 생각 이 막 들더라',\n",
       " '갑자기 눈물 나',\n",
       " '갑자기 물어봐서 당황 했어',\n",
       " '갑자기 불편한 사이 가 된 거 같아',\n",
       " '강렬한 첫인상 남겨야 하는데',\n",
       " '강아지 키우고 싶어',\n",
       " '강아지 키우고 싶은데 역시 안 돼겠지',\n",
       " '강아지 키울 수 있을까',\n",
       " '강아지 키울까',\n",
       " '강원도 가서 살까',\n",
       " '같이 게임 하자 고 해도 되나',\n",
       " '같이 놀러 갈 친구 가 없어',\n",
       " '같이 먹었는데 나 만 살찐 거 같아',\n",
       " '같이 수영장 가기 로 했어',\n",
       " '같이 있으면 힘든데 붙잡고 싶어',\n",
       " '같이 피 씨방 가자고 해볼까',\n",
       " '같이 할 수 있는 취미 생활 뭐 있을까',\n",
       " '개강 룩 입어볼까',\n",
       " '개강 옷 예쁘게 입어 볼까',\n",
       " '개강 이다',\n",
       " '개강 이라니',\n",
       " '개 같은 상황',\n",
       " '개 같이 되 버렸어',\n",
       " '개 기름 꼈어',\n",
       " '개념 도 놓고 옴',\n",
       " '개념 이 없어',\n",
       " '개 당황',\n",
       " '개 당황 했잖아 갑자기 물어 봐서',\n",
       " '개인 적 인 업무 까지 다 시켜',\n",
       " '개인 적 인 일도 다 시켜',\n",
       " '개 졸려',\n",
       " '개 좋아',\n",
       " '개학 하 니까 좋다',\n",
       " '걔 너무 싫다',\n",
       " '걔 는 누굴 닮아서 그런거니',\n",
       " '걔 랑 같은 반 됐으면 좋겠다',\n",
       " '거지 같이 일해 놓고 갔어',\n",
       " '하루 가 또 가네요',\n",
       " '위로 해 드립니다',\n",
       " '여행 은 언제나 좋죠',\n",
       " '여행 은 언제나 좋죠',\n",
       " '눈살 이 찌푸려지죠',\n",
       " '다시 새로 사는 게 마음 편해요',\n",
       " '다시 새로 사는 게 마음 편해요',\n",
       " '잘 모르고 있을 수도 있어요',\n",
       " '시간 을 정 하고 해보세요',\n",
       " '시간 을 정 하고 해보세요',\n",
       " '자랑 하는 자리 니까 요',\n",
       " '그 사람 도 그럴 거 예요',\n",
       " '그 사람 도 그럴 거 예요',\n",
       " '혼자 를 즐기세요',\n",
       " '돈 은 다시 들어올 거 예요',\n",
       " '땀 을 식혀주세요',\n",
       " '어서 잊고 새 출발 하세요',\n",
       " '빨리 집 에 돌아가서 끄고 나오세요',\n",
       " '빨리 집 에 돌아가서 끄고 나오세요',\n",
       " '다음 달 에는 더 절약 해봐요',\n",
       " '따뜻하게 사세요',\n",
       " '다음 달 에는 더 절약 해봐요',\n",
       " '가장 확실한 시간 은 오늘이 에요 어제 와 내일 을 놓고 고민 하느라 시간 을 낭비하지 마세요',\n",
       " '온 가족 이 모두 마음 에 드는 곳 으로 가보세요',\n",
       " '온 가족 이 모두 마음 에 드는 곳 으로 가보세요',\n",
       " '온 가족 이 모두 마음 에 드는 곳 으로 가보세요',\n",
       " '저 를 만들어 준 사람 을 부모님 저 랑 이야기 해 주는 사람 을 친구 로 생각 하고 있어요',\n",
       " '저 를 만들어 준 사람 을 부모님 저 랑 이야기 해 주는 사람 을 친구 로 생각 하고 있어요',\n",
       " '더 가까워질 기회 가 되겠네요',\n",
       " '저 도 요',\n",
       " '다 들 바빠서 이야기 할 시간 이 부족했나 봐요',\n",
       " '다 들 바빠서 이야기 할 시간 이 부족했나 봐요',\n",
       " '온 가족 이 모두 마음 에 드는 곳 으로 가보세요',\n",
       " '좋은 생각 이에요',\n",
       " '더 가까워질 기회 가 되겠네요',\n",
       " '저 를 만들어 준 사람 을 부모님 저 랑 이야기 해 주는 사람 을 친구 로 생각 하고 있어요',\n",
       " '좋은 생각 이에요',\n",
       " '정말 후회 할 습관 이에요',\n",
       " '무모한 결정 을 내 리지 마세요',\n",
       " '선생님 이나 기관 에 연락 해보세요',\n",
       " '떨리는 감정 은 그 자체 로 소중해요',\n",
       " '득템 했길 바라요',\n",
       " '휴식 도 필요하죠',\n",
       " '단 짠으로 두 개 사는게 진리 죠',\n",
       " '단 짠으로 두 개 사는게 진리 죠',\n",
       " '맛있게 드세요',\n",
       " '저 도 싫어요',\n",
       " '가세 요',\n",
       " '가세 요',\n",
       " '맛있게 드세요',\n",
       " '맛있게 드세요',\n",
       " '병원 가세 요',\n",
       " '이럴 때 잘 쉬는 게 중요해요',\n",
       " '이럴 때 잘 쉬는 게 중요해요',\n",
       " '이럴 때 잘 쉬는 게 중요해요',\n",
       " '따뜻하게 관리 하세요',\n",
       " '병원 가세 요',\n",
       " '병원 가세 요',\n",
       " '저 도 듣고 싶네요',\n",
       " '자신 을 더 사랑 해주세요',\n",
       " '그건 습관 이에요',\n",
       " '그건 습관 이에요',\n",
       " '콕 집어서 물어보세요',\n",
       " '좋은 생각 만 하세요',\n",
       " '마음 이 아픈가요',\n",
       " '갑작스러웠나 봐요',\n",
       " '관계 의 변화 가 왔나 봅니다',\n",
       " '처음 3초 가 중요해요 당신 의 매력 을 어필 해보세요',\n",
       " '책임질 수 있을 때 키워 보세요',\n",
       " '먼저 생활 패턴 을 살펴 보세요',\n",
       " '먼저 생활 패턴 을 살펴 보세요',\n",
       " '책임질 수 있을 때 키워 보세요',\n",
       " '아름다운 곳 이 죠',\n",
       " '안 될 것 도 없죠',\n",
       " '혼자 도 좋아요',\n",
       " '연인 은 살쪄도 잘 알아차리지 못 하고 알아차려도 싫어하지 않을 거 예요',\n",
       " '즐거운 시간 보내고 오세요',\n",
       " '질질 끌 지 마세요',\n",
       " '말 해보세요',\n",
       " '함께 하면 서로 를 더 많이 알 게 될 거 예요',\n",
       " '개시 해보세요',\n",
       " '개시 해보세요',\n",
       " '곧 방학 이 예요',\n",
       " '방학 이 참 짧죠',\n",
       " '벗어나는 게 좋겠네요',\n",
       " '벗어나는 게 좋겠네요',\n",
       " '세수 하고 오세요',\n",
       " '그게 제일 중요한 건데 요',\n",
       " '그게 제일 중요한 건데 요',\n",
       " '다음 부터는 더 많이 아세요',\n",
       " '갑작스러웠나 봐요',\n",
       " '공적 인 일 부터 하세요',\n",
       " '공적 인 일 부터 하세요',\n",
       " '낮잠 을 잠깐 자도 괜찮아요',\n",
       " '저 도 좋아해주세요',\n",
       " '친구 들 이 보고싶었나 봐요',\n",
       " '되도록 만나지 마세요',\n",
       " '당신 이 요',\n",
       " '당신 의 운 을 믿어 보세요',\n",
       " '일 못 하는 사람 이 있으면 옆 에 있는 사람 이 더 힘들죠']"
      ]
     },
     "execution_count": 46,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "sentences.extend(answer)\n",
    "sentences"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 60,
   "metadata": {},
   "outputs": [],
   "source": [
    "words=[]\n",
    "for sentence in sentences:\n",
    "    for word in sentence.split():\n",
    "        words.append(word)\n",
    "\n",
    "        #길이가 0인 단어는 제거\n",
    "words=[word for word in words if len(word)>0]\n",
    "\n",
    "#중복된 단어 제거\n",
    "words=list(set(words))\n",
    "len(words)\n",
    "#가장 앞부분에 태그 삽입\n",
    "words[:0]=[PAD, STA, END, OOV]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 62,
   "metadata": {},
   "outputs": [],
   "source": [
    "words\n",
    "#단어 <-> 인덱스로 구성된 딕셔너리\n",
    "word_to_index={word:index for index, word in enumerate(words)}\n",
    "index_to_word={index:word for index, word in enumerate(words)}\n",
    "# word_to_index={'<PADDING>':0, ...}   \n",
    "# index_to_word={0:'<PADDING>', ...}"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 67,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[(0, '<PADDING>'),\n",
       " (1, '<START>'),\n",
       " (2, '<END>'),\n",
       " (3, '<OOV>'),\n",
       " (4, '있어요'),\n",
       " (5, '자신'),\n",
       " (6, '보고'),\n",
       " (7, '휴식'),\n",
       " (8, '하'),\n",
       " (9, '싫어'),\n",
       " (10, '나갔어'),\n",
       " (11, '인거'),\n",
       " (12, '만들어'),\n",
       " (13, '기운'),\n",
       " (14, '서로'),\n",
       " (15, '가난한'),\n",
       " (16, '눈물'),\n",
       " (17, '생활'),\n",
       " (18, '매일'),\n",
       " (19, '부모님')]"
      ]
     },
     "execution_count": 67,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "list(word_to_index.items())[:20]\n",
    "list(index_to_word.items())[:20]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#seq2seq는 학습시 아래와 같은 3개의 데이터가 필요\n",
    "#인코더 입력:12시 땡\n",
    "#디코더 입력:start 점심먹으러 가요\n",
    "#디코더 출력:점심먹으러 가요 end\n",
    "#훈련 모델과 예측 모델이 따로 구성되어야 함."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 92,
   "metadata": {},
   "outputs": [],
   "source": [
    "def convert_text_to_index(sentences,vocabulary,type):\n",
    "    sentences_index=[]\n",
    "    for sentence in sentences:\n",
    "        sentence_index=[]        \n",
    "        #디코더 입력-> 맨 앞에 START 추가\n",
    "        if type==DECODER_INPUT:\n",
    "            sentence_index.extend([vocabulary[STA]])\n",
    "        for word in sentence.split():\n",
    "            #사전에 있는 단어면 인덱스 추가\n",
    "            if vocabulary.get(word) is not None:\n",
    "                sentence_index.extend([vocabulary[word]])\n",
    "            else:\n",
    "                sentence_index.extend([vocabulary[OOV]])\n",
    "        \n",
    "        if type==DECODER_TARGET:\n",
    "            #DECODER_TARGET -> 맨 뒤에 END 추가\n",
    "            if len(sentence_index) >= max_sequences:\n",
    "                sentence_index=sentence_index[:max_sequences-1]+[vocabulary[END]]\n",
    "            else:\n",
    "                sentence_index+=[vocabulary[END]]\n",
    "        else:\n",
    "            if len(sentence_index) > max_sequences:\n",
    "                sentence_index= sentence_index[:max_sequences]\n",
    "        sentence_index+=(max_sequences-len(sentence_index))*[vocabulary[PAD]]\n",
    "        sentences_index.append(sentence_index)\n",
    "    return np.asarray(sentences_index)                                                     "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 97,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([137,  94,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,\n",
       "         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,\n",
       "         0,   0,   0,   0])"
      ]
     },
     "execution_count": 97,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "x_encoder=convert_text_to_index(question, word_to_index, ENCODER_INPUT) #문장 -> 인덱스\n",
    "x_encoder[0] #전체 문장에 대한 인덱스 변환 결과가 출력\n",
    "#12시 땡 -> [5, 80, 0, 0, ... , 0]\n",
    "#한 문장에서 단어 시퀀스의 최대 개수:max_sequences=30"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 98,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([  1, 342, 259, 217, 418,   0,   0,   0,   0,   0,   0,   0,   0,\n",
       "         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,\n",
       "         0,   0,   0,   0])"
      ]
     },
     "execution_count": 98,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#디코더 입력 인덱스 변환\n",
    "x_decoder=convert_text_to_index(answer, word_to_index, DECODER_INPUT) #문장 -> 인덱스\n",
    "x_decoder[0] #start 점심먹으러 가요"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 99,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([342, 259, 217, 418,   2,   0,   0,   0,   0,   0,   0,   0,   0,\n",
       "         0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,   0,\n",
       "         0,   0,   0,   0])"
      ]
     },
     "execution_count": 99,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "#디코더 target(목표) 인덱스 변환\n",
    "y_decoder=convert_text_to_index(answer, word_to_index, DECODER_TARGET) #문장 -> 인덱스\n",
    "y_decoder[0] #점심먹으러 가요 end"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#2. 전처리(문장 -> 인덱스 변환)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#3. 모델생성"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [],
   "source": [
    "#4. 훈련및테스트"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "#5. 문장생성"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}