chatbot.ipynb

{
 "metadata": {
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.1"
  },
  "orig_nbformat": 2,
  "kernelspec": {
   "name": "python3",
   "display_name": "Python 3.8.1 32-bit"
  },
  "metadata": {
   "interpreter": {
    "hash": "80fa79ebc46a79d53c1b45ec3e15a056824428993c1fadda16718e389e748613"
   }
  },
  "interpreter": {
   "hash": "8128ec306610dba38624fc72e00be8ae7cdc1360b61e256d42c1379c71c7e5ea"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2,
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Importing th required libraries\n",
    "import pandas as pd\n",
    "import qalsadi.lemmatizer\n",
    "import numpy as np"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 23,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Choosing 3 columns: ID, Translated Sentences, and the Sentiment columns\n",
    "# Transfering the datasets from CSV of the testset and the trainset into dataframes\n",
    "\n",
    "col_list = [\"conv_id\", \"translated_utterance\", \"context\"]\n",
    "df_train= pd.read_csv(\"train_arabic_new.txt\",encoding='utf-16-le',sep='\\t',usecols=col_list)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "# We then concatenate both dataframes\n",
    "\n",
    "df_test_arabic = df_train"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "                    conv_id      context  \\\n",
       "0              hit:0_conv:1  sentimental   \n",
       "1              hit:0_conv:1  sentimental   \n",
       "2              hit:0_conv:1  sentimental   \n",
       "3              hit:0_conv:1  sentimental   \n",
       "4              hit:0_conv:1  sentimental   \n",
       "...                     ...          ...   \n",
       "83112  hit:12424_conv:24848  sentimental   \n",
       "83113  hit:12424_conv:24849    surprised   \n",
       "83114  hit:12424_conv:24849    surprised   \n",
       "83115  hit:12424_conv:24849    surprised   \n",
       "83116  hit:12424_conv:24849    surprised   \n",
       "\n",
       "                                    translated_utterance  \n",
       "0      أتذكر أنني ذهبت لمشاهدة الألعاب النارية مع أعز...  \n",
       "1      هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...  \n",
       "2                          كان هذا أفضل صديق. اشتقت لها.  \n",
       "3                                              اين ذهبت؟  \n",
       "4                                          لم نعد نتحدث.  \n",
       "...                                                  ...  \n",
       "83112  نعم يذكرني بالأيام الخوالي. افتقد جدتي. توفيت ...  \n",
       "83113     استيقظت هذا الصباح على زوجتي تخبرني أنها حامل!  \n",
       "83114                   يا هذا رائع! هذا رائع أليس كذلك؟  \n",
       "83115  إنه رائع جدا. لقد كنا نريد طفلًا لفترة طويلة. ...  \n",
       "83116                              هذا رائع!!!! تهانينا!  \n",
       "\n",
       "[83117 rows x 3 columns]"
      ],
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>conv_id</th>\n      <th>context</th>\n      <th>translated_utterance</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>hit:0_conv:1</td>\n      <td>sentimental</td>\n      <td>أتذكر أنني ذهبت لمشاهدة الألعاب النارية مع أعز...</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>hit:0_conv:1</td>\n      <td>sentimental</td>\n      <td>هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>hit:0_conv:1</td>\n      <td>sentimental</td>\n      <td>كان هذا أفضل صديق. اشتقت لها.</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>hit:0_conv:1</td>\n      <td>sentimental</td>\n      <td>اين ذهبت؟</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>hit:0_conv:1</td>\n      <td>sentimental</td>\n      <td>لم نعد نتحدث.</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>83112</th>\n      <td>hit:12424_conv:24848</td>\n      <td>sentimental</td>\n      <td>نعم يذكرني بالأيام الخوالي. افتقد جدتي. توفيت ...</td>\n    </tr>\n    <tr>\n      <th>83113</th>\n      <td>hit:12424_conv:24849</td>\n      <td>surprised</td>\n      <td>استيقظت هذا الصباح على زوجتي تخبرني أنها حامل!</td>\n    </tr>\n    <tr>\n      <th>83114</th>\n      <td>hit:12424_conv:24849</td>\n      <td>surprised</td>\n      <td>يا هذا رائع! هذا رائع أليس كذلك؟</td>\n    </tr>\n    <tr>\n      <th>83115</th>\n      <td>hit:12424_conv:24849</td>\n      <td>surprised</td>\n      <td>إنه رائع جدا. لقد كنا نريد طفلًا لفترة طويلة. ...</td>\n    </tr>\n    <tr>\n      <th>83116</th>\n      <td>hit:12424_conv:24849</td>\n      <td>surprised</td>\n      <td>هذا رائع!!!! تهانينا!</td>\n    </tr>\n  </tbody>\n</table>\n<p>83117 rows × 3 columns</p>\n</div>"
     },
     "metadata": {},
     "execution_count": 25
    }
   ],
   "source": [
    "df_test_arabic"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "# We Drop the Nans\n",
    "\n",
    "df_test_arabic.dropna(inplace=True)\n",
    "df = df_test_arabic"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 33,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Define the positive and negative sentiments from the available sentiments.\n",
    "def change_context(cont):\n",
    "    positives = ['sentimental','proud','faithful','joyful','grateful','prepared','excited','surprised','confident','nostalgic','caring','trusting','hopeful','content','impressed','anticipating']\n",
    "    if(cont in positives):\n",
    "        return 'pos'\n",
    "    else:\n",
    "        return 'neg'"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 34,
   "metadata": {},
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "                    conv_id context  \\\n",
       "0              hit:0_conv:1     pos   \n",
       "1              hit:0_conv:1     pos   \n",
       "2              hit:0_conv:1     pos   \n",
       "3              hit:0_conv:1     pos   \n",
       "4              hit:0_conv:1     pos   \n",
       "...                     ...     ...   \n",
       "83112  hit:12424_conv:24848     pos   \n",
       "83113  hit:12424_conv:24849     pos   \n",
       "83114  hit:12424_conv:24849     pos   \n",
       "83115  hit:12424_conv:24849     pos   \n",
       "83116  hit:12424_conv:24849     pos   \n",
       "\n",
       "                                    translated_utterance  \n",
       "0      أتذكر أنني ذهبت لمشاهدة الألعاب النارية مع أعز...  \n",
       "1      هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...  \n",
       "2                          كان هذا أفضل صديق. اشتقت لها.  \n",
       "3                                              اين ذهبت؟  \n",
       "4                                          لم نعد نتحدث.  \n",
       "...                                                  ...  \n",
       "83112  نعم يذكرني بالأيام الخوالي. افتقد جدتي. توفيت ...  \n",
       "83113     استيقظت هذا الصباح على زوجتي تخبرني أنها حامل!  \n",
       "83114                   يا هذا رائع! هذا رائع أليس كذلك؟  \n",
       "83115  إنه رائع جدا. لقد كنا نريد طفلًا لفترة طويلة. ...  \n",
       "83116                              هذا رائع!!!! تهانينا!  \n",
       "\n",
       "[78539 rows x 3 columns]"
      ],
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>conv_id</th>\n      <th>context</th>\n      <th>translated_utterance</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>أتذكر أنني ذهبت لمشاهدة الألعاب النارية مع أعز...</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>كان هذا أفضل صديق. اشتقت لها.</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>اين ذهبت؟</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>لم نعد نتحدث.</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>83112</th>\n      <td>hit:12424_conv:24848</td>\n      <td>pos</td>\n      <td>نعم يذكرني بالأيام الخوالي. افتقد جدتي. توفيت ...</td>\n    </tr>\n    <tr>\n      <th>83113</th>\n      <td>hit:12424_conv:24849</td>\n      <td>pos</td>\n      <td>استيقظت هذا الصباح على زوجتي تخبرني أنها حامل!</td>\n    </tr>\n    <tr>\n      <th>83114</th>\n      <td>hit:12424_conv:24849</td>\n      <td>pos</td>\n      <td>يا هذا رائع! هذا رائع أليس كذلك؟</td>\n    </tr>\n    <tr>\n      <th>83115</th>\n      <td>hit:12424_conv:24849</td>\n      <td>pos</td>\n      <td>إنه رائع جدا. لقد كنا نريد طفلًا لفترة طويلة. ...</td>\n    </tr>\n    <tr>\n      <th>83116</th>\n      <td>hit:12424_conv:24849</td>\n      <td>pos</td>\n      <td>هذا رائع!!!! تهانينا!</td>\n    </tr>\n  </tbody>\n</table>\n<p>78539 rows × 3 columns</p>\n</div>"
     },
     "metadata": {},
     "execution_count": 34
    }
   ],
   "source": [
    "# Apply the pre-defined method to change sentiments into positive/negative only to increase the accuracy.\n",
    "df['context']=df['context'].apply(change_context)\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 35,
   "metadata": {
    "tags": [
     "outputPrepend"
    ]
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "ile: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n",
      "Fatal Error can't execute query: file: wordfrequencydictionary\n"
     ]
    },
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "                    conv_id context  \\\n",
       "0              hit:0_conv:1     pos   \n",
       "1              hit:0_conv:1     pos   \n",
       "2              hit:0_conv:1     pos   \n",
       "3              hit:0_conv:1     pos   \n",
       "4              hit:0_conv:1     pos   \n",
       "...                     ...     ...   \n",
       "83112  hit:12424_conv:24848     pos   \n",
       "83113  hit:12424_conv:24849     pos   \n",
       "83114  hit:12424_conv:24849     pos   \n",
       "83115  hit:12424_conv:24849     pos   \n",
       "83116  hit:12424_conv:24849     pos   \n",
       "\n",
       "                                    translated_utterance  \\\n",
       "0      أتذكر أنني ذهبت لمشاهدة الألعاب النارية مع أعز...   \n",
       "1      هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...   \n",
       "2                          كان هذا أفضل صديق. اشتقت لها.   \n",
       "3                                              اين ذهبت؟   \n",
       "4                                          لم نعد نتحدث.   \n",
       "...                                                  ...   \n",
       "83112  نعم يذكرني بالأيام الخوالي. افتقد جدتي. توفيت ...   \n",
       "83113     استيقظت هذا الصباح على زوجتي تخبرني أنها حامل!   \n",
       "83114                   يا هذا رائع! هذا رائع أليس كذلك؟   \n",
       "83115  إنه رائع جدا. لقد كنا نريد طفلًا لفترة طويلة. ...   \n",
       "83116                              هذا رائع!!!! تهانينا!   \n",
       "\n",
       "                                     tokenized_utterance  \n",
       "0      [(تذكر, noun), (ونى, verb), (ذهب, verb), (مشاه...  \n",
       "1      [(هل, stopword), (كان, stopword), (هذا, stopwo...  \n",
       "2      [(كان, stopword), (هذا, stopword), (فضل, noun)...  \n",
       "3                          [(وني, verb), (ذهب, verb), ؟]  \n",
       "4        [(لم, stopword), (أعاد, verb), (تحدث, verb), .]  \n",
       "...                                                  ...  \n",
       "83112  [(نعم, stopword), (ذكر, verb), (أيام, noun), (...  \n",
       "83113  [(استيقظ, verb), (هذا, stopword), (صباح, noun)...  \n",
       "83114  [(يا, noun), (هذا, stopword), (رائع, noun), !,...  \n",
       "83115  [(إن, stopword), (رائع, noun), (جدا, stopword)...  \n",
       "83116  [(هذا, stopword), (رائع, noun), !!!!, (تهانينا...  \n",
       "\n",
       "[78539 rows x 4 columns]"
      ],
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>conv_id</th>\n      <th>context</th>\n      <th>translated_utterance</th>\n      <th>tokenized_utterance</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>أتذكر أنني ذهبت لمشاهدة الألعاب النارية مع أعز...</td>\n      <td>[(تذكر, noun), (ونى, verb), (ذهب, verb), (مشاه...</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...</td>\n      <td>[(هل, stopword), (كان, stopword), (هذا, stopwo...</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>كان هذا أفضل صديق. اشتقت لها.</td>\n      <td>[(كان, stopword), (هذا, stopword), (فضل, noun)...</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>اين ذهبت؟</td>\n      <td>[(وني, verb), (ذهب, verb), ؟]</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>لم نعد نتحدث.</td>\n      <td>[(لم, stopword), (أعاد, verb), (تحدث, verb), .]</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>83112</th>\n      <td>hit:12424_conv:24848</td>\n      <td>pos</td>\n      <td>نعم يذكرني بالأيام الخوالي. افتقد جدتي. توفيت ...</td>\n      <td>[(نعم, stopword), (ذكر, verb), (أيام, noun), (...</td>\n    </tr>\n    <tr>\n      <th>83113</th>\n      <td>hit:12424_conv:24849</td>\n      <td>pos</td>\n      <td>استيقظت هذا الصباح على زوجتي تخبرني أنها حامل!</td>\n      <td>[(استيقظ, verb), (هذا, stopword), (صباح, noun)...</td>\n    </tr>\n    <tr>\n      <th>83114</th>\n      <td>hit:12424_conv:24849</td>\n      <td>pos</td>\n      <td>يا هذا رائع! هذا رائع أليس كذلك؟</td>\n      <td>[(يا, noun), (هذا, stopword), (رائع, noun), !,...</td>\n    </tr>\n    <tr>\n      <th>83115</th>\n      <td>hit:12424_conv:24849</td>\n      <td>pos</td>\n      <td>إنه رائع جدا. لقد كنا نريد طفلًا لفترة طويلة. ...</td>\n      <td>[(إن, stopword), (رائع, noun), (جدا, stopword)...</td>\n    </tr>\n    <tr>\n      <th>83116</th>\n      <td>hit:12424_conv:24849</td>\n      <td>pos</td>\n      <td>هذا رائع!!!! تهانينا!</td>\n      <td>[(هذا, stopword), (رائع, noun), !!!!, (تهانينا...</td>\n    </tr>\n  </tbody>\n</table>\n<p>78539 rows × 4 columns</p>\n</div>"
     },
     "metadata": {},
     "execution_count": 35
    }
   ],
   "source": [
    "# Lemmatize the dataset sentences using \"qalsadi\" lemmatizer.\n",
    "lemmer = qalsadi.lemmatizer.Lemmatizer()\n",
    "new_col = [lemmer.lemmatize_text(str(x),return_pos=True) for x in df['translated_utterance']]\n",
    "df['tokenized_utterance'] = new_col\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Reset the index\n",
    "df.reset_index(inplace=True,drop=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {
    "tags": []
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stderr",
     "text": [
      "<ipython-input-38-8fff98233294>:8: SettingWithCopyWarning: \nA value is trying to be set on a copy of a slice from a DataFrame\n\nSee the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n  df[\"tokenized_utterance_filtered\"][i] = output\nC:\\Users\\mostafa\\AppData\\Local\\Programs\\Python\\Python38-32\\lib\\site-packages\\pandas\\core\\indexing.py:670: SettingWithCopyWarning: \nA value is trying to be set on a copy of a slice from a DataFrame\n\nSee the caveats in the documentation: https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy\n  iloc._setitem_with_indexer(indexer, value)\n"
     ]
    },
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "0        [تذكر, ونى, ذهب, مشاهد, ألعاب, نار, عز, أصدقاء...\n",
       "1                        [صديق, كنت, أحب, مجرد, فضل, صديق]\n",
       "2                                       [فضل, صديق, اشتاق]\n",
       "3                                               [وني, ذهب]\n",
       "4                                             [أعاد, تحدث]\n",
       "                               ...                        \n",
       "78534    [ذكر, أيام, خوالي, افتقد, جد, توفى, حوال, 15, ...\n",
       "78535                       [استيقظ, صباح, زوج, خبر, حامل]\n",
       "78536                                     [يا, رائع, رائع]\n",
       "78537    [رائع, قد, كن, أراد, طفل, فترة, طويل, أطاع, ان...\n",
       "78538                                      [رائع, تهانينا]\n",
       "Name: tokenized_utterance_filtered, Length: 78539, dtype: object"
      ]
     },
     "metadata": {},
     "execution_count": 38
    }
   ],
   "source": [
    "# Remove the stopwards after lemmatization\n",
    "df[\"tokenized_utterance_filtered\"] = np.nan\n",
    "for i in df.index:\n",
    "    output = np.array([])\n",
    "    for j in range(len(df['tokenized_utterance'][i])):\n",
    "        if isinstance(df['tokenized_utterance'][i][j], tuple):\n",
    "            if df['tokenized_utterance'][i][j][1] != 'stopword':\n",
    "                output = np.append(output, df['tokenized_utterance'][i][j][0])\n",
    "    df[\"tokenized_utterance_filtered\"][i] = output\n",
    "df[\"tokenized_utterance_filtered\"]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Adding a copy of the available sentences as another column but shifted up once\n",
    "# This column will be used as a reply \n",
    "\n",
    "df[\"tokenized_utterance_filtered_Responses\"] = df['translated_utterance'].shift(-1)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "        conv_id context                               translated_utterance  \\\n",
       "0  hit:0_conv:1     pos  أتذكر أنني ذهبت لمشاهدة الألعاب النارية مع أعز...   \n",
       "1  hit:0_conv:1     pos  هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...   \n",
       "2  hit:0_conv:1     pos                      كان هذا أفضل صديق. اشتقت لها.   \n",
       "3  hit:0_conv:1     pos                                          اين ذهبت؟   \n",
       "4  hit:0_conv:1     pos                                      لم نعد نتحدث.   \n",
       "5  hit:0_conv:1     pos                    هل كان هذا شيئًا حدث بسبب جدال؟   \n",
       "6  hit:1_conv:2     neg     أشعر وكأنني ضرب على جدار فارغ عندما أرى الظلام   \n",
       "7  hit:1_conv:2     neg                            أجل؟ أنا حقا لا أرى كيف   \n",
       "8  hit:1_conv:2     neg                      لا تشعر بذلك .. إنه لأمر عجيب   \n",
       "9  hit:1_conv:2     neg  أصطدم بالفعل بجدران فارغة في كثير من الأحيان ل...   \n",
       "\n",
       "                                 tokenized_utterance  \\\n",
       "0  [(تذكر, noun), (ونى, verb), (ذهب, verb), (مشاه...   \n",
       "1  [(هل, stopword), (كان, stopword), (هذا, stopwo...   \n",
       "2  [(كان, stopword), (هذا, stopword), (فضل, noun)...   \n",
       "3                      [(وني, verb), (ذهب, verb), ؟]   \n",
       "4    [(لم, stopword), (أعاد, verb), (تحدث, verb), .]   \n",
       "5  [(هل, stopword), (كان, stopword), (هذا, stopwo...   \n",
       "6  [(شعر, noun), (وكأنني, all), (ضرب, noun), (على...   \n",
       "7  [(أجل, stopword), ؟, (أنا, stopword), (حق, nou...   \n",
       "8  [(لا, stopword), (شعر, verb), (ذلك, stopword),...   \n",
       "9  [(اصطدم, verb), (فعل, noun), (جدران, noun), (ف...   \n",
       "\n",
       "                        tokenized_utterance_filtered  \\\n",
       "0  [تذكر, ونى, ذهب, مشاهد, ألعاب, نار, عز, أصدقاء...   \n",
       "1                  [صديق, كنت, أحب, مجرد, فضل, صديق]   \n",
       "2                                 [فضل, صديق, اشتاق]   \n",
       "3                                         [وني, ذهب]   \n",
       "4                                       [أعاد, تحدث]   \n",
       "5                              [شيء, حدث, سبب, جدال]   \n",
       "6          [شعر, وكأنني, ضرب, جدار, فارغ, رأى, ظلام]   \n",
       "7                                          [حق, رأى]   \n",
       "8                                   [شعر, أمر, عجيب]   \n",
       "9  [اصطدم, فعل, جدران, فارغ, كثير, الأحيان, كن, ت...   \n",
       "\n",
       "              tokenized_utterance_filtered_Responses  \n",
       "0  هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...  \n",
       "1                      كان هذا أفضل صديق. اشتقت لها.  \n",
       "2                                          اين ذهبت؟  \n",
       "3                                      لم نعد نتحدث.  \n",
       "4                    هل كان هذا شيئًا حدث بسبب جدال؟  \n",
       "5     أشعر وكأنني ضرب على جدار فارغ عندما أرى الظلام  \n",
       "6                            أجل؟ أنا حقا لا أرى كيف  \n",
       "7                      لا تشعر بذلك .. إنه لأمر عجيب  \n",
       "8  أصطدم بالفعل بجدران فارغة في كثير من الأحيان ل...  \n",
       "9                       ظننت ذلك عمليا .. وكنت أتعرق  "
      ],
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>conv_id</th>\n      <th>context</th>\n      <th>translated_utterance</th>\n      <th>tokenized_utterance</th>\n      <th>tokenized_utterance_filtered</th>\n      <th>tokenized_utterance_filtered_Responses</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>أتذكر أنني ذهبت لمشاهدة الألعاب النارية مع أعز...</td>\n      <td>[(تذكر, noun), (ونى, verb), (ذهب, verb), (مشاه...</td>\n      <td>[تذكر, ونى, ذهب, مشاهد, ألعاب, نار, عز, أصدقاء...</td>\n      <td>هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...</td>\n      <td>[(هل, stopword), (كان, stopword), (هذا, stopwo...</td>\n      <td>[صديق, كنت, أحب, مجرد, فضل, صديق]</td>\n      <td>كان هذا أفضل صديق. اشتقت لها.</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>كان هذا أفضل صديق. اشتقت لها.</td>\n      <td>[(كان, stopword), (هذا, stopword), (فضل, noun)...</td>\n      <td>[فضل, صديق, اشتاق]</td>\n      <td>اين ذهبت؟</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>اين ذهبت؟</td>\n      <td>[(وني, verb), (ذهب, verb), ؟]</td>\n      <td>[وني, ذهب]</td>\n      <td>لم نعد نتحدث.</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>لم نعد نتحدث.</td>\n      <td>[(لم, stopword), (أعاد, verb), (تحدث, verb), .]</td>\n      <td>[أعاد, تحدث]</td>\n      <td>هل كان هذا شيئًا حدث بسبب جدال؟</td>\n    </tr>\n    <tr>\n      <th>5</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>هل كان هذا شيئًا حدث بسبب جدال؟</td>\n      <td>[(هل, stopword), (كان, stopword), (هذا, stopwo...</td>\n      <td>[شيء, حدث, سبب, جدال]</td>\n      <td>أشعر وكأنني ضرب على جدار فارغ عندما أرى الظلام</td>\n    </tr>\n    <tr>\n      <th>6</th>\n      <td>hit:1_conv:2</td>\n      <td>neg</td>\n      <td>أشعر وكأنني ضرب على جدار فارغ عندما أرى الظلام</td>\n      <td>[(شعر, noun), (وكأنني, all), (ضرب, noun), (على...</td>\n      <td>[شعر, وكأنني, ضرب, جدار, فارغ, رأى, ظلام]</td>\n      <td>أجل؟ أنا حقا لا أرى كيف</td>\n    </tr>\n    <tr>\n      <th>7</th>\n      <td>hit:1_conv:2</td>\n      <td>neg</td>\n      <td>أجل؟ أنا حقا لا أرى كيف</td>\n      <td>[(أجل, stopword), ؟, (أنا, stopword), (حق, nou...</td>\n      <td>[حق, رأى]</td>\n      <td>لا تشعر بذلك .. إنه لأمر عجيب</td>\n    </tr>\n    <tr>\n      <th>8</th>\n      <td>hit:1_conv:2</td>\n      <td>neg</td>\n      <td>لا تشعر بذلك .. إنه لأمر عجيب</td>\n      <td>[(لا, stopword), (شعر, verb), (ذلك, stopword),...</td>\n      <td>[شعر, أمر, عجيب]</td>\n      <td>أصطدم بالفعل بجدران فارغة في كثير من الأحيان ل...</td>\n    </tr>\n    <tr>\n      <th>9</th>\n      <td>hit:1_conv:2</td>\n      <td>neg</td>\n      <td>أصطدم بالفعل بجدران فارغة في كثير من الأحيان ل...</td>\n      <td>[(اصطدم, verb), (فعل, noun), (جدران, noun), (ف...</td>\n      <td>[اصطدم, فعل, جدران, فارغ, كثير, الأحيان, كن, ت...</td>\n      <td>ظننت ذلك عمليا .. وكنت أتعرق</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {},
     "execution_count": 40
    }
   ],
   "source": [
    "df = df.dropna()\n",
    "df.reset_index(inplace=True,drop=True)\n",
    "df.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "                   conv_id context  \\\n",
       "0           hit:49_conv:98     sad   \n",
       "1           hit:49_conv:98     sad   \n",
       "2           hit:49_conv:98     sad   \n",
       "3           hit:49_conv:98     sad   \n",
       "4                      NaN     sad   \n",
       "...                    ...     ...   \n",
       "5834                   NaN     sad   \n",
       "5835  hit:12362_conv:24724     sad   \n",
       "5836  hit:12362_conv:24724     sad   \n",
       "5837  hit:12362_conv:24724     sad   \n",
       "5838  hit:12362_conv:24724     sad   \n",
       "\n",
       "                                   translated_utterance  \\\n",
       "0     أنا حزين جدًا لأنني قرأت مقالًا عن طفلة حديثة ...   \n",
       "1     آه ، هذه المقالات دائمًا ما تفهمني أيضًا ... :...   \n",
       "2     ولدت قبل الأوان في المنزل ، وواجهت صعوبة في ال...   \n",
       "3        جيز! إنه أمر مؤسف للغاية ... محزن للغاية حقًا.   \n",
       "4     نعم! وانا اؤمن بالله وادعو الله بل طيب الله خي...   \n",
       "...                                                 ...   \n",
       "5834            قطعة شعر \"لطيفة حقًا\"؟ ييكيس. هل أعدته؟   \n",
       "5835  اشترى أصدقائي مؤخرًا سيارة جديدة تمامًا برائحة...   \n",
       "5836  ييكيس! الرهان على أن دفع السيارة لا يستحق ذلك....   \n",
       "5837  حسنًا ، بالنسبة لي ، أنا بصراحة غاضب. أنظر إلى...   \n",
       "5838  في بعض الأحيان يمكن أن تصبحنا الغيرة. ولكن في ...   \n",
       "\n",
       "                                    tokenized_utterance  \\\n",
       "0     [(أنا, stopword), (حزين, noun), (جد, noun), (ل...   \n",
       "1     [(آه, stopword), ،, (هذه, stopword), (مقال, no...   \n",
       "2     [(ولد, verb), (قبل, stopword), (أوان, noun), (...   \n",
       "3     [(جاز, verb), !, (إن, stopword), (أمر, noun), ...   \n",
       "4     [(نعم, stopword), !, (وانا, all), (أما, verb),...   \n",
       "...                                                 ...   \n",
       "5834  [(قطع, noun), (شعر, noun), \", (طيف, noun), (حق...   \n",
       "5835  [(اشترى, verb), (أصدقاء, noun), (مؤخر, noun), ...   \n",
       "5836  [(ييكيس, all), !, (رهان, noun), (على, stopword...   \n",
       "5837  [(حسن, noun), ،, (نسب, noun), (لي, stopword), ...   \n",
       "5838  [(في, stopword), (بعض, stopword), (الأحيان, al...   \n",
       "\n",
       "                           tokenized_utterance_filtered  \\\n",
       "0     [حزين, جد, لأنني, قرأ, مقال, طفل, حديث, ولادة,...   \n",
       "1                          [مقال, دائم, فهم, أيضا, خطب]   \n",
       "2     [ولد, أوان, منزل, واجه, صعوبة, تنفس, بدل, أخذ,...   \n",
       "3                  [جاز, أمر, مؤسف, غاي, محزن, غاي, حق]   \n",
       "4     [وانا, أما, الله, وادع, الله, طيب, الله, خير, ...   \n",
       "...                                                 ...   \n",
       "5834                     [قطع, شعر, طيف, حق, ييكيس, عد]   \n",
       "5835  [اشترى, أصدقاء, مؤخر, سيار, جديد, تمام, رائح, ...   \n",
       "5836   [ييكيس, رهان, دفع, سيار, استحق, ضحك, صوت, مرتفع]   \n",
       "5837   [حسن, نسب, صراح, غاضب, نظر, نجاح, شعر, جبى, كوى]   \n",
       "5838  [الأحيان, يم, تصبح, غير, معظم, أوقات, كوى, أمر...   \n",
       "\n",
       "                 tokenized_utterance_filtered_Responses  \n",
       "0     آه ، هذه المقالات دائمًا ما تفهمني أيضًا ... :...  \n",
       "1     ولدت قبل الأوان في المنزل ، وواجهت صعوبة في ال...  \n",
       "2        جيز! إنه أمر مؤسف للغاية ... محزن للغاية حقًا.  \n",
       "3     نعم! وانا اؤمن بالله وادعو الله بل طيب الله خي...  \n",
       "4     أنا متحمس جدًا لأنني أخيرًا سأزور والدي الشهر ...  \n",
       "...                                                 ...  \n",
       "5834  اشترى أصدقائي مؤخرًا سيارة جديدة تمامًا برائحة...  \n",
       "5835  ييكيس! الرهان على أن دفع السيارة لا يستحق ذلك....  \n",
       "5836  حسنًا ، بالنسبة لي ، أنا بصراحة غاضب. أنظر إلى...  \n",
       "5837  في بعض الأحيان يمكن أن تصبحنا الغيرة. ولكن في ...  \n",
       "5838                                                NaN  \n",
       "\n",
       "[5839 rows x 6 columns]"
      ],
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>conv_id</th>\n      <th>context</th>\n      <th>translated_utterance</th>\n      <th>tokenized_utterance</th>\n      <th>tokenized_utterance_filtered</th>\n      <th>tokenized_utterance_filtered_Responses</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>hit:49_conv:98</td>\n      <td>sad</td>\n      <td>أنا حزين جدًا لأنني قرأت مقالًا عن طفلة حديثة ...</td>\n      <td>[(أنا, stopword), (حزين, noun), (جد, noun), (ل...</td>\n      <td>[حزين, جد, لأنني, قرأ, مقال, طفل, حديث, ولادة,...</td>\n      <td>آه ، هذه المقالات دائمًا ما تفهمني أيضًا ... :...</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>hit:49_conv:98</td>\n      <td>sad</td>\n      <td>آه ، هذه المقالات دائمًا ما تفهمني أيضًا ... :...</td>\n      <td>[(آه, stopword), ،, (هذه, stopword), (مقال, no...</td>\n      <td>[مقال, دائم, فهم, أيضا, خطب]</td>\n      <td>ولدت قبل الأوان في المنزل ، وواجهت صعوبة في ال...</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>hit:49_conv:98</td>\n      <td>sad</td>\n      <td>ولدت قبل الأوان في المنزل ، وواجهت صعوبة في ال...</td>\n      <td>[(ولد, verb), (قبل, stopword), (أوان, noun), (...</td>\n      <td>[ولد, أوان, منزل, واجه, صعوبة, تنفس, بدل, أخذ,...</td>\n      <td>جيز! إنه أمر مؤسف للغاية ... محزن للغاية حقًا.</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>hit:49_conv:98</td>\n      <td>sad</td>\n      <td>جيز! إنه أمر مؤسف للغاية ... محزن للغاية حقًا.</td>\n      <td>[(جاز, verb), !, (إن, stopword), (أمر, noun), ...</td>\n      <td>[جاز, أمر, مؤسف, غاي, محزن, غاي, حق]</td>\n      <td>نعم! وانا اؤمن بالله وادعو الله بل طيب الله خي...</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>NaN</td>\n      <td>sad</td>\n      <td>نعم! وانا اؤمن بالله وادعو الله بل طيب الله خي...</td>\n      <td>[(نعم, stopword), !, (وانا, all), (أما, verb),...</td>\n      <td>[وانا, أما, الله, وادع, الله, طيب, الله, خير, ...</td>\n      <td>أنا متحمس جدًا لأنني أخيرًا سأزور والدي الشهر ...</td>\n    </tr>\n    <tr>\n      <th>...</th>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n      <td>...</td>\n    </tr>\n    <tr>\n      <th>5834</th>\n      <td>NaN</td>\n      <td>sad</td>\n      <td>قطعة شعر \"لطيفة حقًا\"؟ ييكيس. هل أعدته؟</td>\n      <td>[(قطع, noun), (شعر, noun), \", (طيف, noun), (حق...</td>\n      <td>[قطع, شعر, طيف, حق, ييكيس, عد]</td>\n      <td>اشترى أصدقائي مؤخرًا سيارة جديدة تمامًا برائحة...</td>\n    </tr>\n    <tr>\n      <th>5835</th>\n      <td>hit:12362_conv:24724</td>\n      <td>sad</td>\n      <td>اشترى أصدقائي مؤخرًا سيارة جديدة تمامًا برائحة...</td>\n      <td>[(اشترى, verb), (أصدقاء, noun), (مؤخر, noun), ...</td>\n      <td>[اشترى, أصدقاء, مؤخر, سيار, جديد, تمام, رائح, ...</td>\n      <td>ييكيس! الرهان على أن دفع السيارة لا يستحق ذلك....</td>\n    </tr>\n    <tr>\n      <th>5836</th>\n      <td>hit:12362_conv:24724</td>\n      <td>sad</td>\n      <td>ييكيس! الرهان على أن دفع السيارة لا يستحق ذلك....</td>\n      <td>[(ييكيس, all), !, (رهان, noun), (على, stopword...</td>\n      <td>[ييكيس, رهان, دفع, سيار, استحق, ضحك, صوت, مرتفع]</td>\n      <td>حسنًا ، بالنسبة لي ، أنا بصراحة غاضب. أنظر إلى...</td>\n    </tr>\n    <tr>\n      <th>5837</th>\n      <td>hit:12362_conv:24724</td>\n      <td>sad</td>\n      <td>حسنًا ، بالنسبة لي ، أنا بصراحة غاضب. أنظر إلى...</td>\n      <td>[(حسن, noun), ،, (نسب, noun), (لي, stopword), ...</td>\n      <td>[حسن, نسب, صراح, غاضب, نظر, نجاح, شعر, جبى, كوى]</td>\n      <td>في بعض الأحيان يمكن أن تصبحنا الغيرة. ولكن في ...</td>\n    </tr>\n    <tr>\n      <th>5838</th>\n      <td>hit:12362_conv:24724</td>\n      <td>sad</td>\n      <td>في بعض الأحيان يمكن أن تصبحنا الغيرة. ولكن في ...</td>\n      <td>[(في, stopword), (بعض, stopword), (الأحيان, al...</td>\n      <td>[الأحيان, يم, تصبح, غير, معظم, أوقات, كوى, أمر...</td>\n      <td>NaN</td>\n    </tr>\n  </tbody>\n</table>\n<p>5839 rows × 6 columns</p>\n</div>"
     },
     "metadata": {},
     "execution_count": 15
    }
   ],
   "source": [
    "# Removing the last sentence of every conversation from the new column\n",
    "# As now, the last sentence in the converstation belongs to a different conversation\n",
    "for i in range(0,len(df)-1):\n",
    "    if df['conv_id'][i] != df['conv_id'][i+1]:\n",
    "        df['conv_id'][i] = np.nan\n",
    "\n",
    "df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 41,
   "metadata": {},
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "        conv_id context                               translated_utterance  \\\n",
       "0  hit:0_conv:1     pos  أتذكر أنني ذهبت لمشاهدة الألعاب النارية مع أعز...   \n",
       "1  hit:0_conv:1     pos  هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...   \n",
       "2  hit:0_conv:1     pos                      كان هذا أفضل صديق. اشتقت لها.   \n",
       "3  hit:0_conv:1     pos                                          اين ذهبت؟   \n",
       "4  hit:0_conv:1     pos                                      لم نعد نتحدث.   \n",
       "5  hit:0_conv:1     pos                    هل كان هذا شيئًا حدث بسبب جدال؟   \n",
       "6  hit:1_conv:2     neg     أشعر وكأنني ضرب على جدار فارغ عندما أرى الظلام   \n",
       "7  hit:1_conv:2     neg                            أجل؟ أنا حقا لا أرى كيف   \n",
       "8  hit:1_conv:2     neg                      لا تشعر بذلك .. إنه لأمر عجيب   \n",
       "9  hit:1_conv:2     neg  أصطدم بالفعل بجدران فارغة في كثير من الأحيان ل...   \n",
       "\n",
       "                                 tokenized_utterance  \\\n",
       "0  [(تذكر, noun), (ونى, verb), (ذهب, verb), (مشاه...   \n",
       "1  [(هل, stopword), (كان, stopword), (هذا, stopwo...   \n",
       "2  [(كان, stopword), (هذا, stopword), (فضل, noun)...   \n",
       "3                      [(وني, verb), (ذهب, verb), ؟]   \n",
       "4    [(لم, stopword), (أعاد, verb), (تحدث, verb), .]   \n",
       "5  [(هل, stopword), (كان, stopword), (هذا, stopwo...   \n",
       "6  [(شعر, noun), (وكأنني, all), (ضرب, noun), (على...   \n",
       "7  [(أجل, stopword), ؟, (أنا, stopword), (حق, nou...   \n",
       "8  [(لا, stopword), (شعر, verb), (ذلك, stopword),...   \n",
       "9  [(اصطدم, verb), (فعل, noun), (جدران, noun), (ف...   \n",
       "\n",
       "                        tokenized_utterance_filtered  \\\n",
       "0  [تذكر, ونى, ذهب, مشاهد, ألعاب, نار, عز, أصدقاء...   \n",
       "1                  [صديق, كنت, أحب, مجرد, فضل, صديق]   \n",
       "2                                 [فضل, صديق, اشتاق]   \n",
       "3                                         [وني, ذهب]   \n",
       "4                                       [أعاد, تحدث]   \n",
       "5                              [شيء, حدث, سبب, جدال]   \n",
       "6          [شعر, وكأنني, ضرب, جدار, فارغ, رأى, ظلام]   \n",
       "7                                          [حق, رأى]   \n",
       "8                                   [شعر, أمر, عجيب]   \n",
       "9  [اصطدم, فعل, جدران, فارغ, كثير, الأحيان, كن, ت...   \n",
       "\n",
       "              tokenized_utterance_filtered_Responses  \n",
       "0  هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...  \n",
       "1                      كان هذا أفضل صديق. اشتقت لها.  \n",
       "2                                          اين ذهبت؟  \n",
       "3                                      لم نعد نتحدث.  \n",
       "4                    هل كان هذا شيئًا حدث بسبب جدال؟  \n",
       "5     أشعر وكأنني ضرب على جدار فارغ عندما أرى الظلام  \n",
       "6                            أجل؟ أنا حقا لا أرى كيف  \n",
       "7                      لا تشعر بذلك .. إنه لأمر عجيب  \n",
       "8  أصطدم بالفعل بجدران فارغة في كثير من الأحيان ل...  \n",
       "9                       ظننت ذلك عمليا .. وكنت أتعرق  "
      ],
      "text/html": "<div>\n<style scoped>\n    .dataframe tbody tr th:only-of-type {\n        vertical-align: middle;\n    }\n\n    .dataframe tbody tr th {\n        vertical-align: top;\n    }\n\n    .dataframe thead th {\n        text-align: right;\n    }\n</style>\n<table border=\"1\" class=\"dataframe\">\n  <thead>\n    <tr style=\"text-align: right;\">\n      <th></th>\n      <th>conv_id</th>\n      <th>context</th>\n      <th>translated_utterance</th>\n      <th>tokenized_utterance</th>\n      <th>tokenized_utterance_filtered</th>\n      <th>tokenized_utterance_filtered_Responses</th>\n    </tr>\n  </thead>\n  <tbody>\n    <tr>\n      <th>0</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>أتذكر أنني ذهبت لمشاهدة الألعاب النارية مع أعز...</td>\n      <td>[(تذكر, noun), (ونى, verb), (ذهب, verb), (مشاه...</td>\n      <td>[تذكر, ونى, ذهب, مشاهد, ألعاب, نار, عز, أصدقاء...</td>\n      <td>هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...</td>\n    </tr>\n    <tr>\n      <th>1</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>هل كان هذا الصديق الذي كنت تحبه أم مجرد أفضل ص...</td>\n      <td>[(هل, stopword), (كان, stopword), (هذا, stopwo...</td>\n      <td>[صديق, كنت, أحب, مجرد, فضل, صديق]</td>\n      <td>كان هذا أفضل صديق. اشتقت لها.</td>\n    </tr>\n    <tr>\n      <th>2</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>كان هذا أفضل صديق. اشتقت لها.</td>\n      <td>[(كان, stopword), (هذا, stopword), (فضل, noun)...</td>\n      <td>[فضل, صديق, اشتاق]</td>\n      <td>اين ذهبت؟</td>\n    </tr>\n    <tr>\n      <th>3</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>اين ذهبت؟</td>\n      <td>[(وني, verb), (ذهب, verb), ؟]</td>\n      <td>[وني, ذهب]</td>\n      <td>لم نعد نتحدث.</td>\n    </tr>\n    <tr>\n      <th>4</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>لم نعد نتحدث.</td>\n      <td>[(لم, stopword), (أعاد, verb), (تحدث, verb), .]</td>\n      <td>[أعاد, تحدث]</td>\n      <td>هل كان هذا شيئًا حدث بسبب جدال؟</td>\n    </tr>\n    <tr>\n      <th>5</th>\n      <td>hit:0_conv:1</td>\n      <td>pos</td>\n      <td>هل كان هذا شيئًا حدث بسبب جدال؟</td>\n      <td>[(هل, stopword), (كان, stopword), (هذا, stopwo...</td>\n      <td>[شيء, حدث, سبب, جدال]</td>\n      <td>أشعر وكأنني ضرب على جدار فارغ عندما أرى الظلام</td>\n    </tr>\n    <tr>\n      <th>6</th>\n      <td>hit:1_conv:2</td>\n      <td>neg</td>\n      <td>أشعر وكأنني ضرب على جدار فارغ عندما أرى الظلام</td>\n      <td>[(شعر, noun), (وكأنني, all), (ضرب, noun), (على...</td>\n      <td>[شعر, وكأنني, ضرب, جدار, فارغ, رأى, ظلام]</td>\n      <td>أجل؟ أنا حقا لا أرى كيف</td>\n    </tr>\n    <tr>\n      <th>7</th>\n      <td>hit:1_conv:2</td>\n      <td>neg</td>\n      <td>أجل؟ أنا حقا لا أرى كيف</td>\n      <td>[(أجل, stopword), ؟, (أنا, stopword), (حق, nou...</td>\n      <td>[حق, رأى]</td>\n      <td>لا تشعر بذلك .. إنه لأمر عجيب</td>\n    </tr>\n    <tr>\n      <th>8</th>\n      <td>hit:1_conv:2</td>\n      <td>neg</td>\n      <td>لا تشعر بذلك .. إنه لأمر عجيب</td>\n      <td>[(لا, stopword), (شعر, verb), (ذلك, stopword),...</td>\n      <td>[شعر, أمر, عجيب]</td>\n      <td>أصطدم بالفعل بجدران فارغة في كثير من الأحيان ل...</td>\n    </tr>\n    <tr>\n      <th>9</th>\n      <td>hit:1_conv:2</td>\n      <td>neg</td>\n      <td>أصطدم بالفعل بجدران فارغة في كثير من الأحيان ل...</td>\n      <td>[(اصطدم, verb), (فعل, noun), (جدران, noun), (ف...</td>\n      <td>[اصطدم, فعل, جدران, فارغ, كثير, الأحيان, كن, ت...</td>\n      <td>ظننت ذلك عمليا .. وكنت أتعرق</td>\n    </tr>\n  </tbody>\n</table>\n</div>"
     },
     "metadata": {},
     "execution_count": 41
    }
   ],
   "source": [
    "# Drop Nans, to remove sentences that don't have reply(last sentences in a conversation).\n",
    "\n",
    "df = df.dropna()\n",
    "df.reset_index(inplace=True,drop=True)\n",
    "df.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Convert the file into CSV so that we can use it without the need to create every time we run.\n",
    "df.to_csv('tokenized_utterance_train_arabic(trimmed).csv')"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 43,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Splitting the dataset into train and test datasets\n",
    "from sklearn.model_selection import train_test_split\n",
    "reviews = df['tokenized_utterance_filtered'].values\n",
    "labels = df['context'].values\n",
    "reviews_train, reviews_test, y_train, y_test = train_test_split(reviews, labels, test_size=0.2, random_state=1000)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 44,
   "metadata": {
    "tags": [
     "outputPrepend"
    ]
   },
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "'متفق', 'متفهم', 'متفوق', 'متقارب', 'متقاطع', 'متقاعد', 'متقبل', 'متقدم', 'متقلب', 'متقلص', 'متقيح', 'متكئ', 'متكاثر', 'متكامل', 'متكتل', 'متكرر', 'متلازم', 'متلاعب', 'متلبس', 'متلعثم', 'متماثل', 'متماسك', 'متمرد', 'متمرس', 'متمركز', 'متمسك', 'متمني', 'متميز', 'متن', 'متناقض', 'متناول', 'متنزه', 'متنقل', 'متنمر', 'متنوع', 'متهالك', 'متهدم', 'متهرب', 'متهم', 'متهور', 'متواجد', 'متوارث', 'متوازن', 'متوازي', 'متواصل', 'متواضع', 'متوافق', 'متوتر', 'متوج', 'متوجه', 'متوحش', 'متورط', 'متورك', 'متورم', 'متوسط', 'متوفاة', 'متوفر', 'متوفى', 'متوفي', 'متوقع', 'متوقف', 'متين', 'مثابة', 'مثابر', 'مثاقب', 'مثال', 'مثالي', 'مثبت', 'مثبط', 'مثقف', 'مثقوب', 'مثقوبا', 'مثقوبة', 'مثل', 'مثلث', 'مثلج', 'مثمر', 'مثير', 'مثيل', 'مجادل', 'مجاري', 'مجاز', 'مجال', 'مجالس', 'مجامل', 'مجان', 'مجاور', 'مجبر', 'مجتمع', 'مجتهد', 'مجد', 'مجدف', 'مجدول', 'مجرب', 'مجرد', 'مجرف', 'مجرم', 'مجروح', 'مجرى', 'مجز', 'مجس', 'مجعد', 'مجفف', 'مجلة', 'مجلد', 'مجلس', 'مجمد', 'مجمع', 'مجموع', 'مجند', 'مجنون', 'مجهد', 'مجهر', 'مجهود', 'مجهول', 'مجوهر', 'مجيء', 'مجيد', 'محا', 'محاباة', 'محادث', 'محار', 'محارب', 'محاسب', 'محاصر', 'محاصيل', 'محاضر', 'محاط', 'محافظ', 'محاك', 'محاكم', 'محام', 'محاما', 'محاماة', 'محامي', 'محاور', 'محاول', 'محايد', 'محب', 'محبب', 'محبط', 'محبوب', 'محبوس', 'محت', 'محتاج', 'محتار', 'محتال', 'محتجز', 'محتدم', 'محترف', 'محترق', 'محترم', 'محتضر', 'محتقر', 'محتم', 'محتمل', 'محتوى', 'محجوز', 'محدد', 'محدود', 'محرج', 'محرر', 'محرق', 'محرك', 'محرم', 'محروق', 'محز', 'محزن', 'محسوب', 'محش', 'محشو', 'محشورون', 'محصن', 'محصور', 'محض', 'محضر', 'محط', 'محطم', 'محطومين', 'محظوظ', 'محفز', 'محفزا', 'محفزات', 'محفزة', 'محفظة', 'محفظتى', 'محفوظ', 'محفوف', 'محق', 'محقق', 'محك', 'محكم', 'محكوم', 'محل', 'محلف', 'محلق', 'محلل', 'محلوق', 'محلى', 'محلي', 'محم', 'محمر', 'محمص', 'محمل', 'محمول', 'محموم', 'محن', 'محنط', 'محو', 'محور', 'محول', 'محير', 'محيط', 'مخ', 'مخابئ', 'مخادع', 'مخارج', 'مخازن', 'مخاض', 'مخاط', 'مخاطر', 'مخالب', 'مخالف', 'مخاوف', 'مخبأ', 'مخبئي', 'مخبز', 'مخبوز', 'مختار', 'مختبئ', 'مختبر', 'مختزل', 'مختلط', 'مختلف', 'مختلق', 'مختنق', 'مخجل', 'مخدر', 'مخدم', 'مخدوشة', 'مخدوع', 'مخرب', 'مخرج', 'مخرطة', 'مخز', 'مخزن', 'مخزون', 'مخزي', 'مخصص', 'مخضرم', 'مخطئ', 'مخطط', 'مخطوب', 'مخطوط', 'مخفض', 'مخفوق', 'مخفوقة', 'مخفي', 'مخلب', 'مخلص', 'مخلف', 'مخلل', 'مخلوق', 'مخمر', 'مخمور', 'مخنث', 'مخنوق', 'مخيب', 'مخيط', 'مخيف', 'مخيل', 'مخيم', 'مد', 'مداخلة', 'مدار', 'مدارس', 'مداعب', 'مدافع', 'مدخ', 'مدخر', 'مدخل', 'مدخول', 'مدد', 'مدراء', 'مدرب', 'مدرج', 'مدرس', 'مدرعة', 'مدرك', 'مدروس', 'مدريد', 'مدس', 'مدسوس', 'مدعو', 'مدعوم', 'مدفوع', 'مدلل', 'مدمج', 'مدمر', 'مدمن', 'مدن', 'مدهش', 'مدون', 'مدوي', 'مدى', 'مديح', 'مدير', 'مدين', 'مديون', 'مذاق', 'مذاكرة', 'مذبح', 'مذراة', 'مذعور', 'مذكر', 'مذكور', 'مذنب', 'مذهل', 'مذهول', 'مذود', 'مر', 'مرآب', 'مرآبنا', 'مرآبي', 'مرآة', 'مرأ', 'مرئية', 'مرابط', 'مراجع', 'مراحل', 'مراحيض', 'مرار', 'مراسل', 'مراعاة', 'مراعي', 'مراعيا', 'مراعيين', 'مرافق', 'مراقب', 'مراكز', 'مراهق', 'مراهن', 'مراوغ', 'مرايا', 'مربح', 'مربع', 'مربك', 'مربوط', 'مربى', 'مربي', 'مرتاح', 'مرتب', 'مرتبط', 'مرتبك', 'مرتجع', 'مرتجل', 'مرتد', 'مرتعب', 'مرتعش', 'مرتفع', 'مرج', 'مرجان', 'مرجح', 'مرجع', 'مرجو', 'مرح', 'مرحاض', 'مرحب', 'مرحلة', 'مردود', 'مرر', 'مرسل', 'مرسوم', 'مرسيدس', 'مرشح', 'مرشد', 'مرصاد', 'مرصع', 'مرض', 'مرضى', 'مرضي', 'مرطب', 'مرعب', 'مرعوب', 'مرغوب', 'مرفق', 'مرفوض', 'مرفوع', 'مرق', 'مرقش', 'مركاري', 'مركب', 'مركز', 'مرموق', 'مرمى', 'مرن', 'مرهف', 'مرهق', 'مرو', 'مروح', 'مروحي', 'مرور', 'مروع', 'مرونة', 'مرى', 'مريب', 'مريح', 'مريخ', 'مرير', 'مريض', 'مريع', 'مرينغ', 'مزاج', 'مزاح', 'مزاد', 'مزارع', 'مزامن', 'مزايا', 'مزايد', 'مزج', 'مزجج', 'مزح', 'مزدحم', 'مزدهر', 'مزدوج', 'مزر', 'مزراب', 'مزرعة', 'مزروع', 'مزعج', 'مزق', 'مزلق', 'مزمن', 'مزهر', 'مزود', 'مزور', 'مزيج', 'مزيد', 'مزيف', 'مزيل', 'مزين', 'مسألة', 'مسؤول', 'مسا', 'مساء', 'مسابح', 'مسابق', 'مساح', 'مسار', 'مسارح', 'مساعد', 'مساعي', 'مسافة', 'مسافر', 'مساق', 'مساكن', 'مسالك', 'مسالم', 'مسام', 'مسامح', 'مسامير', 'مساهم', 'مساواة', 'مساوم', 'مساوي', 'مسبب', 'مسبح', 'مسبق', 'مستأجر', 'مستاء', 'مستاءون', 'مستبعد', 'مستثمر', 'مستجد', 'مستجيب', 'مستحسن', 'مستحضر', 'مستحق', 'مستحيل', 'مستخدم', 'مستدام', 'مستدير', 'مسترخيا', 'مسترخيان', 'مسترخية', 'مسترد', 'مستريح', 'مستسلم', 'مستشار', 'مستشعر', 'مستشف', 'مستشفى', 'مستضعف', 'مستطاع', 'مستطيل', 'مستعار', 'مستعجل', 'مستعد', 'مستعمر', 'مستعمل', 'مستغرب', 'مستفاد', 'مستفز', 'مستقبل', 'مستقر', 'مستقطع', 'مستقل', 'مستقيل', 'مستقيم', 'مستلزم', 'مستلقيا', 'مستلقية', 'مستلم', 'مستمتع', 'مستمر', 'مستمع', 'مستند', 'مستنشق', 'مستنقع', 'مستنير', 'مستهجن', 'مستهدف', 'مستودع', 'مستورد', 'مستوصف', 'مستوى', 'مستوي', 'مستيقظ', 'مسجل', 'مسح', 'مسحة', 'مسدس', 'مسدود', 'مسرب', 'مسرح', 'مسرع', 'مسرور', 'مسروق', 'مسطح', 'مسعف', 'مسعى', 'مسقط', 'مسك', 'مسكت', 'مسكر', 'مسكن', 'مسكون', 'مسكيتوس', 'مسكين', 'مسلة', 'مسلح', 'مسلسل', 'مسلم', 'مسلوق', 'مسلي', 'مسماة', 'مسمار', 'مسمر', 'مسموح', 'مسموع', 'مسموم', 'مسمى', 'مسن', 'مسند', 'مسهل', 'مسواك', 'مسود', 'مسور', 'مسوق', 'مسى', 'مسيء', 'مسيئة', 'مسيئون', 'مسيح', 'مسيحي', 'مسير', 'مسيطر', 'مسيل', 'مشؤوم', 'مشابك', 'مشابه', 'مشاة', 'مشاجر', 'مشاحن', 'مشادة', 'مشارك', 'مشاريع', 'مشاعر', 'مشاعل', 'مشاغب', 'مشاكس', 'مشاكل', 'مشاهد', 'مشاهير', 'مشبع', 'مشبوه', 'مشتاق', 'مشتبه', 'مشتت', 'مشترك', 'مشتري', 'مشجر', 'مشجع', 'مشدد', 'مشدود', 'مشرد', 'مشرف', 'مشرق', 'مشروب', 'مشروط', 'مشروع', 'مشعر', 'مشغل', 'مشغول', 'مشفر', 'مشقة', 'مشكل', 'مشكوك', 'مشلول', 'مشمئز', 'مشمس', 'مشمش', 'مشمع', 'مشمول', 'مشهد', 'مشهور', 'مشوار', 'مشور', 'مشوش', 'مشوق', 'مشوه', 'مشوي', 'مشى', 'مشي', 'مشيخ', 'مص', 'مصائب', 'مصائد', 'مصاب', 'مصابيح', 'مصاحب', 'مصادر', 'مصارع', 'مصارف', 'مصاريع', 'مصاريف', 'مصاصة', 'مصاعب', 'مصالح', 'مصانع', 'مصباح', 'مصبوغ', 'مصح', 'مصحح', 'مصحوب', 'مصد', 'مصدر', 'مصدوم', 'مصر', 'مصراع', 'مصرف', 'مصروف', 'مصطلح', 'مصطنع', 'مصعد', 'مصغر', 'مصفف', 'مصفوف', 'مصقول', 'مصل', 'مصلح', 'مصمم', 'مصنع', 'مصنف', 'مصنوع', 'مصور', 'مصيدة', 'مصير', 'مض', 'مضا', 'مضاء', 'مضاد', 'مضارب', 'مضاعف', 'مضاف', 'مضايق', 'مضبوط', 'مضجر', 'مضحك', 'مضخة', 'مضخم', 'مضر', 'مضرب', 'مضطر', 'مضطرب', 'مضغ', 'مضغوط', 'مضمار', 'مضى', 'مضيء', 'مضيع', 'مضيف', 'مطابخ', 'مطابق', 'مطاحن', 'مطار', 'مطارد', 'مطارق', 'مطاعم', 'مطاف', 'مطالب', 'مطب', 'مطبخ', 'مطبعة', 'مطبوخ', 'مطبوع', 'مطحنة', 'مطحون', 'مطر', 'مطرق', 'مطروق', 'مطعم', 'مطعون', 'مطفأة', 'مطلب', 'مطلع', 'مطلق', 'مطلوب', 'مطمئن', 'مطهر', 'مطهى', 'مطور', 'مطول', 'مطوي', 'مطي', 'مطيع', 'مظاهر', 'مظروف', 'مظل', 'مظلل', 'مظلم', 'مظهر', 'مع', 'معاد', 'معادل', 'معادن', 'معارض', 'معارف', 'معارك', 'معاق', 'معاقب', 'معاكس', 'معالج', 'معالم', 'معامل', 'معاناة', 'معاني', 'معاود', 'معاير', 'معاين', 'معايير', 'معبأ', 'معبأة', 'معتاد', 'معتبر', 'معتد', 'معتدل', 'معتز', 'معتقد', 'معتكف', 'معتم', 'معتمد', 'معتوه', 'معجب', 'معجز', 'معجون', 'معد', 'معدل', 'معدن', 'معذر', 'معرض', 'معرف', 'معرفة', 'معركة', 'معروض', 'معروف', 'معزز', 'معزول', 'معسكر', 'معشر', 'معصم', 'معضل', 'معطاء', 'معطر', 'معطف', 'معطل', 'معظم', 'معفاة', 'معقد', 'معقم', 'معقول', 'معكرونة', 'معلب', 'معلق', 'معلم', 'معلن', 'معلوم', 'معمار', 'معمدان', 'معمل', 'معمودية', 'معنوي', 'معنى', 'معني', 'معهد', 'معهود', 'معوي', 'معي', 'معيار', 'معيب', 'معيشة', 'معيشي', 'معين', 'مغادر', 'مغازل', 'مغامر', 'مغبر', 'مغترب', 'مغذى', 'مغذي', 'مغرفة', 'مغرم', 'مغرور', 'مغري', 'مغزى', 'مغسل', 'مغسول', 'مغطاة', 'مغطى', 'مغطىا', 'مغفرة', 'مغفل', 'مغل', 'مغلق', 'مغلوب', 'مغمور', 'مغناطيس', 'مغني', 'مغير', 'مفاتيح', 'مفاجأة', 'مفاجئ', 'مفاخر', 'مفاد', 'مفارق', 'مفاصل', 'مفاقم', 'مفاقما', 'مفاهيم', 'مفتاح', 'مفترس', 'مفترض', 'مفترق', 'مفتوح', 'مفتون', 'مفجر', 'مفجع', 'مفر', 'مفرد', 'مفرط', 'مفرقع', 'مفروغ', 'مفروم', 'مفصل', 'مفضل', 'مفعم', 'مفقود', 'مفكر', 'مفكوك', 'مفلس', 'مفهوم', 'مفوض', 'مفيد', 'مقابس', 'مقابل', 'مقاتل', 'مقارن', 'مقاس', 'مقاضاة', 'مقاطع', 'مقاعد', 'مقال', 'مقالب', 'مقام', 'مقامر', 'مقاهي', 'مقاود', 'مقاول', 'مقاوم', 'مقايض', 'مقاييس', 'مقبر', 'مقبس', 'مقبض', 'مقبل', 'مقبول', 'مقترح', 'مقترض', 'مقتصد', 'مقتطع', 'مقتنع', 'مقدار', 'مقدد', 'مقدر', 'مقدس', 'مقدم', 'مقدور', 'مقذوف', 'مقرب', 'مقرر', 'مقرض', 'مقرف', 'مقرمش', 'مقزز', 'مقززا', 'مقززة', 'مقززون', 'مقززين', 'مقص', 'مقصود', 'مقصور', 'مقطع', 'مقطورة', 'مقطوع', 'مقعد', 'مقفر', 'مقفل', 'مقل', 'مقلاة', 'مقلق', 'مقلوب', 'مقنع', 'مقهى', 'مقود', 'مقوض', 'مقوم', 'مقوى', 'مقياس', 'مقيد', 'مقيم', 'مكا', 'مكائد', 'مكابح', 'مكاتب', 'مكاديميا', 'مكاسب', 'مكافأ', 'مكافح', 'مكالم', 'مكان', 'مكانس', 'مكب', 'مكبر', 'مكبس', 'مكتئب', 'مكتب', 'مكترث', 'مكتسب', 'مكتظ', 'مكتف', 'مكتمل', 'مكتنز', 'مكتوب', 'مكتوم', 'مكث', 'مكثف', 'مكجريجور', 'مكدس', 'مكر', 'مكرر', 'مكرس', 'مكسب', 'مكسر', 'مكسور', 'مكسيك', 'مكشوف', 'مكعب', 'مكفوف', 'مكلف', 'مكمل', 'مكن', 'مكنسة', 'مكون', 'مكياج', 'مكياجها', 'مكياجي', 'مكيف', 'مل', 'ملء', 'ملأ', 'ملا', 'ملاء', 'ملاءمة', 'ملائك', 'ملائم', 'ملابس', 'ملاجئ', 'ملاحة', 'ملاحظ', 'ملاحق', 'ملاريا', 'ملاطف', 'ملاعب', 'ملاعق', 'ملاك', 'ملاكم', 'ملامس', 'ملاهي', 'ملايين', 'ملتحي', 'ملتزم', 'ملتصق', 'ملتهب', 'ملتوى', 'ملتوي', 'ملجأ', 'ملح', 'ملحق', 'ملحم', 'ملحوظ', 'ملخص', 'ملذة', 'ملزم', 'ملصق', 'ملطخ', 'ملطف', 'ملعب', 'ملعق', 'ملف', 'ملفت', 'ملفوف', 'ملقاة', 'ملقب', 'ملقى', 'ملك', 'ملكي', 'ملل', 'ملليمتر', 'ملم', 'ملمس', 'ملموس', 'ملهم', 'ملهى', 'ملوث', 'ملوك', 'ملون', 'مليء', 'مليئ', 'مليئة', 'مليار', 'ملياردير', 'مليون', 'مليونير', 'مماثل', 'ممارس', 'مماطل', 'ممتاز', 'ممتحن', 'ممتد', 'ممتص', 'ممتع', 'ممتلئ', 'ممتلك', 'ممتن', 'ممثل', 'ممر', 'ممرض', 'ممرن', 'ممزق', 'ممزوج', 'ممسحة', 'ممسك', 'ممطر', 'ممفيس', 'ممكن', 'ممل', 'مملح', 'مملك', 'مملوك', 'مممم', 'ممنوح', 'ممنوع', 'ممنون', 'ممول', 'مميت', 'مميز', 'من', 'مناجم', 'مناخ', 'مناداة', 'مناديل', 'منار', 'منازع', 'منازل', 'مناسب', 'مناشف', 'مناشير', 'مناصب', 'مناصر', 'مناطق', 'مناظر', 'مناع', 'منافذ', 'منافس', 'منافق', 'مناقش', 'منال', 'منام', 'مناوب', 'مناور', 'منبثق', 'منبه', 'منبهر', 'منة', 'منتبه', 'منتج', 'منتجع', 'منتخب', 'منتدى', 'منتزه', 'منتشر', 'منتشي', 'منتشيا', 'منتشية', 'منتشين', 'منتصف', 'منتظر', 'منتظم', 'منتفخ', 'منتهى', 'منتهي', 'منجد', 'منجذب', 'منجز', 'منجل', 'منجم', 'منجنيق', 'منح', 'منحت', 'منحدر', 'منحرف', 'منحنى', 'منحوت', 'منخرط', 'منخفض', 'مندفع', 'مندهش', 'مندوب', 'منديل', 'منذهل', 'منزعج', 'منزل', 'منزلق', 'منزلي', 'منسا', 'منسق', 'منسم', 'منسي', 'منشأ', 'منشئ', 'منشار', 'منشط', 'منشف', 'منشور', 'منصب', 'منصة', 'منصف', 'منضبط', 'منضخ', 'منضد', 'منطاد', 'منطق', 'منطقي', 'منطلق', 'منطوق', 'منطوي', 'منظر', 'منظف', 'منظم', 'منظور', 'منع', 'منعة', 'منعت', 'منعزل', 'منعش', 'منعطف', 'منغلق', 'منغمس', 'منفتح', 'منفذ', 'منفرد', 'منفصل', 'منفض', 'منفوخ', 'منفى', 'منقار', 'منقب', 'منقذ', 'منكه', 'منمق', 'منن', 'منهار', 'منهج', 'منهك', 'منوال', 'منوم', 'منى', 'مها', 'مهاجر', 'مهاجم', 'مهار', 'مهارة', 'مهام', 'مهامك', 'مهامنا', 'مهامه', 'مهامهم', 'مهب', 'مهترئ', 'مهتز', 'مهتم', 'مهجور', 'مهد', 'مهدئ', 'مهدد', 'مهدر', 'مهدم', 'مهذب', 'مهرج', 'مهرجان', 'مهروس', 'مهزوم', 'مهل', 'مهلهل', 'مهم', 'مهمة', 'مهمل', 'مهن', 'مهندس', 'مهني', 'مهور', 'مهووس', 'مهيب', 'مهين', 'مواء', 'موائد', 'موات', 'مواجه', 'مواد', 'موارد', 'موازن', 'موازي', 'مواساة', 'مواسم', 'مواصفة', 'مواصل', 'مواضيع', 'مواطن', 'مواعد', 'مواعيد', 'موافق', 'مواقع', 'مواقف', 'مواكب', 'موال', 'موالي', 'مواليد', 'موانع', 'مواهب', 'موبوء', 'موت', 'موتى', 'موثوق', 'موج', 'موجب', 'موجز', 'موجه', 'موجود', 'موحد', 'موحل', 'مودة', 'موديل', 'مورتال', 'مورفي', 'مورم', 'موز', 'موزاريلا', 'موزع', 'موستانج', 'موسم', 'موسوم', 'موسيقى', 'موسيقي', 'موشوم', 'موصول', 'موصى', 'موضة', 'موضع', 'موضوع', 'موظف', 'موظفيي', 'موعد', 'موفر', 'موفق', 'موقد', 'موقع', 'موقف', 'موقوت', 'موقوف', 'موكل', 'مول', 'مولد', 'مولود', 'مولى', 'مومياء', 'مون', 'مونتريال', 'مونتيسوري', 'موه', 'موهبة', 'موهوب', 'موين', 'موينتيا', 'ميؤوس', 'ميامي', 'مياه', 'ميت', 'ميتال', 'ميتاليكا', 'ميتاليكاس', 'ميتة', 'ميتزفه', 'ميتشل', 'ميتشيغان', 'ميج', 'ميدالية', 'ميدان', 'ميديكيد', 'ميديويست', 'مير', 'ميراث', 'ميرتل', 'ميرفي', 'ميز', 'ميزان', 'ميسور', 'ميسيسيبي', 'ميشيغان', 'ميغ', 'ميغان', 'ميغاواط', 'ميكانيكا', 'ميكانيكي', 'ميكروفون', 'ميكونوس', 'ميكي', 'ميكيتا', 'ميل', 'ميلاد', 'ميم', 'ميناء', 'مينبين', 'مينيسوتا', 'نائب', 'نائم', 'نائي', 'ناب', 'ناتج', 'ناتشو', 'ناتشوز', 'ناجتس', 'ناجح', 'ناحي', 'نادر', 'نادل', 'نادم', 'نادى', 'نادي', 'نار', 'ناس', 'ناسب', 'ناسك', 'ناسكار', 'ناشئ', 'ناشر', 'ناشط', 'ناشفيل', 'ناصية', 'ناضج', 'ناعم', 'نافذ', 'نافس', 'نافق', 'ناقش', 'ناقل', 'نام', 'نامت', 'نامي', 'ناهز', 'ناهي', 'ناوي', 'ناي', 'نايكي', 'نبأ', 'نبات', 'نباتي', 'نباح', 'نبت', 'نبح', 'نبراسكا', 'نبس', 'نبض', 'نبك', 'نبه', 'نبيذ', 'نبيل', 'نتا', 'نتائج', 'نتاج', 'نتح', 'نتر', 'نتعطلها', 'نتفليكس', 'نتن', 'نتوء', 'نتونة', 'نتيجة', 'نثر', 'نثق', 'نج', 'نجا', 'نجاة', 'نجاح', 'نجار', 'نجب', 'نجح', 'نجد', 'نجر', 'نجز', 'نجم', 'نجو', 'نجوم', 'نجوما', 'نحاس', 'نحافة', 'نحب', 'نحت', 'نحتاجه', 'نحتاجها', 'نحس', 'نحل', 'نحو', 'نحى', 'نحية', 'نحيف', 'نخاع', 'نخب', 'نخيل', 'ند', 'نداء', 'ندب', 'ندبة', 'ندر', 'ندرة', 'ندم', 'ندوب', 'ندوة', 'ندى', 'نرجس', 'نرجسي', 'نرد', 'نرويج', 'نز', 'نزاع', 'نزال', 'نزاهة', 'نزع', 'نزعة', 'نزف', 'نزل', 'نزه', 'نزوة', 'نزول', 'نزيف', 'نزيل', 'نس', 'نسا', 'نساء', 'نسب', 'نسج', 'نسخ', 'نسخة', 'نسم', 'نسمة', 'نسور', 'نسى', 'نسي', 'نسيان', 'نسيم', 'نشأ', 'نشأة', 'نشأوا', 'نشار', 'نشاط', 'نشر', 'نشرة', 'نشط', 'نشل', 'نشوة', 'نشيد', 'نشيط', 'نص', 'نصائح', 'نصاب', 'نصب', 'نصح', 'نصر', 'نصف', 'نصل', 'نصوص', 'نصوصا', 'نصيب', 'نصيح', 'نضال', 'نضج', 'نضح', 'نضر', 'نضوج', 'نطاق', 'نطحة', 'نطق', 'نظارة', 'نظاف', 'نظام', 'نظر', 'نظراء', 'نظرة', 'نظف', 'نظم', 'نظير', 'نظيف', 'نعاس', 'نعام', 'نعت', 'نعر', 'نعسان', 'نعش', 'نعل', 'نعم', 'نعناع', 'نعومة', 'نعيق', 'نعيم', 'نغم', 'نف', 'نفاث', 'نفاد', 'نفاس', 'نفاق', 'نفاية', 'نفح', 'نفخ', 'نفخة', 'نفد', 'نفذ', 'نفر', 'نفس', 'نفساني', 'نفسى', 'نفض', 'نفط', 'نفع', 'نفق', 'نفور', 'نفى', 'نفي', 'نقاء', 'نقاب', 'نقاد', 'نقاش', 'نقاط', 'نقاطا', 'نقال', 'نقانق', 'نقد', 'نقذ', 'نقر', 'نقص', 'نقض', 'نقط', 'نقع', 'نقل', 'نقم', 'نقمة', 'نقود', 'نقودا', 'نقول', 'نقي', 'نكات', 'نكت', 'نكر', 'نكسة', 'نكهة', 'نكى', 'نم', 'نماذج', 'نماوا', 'نمر', 'نمس', 'نمش', 'نمط', 'نمل', 'نمو', 'نموذج', 'نمى', 'نميم', 'ننمو', 'نهائي', 'نهار', 'نهاية', 'نهب', 'نهج', 'نهر', 'نهش', 'نهض', 'نهم', 'نهو', 'نهوض', 'نهى', 'نهي', 'نو', 'نواة', 'نواح', 'نوادي', 'نوافذ', 'نوايا', 'نواياك', 'نوايانا', 'نوب', 'نوبة', 'نور', 'نورس', 'نوع', 'نوفمبر', 'نول', 'نوم', 'نومة', 'نون', 'نووي', 'نوى', 'ني', 'نيء', 'نيئة', 'نيابة', 'نياجرا', 'نية', 'نيتفليكس', 'نيجيري', 'نير', 'نيزك', 'نيسان', 'نيفادا', 'نيكة', 'نيكل', 'نيمار', 'نيمو', 'نينتندو', 'نيوجيرسي', 'نيوزيلندا', 'نيون', 'نيويورك', 'ها', 'هاء', 'هائج', 'هائل', 'هاب', 'هابط', 'هاتشي', 'هاتف', 'هاجم', 'هاجى', 'هادئ', 'هادف', 'هار', 'هارد', 'هارف', 'هارفارد', 'هارلي', 'هاريس', 'هاسل', 'هال', 'هالوسكريم', 'هالويين', 'هام', 'هامبرغر', 'هامبستر', 'هامش', 'هامل', 'هاملت', 'هاميلتون', 'هاهاها', 'هاهاهاها', 'هاهاهاهاهاهاها', 'هاواي', 'هاوس', 'هاوي', 'هايدي', 'هاينكن', 'هبة', 'هبط', 'هبطة', 'هبوب', 'هبوط', 'هت', 'هتا', 'هتاف', 'هتف', 'هتلر', 'هتم', 'هجر', 'هجمة', 'هجن', 'هجوم', 'هجين', 'هد', 'هدأ', 'هدأوني', 'هدئ', 'هداف', 'هدايا', 'هدد', 'هدر', 'هدف', 'هدم', 'هدوء', 'هدى', 'هدي', 'هدية', 'هدير', 'هذا', 'هذة', 'هر', 'هراء', 'هرب', 'هرع', 'هرقل', 'هرممم', 'هروب', 'هرول', 'هريس', 'هز', 'هزاز', 'هزة', 'هزل', 'هزم', 'هزيم', 'هسكي', 'هسهسة', 'هش', 'هشاش', 'هضم', 'هطل', 'هطلت', 'هطول', 'هكتار', 'هل', 'هلام', 'هلع', 'هلوسة', 'هليكوبتر', 'هم', 'همس', 'همل', 'همم', 'هممم', 'هموم', 'همومك', 'همومنا', 'هنأ', 'هند', 'هندباء', 'هندسة', 'هنري', 'هنيء', 'ههه', 'هههه', 'ههههه', 'هههههه', 'هههههههه', 'ههههههههههه', 'ههههههههههههههه', 'ههههههههههههههههههههههههههه', 'ههههههههههههههههههههههههههههههههههه', 'ههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههههه', 'هو', \"هو'\", 'هواء', 'هواة', 'هواتف', 'هوام', 'هواية', 'هوب', 'هوة', 'هوستيري', 'هوف', 'هوفر', 'هوك', 'هول', 'هولمز', 'هولندا', 'هوليوود', 'هوم', 'هوندا', 'هونغ', 'هوى', 'هوير', 'هى', 'هي', \"هي'\", 'هيأ', 'هيئة', 'هيبي', 'هيبيز', 'هيدروليكي', 'هيدستارت', 'هيرشي', 'هيرميتاج', 'هيستيري', 'هيكل', 'هيل', 'هيلاري', 'هيلب', 'هيلبيليز', 'هيلبيليس', 'هيلكات', 'هيليس', 'هيم', 'هيوز', 'وآخرون', 'وآمل', 'وأبرياء', 'وأبقار', 'وأبوسوما', 'وأثق', 'وأحتاجه', 'وأحيانا', 'وأرفقا', 'وأطنانا', 'وأغسلوا', 'وأقدرهذا', 'وأل', 'وألعابا', 'وأليسا', 'وأنني', 'وأورلاندو', 'وأياما', 'وأيضا', 'وإدخار', 'وإنني', 'وإيجاد', 'وإيدي', 'وإيذائك', 'وإيزي', 'وابقائه', 'وابقى', 'واتابورجير', 'واتس', 'واتمنى', 'واثق', 'واثن', 'واجب', 'واجه', 'واجهة', 'واحد', 'وارد', 'واسع', 'واشنطن', 'واشي', 'واصل', 'واضح', 'واعد', 'واعظ', 'واعي', 'وافق', 'واقع', 'واقي', 'واكب', 'والأسهل', 'والأفوكادو', 'والأهم', 'والإكسسوارات', 'والإنترنت', 'والاخوات', 'والاشياء', 'والانتشلادا', 'والبازلاء', 'والبانك', 'والبسكويت', 'والبيرغ', 'والتأشير', 'والتاباسكو', 'والترامبولين', 'والتوفو', 'والثلاثين', 'والجواكامولي', 'والجيتار', 'والد', 'والروبيان', 'والزايتزيكي', 'والزومبي', 'والسكوتش', 'والسناجب', 'والشوكولاتة', 'والشوكولاته', 'والغيتار', 'والف', 'والفائزين', 'والفلوت', 'والفواتير', 'والقشور', 'والكاتشب', 'والكربوهيدرات', 'والكلوريلا', 'والكونتيغ', 'واللازانيا', 'والمونبولي', 'والهالوين', 'والهامبرغر', 'والهرب', 'والهوت', 'والوئام', 'والى', 'وامض', 'وانا', 'واهن', 'واهي', 'واو', 'واي', 'وايت', 'وايطاليا', 'وايكيكي', 'وايلد', 'وايلدهورس', 'وايومنغ', 'وبال', 'وبخ', 'وبد', 'وبدأوا', 'وبدايت', 'وبر', 'وبربادوس', 'وبروكولي', 'وبسويت', 'وبل', 'وبورايد', 'وبوكيمون', 'وبي', 'وتأطيرها', 'وتاكو', 'وتاماليس', 'وتايلاند', 'وتثق', 'وتجميلت', 'وتر', 'وترامب', 'وتصرخ', 'وتفاجأت', 'وتنمو', 'وتيرة', 'وتين', 'وثائق', 'وثائقيا', 'وثق', 'وثلاث', 'وثوق', 'وثيق', 'وج', 'وجاءوا', 'وجالبينو', 'وجب', 'وجد', 'وجع', 'وجن', 'وجه', 'وجود', 'وجوه', 'وجى', 'وجيز', 'وجيه', 'وحجوزات', 'وحد', 'وحش', 'وحل', 'وحوش', 'وحيد', 'وخز', 'وخم', 'وخى', 'وداع', 'ودافئة', 'ودع', 'ودود', 'ودوريتوس', 'ودى', 'ودي', 'وديع', 'ورآك', 'ورآني', 'ورآها', 'ورأ', 'وراء', 'ورائك', 'ورائه', 'ورائها', 'وراث', 'وراق', 'ورب', 'ورث', 'ورد', 'ورش', 'ورطة', 'ورق', 'ورك', 'ورود', 'ورى', 'وري', 'وز', 'وزارة', 'وزراء', 'وزن', 'وزيلدا', 'وسائد', 'وسائط', 'وسائل', 'وساد', 'وسبرايت', 'وستنمو', 'وسخ', 'وسط', 'وسطى', 'وسع', 'وسعى', 'وسلطعون', 'وسواس', 'وسوم', 'وسى', 'وسيبدأون', 'وسيط', 'وسيكويا', 'وسيلة', 'وسيم', 'وشاح', 'وشم', 'وشوكولاتة', 'وشى', 'وشيبوتل', 'وصب', 'وصرخ', 'وصرخت', 'وصرخوا', 'وصف', 'وصل', 'وصول', 'وصى', 'وصي', 'وصيف', 'وضح', 'وضع', 'وضوء', 'وضوح', 'وضيع', 'وطن', 'وطواط', 'وظائف', 'وظف', 'وظيف', 'وظيفتيها', 'وعاء', 'وعاشت', 'وعد', 'وعر', 'وعصائر', 'وعود', 'وعي', 'وغد', 'وفاء', 'وفاة', 'وفاجأوني', 'وفاق', 'وفر', 'وفق', 'وفى', 'وفي', 'وفير', 'وقاء', 'وقائديين', 'وقاحة', 'وقاد', 'وقاية', 'وقت', 'وقح', 'وقع', 'وقف', 'وقفة', 'وقود', 'وقوع', 'وقوف', 'وكأنني', 'وكال', 'وكانت', 'وكد', 'وكر', 'وكس', 'وكلاء', 'وكم', 'وكن', 'وكى', 'وكيل', 'ولأنني', 'ولاء', 'ولادة', 'ولاعة', 'ولاية', 'ولايه', 'ولد', 'ولع', 'ولغ', 'وله', 'ولوج', 'ولول', 'ولى', 'ولي', 'وليمة', 'وماتت', 'وماتوا', 'وماكاو', 'وماكبث', 'ومباريات', 'ومتألما', 'ومحفز', 'ومغطاة', 'وميض', 'ون', 'ونودلز', 'ونى', 'وني', 'وها', 'وهل', 'وهم', 'وو', 'ووت', 'وودز', 'ووه', 'ووو', 'وووت', 'ووووو', 'ووووول', 'ووووووو', 'وي', 'ويب', 'ويجا', 'ويخفتني', 'ويسكونسن', 'ويسكي', 'ويصرخ', 'ويصرخون', 'ويل', 'ويليامز', 'ويليامزبرغ', 'ويلينجتون', 'ويلينغتون', 'ويمبلدون', 'وين', 'وينتز', 'وينشتاين', 'وينكلر', 'وينوود', 'يأس', 'يا', 'يائس', 'ياالهى', 'يابان', 'يارجل', 'ياردة', 'ياردساليس', 'ياكي', 'يال', 'يالك', 'يالكلماتي', 'ياللفظاعه', 'ياله', 'يالها', 'يان', 'يانصيب', 'يانكي', 'يانكيز', 'ياهو', 'ياهووو', 'يباي', 'يبدأوا', 'يبدأون', 'يتأذون', 'يتأذى', 'يتحدىك', 'يتشاركونه', 'يتفاجأ', 'يتقيأون', 'يتم', 'يتي', 'يثق', 'يثقوا', 'يثقون', 'يحتاجك', 'يحتاجه', 'يحتاجها', 'يحتاجونه', 'يحتاجونها', 'يخطو', 'يخنة', 'يد', 'يدهسه', 'يدوي', 'ير', 'يراع', 'يراهنني', 'يرقة', 'يريك', 'يس', 'يسار', 'يسر', 'يسرى', 'يسسسسسس', 'يسمح', 'يسير', 'يصرخ', 'يصرخان', 'يصرخن', 'يصرخون', 'يعتنيوا', 'يعسوب', 'يعشق', 'يعنيون', 'يغر', 'يف', 'يفاجأون', 'يقطين', 'يقظ', 'يقين', 'يل', 'يلق', 'يم', 'يمنى', 'يمين', 'ين', 'ينابيع', 'يناير', 'ينبح', 'ينبحون', 'ينبض', 'ينتظري', 'ينمو', 'ينمووا', 'يهدأوا', 'يهم', 'يهود', 'يو', 'يوتا', 'يوتيوب', 'يود', 'يورك', 'يورو', 'يوسمايت', 'يوغا', 'يوكو', 'يولي', 'يوم', 'يونان', 'يونايتد', 'يونس', 'يونغ', 'يونيسيف', 'يونيفرسال', 'يونيو', 'يوير', 'ييكيس', '٪', '٪!', '٪.', '٪..', '٪،', '\\u200b\\u200b', '\\u200b\\u200b،']\n"
     ]
    }
   ],
   "source": [
    "# Create a count vectorizer of the train dataset\n",
    "from sklearn.feature_extraction.text import CountVectorizer\n",
    "vectorizer = CountVectorizer(tokenizer = lambda x : x, preprocessor=lambda x : x ,ngram_range=(1,1))\n",
    "X = vectorizer.fit_transform(reviews_train)\n",
    "print(vectorizer.get_feature_names())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 45,
   "metadata": {},
   "outputs": [],
   "source": [
    "\n",
    "X_train = vectorizer.transform(reviews_train)\n",
    "X_test = vectorizer.transform(reviews_test)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 47,
   "metadata": {},
   "outputs": [
    {
     "output_type": "execute_result",
     "data": {
      "text/plain": [
       "LogisticRegression(max_iter=10000)"
      ]
     },
     "metadata": {},
     "execution_count": 47
    }
   ],
   "source": [
    "# Create a logistic regression model and training it on the training dataset\n",
    "from sklearn.linear_model import LogisticRegression\n",
    "classifier = LogisticRegression(max_iter=10000)\n",
    "classifier.fit(X_train, y_train)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "Accuracy: 0.7363127069009422\n"
     ]
    }
   ],
   "source": [
    "# Test the trained logisitc regression model on the test dataset\n",
    "accuracy = classifier.score(X_test, y_test)\n",
    "print(\"Accuracy:\", accuracy)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 52,
   "metadata": {},
   "outputs": [
    {
     "output_type": "stream",
     "name": "stdout",
     "text": [
      "The query sentiment is:  ['pos']\n",
      "Query is:  انا سعيد اليوم\n",
      "Chatbot:  هل ستحتفلون يا رفاق؟\n",
      "The query sentiment is:  ['pos']\n",
      "Query is:  نعم اليوم عيد ميلادي\n",
      "Chatbot:  عيد مولد سعيد! هل لديك أي خطط لهذا اليوم؟\n",
      "The query sentiment is:  ['neg']\n",
      "Query is:  نعم ساحتفل مع اصدقائي\n",
      "Chatbot:  هذا مريع. في بعض الأحيان يكون من الصعب معرفة من هم أصدقاؤك الحقيقيون ، ويتطلب الأمر محاولات متكررة للتسكع معهم ، فقط لجعلهم ينقذونك ، لإدراك أنك لا تقدرهم. أقول قطع العلاقات الخاصة بك عاجلا وليس آجلا. الحياة قصيرة جدا.\n",
      "The query sentiment is:  ['neg']\n",
      "Query is:  نعم ساحتفل مع اهلي\n",
      "Chatbot:  أجل؟ أنا حقا لا أرى كيف\n",
      "The query sentiment is:  ['pos']\n",
      "Query is:  نعم سأذهب الي النادي\n",
      "Chatbot:  يبدو ممتعا! أحب أن أكون قادرًا على القيام بذلك. لكني أذهب إلى العمل طوال عطلة نهاية الأسبوع.\n",
      "The query sentiment is:  ['pos']\n",
      "Query is:  انا احب ان اسافر\n",
      "Chatbot:  لدي موعد مع طبيب الأسنان الأسبوع المقبل.\n",
      "The query sentiment is:  ['pos']\n",
      "Query is:  انا احب الاكل\n",
      "Chatbot:  أتمنى لو كان بإمكاني شراء واحدة لكنها باهظة الثمن.\n",
      "The query sentiment is:  ['pos']\n",
      "Query is:  انا احب اكل السمك\n",
      "Chatbot:  أتمنى لو كان بإمكاني شراء واحدة لكنها باهظة الثمن.\n",
      "The query sentiment is:  ['pos']\n",
      "Query is:  هل تحب اكل السمك\n",
      "Chatbot:  لا لا! أقسم أنني لا أفعل! قصدت السمكة الذهبية المفرقعة! المفرقعات !!!\n",
      "The query sentiment is:  ['neg']\n",
      "Query is:  bye\n",
      "Chatbot:  أجل؟ أنا حقا لا أرى كيف\n"
     ]
    }
   ],
   "source": [
    "# Running the Chatbot\n",
    "# First we lemmatize the query\n",
    "# Second we remove the stopwards from the query\n",
    "# Third We use the trained model to determine the sentiment of the query\n",
    "# Fourth We create Tf-idf for the query\n",
    "# Fifth we create Tf-idf for all the sentences that have the same sentiment as the query\n",
    "# Sixth We find the cosine similarity between the query and every sentence\n",
    "# Last We reply by the next available sentence (next row), while making sure that this reply is included in the same conversation.\n",
    "\n",
    "from sklearn.feature_extraction.text import TfidfVectorizer\n",
    "from sklearn.metrics.pairwise import cosine_similarity\n",
    "query = \"\"\n",
    "while(query!=\"bye\"):\n",
    "    query = input(\"can I help you?\")\n",
    "    tokenized_query = lemmer.lemmatize_text(query,return_pos=True)\n",
    "    tokenized_query_stop_words = np.array([])\n",
    "    for j in range(len(tokenized_query)):\n",
    "        if isinstance(tokenized_query[j], tuple):\n",
    "            if tokenized_query[j][1] != 'stopword':\n",
    "                tokenized_query_stop_words = np.append(tokenized_query_stop_words, tokenized_query[j][0])\n",
    "    tokenized_query_stop_words = [tokenized_query_stop_words]\n",
    "    testVec = vectorizer.transform(tokenized_query_stop_words)\n",
    "    query_sentiment= classifier.predict(testVec)\n",
    "    print(\"The query sentiment is: \", query_sentiment)\n",
    "    df_same_query_sent = df.loc[df['context'] == query_sentiment[0]]\n",
    "    vectorizer_tf_idf = TfidfVectorizer(tokenizer = lambda x : x, preprocessor=lambda x : x)\n",
    "    corpus_tf_idf = vectorizer_tf_idf.fit_transform(df_same_query_sent['tokenized_utterance_filtered'])\n",
    "    query_tf_idf = vectorizer_tf_idf.transform(tokenized_query_stop_words)\n",
    "    cosine_similarities = cosine_similarity(corpus_tf_idf,query_tf_idf)\n",
    "    response_index = np.argmax(cosine_similarities)\n",
    "    df_same_query_sent.reset_index(inplace=True)\n",
    "    print(\"Query is: \", query)\n",
    "    print(\"Chatbot: \", df_same_query_sent['tokenized_utterance_filtered_Responses'][response_index])"
   ]
  }
 ]
}