HW5_Ignatiev.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "\n",
    "from collections import Counter\n",
    "from sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizer\n",
    "from sklearn.linear_model import LogisticRegression, SGDClassifier\n",
    "from sklearn.tree import DecisionTreeClassifier\n",
    "from sklearn.neighbors import KNeighborsClassifier\n",
    "from sklearn.naive_bayes import MultinomialNB\n",
    "from sklearn.model_selection import train_test_split\n",
    "from sklearn.metrics import classification_report, accuracy_score\n",
    "from sklearn.metrics.pairwise import cosine_distances, cosine_similarity\n",
    "\n",
    "from IPython.display import Image\n",
    "from IPython.core.display import HTML "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from collections import defaultdict"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "import re"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset_ok = pd.read_csv(\"../../dataset_ok.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>text</th>\n",
       "      <th>label</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>наебалово века, для долбаёбов\\n</td>\n",
       "      <td>INSULT</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td>вся дума в таком же положении😁\\n</td>\n",
       "      <td>NORMAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>а в каком месте массовое столкновение? шрайбик...</td>\n",
       "      <td>NORMAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>значит ли это, что контроль за вывозом крупног...</td>\n",
       "      <td>NORMAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>вам не нужен щеночек? очень хорошие 🐶🥰\\n</td>\n",
       "      <td>NORMAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>5</th>\n",
       "      <td>он, хоть живой остался??.\\n</td>\n",
       "      <td>NORMAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>6</th>\n",
       "      <td>было дело.\\n</td>\n",
       "      <td>NORMAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>7</th>\n",
       "      <td>с хранением нет проблем, или только в холодиль...</td>\n",
       "      <td>NORMAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>8</th>\n",
       "      <td>полностью вас поддерживаю\\n</td>\n",
       "      <td>NORMAL</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>9</th>\n",
       "      <td>этот рецепт не соответствует фото. ооох и наму...</td>\n",
       "      <td>NORMAL</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                                text   label\n",
       "0                    наебалово века, для долбаёбов\\n  INSULT\n",
       "1                   вся дума в таком же положении😁\\n  NORMAL\n",
       "2  а в каком месте массовое столкновение? шрайбик...  NORMAL\n",
       "3  значит ли это, что контроль за вывозом крупног...  NORMAL\n",
       "4           вам не нужен щеночек? очень хорошие 🐶🥰\\n  NORMAL\n",
       "5                        он, хоть живой остался??.\\n  NORMAL\n",
       "6                                       было дело.\\n  NORMAL\n",
       "7  с хранением нет проблем, или только в холодиль...  NORMAL\n",
       "8                        полностью вас поддерживаю\\n  NORMAL\n",
       "9  этот рецепт не соответствует фото. ооох и наму...  NORMAL"
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "dataset_ok.head(10)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Упрощённый BPE"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [],
   "source": [
    "with open(\"../../lenta.txt\", encoding=\"UTF-8\") as file:\n",
    "    corpus_lenta = file.read()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [],
   "source": [
    "def count_pairs(corpus_joined: list):\n",
    "    corpus_split = corpus_joined.split(\" \")\n",
    "    counts = defaultdict()\n",
    "    for i in range(len(corpus_split) - 1):\n",
    "        if (corpus_split[i], corpus_split[i+1]) in counts:\n",
    "            counts[corpus_split[i], corpus_split[i+1]] += 1\n",
    "        else:\n",
    "            counts[corpus_split[i], corpus_split[i+1]] = 1\n",
    "    return counts\n",
    "\n",
    "def bpe_initialize(corpus: str, n_iterations: int, k_pairs: int):\n",
    "    merged_vocab = set()\n",
    "    punct = re.compile(r'[ .,:!;+=?\"\"'']')\n",
    "    corpus = re.sub(punct, \"\", corpus)\n",
    "    corpus_symbols = [sym for sym in corpus]\n",
    "    corpus_joined = \" \".join(corpus_symbols)\n",
    "    for n in range(n_iterations):\n",
    "        pairs = count_pairs(corpus_joined)\n",
    "        top_k = sorted(list(pairs.keys()), key=pairs.get, reverse=True)[:k_pairs]\n",
    "        for pair in top_k:\n",
    "            new_pair = pair[0] + pair[1]\n",
    "            corpus_joined = re.sub(f\"{pair[0]} {pair[1]}\", new_pair, corpus_joined)\n",
    "            merged_vocab.add(new_pair)\n",
    "    return merged_vocab"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 39,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['ан', 'ма', 'ств', 'ва', 'ам', 'ру', 'со', 'ли', 'ци', 'ных', 'то', 'ей', 'ом', 'ви', 'ча', 'та', 'ож', 'ер', 'вы', 'ил', 'ую', 'ает', 'от', 'ая', 'щи', 'ной', 'ре', 'ор', 'ст', 'ки', 'ед', 'ос', 'ин', 'ав', 'на', 'ны', 'ка', 'ем', 'уд', 'еч', 'пр', 'их', 'им', 'да', 'па', 'уп', 'он', 'ар', 'го', 'ла', 'ог', 'ди', 'ни', 'ку', 'бы', 'об', 'за', 'ми', 'ен', 'ев', 'ес', 'си', 'ет', 'ит', 'ат', 'яв', 'уч', 'по', 'ль', 'од', 'ии', 'ис', 'ля', 'из', 'не', 'ел', 'ле', 'ро', 'ас', 'ри', 'общ', 'ся', 'ра', 'ции', 'уж', 'ко', 'ий', 'ооб', 'те', 'ал', 'ак', 'ски', 'ол', 'во', 'де', 'ск', 'аз', 'ти', 'ов', 'но']\n"
     ]
    }
   ],
   "source": [
    "print(list(bpe_initialize(corpus_lenta, 2, 50)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Комментарий: среди частотных пар много таких, которые соотвествуют распространённым морфемам: \"ую\", \"ся\", \"ет\". Также встречаются фрагменты частотных слов, выходящие за пределы отдельной морфемы: \"ции\", \"ной\", \"ных\", \"ает\"."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['ан', 'бу', 'хо', 'ма', 'ва', 'ру', 'со', 'ско', 'до', 'под', 'ли', 'ци', 'га', 'ных', 'то', 'ей', 'ви', 'ча', 'при', 'та', 'ер', 'вы', 'ил', 'ком', 'от', 'пу', 'ло', 'ной', 'ре', 'ор', 'ст', 'ки', 'ед', 'ос', 'ть', 'ин', 'ного', 'на', 'ны', 'ду', 'ка', 'ем', 'еч', 'пр', 'их', 'да', 'па', 'бо', 'это', 'го', 'ла', 'ди', 'ни', 'ку', 'бы', 'об', 'за', 'ми', 'ен', 'ев', 'ес', 'си', 'ет', 'ит', 'мо', 'яв', 'по', 'ль', 'ии', 'ис', 'ля', 'из', 'не', 'ов', 'ел', 'ле', 'ро', 'ри', 'общ', 'ся', 'ра', 'уж', 'ко', 'ий', 'ты', 'те', 'ал', 'что', 'ну', 'му', 'са', 'ак', 'лу', 'ски', 'раз', 'во', 'де', 'ти', 'ств', 'но']\n"
     ]
    }
   ],
   "source": [
    "print(list(bpe_initialize(corpus_lenta, 5, 20)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Комментарий: кроме морфем и фрагментов слов, в списке появились отдельные частотные служебные слова: \"что\", \"раз\", \"это\". Самый длинный токен - \"ного\" с 4 символами."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 40,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['ан', 'гла', 'ского', 'прав', 'ской', 'бу', 'для', 'хо', 'ту', 'ма', 'ва', 'лю', 'еж', 'ру', 'се', 'сво', 'ется', 'его', 'пол', 'со', 'ско', 'до', 'под', 'ли', 'ци', 'га', 'су', 'ном', 'ных', 'жи', 'то', 'Как', 'милли', 'ник', 'ей', 'мож', 'ви', 'пи', 'ча', 'при', 'та', 'гра', 'ная', 'ер', 'ву', 'вы', 'ил', 'дол', 'би', 'ком', 'зи', 'Чеч', 'ает', 'от', 'пу', 'ло', 'ска', 'АН', 'ной', 'ре', 'ор', 'ст', '00', 'зы', 'ки', 'такж', 'На', 'ед', 'бли', 'ба', 'ос', 'ть', 'ин', 'ция', 'ного', 'ря', 'ав', 'на', 'ны', 'ду', 'кой', 'ка', 'ем', 'вя', 'вер', 'еч', 'пр', 'их', 'ме', 'да', 'па', 'ня', 'шени', 'бо', 'фи', 'России', 'ным', 'сообщ', 'Ин', 'это', 'св', 'этом', 'По', 'он', 'фор', 'ар', 'го', 'ла', 'ди', 'чи', 'ни', 'Интер', 'ят', 'гу', 'ку', 'бы', 'мы', 'ный', 'кра', 'об', 'за', 'ИА', 'ми', 'россий', 'ен', 'ную', 'ев', 'сообщает', 'ес', 'си', 'ет', 'года', 'ит', 'ез', 'цен', 'мо', 'яв', 'ствен', 'РИ', 'по', 'пер', 'челов', 'ль', 'ремя', 'од', 'ии', 'ющ', 'ис', 'ке', 'ля', 'из', 'ют', 'не', 'мен', '19', 'ов', 'тив', 'рас', 'ел', 'ле', 'ро', 'ек', 'ри', 'жа', 'общ', 'ся', 'ра', 'Мос', 'уж', 'ко', 'ий', 'ящ', 'ты', 'те', 'ды', 'ал', 'руп', 'ные', 'что', 'президен', 'сь', 'ения', 'ну', 'вш', 'му', 'са', 'ги', 'ак', 'лу', 'ры', 'Рос', 'ски', 'раз', 'во', 'де', 'Моск', 'ти', 'ств', 'сп', 'но']\n"
     ]
    }
   ],
   "source": [
    "print(list(bpe_initialize(corpus_lenta, 10, 20)))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### появились длинные отрывки частотных слов: \"челов\", \"президен\", \"России\". Самый длинный токен - \"сообщает\"."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 48,
   "metadata": {},
   "outputs": [],
   "source": [
    "final_vocab = bpe_initialize(corpus_lenta, 10, 50)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 42,
   "metadata": {},
   "outputs": [],
   "source": [
    "text = \"\"\"С помощью санкций против российских организаций администрация США \n",
    "пытается «пнуть и так находящиеся в плохой форме российско-американские отношения», \n",
    "заявил пресс-секретарь президента России Дмитрий Песков, передает корреспондент РБК. \n",
    "«Это очередной враждебный шаг по отношению к России. Можем только сожалеть, \n",
    "что очередная уходящая администрация США предпочитает пнуть и так находящиеся в плохой форме \n",
    "российско-американские отношения», — сказал Песков.\"\"\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 46,
   "metadata": {},
   "outputs": [],
   "source": [
    "def bpe_tokenize(text: str, vocab: set):\n",
    "    punct = re.compile(r'[ .,:!;+=?\"\"'']')\n",
    "    bag_of_tokens = []\n",
    "    text = re.sub(punct, \"\", text)\n",
    "    order = sorted(list(vocab), key=len, reverse=True)\n",
    "    for token in order:\n",
    "        if token in text:\n",
    "            bag_of_tokens.append(token)\n",
    "    return bag_of_tokens"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 49,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "['министра', 'против', 'ерикан', 'россий', 'оссии', 'пресс', 'помощ', 'ские', 'иден', 'ения', 'ется', 'шени', 'чер', 'ает', 'ент', 'пер', 'что', 'ски', 'мер', 'Рос', 'ход', 'фор', 'ной', 'ция', 'орг', 'раж', 'ный', 'со', 'ер', 'ой', 'от', 'щи', 'ка', 'ме', 'чи', 'ес', 'си', 'ит', 'ис', 'ек', 'ся', 'ра', 'ну', 'ак', 'ам', 'га', 'то', 'та', 'ше', 'ож', 'же', 'ло', 'аг', 'ст', 'ию', 'с-', 'ин', 'на', 'их', 'да', 'за', 'ми', 'по', 'од', 'ии', 'из', 'ри', 'ош', 'ал', 'ти', 'ан', 'ью', 'ом', 'ви', 'пе', 'ад', 'ил', 'ая', 'ор', 'ут', 'ть', 'ны', 'пр', 'пы', 'он', 'ен', 'ет', 'ез', 'яв', 'ро', 'ух', 'ий', 'ах', 'ощ', 'ск', 'аз', 'ов', 'се', 'ША', 'ци', 'зи', 'ив', 'ре', 'ки', 'ед', 'ос', 'ем', 'ар', 'ни', 'ох', 'ль', 'оч', 'ле', 'ко', 'са', 'ол', 'де', 'СШ', 'но']\n"
     ]
    }
   ],
   "source": [
    "print(bpe_tokenize(text, final_vocab))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Комментарий: при применении BPE без предварительной пословной токенизации много информации потенциально теряется"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Реализация TF-IDF"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "from tokenizers import CharBPETokenizer, Tokenizer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "from collections import Counter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 51,
   "metadata": {},
   "outputs": [],
   "source": [
    "dataset_ok['text'].to_csv('corpus_new.txt', index=None)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [],
   "source": [
    "tok_sub = CharBPETokenizer()\n",
    "tok_sub.train('corpus_new.txt', vocab_size=6000, min_frequency=10,)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['вся</w>',\n",
       " 'ду',\n",
       " 'ма</w>',\n",
       " 'в</w>',\n",
       " 'таком</w>',\n",
       " 'же</w>',\n",
       " 'поло',\n",
       " 'жени',\n",
       " 'и',\n",
       " '😁</w>']"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "tok_sub.encode(dataset_ok.loc[1, 'text']).tokens"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [],
   "source": [
    "from scipy.sparse import lil_matrix"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Подсчёт TF и DF"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [],
   "source": [
    "tokenized_texts = [Counter(tok_sub.encode(dataset_ok.loc[i, 'text']).tokens) for i in range(dataset_ok.shape[0])]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "metadata": {},
   "outputs": [],
   "source": [
    "voc = tok_sub.get_vocab()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 14,
   "metadata": {},
   "outputs": [],
   "source": [
    "document_frequency = dict()\n",
    "tokens = list(voc.keys())\n",
    "for term in tokens:\n",
    "    for count in tokenized_texts:\n",
    "        if term not in count:\n",
    "            continue\n",
    "        if term in document_frequency:\n",
    "            document_frequency[term] += 1\n",
    "        else:\n",
    "            document_frequency[term] = 1"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 15,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "16441"
      ]
     },
     "execution_count": 15,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "document_frequency['в</w>']"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Заполнение матрицы"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 16,
   "metadata": {},
   "outputs": [],
   "source": [
    "tf_idf_matrix = lil_matrix((dataset_ok.shape[0], 6000), dtype=np.float32)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 17,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<img src=\"https://miro.medium.com/max/3604/1*qQgnyPLDIkUmeZKN2_ZWbQ.png\" width=\"500\" height=\"500\"/>"
      ],
      "text/plain": [
       "<IPython.core.display.Image object>"
      ]
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "Image(url=\"https://miro.medium.com/max/3604/1*qQgnyPLDIkUmeZKN2_ZWbQ.png\",\n",
    "     width=500, height=500)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Пользуемся индексами в словаре в качестве индексов колонок"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 18,
   "metadata": {},
   "outputs": [],
   "source": [
    "n_docs = dataset_ok.shape[0] + 1 # for computing idf\n",
    "for index in range(len(tokenized_texts)):\n",
    "    count = tokenized_texts[index]\n",
    "    for item in count.keys():\n",
    "        col_index = voc[item]\n",
    "        tf = count[item] / sum(count.values())\n",
    "        idf = n_docs / (document_frequency[item] + 1)\n",
    "        result = tf * np.log1p(idf)\n",
    "        tf_idf_matrix[index, col_index] = result"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Обучение классификатора"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 19,
   "metadata": {},
   "outputs": [],
   "source": [
    "y = np.array(dataset_ok.label)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [],
   "source": [
    "from sklearn.model_selection import cross_val_score\n",
    "from sklearn.model_selection import StratifiedKFold"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 94,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([0.77072889, 0.77983193, 0.79112207, 0.77533286, 0.76180761])"
      ]
     },
     "execution_count": 94,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "clf_log = LogisticRegression(C=1, max_iter=120, n_jobs=3)\n",
    "cross_val_score(clf_log, tf_idf_matrix, y, scoring=\"f1_macro\", cv=StratifiedKFold(n_splits=5, shuffle=True))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([0.58090091, 0.56539705, 0.54981246, 0.59286224, 0.59702563])"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "clf_NB = MultinomialNB()\n",
    "cross_val_score(clf_NB, tf_idf_matrix, y, scoring=\"f1_macro\", cv=StratifiedKFold(n_splits=5, shuffle=True))"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Комментарий: поскольку используется метрика \"f1_macro\", результаты выглядят плохими. Тем не менее логистическая регрессия превосходит по результату классификатор, обученный на семинаре, а наивный байес показывает сходный с ним по качеству результат."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 22,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "array([0.50043239, 0.50446208, 0.51254333, 0.50846296, 0.51108045])"
      ]
     },
     "execution_count": 22,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "cross_val_score(clf, X, y, scoring=\"f1_macro\", cv=StratifiedKFold(n_splits=5, shuffle=True))"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.8.3"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 4
}