scripts/ngram_grammar.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "ngram_grammar",
      "provenance": [],
      "collapsed_sections": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "widgets": {
      "application/vnd.jupyter.widget-state+json": {
        "5ea11151ccad423a86260e537ae324c1": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HBoxModel",
          "state": {
            "_view_name": "HBoxView",
            "_dom_classes": [],
            "_model_name": "HBoxModel",
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "box_style": "",
            "layout": "IPY_MODEL_6399dbf39b7b4a28ac0b3432e7668f90",
            "_model_module": "@jupyter-widgets/controls",
            "children": [
              "IPY_MODEL_71cb3b9d9aa14a498771d00920a28fc4",
              "IPY_MODEL_3197b8e797f846b38313a95a0f8bb673"
            ]
          }
        },
        "6399dbf39b7b4a28ac0b3432e7668f90": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "71cb3b9d9aa14a498771d00920a28fc4": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "IntProgressModel",
          "state": {
            "_view_name": "ProgressView",
            "style": "IPY_MODEL_968fff16db3c4aef96b907ddaeb3e026",
            "_dom_classes": [],
            "description": "",
            "_model_name": "IntProgressModel",
            "bar_style": "success",
            "max": 1,
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "value": 1,
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "orientation": "horizontal",
            "min": 0,
            "description_tooltip": null,
            "_model_module": "@jupyter-widgets/controls",
            "layout": "IPY_MODEL_2dab39a248f344ca86831e2d3115ab9a"
          }
        },
        "3197b8e797f846b38313a95a0f8bb673": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "HTMLModel",
          "state": {
            "_view_name": "HTMLView",
            "style": "IPY_MODEL_9978ca85324742c09df154540fd46ce4",
            "_dom_classes": [],
            "description": "",
            "_model_name": "HTMLModel",
            "placeholder": "​",
            "_view_module": "@jupyter-widgets/controls",
            "_model_module_version": "1.5.0",
            "value": "3it [00:00, 27.81it/s]",
            "_view_count": null,
            "_view_module_version": "1.5.0",
            "description_tooltip": null,
            "_model_module": "@jupyter-widgets/controls",
            "layout": "IPY_MODEL_cc36b6f0c4924316bb9df809ea7b4e1b"
          }
        },
        "968fff16db3c4aef96b907ddaeb3e026": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "ProgressStyleModel",
          "state": {
            "_view_name": "StyleView",
            "_model_name": "ProgressStyleModel",
            "description_width": "",
            "_view_module": "@jupyter-widgets/base",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.2.0",
            "bar_color": null,
            "_model_module": "@jupyter-widgets/controls"
          }
        },
        "2dab39a248f344ca86831e2d3115ab9a": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        },
        "9978ca85324742c09df154540fd46ce4": {
          "model_module": "@jupyter-widgets/controls",
          "model_name": "DescriptionStyleModel",
          "state": {
            "_view_name": "StyleView",
            "_model_name": "DescriptionStyleModel",
            "description_width": "",
            "_view_module": "@jupyter-widgets/base",
            "_model_module_version": "1.5.0",
            "_view_count": null,
            "_view_module_version": "1.2.0",
            "_model_module": "@jupyter-widgets/controls"
          }
        },
        "cc36b6f0c4924316bb9df809ea7b4e1b": {
          "model_module": "@jupyter-widgets/base",
          "model_name": "LayoutModel",
          "state": {
            "_view_name": "LayoutView",
            "grid_template_rows": null,
            "right": null,
            "justify_content": null,
            "_view_module": "@jupyter-widgets/base",
            "overflow": null,
            "_model_module_version": "1.2.0",
            "_view_count": null,
            "flex_flow": null,
            "width": null,
            "min_width": null,
            "border": null,
            "align_items": null,
            "bottom": null,
            "_model_module": "@jupyter-widgets/base",
            "top": null,
            "grid_column": null,
            "overflow_y": null,
            "overflow_x": null,
            "grid_auto_flow": null,
            "grid_area": null,
            "grid_template_columns": null,
            "flex": null,
            "_model_name": "LayoutModel",
            "justify_items": null,
            "grid_row": null,
            "max_height": null,
            "align_content": null,
            "visibility": null,
            "align_self": null,
            "height": null,
            "min_height": null,
            "padding": null,
            "grid_auto_rows": null,
            "grid_gap": null,
            "max_width": null,
            "order": null,
            "_view_module_version": "1.2.0",
            "grid_template_areas": null,
            "object_position": null,
            "object_fit": null,
            "grid_auto_columns": null,
            "margin": null,
            "display": null,
            "left": null
          }
        }
      }
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "TORwi2xu8fzA",
        "colab_type": "text"
      },
      "source": [
        "В этом блокноте я предпринял попытку улучшить общую модель исправления ошибок: научиться исправлять ошибки на \"не/ни\". Хотел попробовать и опечатки, но не успел. \n",
        "\n",
        "Как это было сделано:\n",
        "\n",
        "* Чтобы не возиться с машинным обучением, скачал готовые словные N-граммы из НКРЯ, и построил из них языковую модель - да-да, старую добрую \"статистическую\" языковую модель со сглаживанием. Нечто подобное я пробовал ещё два года назад (https://habr.com/ru/post/346578/), и оно зашло норм даже после обучения на неуместном корпусе. А НКРЯ, кажется, достаточно литературен, чтобы быть похожим на выборку из этой конкретной задачи. \n",
        "* Языковой моделью я скорил гипотезы, генерируемые вручную: \"не\" и \"ни\" замеяются друг на друга, отклеиваются от следующего слова или приклеиваются к нему. Попробовал сделать ещё генерилку всех редактур отдельного слова, соответствующих изменению одного символа, но не успел засабмитить. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Z1PPNsimQMa3",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!wget  https://github.com/datasouls/nlp-hack-2019/raw/master/data/grammar_train.csv"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "ONZhb-jKQuk1",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import pandas as pd\n",
        "import numpy as np"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "_9tT0TMMQZ8C",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "train_orig = pd.read_csv('grammar_train.csv')"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "N1fTlYkPQ0-U",
        "colab_type": "code",
        "outputId": "c53081b1-cfd2-4439-8a7a-d25d745309fd",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 1000
        }
      },
      "source": [
        "pd.options.display.max_colwidth = 300\n",
        "train_orig"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>id</th>\n",
              "      <th>correct_sentence</th>\n",
              "      <th>sentence_with_a_mistake</th>\n",
              "      <th>mistake_type</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>0</td>\n",
              "      <td>И сиял оскал его белее того снега!</td>\n",
              "      <td>И сиял оскал его белее того снега!</td>\n",
              "      <td>нет ошибки</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>1</td>\n",
              "      <td>Я заметил, что наш кулич был гораздо белее того, какой был у соседей.</td>\n",
              "      <td>Я заметил, что наш кулич был гораздо белее того, какой был у соседей.</td>\n",
              "      <td>нет ошибки</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>2</td>\n",
              "      <td>Но сегодня ей предстояло везти сына на тренировку по футболу.</td>\n",
              "      <td>Но сегодня ей предстояло везти сына на тренировку по футболу.</td>\n",
              "      <td>нет ошибки</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>3</td>\n",
              "      <td>Если делать и то и другое, то всё получится плохо.</td>\n",
              "      <td>Если делать и то и другое, то всё получиться плохо.</td>\n",
              "      <td>тся-ться</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>4</td>\n",
              "      <td>Все удалится без пересборки индекса.</td>\n",
              "      <td>Все удалиться без пересборки индекса.</td>\n",
              "      <td>тся-ться</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5</th>\n",
              "      <td>5</td>\n",
              "      <td>Белки должны увеличиться почти в 2 раза.</td>\n",
              "      <td>Белки должны увеличится почти в 2 раза.</td>\n",
              "      <td>тся-ться</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>6</th>\n",
              "      <td>6</td>\n",
              "      <td>Очевидно, им нравится подвергать себя опасности.</td>\n",
              "      <td>Очевидно, им нравиться подвергать себя опасности.</td>\n",
              "      <td>тся-ться</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7</th>\n",
              "      <td>7</td>\n",
              "      <td>Впрочем, чтобы разобраться, на каком слоге стоит ударение в каждом случае, приходится тщательно вслушиваться.</td>\n",
              "      <td>Впрочем, чтобы разобраться, на каком слоге стоит ударение в каждом случае, приходиться тщательно вслушиваться.</td>\n",
              "      <td>тся-ться</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>8</th>\n",
              "      <td>8</td>\n",
              "      <td>К нему надо как к вазе относиться.</td>\n",
              "      <td>К нему надо как к вазе относится.</td>\n",
              "      <td>тся-ться</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>9</th>\n",
              "      <td>9</td>\n",
              "      <td>Да не надо тебе краситься, вот лишь бы что-нибудь сделать с собой.</td>\n",
              "      <td>Да не надо тебе красится, вот лишь бы что-нибудь сделать с собой.</td>\n",
              "      <td>тся-ться</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>10</th>\n",
              "      <td>10</td>\n",
              "      <td>А по аналогичному запросу все находится.</td>\n",
              "      <td>А по аналогичному запросу все находиться.</td>\n",
              "      <td>тся-ться</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>11</th>\n",
              "      <td>11</td>\n",
              "      <td>Однако в депеше говорится, что надо срочно ехать</td>\n",
              "      <td>Однако в депеше говориться, что надо срочно ехать</td>\n",
              "      <td>тся-ться</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>12</th>\n",
              "      <td>12</td>\n",
              "      <td>Следующим летом, если удастся, тоже поедем туда</td>\n",
              "      <td>Следующим летом, если удасться, тоже поедем туда</td>\n",
              "      <td>тся-ться без пар</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>13</th>\n",
              "      <td>13</td>\n",
              "      <td>Это совершенно скандальная информация.</td>\n",
              "      <td>Это совершено скандальная информация.</td>\n",
              "      <td>н-нн</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>14</th>\n",
              "      <td>14</td>\n",
              "      <td>Вы можете запретить ему выходить одному на улицу поздно вечером, поскольку это опасно.</td>\n",
              "      <td>Вы можете запретить ему выходить одному на улицу поздно веером, поскольку это опасно.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>15</th>\n",
              "      <td>15</td>\n",
              "      <td>Вчера вечером шёл снег.</td>\n",
              "      <td>Вчера веером шёл снег.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>16</th>\n",
              "      <td>16</td>\n",
              "      <td>Буду с радостью прочитывать ваши предложения по поводу группы и её развития!</td>\n",
              "      <td>Буду с радостью прочитывать вши предложения по поводу группы и её развития!</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>17</th>\n",
              "      <td>17</td>\n",
              "      <td>Вероятно, оба ваши предположения не лишены основания.</td>\n",
              "      <td>Вероятно, оба вши предположения не лишены основания.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>18</th>\n",
              "      <td>18</td>\n",
              "      <td>Я без колебаний велел бы его арестовать.</td>\n",
              "      <td>Я бес колебаний велел бы его арестовать.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>19</th>\n",
              "      <td>19</td>\n",
              "      <td>Он сообщил открытым текстом, но без подробностей.</td>\n",
              "      <td>Он сообщил открытым текстом, но бес подробностей.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>20</th>\n",
              "      <td>20</td>\n",
              "      <td>В результате получатся удлинённые трубочки, из которых уже можно плести без проблем.</td>\n",
              "      <td>В результате получатся удлинённые трубочки, из которых уже можно плести бес проблем.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>21</th>\n",
              "      <td>21</td>\n",
              "      <td>Более того, это не принято в цивилизованном обществе</td>\n",
              "      <td>Белее того, это не принято в цивилизованном обществе</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>22</th>\n",
              "      <td>22</td>\n",
              "      <td>Несмотря на указанные обстоятельства, предприниматель не издал приказ о приеме на работу названного работника, не заключил с ней трудовой договор, белее того, узнав о беременности работника попросил на работу не выходить.</td>\n",
              "      <td>Несмотря на указанные обстоятельства, предприниматель не издал приказ о приеме на работу названного работника, не заключил с ней трудовой договор, более того, узнав о беременности работника попросил на работу не выходить.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>23</th>\n",
              "      <td>23</td>\n",
              "      <td>Есть лишь более или менее правдоподобные теории и наблюдения.</td>\n",
              "      <td>Есть лишь белее или менее правдоподобные теории и наблюдения.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>24</th>\n",
              "      <td>24</td>\n",
              "      <td>Этому теплолюбивому растению у нас дома просто не хватает тепла и света, столетник практически не цветёт и имеет более чем скромные по сравнению с африканским размеры.</td>\n",
              "      <td>Этому теплолюбивому растению у нас дома просто не хватает тепла и света, столетник практически не цветёт и имеет белее чем скромные по сравнению с африканским размеры.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>25</th>\n",
              "      <td>25</td>\n",
              "      <td>Он считается без вести пропавшим.</td>\n",
              "      <td>Он считается без везти пропавшим.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>26</th>\n",
              "      <td>26</td>\n",
              "      <td>Ушлый таксист собрался везти явного провинциала окружным путём.</td>\n",
              "      <td>Ушлый таксист собрался вести явного провинциала окружным путём.</td>\n",
              "      <td>опечатки из списка</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>27</th>\n",
              "      <td>27</td>\n",
              "      <td>Полученную трубочку разрезали на кусочки нужной длины.</td>\n",
              "      <td>Полученную трубочку разрезали на кусочки нужной длинны.</td>\n",
              "      <td>опечатки прочие</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>28</th>\n",
              "      <td>28</td>\n",
              "      <td>Давным-давно, в прошлом веке, моему брату было лет 13 и учился он в 7-ом классе.</td>\n",
              "      <td>Давным-давно, в пошлом веке, моему брату было лет 13 и учился он в 7-ом классе.</td>\n",
              "      <td>опечатки прочие</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>29</th>\n",
              "      <td>29</td>\n",
              "      <td>В течение года этот показатель у Яндекса опускался ниже Гугла.</td>\n",
              "      <td>В течении года этот показатель у Яндекса опускался ниже Гугла.</td>\n",
              "      <td>в течение</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>30</th>\n",
              "      <td>30</td>\n",
              "      <td>Дело тут не в их нежелании работать или лени.</td>\n",
              "      <td>Дело тут ни в их нежелании работать или лени.</td>\n",
              "      <td>не/ни-1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>31</th>\n",
              "      <td>31</td>\n",
              "      <td>Прошло много лет, но он нисколько не изменился.</td>\n",
              "      <td>Прошло много лет, но он несколько не изменился.</td>\n",
              "      <td>не/ни-2</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>32</th>\n",
              "      <td>32</td>\n",
              "      <td>Никто не может противостоять тому, что прописано судьбой, дорогая.</td>\n",
              "      <td>Не кто не может противостоять тому, что прописано судьбой, дорогая.</td>\n",
              "      <td>не/ни-3</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>33</th>\n",
              "      <td>33</td>\n",
              "      <td>Людей ничто не учит!</td>\n",
              "      <td>Людей ни что не учит!</td>\n",
              "      <td>не,ни-4</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>34</th>\n",
              "      <td>34</td>\n",
              "      <td>Не давайте никому морочить вам голову</td>\n",
              "      <td>Не давайте ни кому морочить вам голову</td>\n",
              "      <td>не,ни-4</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>35</th>\n",
              "      <td>35</td>\n",
              "      <td>Нельзя надевать одно и то же для повседневной работы и для важной встречи.</td>\n",
              "      <td>Нельзя надевать одно и тоже для повседневной работы и для важной встречи.</td>\n",
              "      <td>тоже, чтоб</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>36</th>\n",
              "      <td>36</td>\n",
              "      <td>В одно и то же озеро можно заходить и выходить хоть тысячу раз.</td>\n",
              "      <td>В одно и тоже озеро можно заходить и выходить хоть тысячу раз.</td>\n",
              "      <td>тоже, чтоб</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>37</th>\n",
              "      <td>37</td>\n",
              "      <td>Из-за необычно обильных дождей степь в этом году цвела особенно пышно.</td>\n",
              "      <td>Из за необычно обильных дождей степь в этом году цвела особенно пышно.</td>\n",
              "      <td>из-за</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38</th>\n",
              "      <td>38</td>\n",
              "      <td>С остальными, наверное, как-то так же.</td>\n",
              "      <td>С остальными, наверное, как то так же.</td>\n",
              "      <td>то, таки</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>39</th>\n",
              "      <td>39</td>\n",
              "      <td>Иначе все это бестолку.</td>\n",
              "      <td>Иначе все это бес толку.</td>\n",
              "      <td>пробел в наречиях</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>40</th>\n",
              "      <td>40</td>\n",
              "      <td>Письмо с фотографиями дошло без вложений.</td>\n",
              "      <td>Письмо фотографиями дошло без вложений.</td>\n",
              "      <td>пропуск предлога</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>41</th>\n",
              "      <td>41</td>\n",
              "      <td>Прага на целых 10 градусов южнее родного Питера.</td>\n",
              "      <td>Прага целых 10 градусов южнее родного Питера.</td>\n",
              "      <td>пропуск предлога</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>42</th>\n",
              "      <td>42</td>\n",
              "      <td>Физический выход человека в космос пока ещё не означает возможность его влияния на природу в мегамасштабах.</td>\n",
              "      <td>Физический выход человека в космос пока ещё не означает возможность его влияния на природу в мега масштабах.</td>\n",
              "      <td>сложное слово</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "    id  ...        mistake_type\n",
              "0    0  ...          нет ошибки\n",
              "1    1  ...          нет ошибки\n",
              "2    2  ...          нет ошибки\n",
              "3    3  ...            тся-ться\n",
              "4    4  ...            тся-ться\n",
              "5    5  ...            тся-ться\n",
              "6    6  ...            тся-ться\n",
              "7    7  ...            тся-ться\n",
              "8    8  ...            тся-ться\n",
              "9    9  ...            тся-ться\n",
              "10  10  ...            тся-ться\n",
              "11  11  ...            тся-ться\n",
              "12  12  ...    тся-ться без пар\n",
              "13  13  ...                н-нн\n",
              "14  14  ...  опечатки из списка\n",
              "15  15  ...  опечатки из списка\n",
              "16  16  ...  опечатки из списка\n",
              "17  17  ...  опечатки из списка\n",
              "18  18  ...  опечатки из списка\n",
              "19  19  ...  опечатки из списка\n",
              "20  20  ...  опечатки из списка\n",
              "21  21  ...  опечатки из списка\n",
              "22  22  ...  опечатки из списка\n",
              "23  23  ...  опечатки из списка\n",
              "24  24  ...  опечатки из списка\n",
              "25  25  ...  опечатки из списка\n",
              "26  26  ...  опечатки из списка\n",
              "27  27  ...     опечатки прочие\n",
              "28  28  ...     опечатки прочие\n",
              "29  29  ...           в течение\n",
              "30  30  ...             не/ни-1\n",
              "31  31  ...             не/ни-2\n",
              "32  32  ...             не/ни-3\n",
              "33  33  ...             не,ни-4\n",
              "34  34  ...             не,ни-4\n",
              "35  35  ...          тоже, чтоб\n",
              "36  36  ...          тоже, чтоб\n",
              "37  37  ...               из-за\n",
              "38  38  ...            то, таки\n",
              "39  39  ...   пробел в наречиях\n",
              "40  40  ...    пропуск предлога\n",
              "41  41  ...    пропуск предлога\n",
              "42  42  ...       сложное слово\n",
              "\n",
              "[43 rows x 4 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 4
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "GWy2vgU2dZvv",
        "colab_type": "text"
      },
      "source": [
        "http://www.ruscorpora.ru/new/corpora-freq.html"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nyzhdCrLXQ37",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "!wget http://www.ruscorpora.ru/new/ngrams/1grams-3.zip\n",
        "!wget http://www.ruscorpora.ru/new/ngrams/2grams-3.zip\n",
        "!wget http://www.ruscorpora.ru/new/ngrams/3grams-3.zip\n",
        "!wget http://www.ruscorpora.ru/new/ngrams/4grams-2.zip\n",
        "!wget http://www.ruscorpora.ru/new/ngrams/5grams-2.zip"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "x2CZl74Udc-H",
        "colab_type": "code",
        "outputId": "1cc6537b-611c-4fd1-b853-01436d5b34b5",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 187
        }
      },
      "source": [
        "!unzip 1grams-3.zip\n",
        "!unzip 2grams-3.zip\n",
        "!unzip 3grams-3.zip\n",
        "!unzip 4grams-2.zip\n",
        "!unzip 5grams-2.zip"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Archive:  1grams-3.zip\n",
            "  inflating: 1grams-3.txt            \n",
            "Archive:  2grams-3.zip\n",
            "  inflating: 2grams-3.txt            \n",
            "Archive:  3grams-3.zip\n",
            "  inflating: 3grams-3.txt            \n",
            "Archive:  4grams-2.zip\n",
            "  inflating: 4grams-2.txt            \n",
            "Archive:  5grams-2.zip\n",
            "  inflating: 5grams-2.txt            \n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "xwsUXfwjdsCZ",
        "colab_type": "code",
        "outputId": "c986a66c-2ea2-4711-97a9-300b63a59f04",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 68
        }
      },
      "source": [
        "!ls"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "1grams-3.txt  2grams-3.zip  3grams-3.zip  5grams-2.txt\t     sample_data\n",
            "1grams-3.zip  2HDwUBO\t    4grams-2.txt  5grams-2.zip\t     tsya_example.csv\n",
            "2grams-3.txt  3grams-3.txt  4grams-2.zip  grammar_train.csv\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "wzu1PCXee17L",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "p = '.'\n",
        "import os"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tFIRFbEaeowp",
        "colab_type": "code",
        "outputId": "8dd7f74c-0f13-4415-c1cf-37b29109c404",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 102
        }
      },
      "source": [
        "os.listdir(p)\n",
        "grams_lines = {}\n",
        "for fn in os.listdir(p):\n",
        "    if not fn.endswith('txt'):\n",
        "        continue\n",
        "    print(fn)\n",
        "    f0 = int(fn[0])\n",
        "    with open(os.path.join(p, fn), encoding='utf-8') as f:\n",
        "        grams_lines[f0] = [l.split('\\t') for l in f.readlines()]"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "5grams-2.txt\n",
            "3grams-3.txt\n",
            "1grams-3.txt\n",
            "4grams-2.txt\n",
            "2grams-3.txt\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8ltJ89D4gwRK",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from collections import Counter"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "pNXqdDUohWpo",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from tqdm.auto import tqdm, trange"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab_type": "code",
        "id": "iy2kxoovhjEF",
        "colab": {}
      },
      "source": [
        "def get_ngram(l):\n",
        "    l = [w.strip() for w in l[1:]]\n",
        "    return '_'.join([w for w in l if w])"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "fg-b65Rg53sz",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "del grams_lines"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "7DT6W7Ap8-G-",
        "colab_type": "text"
      },
      "source": [
        "Создаём словарики, мапящие n-грамму в её частоту. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "PwupMKi0e4Cl",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "grams_freq = {\n",
        "    n: {\n",
        "        get_ngram(l): int(l[0])\n",
        "        for l in d\n",
        "    }\n",
        "    for n, d in grams_lines.items()\n",
        "}"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "LO90gEFOnWQE",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "grams_freq[0] = {'': sum(grams_freq[1].values())}"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "z27mU7aX6P1X",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from copy import deepcopy"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "u9XFca4k7GXr",
        "colab_type": "code",
        "outputId": "585ad79b-aee0-4ca8-e5e6-77704ddee588",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "np.mean([n >= 10 for n in grams_freq[3].values()])"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "0.15801356341444028"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 287
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qHgVAzr19DfS",
        "colab_type": "text"
      },
      "source": [
        "Чтобы получившаяся моделька была полегче, в итоге я решил обойтись 1-3 граммами, и взял только те, которые встречались в НКРЯ хотя бы 10 раз. Понятно, что это просаживает качество, но важнее было уложиться в лимиты по времени и памяти. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "E_DIs_yHhscH",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "gf3 = {n: {k: v for k, v in grams_freq[n].items() if v >=10 } for n in range(4)}"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "6QFjuD8f6e_D",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import pickle\n",
        "with open('gf3.pkl', 'wb') as f:\n",
        "    pickle.dump(gf3, f)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Xj8QE8DafuQ3",
        "colab_type": "code",
        "outputId": "cd7c9826-16af-4e49-eb0b-bc587161379f",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 51
        }
      },
      "source": [
        "toks = 'Дело тут ни в их нежелании работать или лени'.lower().split()\n",
        "print(toks)\n",
        "toks2 = toks[:]\n",
        "toks2[2] = 'не'\n",
        "print(toks2)"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "['дело', 'тут', 'ни', 'в', 'их', 'нежелании', 'работать', 'или', 'лени']\n",
            "['дело', 'тут', 'не', 'в', 'их', 'нежелании', 'работать', 'или', 'лени']\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "8Wz_kQBdqSU2",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from copy import copy"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "slPC_fHrCd8E",
        "colab_type": "text"
      },
      "source": [
        "Эта функция создаёт гипотезы, как можно изменить \"не\" и \"ни\" в предложении. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "nzI7CPouplGu",
        "colab_type": "code",
        "outputId": "3eeefb9f-cd06-4146-c7dd-c40ba71442c3",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "def make_hypotheses(tokens, result=None, max_changes=2):\n",
        "    if max_changes <= 0:\n",
        "        return\n",
        "    tokens = tuple(tokens)\n",
        "    if result is None:\n",
        "        result = {tuple(tokens)}\n",
        "    elif tokens in result:\n",
        "        return\n",
        "    result.add(tokens)\n",
        "    for i, token in enumerate(tokens):\n",
        "        if token == 'не' or token == 'ни':\n",
        "            make_hypotheses(tuple(tokens[:i] + ('ни',) + tokens[(i+1):]), result=result, max_changes=max_changes-1)\n",
        "            make_hypotheses(tuple(tokens[:i] + ('не',) + tokens[(i+1):]), result=result, max_changes=max_changes-1)\n",
        "            if i + 1 < len(tokens) and len(tokens[i+1]) >= 2:  # exclude 'нив'\n",
        "                make_hypotheses(tuple(tokens[:i] + ('ни' + tokens[i+1],) + tokens[(i+2):]), result=result, max_changes=max_changes-1)\n",
        "                make_hypotheses(tuple(tokens[:i] + ('не' + tokens[i+1],) + tokens[(i+2):]), result=result, max_changes=max_changes-1)\n",
        "        elif token.startswith('не') or token.startswith('ни'):\n",
        "             make_hypotheses(tuple(tokens[:i] + ('не', token[2:]) + tokens[(i+1):]), result=result, max_changes=max_changes-1)\n",
        "             make_hypotheses(tuple(tokens[:i] + ('ни', token[2:]) + tokens[(i+1):]), result=result, max_changes=max_changes-1)\n",
        "    return result\n",
        "\n",
        "len(make_hypotheses(tuple(toks)))"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "14"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 244
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "L6hUfZBu7y4C",
        "colab_type": "code",
        "outputId": "4c68d0a8-43cd-4b85-d8ad-8c7d28564b9a",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "gf3.keys()"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "dict_keys([0, 1, 2, 3])"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 295
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "XOa9vYlwCitH",
        "colab_type": "text"
      },
      "source": [
        "А эта функция высчитывает вероятность каждого предложения по n-грамной языковой модели. \n",
        "\n",
        "Я смешиваю n c 1 до N, накапливая числители и знаменатели для разных n с соответствующими коэффициентами. Коэффициенты точно стоило потюнить на каком-нибудь датасете, но я как-то не догадался, и ограничился интуицией и ручным подкручиванием. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "m-qa6hHQhvez",
        "colab_type": "code",
        "outputId": "47b3910a-bfd7-49d1-b2fb-ee573c1adea6",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 119
        }
      },
      "source": [
        "no_count = 1e-10\n",
        "no_count2 = 1.0\n",
        "\n",
        "order_weights = [None, 0.001, 0.01, 100, 1000, 10000]\n",
        "\n",
        "\n",
        "def get_log_proba(toks, order=3, prnt=False, grams=gf3):\n",
        "    log_proba = 1.0\n",
        "    ps = []\n",
        "    for i, word in enumerate(toks):\n",
        "        num = 1e-20\n",
        "        den = 1e-10\n",
        "        for n in range(1, order+1):\n",
        "            if i+1 >= n:\n",
        "                num += order_weights[n] * grams[n].get('_'.join(toks[(i-n+1):(i+1)]), no_count)\n",
        "                den += order_weights[n] * grams[n-1].get('_'.join(toks[(i-n+1):(i)]), no_count2)    \n",
        "        p = num / den\n",
        "        if prnt:\n",
        "            print(num, den, '_'.join(toks[(i-1+1):(i+1)]), p)\n",
        "        ps.append(np.log(p)) \n",
        "        log_proba += np.log(p)\n",
        "    if prnt:\n",
        "        print(ps)\n",
        "    return log_proba\n",
        "\n",
        "# print(get_log_proba(toks, prnt=True))\n",
        "print(get_log_proba('людей ни что неучит'.split(), prnt=True))"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "100.77 190827.1740000001 людей 0.0005280694457069304\n",
            "286.224 191834.8740000001 ни 0.001492033195173886\n",
            "2066.03800001 199983.1140000001 что 0.0103310622516359\n",
            "1.000110000001e-08 230068.95400000009 неучит 4.347001116895588e-14\n",
            "[-7.546282756946698, -6.507615528672005, -4.572600169420477, -30.766705092975215]\n",
            "-48.3932035480144\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "F7nlmUpys53e",
        "colab_type": "code",
        "outputId": "1bdb16dc-1358-4e7d-e860-0ce4b9acfd52",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 85
        }
      },
      "source": [
        "!pip install textdistance"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Collecting textdistance\n",
            "  Downloading https://files.pythonhosted.org/packages/3f/18/31397b687f50ffae65469175f07faa68f288e27fcd8716276004c42e5637/textdistance-4.1.5-py3-none-any.whl\n",
            "Installing collected packages: textdistance\n",
            "Successfully installed textdistance-4.1.5\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "udm_3JbQs30U",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "import textdistance"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "onzNjKU_s9y_",
        "colab_type": "code",
        "outputId": "7a9f8a74-7f32-434a-a4be-eaee2cc06e62",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        }
      },
      "source": [
        "textdistance.levenshtein('не в', 'нив')"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/plain": [
              "2"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 123
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "RkD-eexGvPEr",
        "colab_type": "code",
        "outputId": "3b18e3d0-450e-4772-9a36-001397b666c8",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 204
        }
      },
      "source": [
        "neni = train_orig[train_orig.mistake_type.str.contains('не.ни')]\n",
        "neni\n"
      ],
      "execution_count": 0,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>id</th>\n",
              "      <th>correct_sentence</th>\n",
              "      <th>sentence_with_a_mistake</th>\n",
              "      <th>mistake_type</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>30</th>\n",
              "      <td>30</td>\n",
              "      <td>Дело тут не в их нежелании работать или лени.</td>\n",
              "      <td>Дело тут ни в их нежелании работать или лени.</td>\n",
              "      <td>не/ни-1</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>31</th>\n",
              "      <td>31</td>\n",
              "      <td>Прошло много лет, но он нисколько не изменился.</td>\n",
              "      <td>Прошло много лет, но он несколько не изменился.</td>\n",
              "      <td>не/ни-2</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>32</th>\n",
              "      <td>32</td>\n",
              "      <td>Никто не может противостоять тому, что прописано судьбой, дорогая.</td>\n",
              "      <td>Не кто не может противостоять тому, что прописано судьбой, дорогая.</td>\n",
              "      <td>не/ни-3</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>33</th>\n",
              "      <td>33</td>\n",
              "      <td>Людей ничто не учит!</td>\n",
              "      <td>Людей ни что не учит!</td>\n",
              "      <td>не,ни-4</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>34</th>\n",
              "      <td>34</td>\n",
              "      <td>Не давайте никому морочить вам голову</td>\n",
              "      <td>Не давайте ни кому морочить вам голову</td>\n",
              "      <td>не,ни-4</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "    id  ... mistake_type\n",
              "30  30  ...      не/ни-1\n",
              "31  31  ...      не/ни-2\n",
              "32  32  ...      не/ни-3\n",
              "33  33  ...      не,ни-4\n",
              "34  34  ...      не,ни-4\n",
              "\n",
              "[5 rows x 4 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 150
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Utspt0ooMBXv",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 142
        },
        "outputId": "757bc619-f9b5-49e1-a052-7582c2b2c1a8"
      },
      "source": [
        "this = train_orig[train_orig.mistake_type.str.contains('то')]\n",
        "this"
      ],
      "execution_count": 382,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>id</th>\n",
              "      <th>correct_sentence</th>\n",
              "      <th>sentence_with_a_mistake</th>\n",
              "      <th>mistake_type</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>35</th>\n",
              "      <td>35</td>\n",
              "      <td>Нельзя надевать одно и то же для повседневной работы и для важной встречи.</td>\n",
              "      <td>Нельзя надевать одно и тоже для повседневной работы и для важной встречи.</td>\n",
              "      <td>тоже, чтоб</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>36</th>\n",
              "      <td>36</td>\n",
              "      <td>В одно и то же озеро можно заходить и выходить хоть тысячу раз.</td>\n",
              "      <td>В одно и тоже озеро можно заходить и выходить хоть тысячу раз.</td>\n",
              "      <td>тоже, чтоб</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>38</th>\n",
              "      <td>38</td>\n",
              "      <td>С остальными, наверное, как-то так же.</td>\n",
              "      <td>С остальными, наверное, как то так же.</td>\n",
              "      <td>то, таки</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "    id  ... mistake_type\n",
              "35  35  ...   тоже, чтоб\n",
              "36  36  ...   тоже, чтоб\n",
              "38  38  ...     то, таки\n",
              "\n",
              "[3 rows x 4 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 382
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tpVdq3SCzpPP",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "not_neni = train_orig[~train_orig.mistake_type.str.contains('не.ни')]"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "zfnx7oxRvx8m",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "from nltk import wordpunct_tokenize"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "S91NjTXbDBMr",
        "colab_type": "text"
      },
      "source": [
        "Одного скора языковой модели недостаточно: надо проверять, насколько результирующее предложение далеко от оригинального, т.к. вообще-то грамматически ошибки - явление очень редкое, и обычно не случается много их. Я подобрал отдельный коэффициент, штрафующий за каждый балл расстояния Левенштейна между старым и новым текстом. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "WFHJ5t4ozySs",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def rank_hypotheses(toks, hypotheses, grams, leven_penalty=0.2, order=5):\n",
        "    scores = []\n",
        "    for hypo in hypotheses:\n",
        "        scores.append([' '.join(hypo), get_log_proba(hypo, order=order, grams=grams), len(hypo)])\n",
        "\n",
        "    d = pd.DataFrame(scores)\n",
        "    d.columns = ['text', 'lm', 'n']\n",
        "    d['leven'] = d.text.apply(lambda x: textdistance.levenshtein(x, ' '.join(toks)))\n",
        "    d['penalty'] = np.log(leven_penalty) * d.leven\n",
        "    d['score'] = d.lm + d.penalty\n",
        "    d.sort_values('score', ascending=False, inplace=True)\n",
        "    return d\n",
        "\n"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "gRlOClKysdie",
        "colab_type": "code",
        "outputId": "d3d3b8a2-cba2-4406-a1e4-52af93c9aa2e",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 455
        }
      },
      "source": [
        "toks0 = wordpunct_tokenize(neni.iloc[4].sentence_with_a_mistake)\n",
        "toks = [t.lower() for t in toks0 if t.isalpha()]\n",
        "print(toks)\n",
        "\n",
        "hypos = make_hypotheses(tuple(toks), max_changes=3)\n",
        "d = rank_hypotheses(toks, hypos, gf3, leven_penalty=0.15, order=3)\n",
        "\n",
        "print(d.iloc[0].score - d.iloc[1].score)\n",
        "d"
      ],
      "execution_count": 373,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "['не', 'давайте', 'ни', 'кому', 'морочить', 'вам', 'голову']\n",
            "3.543903475834476\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>lm</th>\n",
              "      <th>n</th>\n",
              "      <th>leven</th>\n",
              "      <th>penalty</th>\n",
              "      <th>score</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>10</th>\n",
              "      <td>не давайте никому морочить вам голову</td>\n",
              "      <td>-52.511615</td>\n",
              "      <td>6</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-54.408735</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>4</th>\n",
              "      <td>не давайте некому морочить вам голову</td>\n",
              "      <td>-54.158399</td>\n",
              "      <td>6</td>\n",
              "      <td>2</td>\n",
              "      <td>-3.79424</td>\n",
              "      <td>-57.952639</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>не давайте не кому морочить вам голову</td>\n",
              "      <td>-56.555397</td>\n",
              "      <td>7</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-58.452517</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>7</th>\n",
              "      <td>не давайте ни кому морочить вам голову</td>\n",
              "      <td>-58.788911</td>\n",
              "      <td>7</td>\n",
              "      <td>0</td>\n",
              "      <td>-0.00000</td>\n",
              "      <td>-58.788911</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>8</th>\n",
              "      <td>ни давайте никому морочить вам голову</td>\n",
              "      <td>-55.058083</td>\n",
              "      <td>6</td>\n",
              "      <td>2</td>\n",
              "      <td>-3.79424</td>\n",
              "      <td>-58.852322</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>11</th>\n",
              "      <td>ни давайте некому морочить вам голову</td>\n",
              "      <td>-56.704866</td>\n",
              "      <td>6</td>\n",
              "      <td>3</td>\n",
              "      <td>-5.69136</td>\n",
              "      <td>-62.396226</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>5</th>\n",
              "      <td>ни давайте не кому морочить вам голову</td>\n",
              "      <td>-59.101864</td>\n",
              "      <td>7</td>\n",
              "      <td>2</td>\n",
              "      <td>-3.79424</td>\n",
              "      <td>-62.896104</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>6</th>\n",
              "      <td>ни давайте ни кому морочить вам голову</td>\n",
              "      <td>-61.335378</td>\n",
              "      <td>7</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-63.232498</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>9</th>\n",
              "      <td>недавайте не кому морочить вам голову</td>\n",
              "      <td>-83.863280</td>\n",
              "      <td>6</td>\n",
              "      <td>2</td>\n",
              "      <td>-3.79424</td>\n",
              "      <td>-87.657520</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>недавайте ни кому морочить вам голову</td>\n",
              "      <td>-86.130126</td>\n",
              "      <td>6</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-88.027246</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>нидавайте не кому морочить вам голову</td>\n",
              "      <td>-83.863280</td>\n",
              "      <td>6</td>\n",
              "      <td>3</td>\n",
              "      <td>-5.69136</td>\n",
              "      <td>-89.554640</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>нидавайте ни кому морочить вам голову</td>\n",
              "      <td>-86.130126</td>\n",
              "      <td>6</td>\n",
              "      <td>2</td>\n",
              "      <td>-3.79424</td>\n",
              "      <td>-89.924366</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                      text         lm  ...  penalty      score\n",
              "10   не давайте никому морочить вам голову -52.511615  ... -1.89712 -54.408735\n",
              "4    не давайте некому морочить вам голову -54.158399  ... -3.79424 -57.952639\n",
              "3   не давайте не кому морочить вам голову -56.555397  ... -1.89712 -58.452517\n",
              "7   не давайте ни кому морочить вам голову -58.788911  ... -0.00000 -58.788911\n",
              "8    ни давайте никому морочить вам голову -55.058083  ... -3.79424 -58.852322\n",
              "11   ни давайте некому морочить вам голову -56.704866  ... -5.69136 -62.396226\n",
              "5   ни давайте не кому морочить вам голову -59.101864  ... -3.79424 -62.896104\n",
              "6   ни давайте ни кому морочить вам голову -61.335378  ... -1.89712 -63.232498\n",
              "9    недавайте не кому морочить вам голову -83.863280  ... -3.79424 -87.657520\n",
              "1    недавайте ни кому морочить вам голову -86.130126  ... -1.89712 -88.027246\n",
              "0    нидавайте не кому морочить вам голову -83.863280  ... -5.69136 -89.554640\n",
              "2    нидавайте ни кому морочить вам голову -86.130126  ... -3.79424 -89.924366\n",
              "\n",
              "[12 rows x 6 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 373
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "rrJXSNuo1uBO",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "pd.options.display.max_colwidth = 300"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "AMC65ccJDbLS",
        "colab_type": "text"
      },
      "source": [
        "Похожий механизм попробовали сделать для ошибок типа \"тоже\", \"также\", \"чтобы\", но он с ходу не очень хорошо полетел. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Vtu5r-MgMW2v",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def iter_hypotheses_what(tokens):\n",
        "    pos = 0\n",
        "    while pos < len(tokens):\n",
        "        token = tokens[pos]\n",
        "        if token.lower() in {'тоже', 'также'}:\n",
        "            yield (tokens[:pos]\n",
        "                   + [token[:-2]] + ['же']\n",
        "                   + tokens[pos + 1:])\n",
        "            pos += 1\n",
        "        elif token.lower() == 'чтоб':\n",
        "            yield (tokens[:pos]\n",
        "                   + [token[:-1]] + ['б']\n",
        "                   + tokens[pos + 1:])\n",
        "            pos += 1\n",
        "        elif token.lower() == 'чтобы':\n",
        "            yield (tokens[:pos]\n",
        "                   + [token[:-2]] + ['бы']\n",
        "                   + tokens[pos + 1:])\n",
        "            pos += 1\n",
        "        elif pos + 1 < len(tokens) and token.lower() in {'то', 'так'} and tokens[pos + 1] == 'же':\n",
        "            yield (tokens[:pos]\n",
        "                   + [token + 'же']\n",
        "                   + tokens[pos + 2:])\n",
        "            pos += 2\n",
        "        elif pos + 1 < len(tokens) and token.lower() == 'что' and tokens[pos + 1] in {'б', 'бы'}:\n",
        "            yield (tokens[:pos]\n",
        "                   + [token + tokens[pos + 1]]\n",
        "                   + tokens[pos + 2:])\n",
        "            pos += 2\n",
        "        else:\n",
        "            pos += 1\n",
        "\n",
        "def make_hypotheses_what(tokens):\n",
        "    hypos = [tuple(tokens)]\n",
        "    for hypo in iter_hypotheses_what(tokens):\n",
        "        hypo = tuple(hypo)\n",
        "        if hypo not in hypos:\n",
        "            hypos.append(hypo)\n",
        "    return hypos"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "BtrYYUx7DjWf",
        "colab_type": "text"
      },
      "source": [
        "Тут я валидировал, что на ошибках типа \"не ни\" моя модель возвращает правильный ответ, а на других ошибках и правильных предложениях  - не меняет ничего. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "Oyth91Gutip6",
        "colab_type": "code",
        "outputId": "943fad89-3aa5-4121-8dfb-d2cb6b3d36d9",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 151,
          "referenced_widgets": [
            "5ea11151ccad423a86260e537ae324c1",
            "6399dbf39b7b4a28ac0b3432e7668f90",
            "71cb3b9d9aa14a498771d00920a28fc4",
            "3197b8e797f846b38313a95a0f8bb673",
            "968fff16db3c4aef96b907ddaeb3e026",
            "2dab39a248f344ca86831e2d3115ab9a",
            "9978ca85324742c09df154540fd46ce4",
            "cc36b6f0c4924316bb9df809ea7b4e1b"
          ]
        }
      },
      "source": [
        "for i, row in tqdm(this.iterrows()):\n",
        "    sent = row.sentence_with_a_mistake\n",
        "    sentc = row.correct_sentence\n",
        "    toks0 = wordpunct_tokenize(sent)\n",
        "    toks = [t.lower() for t in toks0 if t.isalpha()]\n",
        "    hypos = make_hypotheses(tuple(toks), max_changes=3)\n",
        "    #hypos = make_hypotheses_what(toks)\n",
        "    print(len(hypos))\n",
        "    # 0.15 is too strict\n",
        "    d = rank_hypotheses(toks, hypos, grams=gf3, leven_penalty=0.16, order=3)\n",
        "    if not d.iloc[0].leven == 0:\n",
        "        pass\n",
        "        #print(d.head(3))\n",
        "    new_text = d.text.iloc[0]\n",
        "    #print(toks0)\n",
        "    #print(new_text.split())\n",
        "    result = denormalize(sent, toks0, new_text.split())\n",
        "    #assert result == sent\n",
        "    print(result == sentc)\n",
        "    #print(result)"
      ],
      "execution_count": 411,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "application/vnd.jupyter.widget-view+json": {
              "model_id": "5ea11151ccad423a86260e537ae324c1",
              "version_minor": 0,
              "version_major": 2
            },
            "text/plain": [
              "HBox(children=(IntProgress(value=1, bar_style='info', max=1), HTML(value='')))"
            ]
          },
          "metadata": {
            "tags": []
          }
        },
        {
          "output_type": "stream",
          "text": [
            "2\n",
            "True\n",
            "2\n",
            "False\n",
            "2\n",
            "False\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "AuXjLNCoDw3P",
        "colab_type": "text"
      },
      "source": [
        "Очень важная задача: восстановить оригинальное предложение! Я применял языковую модель к токенизированному предложению, с потерей капитализации и знаков препинания, но вернуть-то надо оригинальное предложение, только с исправленными ошибками. Поэтому я написал функцию, просматривающую старые и новые токены, выстраивающую соответствие между ними, и воссоздающую новое предложение с учётом специфики старых токенов и исправлений, появившихся в новых. \n",
        "\n",
        "Потом уже товарищи мне подсказали, что вместо стрёмного токенизатора из nltk можно использовать razdel, но времени менять токенизатор и прочее уже особо не было. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "N_Va3CbFAkjS",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 51
        },
        "outputId": "42283e39-2984-4609-8d1a-dba86f65b8a7"
      },
      "source": [
        "def denormalize(orig, toks0, toks):\n",
        "    result = ' '\n",
        "    i0 = 0\n",
        "    i1 = 0\n",
        "    while i0 < len(toks0):\n",
        "        #print('\"{}  {} {}\" \"{}\" '.format(result, i0, i1, toks0[i0]))\n",
        "        prev_is_punct = result[-1] in '.?-:!'\n",
        "        if i0 < len(toks0) and i1 < len(toks) and toks0[i0].lower() == toks[i1].lower():\n",
        "            if not prev_is_punct:\n",
        "                result = result + ' ' \n",
        "            result = result + toks0[i0]\n",
        "            i0 += 1\n",
        "            i1 += 1\n",
        "        elif not toks0[i0].isalpha():\n",
        "            if toks0[i0].isnumeric():\n",
        "                if not prev_is_punct:\n",
        "                    result = result + ' ' \n",
        "            result = result + toks0[i0]\n",
        "            i0 += 1\n",
        "        elif i0 < len(toks0) and i1 < len(toks):\n",
        "            #print('change \"{}\" -> \"{}\"'.format(toks0[i0], toks[i1]))\n",
        "            if abs(len(toks0[i0]) - len(toks[i1])) <= 1: # probably, the same token, but with correction\n",
        "                tok = toks[i1]\n",
        "                if toks0[i0][0].isupper():\n",
        "                    tok = tok.capitalize()\n",
        "                if not prev_is_punct:\n",
        "                    result = result + ' ' \n",
        "                    result = result + tok\n",
        "                i0 += 1\n",
        "                i1 += 1\n",
        "            elif len(toks0[i0]) > len(toks[i1]):\n",
        "                tok = toks[i1] + ' ' + toks[i1+1]\n",
        "                if toks0[i0][0].isupper():\n",
        "                    tok = tok.capitalize()\n",
        "                if not prev_is_punct:\n",
        "                    result = result + ' ' \n",
        "                    result = result + tok\n",
        "                i0 += 1\n",
        "                i1 += 2\n",
        "            else:\n",
        "                tok = toks[i1]\n",
        "                if toks0[i0][0].isupper():\n",
        "                    tok = tok.capitalize()\n",
        "                if not prev_is_punct:\n",
        "                    result = result + ' ' \n",
        "                    result = result + tok\n",
        "                i0 += 2\n",
        "                i1 += 1\n",
        "        else:\n",
        "            raise ValueError('{} is wrong with i0={}, i1={}'.format(result, i0, i1))\n",
        "    result = result.strip()\n",
        "    while orig.endswith(' '):\n",
        "        orig = orig[:(-1)]\n",
        "        result = result + ' '\n",
        "    return result\n",
        "\n",
        "result = denormalize(sent, toks0, toks)\n",
        "print(sent)\n",
        "print(result)\n",
        "assert result == sent"
      ],
      "execution_count": 364,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Не давайте ни кому морочить вам голову\n",
            "Не давайте ни кому морочить вам голову\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qj3dqPQCD2f5",
        "colab_type": "text"
      },
      "source": [
        "Теперь можно написать функцию, которая принимает исходный текст, генераторы гипотез и языковую модель - и возвращает исправленные предложения!"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "duaaZZ1XJkDo",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def make_correction(text, hypo_makers, grams):\n",
        "    toks0 = wordpunct_tokenize(text)\n",
        "    toks = [t.lower() for t in toks0 if t.isalpha()]\n",
        "    hypos = [toks]\n",
        "    for maker in hypo_makers:\n",
        "        hypos.extend(maker(toks))\n",
        "    d = rank_hypotheses(toks, hypos, grams=grams, leven_penalty=0.15, order=3, )\n",
        "    new_text = d.text.iloc[0]\n",
        "    result = denormalize(text, toks0, new_text.split())\n",
        "    return result"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "gvLYE3PgLLqy",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        },
        "outputId": "4352525a-e292-40f3-abcb-6259a6cff62e"
      },
      "source": [
        "print(make_correction('Меня ни кто нелюбит, Антон!!', [make_hypotheses], gf3))"
      ],
      "execution_count": 381,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Меня ни кто не любит, Антон!!\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "qMHG7nQhCodk",
        "colab_type": "text"
      },
      "source": [
        "## Опечатки\n",
        "\n",
        "А тут я было начал адаптировать код Норвига (norvig.com/spell-correct.html) для работы с опечатками, но уже не успел до конца соревнования - начались проблемы с заливкой моего решения для не/ни, и в итоге оно так и не успело докатиться до лидерборда. Впрочем, это не помешало нам победить. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "oMNqk2UACrrg",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def edits1(word):\n",
        "    \"All edits that are one edit away from `word`.\"\n",
        "    letters    = 'абвгдеёжзиклмнопрстуфхцчшщъыьэюя'\n",
        "    splits     = [(word[:i], word[i:])    for i in range(len(word) + 1)]\n",
        "    deletes    = [L + R[1:]               for L, R in splits if R]\n",
        "    transposes = [L + R[1] + R[0] + R[2:] for L, R in splits if len(R)>1]\n",
        "    replaces   = [L + c + R[1:]           for L, R in splits if R for c in letters]\n",
        "    inserts    = [L + c + R               for L, R in splits for c in letters]\n",
        "    return set(deletes + transposes + replaces + inserts)"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "CxOhQcHWTjli",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "\n",
        "unigramset = set(gf3[1].keys())"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "tE4ObUvWTS33",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        "def make_hypotheses_list(tokens, unigramset):\n",
        "    hypos = [tuple(tokens)]\n",
        "    for i, tok in enumerate(tokens):\n",
        "        for edit in edits1(tok):\n",
        "            if edit in unigramset:\n",
        "                hypo = copy(tokens)\n",
        "                hypo[i] = edit\n",
        "                if hypo not in hypos:\n",
        "                    hypos.append(hypo)\n",
        "    return hypos"
      ],
      "execution_count": 0,
      "outputs": []
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "4lo6XLnH-T2m",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 34
        },
        "outputId": "9d3cc43c-1e6a-434d-f618-bfb4dfe66041"
      },
      "source": [
        "toks = 'белее того это не принято в цивилизованном обществе'.split()\n",
        "hypos = make_hypotheses_list(toks, unigramset)\n",
        "print(len(hypos))"
      ],
      "execution_count": 432,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "202\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "BLbbdKss_QEF",
        "colab_type": "text"
      },
      "source": [
        "Из коробки эта корректировалка довольно прилично работает с произвольно выбранной опечаткой - "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "IXJQkzu2-kNL",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 359
        },
        "outputId": "a159c4ff-fdc1-458f-8036-07a24be3514e"
      },
      "source": [
        "d = rank_hypotheses(toks, hypos, gf3, leven_penalty=0.15, order=3)\n",
        "d.head(10)"
      ],
      "execution_count": 433,
      "outputs": [
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>lm</th>\n",
              "      <th>n</th>\n",
              "      <th>leven</th>\n",
              "      <th>penalty</th>\n",
              "      <th>score</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>5</th>\n",
              "      <td>более того это не принято в цивилизованном обществе</td>\n",
              "      <td>-50.198944</td>\n",
              "      <td>8</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-52.096064</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>6</th>\n",
              "      <td>белые того это не принято в цивилизованном обществе</td>\n",
              "      <td>-52.423425</td>\n",
              "      <td>8</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-54.320545</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>3</th>\n",
              "      <td>белье того это не принято в цивилизованном обществе</td>\n",
              "      <td>-53.225041</td>\n",
              "      <td>8</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-55.122161</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>10</th>\n",
              "      <td>белое того это не принято в цивилизованном обществе</td>\n",
              "      <td>-53.594059</td>\n",
              "      <td>8</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-55.491179</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>белее того это не принято в цивилизованном обществе</td>\n",
              "      <td>-56.061224</td>\n",
              "      <td>8</td>\n",
              "      <td>0</td>\n",
              "      <td>-0.00000</td>\n",
              "      <td>-56.061224</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>8</th>\n",
              "      <td>белее того это не принято в цивилизованном обществе</td>\n",
              "      <td>-56.061224</td>\n",
              "      <td>8</td>\n",
              "      <td>0</td>\n",
              "      <td>-0.00000</td>\n",
              "      <td>-56.061224</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>9</th>\n",
              "      <td>белеет того это не принято в цивилизованном обществе</td>\n",
              "      <td>-56.012065</td>\n",
              "      <td>8</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-57.909185</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>белел того это не принято в цивилизованном обществе</td>\n",
              "      <td>-56.076849</td>\n",
              "      <td>8</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-57.973969</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>23</th>\n",
              "      <td>белее этого это не принято в цивилизованном обществе</td>\n",
              "      <td>-56.087122</td>\n",
              "      <td>8</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-57.984242</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>2</th>\n",
              "      <td>белке того это не принято в цивилизованном обществе</td>\n",
              "      <td>-56.686924</td>\n",
              "      <td>8</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-58.584044</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                                    text  ...      score\n",
              "5    более того это не принято в цивилизованном обществе  ... -52.096064\n",
              "6    белые того это не принято в цивилизованном обществе  ... -54.320545\n",
              "3    белье того это не принято в цивилизованном обществе  ... -55.122161\n",
              "10   белое того это не принято в цивилизованном обществе  ... -55.491179\n",
              "0    белее того это не принято в цивилизованном обществе  ... -56.061224\n",
              "8    белее того это не принято в цивилизованном обществе  ... -56.061224\n",
              "9   белеет того это не принято в цивилизованном обществе  ... -57.909185\n",
              "1    белел того это не принято в цивилизованном обществе  ... -57.973969\n",
              "23  белее этого это не принято в цивилизованном обществе  ... -57.984242\n",
              "2    белке того это не принято в цивилизованном обществе  ... -58.584044\n",
              "\n",
              "[10 rows x 6 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 433
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "KwmJu7Xu_Mtd",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 376
        },
        "outputId": "d6e4bc01-4a9c-41b6-f4a0-7a4395156caa"
      },
      "source": [
        "toks = 'он считается без везти пропавшим'.split()\n",
        "hypos = make_hypotheses_list(toks, unigramset)\n",
        "print(len(hypos))\n",
        "d = rank_hypotheses(toks, hypos, gf3, leven_penalty=0.15, order=3)\n",
        "d.head(10)"
      ],
      "execution_count": 434,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "109\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>lm</th>\n",
              "      <th>n</th>\n",
              "      <th>leven</th>\n",
              "      <th>penalty</th>\n",
              "      <th>score</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>94</th>\n",
              "      <td>он считается без вести пропавшим</td>\n",
              "      <td>-35.880480</td>\n",
              "      <td>5</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-37.777600</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>он считается без везти пропавшим</td>\n",
              "      <td>-48.180456</td>\n",
              "      <td>5</td>\n",
              "      <td>0</td>\n",
              "      <td>-0.00000</td>\n",
              "      <td>-48.180456</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>28</th>\n",
              "      <td>он считается без везти пропавшим</td>\n",
              "      <td>-48.180456</td>\n",
              "      <td>5</td>\n",
              "      <td>0</td>\n",
              "      <td>-0.00000</td>\n",
              "      <td>-48.180456</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>102</th>\n",
              "      <td>он считается без везти пропавших</td>\n",
              "      <td>-46.748779</td>\n",
              "      <td>5</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-48.645899</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>106</th>\n",
              "      <td>он считается без везти попавшим</td>\n",
              "      <td>-47.353778</td>\n",
              "      <td>5</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-49.250898</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>104</th>\n",
              "      <td>он считается без везти пропавшие</td>\n",
              "      <td>-47.907163</td>\n",
              "      <td>5</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-49.804283</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>98</th>\n",
              "      <td>он считается без везли пропавшим</td>\n",
              "      <td>-48.258020</td>\n",
              "      <td>5</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-50.155140</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>103</th>\n",
              "      <td>он считается без везти пропавшем</td>\n",
              "      <td>-48.301817</td>\n",
              "      <td>5</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-50.198937</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>107</th>\n",
              "      <td>он считается без везти пропавшими</td>\n",
              "      <td>-48.600310</td>\n",
              "      <td>5</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-50.497430</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>19</th>\n",
              "      <td>от считается без везти пропавшим</td>\n",
              "      <td>-48.641447</td>\n",
              "      <td>5</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-50.538567</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                  text         lm  n  leven  penalty      score\n",
              "94    он считается без вести пропавшим -35.880480  5      1 -1.89712 -37.777600\n",
              "0     он считается без везти пропавшим -48.180456  5      0 -0.00000 -48.180456\n",
              "28    он считается без везти пропавшим -48.180456  5      0 -0.00000 -48.180456\n",
              "102   он считается без везти пропавших -46.748779  5      1 -1.89712 -48.645899\n",
              "106    он считается без везти попавшим -47.353778  5      1 -1.89712 -49.250898\n",
              "104   он считается без везти пропавшие -47.907163  5      1 -1.89712 -49.804283\n",
              "98    он считается без везли пропавшим -48.258020  5      1 -1.89712 -50.155140\n",
              "103   он считается без везти пропавшем -48.301817  5      1 -1.89712 -50.198937\n",
              "107  он считается без везти пропавшими -48.600310  5      1 -1.89712 -50.497430\n",
              "19    от считается без везти пропавшим -48.641447  5      1 -1.89712 -50.538567"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 434
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "bxXjhifx_uoT",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 376
        },
        "outputId": "38a8cf03-68be-41f8-dd3e-d50da1e4fdf6"
      },
      "source": [
        "toks = 'вероятно оба вши предположения не лишены основания'.split()\n",
        "hypos = make_hypotheses_list(toks, unigramset)\n",
        "print(len(hypos))\n",
        "d = rank_hypotheses(toks, hypos, gf3, leven_penalty=0.15, order=3)\n",
        "d.head(10)"
      ],
      "execution_count": 435,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "137\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>lm</th>\n",
              "      <th>n</th>\n",
              "      <th>leven</th>\n",
              "      <th>penalty</th>\n",
              "      <th>score</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>42</th>\n",
              "      <td>вероятно оба ваши предположения не лишены основания</td>\n",
              "      <td>-63.916029</td>\n",
              "      <td>7</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-65.813149</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>44</th>\n",
              "      <td>вероятно оба уши предположения не лишены основания</td>\n",
              "      <td>-64.428327</td>\n",
              "      <td>7</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-66.325447</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>8</th>\n",
              "      <td>вероятно она вши предположения не лишены основания</td>\n",
              "      <td>-64.655173</td>\n",
              "      <td>7</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-66.552293</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>вероятно оба вши предположения не лишены основания</td>\n",
              "      <td>-67.719026</td>\n",
              "      <td>7</td>\n",
              "      <td>0</td>\n",
              "      <td>-0.00000</td>\n",
              "      <td>-67.719026</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>1</th>\n",
              "      <td>вероятно оба вши предположения не лишены основания</td>\n",
              "      <td>-67.719026</td>\n",
              "      <td>7</td>\n",
              "      <td>0</td>\n",
              "      <td>-0.00000</td>\n",
              "      <td>-67.719026</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>13</th>\n",
              "      <td>вероятно об вши предположения не лишены основания</td>\n",
              "      <td>-65.883640</td>\n",
              "      <td>7</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-67.780760</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>39</th>\n",
              "      <td>вероятно оба вси предположения не лишены основания</td>\n",
              "      <td>-67.140787</td>\n",
              "      <td>7</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-69.037907</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>50</th>\n",
              "      <td>вероятно оба вши предположение не лишены основания</td>\n",
              "      <td>-67.402523</td>\n",
              "      <td>7</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-69.299643</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>136</th>\n",
              "      <td>вероятно оба вши предположения не лишены основании</td>\n",
              "      <td>-67.497549</td>\n",
              "      <td>7</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-69.394669</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>126</th>\n",
              "      <td>вероятно оба вши предположения не лишен основания</td>\n",
              "      <td>-67.560559</td>\n",
              "      <td>7</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-69.457678</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                                    text  ...      score\n",
              "42   вероятно оба ваши предположения не лишены основания  ... -65.813149\n",
              "44    вероятно оба уши предположения не лишены основания  ... -66.325447\n",
              "8     вероятно она вши предположения не лишены основания  ... -66.552293\n",
              "0     вероятно оба вши предположения не лишены основания  ... -67.719026\n",
              "1     вероятно оба вши предположения не лишены основания  ... -67.719026\n",
              "13     вероятно об вши предположения не лишены основания  ... -67.780760\n",
              "39    вероятно оба вси предположения не лишены основания  ... -69.037907\n",
              "50    вероятно оба вши предположение не лишены основания  ... -69.299643\n",
              "136   вероятно оба вши предположения не лишены основании  ... -69.394669\n",
              "126    вероятно оба вши предположения не лишен основания  ... -69.457678\n",
              "\n",
              "[10 rows x 6 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 435
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "Z8VGtJ3JAmhT",
        "colab_type": "text"
      },
      "source": [
        "А вот на этом примере моя моделька, увы, предсказала не то, что нужно: правильная гипотеза оказалась только третьей по счёту. "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "G4_xlaQ7AX7P",
        "colab_type": "code",
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 376
        },
        "outputId": "64581d52-4f74-4732-9e5a-01361164df80"
      },
      "source": [
        "toks = 'в результате получатся удлиненные трубочки из которых уже можно плести бес проблем'.split()\n",
        "hypos = make_hypotheses_list(toks, unigramset)\n",
        "print(len(hypos))\n",
        "d = rank_hypotheses(toks, hypos, gf3, leven_penalty=0.15, order=3)\n",
        "d.head(10)"
      ],
      "execution_count": 441,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "210\n"
          ],
          "name": "stdout"
        },
        {
          "output_type": "execute_result",
          "data": {
            "text/html": [
              "<div>\n",
              "<style scoped>\n",
              "    .dataframe tbody tr th:only-of-type {\n",
              "        vertical-align: middle;\n",
              "    }\n",
              "\n",
              "    .dataframe tbody tr th {\n",
              "        vertical-align: top;\n",
              "    }\n",
              "\n",
              "    .dataframe thead th {\n",
              "        text-align: right;\n",
              "    }\n",
              "</style>\n",
              "<table border=\"1\" class=\"dataframe\">\n",
              "  <thead>\n",
              "    <tr style=\"text-align: right;\">\n",
              "      <th></th>\n",
              "      <th>text</th>\n",
              "      <th>lm</th>\n",
              "      <th>n</th>\n",
              "      <th>leven</th>\n",
              "      <th>penalty</th>\n",
              "      <th>score</th>\n",
              "    </tr>\n",
              "  </thead>\n",
              "  <tbody>\n",
              "    <tr>\n",
              "      <th>70</th>\n",
              "      <td>в результате получается удлиненные трубочки из которых уже можно плести бес проблем</td>\n",
              "      <td>-103.298879</td>\n",
              "      <td>12</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-105.195999</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>68</th>\n",
              "      <td>в результате получится удлиненные трубочки из которых уже можно плести бес проблем</td>\n",
              "      <td>-104.327811</td>\n",
              "      <td>12</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-106.224931</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>173</th>\n",
              "      <td>в результате получатся удлиненные трубочки из которых уже можно плести без проблем</td>\n",
              "      <td>-108.178793</td>\n",
              "      <td>12</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-110.075913</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>185</th>\n",
              "      <td>в результате получатся удлиненные трубочки из которых уже можно плести лес проблем</td>\n",
              "      <td>-111.191043</td>\n",
              "      <td>12</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-113.088163</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>69</th>\n",
              "      <td>в результате получаются удлиненные трубочки из которых уже можно плести бес проблем</td>\n",
              "      <td>-111.370821</td>\n",
              "      <td>12</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-113.267941</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>50</th>\n",
              "      <td>в результате получатся удлиненные трубочки из которых уже можно плести бес проблем</td>\n",
              "      <td>-113.589375</td>\n",
              "      <td>12</td>\n",
              "      <td>0</td>\n",
              "      <td>-0.00000</td>\n",
              "      <td>-113.589375</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>0</th>\n",
              "      <td>в результате получатся удлиненные трубочки из которых уже можно плести бес проблем</td>\n",
              "      <td>-113.589375</td>\n",
              "      <td>12</td>\n",
              "      <td>0</td>\n",
              "      <td>-0.00000</td>\n",
              "      <td>-113.589375</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>187</th>\n",
              "      <td>в результате получатся удлиненные трубочки из которых уже можно плести вес проблем</td>\n",
              "      <td>-112.230123</td>\n",
              "      <td>12</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-114.127243</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>67</th>\n",
              "      <td>в результате получался удлиненные трубочки из которых уже можно плести бес проблем</td>\n",
              "      <td>-112.516097</td>\n",
              "      <td>12</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-114.413217</td>\n",
              "    </tr>\n",
              "    <tr>\n",
              "      <th>75</th>\n",
              "      <td>в результате получатся удлиненные трубочку из которых уже можно плести бес проблем</td>\n",
              "      <td>-112.744710</td>\n",
              "      <td>12</td>\n",
              "      <td>1</td>\n",
              "      <td>-1.89712</td>\n",
              "      <td>-114.641830</td>\n",
              "    </tr>\n",
              "  </tbody>\n",
              "</table>\n",
              "</div>"
            ],
            "text/plain": [
              "                                                                                    text  ...       score\n",
              "70   в результате получается удлиненные трубочки из которых уже можно плести бес проблем  ... -105.195999\n",
              "68    в результате получится удлиненные трубочки из которых уже можно плести бес проблем  ... -106.224931\n",
              "173   в результате получатся удлиненные трубочки из которых уже можно плести без проблем  ... -110.075913\n",
              "185   в результате получатся удлиненные трубочки из которых уже можно плести лес проблем  ... -113.088163\n",
              "69   в результате получаются удлиненные трубочки из которых уже можно плести бес проблем  ... -113.267941\n",
              "50    в результате получатся удлиненные трубочки из которых уже можно плести бес проблем  ... -113.589375\n",
              "0     в результате получатся удлиненные трубочки из которых уже можно плести бес проблем  ... -113.589375\n",
              "187   в результате получатся удлиненные трубочки из которых уже можно плести вес проблем  ... -114.127243\n",
              "67    в результате получался удлиненные трубочки из которых уже можно плести бес проблем  ... -114.413217\n",
              "75    в результате получатся удлиненные трубочку из которых уже можно плести бес проблем  ... -114.641830\n",
              "\n",
              "[10 rows x 6 columns]"
            ]
          },
          "metadata": {
            "tags": []
          },
          "execution_count": 441
        }
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "5XrR0JjmA1eF",
        "colab_type": "code",
        "colab": {}
      },
      "source": [
        ""
      ],
      "execution_count": 0,
      "outputs": []
    }
  ]
}