docs/lesson8.ipynb

{
 "nbformat": 4,
 "nbformat_minor": 0,
 "metadata": {
  "colab": {
   "name": "Матстат - Урок 8.ipynb",
   "provenance": [],
   "collapsed_sections": []
  },
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  }
 },
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "vGvPz-PJYo5C"
   },
   "source": [
    "## Урок 8"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "mP4ncs2qYo5G"
   },
   "source": [
    "### Дисперсионный анализ. Факторный анализ. Логистическая регрессия"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "id": "z4odg-NJYo5I"
   },
   "source": [
    "#### Дисперсионный анализ"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "id": "tndzSTAlYo5L"
   },
   "source": [
    "##### Однофакторный дисперсионный анализ"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "id": "zqcKJYLxYo5N"
   },
   "source": [
    "В дисперсионном анализе исследуется влияние одного или нескольких качественных показателей на количественный показатель.\n",
    "\n",
    "В однофакторном дисперсионном анализе на одну количественную переменную $Y$ влияет один фактор (один качественный показатель), \n",
    "\n",
    "наблюдаемый на $k$ уровнях, то есть имеем $k$ выборок для переменной $Y$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "id": "NaDcf63eYo5S"
   },
   "source": [
    "Наблюдаемые данные обозначим $y_{ij}$, где $i$ — индекс уровня ($i$ = 1, 2, ..., $k$), $j$ — индекс наблюдения на $i$-м уровне \n",
    "($j$ = 1, 2, ..., $n_{i}$)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "W0nXL-nAYo5Y"
   },
   "source": [
    "На каждом уровне может быть свое число наблюдений $n_{i}$. Общее число наблюдений — это сумма наблюдений на всех уровнях:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "AM--DeuuYo5b"
   },
   "source": [
    "$$n = \\sum\\limits_{i=1}^{k}n_i$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "MqCAbsPXYo5i"
   },
   "source": [
    "По данным $y_{ij}$ определяется:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "WE2fSz5lYo5k"
   },
   "source": [
    "$\\overline{y}_{i}$ — среднее значение переменной Y на i-м уровне:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "XXLZhnYDYo5m"
   },
   "source": [
    "$$\\overline{y}_{i} = \\frac{1}{n_i}\\sum\\limits_{j=1}^{n_i}y_{ij}$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "fooBgcbIYo5p"
   },
   "source": [
    "$\\overline{Y}$ — среднее значение переменной **Y** по всем значениям:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "IfDm-PM6Yo5q"
   },
   "source": [
    "$$\\overline{Y} = \\frac{1}{n}\\sum\\limits_{i=1}^{k}\\sum\\limits_{j=1}^{n_i}y_{ij} = \\frac{1}{n}\\sum\\limits_{i=1}^{k}\\overline{y}_{i}n_{i}$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "QccuMpGkYo5t"
   },
   "source": [
    "$S^2$ — сумма квадратов отклонений наблюдений от общего среднего:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "8d2MieJWYo5u"
   },
   "source": [
    "$$S^2 = \\sum\\limits_{i=1}^{k}\\sum\\limits_{j=1}^{n_i}({y}_{ij} - \\overline{Y})^2$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "2Z5t5mZPYo5w"
   },
   "source": [
    "$S_F^2$ — сумма квадратов отклонений средних групповых значений от общего среднего значения $\\overline{Y}$:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "98w7-LmyYo5z"
   },
   "source": [
    "$$S_F^2 = \\sum\\limits_{i=1}^{k}(\\overline{y}_i - \\overline{Y})^2n_i$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "spyO9Z-GYo50"
   },
   "source": [
    "$S_{ост}^2$ — остаточная сумма квадратов отклонений:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "v2bZ8BPXYo52"
   },
   "source": [
    "$$S_{ост}^{2} = \\sum\\limits_{i=1}^{k}\\sum\\limits_{j=1}^{n_i}(y_{ij} - \\overline{y}_i)^2$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "CjaQibE7Yo54"
   },
   "source": [
    "Тогда сумма квадратов отклонений наблюдений от общего среднего дожна быть равна:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "dpALroqIYo56"
   },
   "source": [
    "$$S^2 = S_F^2 + S_{ост}^2$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "DOa94RlQYo5-"
   },
   "source": [
    "Затем необходимо вычислить:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "9ydIbtDrYo6A"
   },
   "source": [
    "1) общую дисперсию:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "0cusjHApYo6D"
   },
   "source": [
    "$$\\sigma_{общ}^{2} = \\frac{S^2}{n - 1} = \\frac{1}{n-1}\\sum\\limits_{i=1}^{k}\\sum\\limits_{j=1}^{n_i}(y_{ij} - \\overline{Y})^2$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "-fhQ4uEfYo6I"
   },
   "source": [
    "2) факторную дисперсию:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "AJguqUuTYo6J"
   },
   "source": [
    "$$\\sigma_{F}^{2} = \\frac{S_{F}^{2}}{k-1} = \\frac{1}{k-1}\\sum\\limits_{i=1}^{k}(\\overline{y}_i - \\overline{Y})^{2}n_i$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "bycn4uCcYo6L"
   },
   "source": [
    "3) остаточную дисперсию:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "rjxquHv3Yo6O"
   },
   "source": [
    "$$\\sigma_{ост}^{2} = \\frac{S_{ост}^{2}}{n - k} = \\frac{1}{n - k}\\sum\\limits_{i=1}^{k}\\sum\\limits_{j=1}^{n_i}(y_{ij} - \\overline{y}_i)^2$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "jr_Tpl8OYo6R"
   },
   "source": [
    "В дисперсионном анализе проверяется гипотеза $H_0$ о равенстве средних групповых значений количественного показателя:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "_PH1EnAoYo6U"
   },
   "source": [
    "$$(H_0: \\overline{y}_1 = \\overline{y}_2 = ... = \\overline{y}_k).$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "VJMVJVQCYo6W"
   },
   "source": [
    "Чтобы проверить эту гипотезу, необходимо воспользоваться соотношением:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "yyHcH5WtYo6Y"
   },
   "source": [
    "$$F_H = \\frac{\\sigma_{F}^{2}}{\\sigma_{ост}^{2}}$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "SGWSpxMYYo6b"
   },
   "source": [
    "Если значение  $F_H$ превышает $F_{крит}$ из таблицы критических точек распределения Фишера-Снедекора для заданного уровня \n",
    "\n",
    "значимости $\\alpha$ двух степеней свободы $df_{межд} = k - 1$ (относится к числителю соотношения) и $df_{внутр} = n - k$ (относится к знаменателю), \n",
    "\n",
    "то выборки имеют разные средние значения."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "cl4XaXzHYo6e"
   },
   "source": [
    "Таблицы Фишера-Снедекора можно найти по ссылкам:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ZMf8cbNnYo6g"
   },
   "source": [
    "<a href = \"https://studfiles.net/preview/5520526/page:14/\">Критические точки распределения Фишера–Снедекора</a>\n",
    "        \n",
    "<a href = \"https://www.matburo.ru/tv/table_fisher.pdf\">Распределение Фишера–Снедекора (F-распределение)</a>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "yWZboagFYo6i"
   },
   "source": [
    "Еще одно соотношение:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "AYofexp6Yo6j"
   },
   "source": [
    "$$\\eta^{2} = \\frac{S_{F}^{2}}{S_{общ}^{2}}$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "uz9W7GVeYo6m"
   },
   "source": [
    "Чем больше значение $\\eta^2$ (греч. «эта», обозначает эмпирическое корреляционное отношение, располагается между 0 и 1), тем больше\n",
    "\n",
    "вероятность, что выборки имеют разные средние значения. Принято считать, что при значениях $\\eta^2$ ниже 0.2-0.3 групповые значения\n",
    "\n",
    "средних не имеют статистически достоверного отличия."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ZQ3iGhjLYo6n"
   },
   "source": [
    "**Пример 1**"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "B_Ag07g6Yo6p"
   },
   "source": [
    "Среди людей, проживающих в одном городе, выделены три группы по качественному признаку — профессии: бухгалтеры, юристы, \n",
    "\n",
    "программисты. \n",
    "\n",
    "Рассмотрим количественный признак — заработную плату (в тысячах рублей). Нужно установить, различаются ли средние \n",
    "\n",
    "зарплаты этих трех групп при уровне значимости $\\alpha$, равном 0.05. Количество человек в каждой группе: бухгалтеры — 5, юристы — 8, \n",
    "\n",
    "программисты — 7."
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "Og2fZ_bgYo6r"
   },
   "source": [
    "import numpy as np"
   ],
   "execution_count": 1,
   "outputs": []
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "5fzwL1OBYo61",
    "outputId": "0163901e-4b2a-4eff-f01c-ce2881021aab"
   },
   "source": [
    "n1 = 5\n",
    "n2 = 8\n",
    "n3 = 7\n",
    "n = n1 + n2 + n3\n",
    "print(n)"
   ],
   "execution_count": 2,
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "20\n"
     ]
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "FJjbiTsqYo7E"
   },
   "source": [
    "Всего три группы:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "sz67ojVvYo7F"
   },
   "source": [
    "k = 3"
   ],
   "execution_count": 3,
   "outputs": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "O294_P_HYo7N"
   },
   "source": [
    "Зарплаты бухгалтеров:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "XGE3QYnBYo7O"
   },
   "source": [
    "y1 = np.array([70, 50, 65, 60, 75], dtype=np.float64)"
   ],
   "execution_count": 4,
   "outputs": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "NXP5moMcYo7V"
   },
   "source": [
    "Зарплаты юристов:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "0vdLkJVXYo7X"
   },
   "source": [
    "y2 = np.array([80, 75, 90, 70, 75, 65, 85, 100], dtype=np.float64)"
   ],
   "execution_count": 5,
   "outputs": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "MGaphYCCYo7j"
   },
   "source": [
    "Зарплаты программистов:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "N0ll1RXdYo7k"
   },
   "source": [
    "y3 = np.array([130, 100, 140, 150, 160, 170, 200], dtype=np.float64)"
   ],
   "execution_count": 6,
   "outputs": []
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "collapsed": true,
    "id": "ckgMBMwlYo7r"
   },
   "source": [
    "Проведем однофакторный дисперсионный анализ. Сначала найдем средние зарплаты для каждой профессии:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "ZN6FRDI8Yo7s",
    "outputId": "3ee5e9e1-aa08-4b8c-f1c5-13aa8a029709"
   },
   "source": [
    "y1_mean = np.mean(y1)\n",
    "print(y1_mean)"
   ],
   "execution_count": 7,
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "64.0\n"
     ]
    }
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "8NIWa2kYYo73",
    "outputId": "f1ed84f7-9516-4f22-b9f3-b71ed3d39b45"
   },
   "source": [
    "y2_mean = np.mean(y2)\n",
    "print(y2_mean)"
   ],
   "execution_count": 8,
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "80.0\n"
     ]
    }
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "w3iuWoo8Yo7_",
    "outputId": "56ab1ef8-b833-42b3-fc4b-54bfa1317810"
   },
   "source": [
    "y3_mean = np.mean(y3)\n",
    "print(y3_mean)"
   ],
   "execution_count": 9,
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "150.0\n"
     ]
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Vptu9qE8Yo8H"
   },
   "source": [
    "Видно, что средние зарплаты разнятся. Установим, что это отличие статистически значимо. Для этого сначала соберем \n",
    "\n",
    "все значения заработных плат в один массив:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "XUIg7A9IYo8K",
    "outputId": "edac37c2-3711-488f-ec81-48bc6d27164a"
   },
   "source": [
    "y_all = np.concatenate([y1, y2, y3])\n",
    "y_all"
   ],
   "execution_count": 10,
   "outputs": [
    {
     "data": {
      "text/plain": "array([ 70.,  50.,  65.,  60.,  75.,  80.,  75.,  90.,  70.,  75.,  65.,\n        85., 100., 130., 100., 140., 150., 160., 170., 200.])"
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "FDrC2EgCYo8R"
   },
   "source": [
    "Найдем среднее значение заработной платы по всем значениям:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "LrmBsYWlYo8U",
    "outputId": "c44d8651-8d33-48a1-a897-8402119c9457"
   },
   "source": [
    "y_mean = np.mean(y_all)\n",
    "print(y_mean)"
   ],
   "execution_count": 11,
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "100.5\n"
     ]
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "WIgxrxamYo8e"
   },
   "source": [
    "Найдем $S^2$ — сумму квадратов отклонений наблюдений от общего среднего:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "g49G26gmYo8h",
    "outputId": "e1595bb3-d4c3-4a0b-80f7-01cac23f2de4"
   },
   "source": [
    "s2 = np.sum((y_all - y_mean)**2)\n",
    "s2"
   ],
   "execution_count": 12,
   "outputs": [
    {
     "data": {
      "text/plain": "34445.0"
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "4pbrI3QEYo8t"
   },
   "source": [
    "Найдем $S^2_F$ - сумму квадратов отклонений средних групповых значений от общего среднего:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "K0nyMwvGYo8w",
    "outputId": "31a96c6d-8f84-47d3-f91f-73b2851f3ceb"
   },
   "source": [
    "s2_f = ((y1_mean - y_mean)**2) * n1 + ((y2_mean - y_mean)**2) * n2 + ((y3_mean - y_mean)**2) * n3\n",
    "s2_f"
   ],
   "execution_count": 13,
   "outputs": [
    {
     "data": {
      "text/plain": "27175.0"
     },
     "execution_count": 13,
     "metadata": {},
     "output_type": "execute_result"
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "6Y3bn04xYo87"
   },
   "source": [
    "Найдем $S^2_{ост}$ — остаточную сумму квадратов отклонений:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "Z2MbWgt-Yo8-",
    "outputId": "ead38f02-9d17-4cc7-ab94-31be2c2f5c12"
   },
   "source": [
    "s2_residual = np.sum((y1 - y1_mean)**2) + np.sum((y2 - y2_mean)**2) + np.sum((y3 - y3_mean)**2)\n",
    "s2_residual"
   ],
   "execution_count": 14,
   "outputs": [
    {
     "data": {
      "text/plain": "7270.0"
     },
     "execution_count": 14,
     "metadata": {},
     "output_type": "execute_result"
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "r_o1uLOYYo9F"
   },
   "source": [
    "Удостоверимся, что соблюдается равенство $S^2 = S_F^2 + S_{ост}^2$:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "s4om9JoYYo9H",
    "outputId": "8a16fd68-68d2-4165-945e-410503eb5c1f"
   },
   "source": [
    "print(s2)\n",
    "print(s2_f + s2_residual)"
   ],
   "execution_count": 15,
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "34445.0\n",
      "34445.0\n"
     ]
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "0CSn3JPbYo9N"
   },
   "source": [
    "Найдем общую дисперсию:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "poku5it4Yo9O",
    "outputId": "5aabd9fa-fac6-438f-b1aa-6aa7f5647818"
   },
   "source": [
    "sigma2_general = s2 / (n - 1)\n",
    "sigma2_general"
   ],
   "execution_count": 16,
   "outputs": [
    {
     "data": {
      "text/plain": "1812.8947368421052"
     },
     "execution_count": 16,
     "metadata": {},
     "output_type": "execute_result"
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "GpuU4kg0Yo9W"
   },
   "source": [
    "Найдем факторную дисперсию:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "LDEml9L-Yo9Z",
    "outputId": "4740f545-c1bc-4260-8852-73891d7e19c3"
   },
   "source": [
    "sigma2_f = s2_f / (k - 1)\n",
    "sigma2_f"
   ],
   "execution_count": 17,
   "outputs": [
    {
     "data": {
      "text/plain": "13587.5"
     },
     "execution_count": 17,
     "metadata": {},
     "output_type": "execute_result"
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "G5vpR7jyYo9j"
   },
   "source": [
    "Найдем остаточную дисперсию:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "KeWVYYHfYo9r",
    "outputId": "936ec316-e751-4659-8d8d-3ea71b4b432c"
   },
   "source": [
    "sigma2_residual = s2_residual / (n - k)\n",
    "sigma2_residual"
   ],
   "execution_count": 18,
   "outputs": [
    {
     "data": {
      "text/plain": "427.6470588235294"
     },
     "execution_count": 18,
     "metadata": {},
     "output_type": "execute_result"
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "uQirLWssYo9x"
   },
   "source": [
    "Вычислим $F_H$:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "W9QELM6VYo91",
    "outputId": "f7cd32e9-7e6a-420b-d1f4-d92b17245e03"
   },
   "source": [
    "F_h = sigma2_f / sigma2_residual\n",
    "F_h"
   ],
   "execution_count": 19,
   "outputs": [
    {
     "data": {
      "text/plain": "31.77269601100413"
     },
     "execution_count": 19,
     "metadata": {},
     "output_type": "execute_result"
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "7pw0jHLlYo9-"
   },
   "source": [
    "Найдем значение $F_{крит}$ в таблице критических точек распределения Фишера-Снедекора для заданного уровня значимости $\\alpha = 0.05$ и двух степеней свободы: \n",
    "\n",
    "$df_{межд} = k - 1 = 3 - 1 = 2$ и $df_{внутр} = n - k = 20 - 3 = 17$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "WPLuwwbyYo9_"
   },
   "source": [
    "Для данных значений $F_{крит} = 3.59$. Так как $F_H > F_{крит}$, различие средних зарплат в трех группах статистически значимо."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "gIRQ9JRKYo-B"
   },
   "source": [
    "Также вычислим эмпирическое корреляционное отношение $\\eta^2$:"
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "jb2skTGMYo-D",
    "outputId": "5c0b396c-1bea-469f-e552-1a5ea31cf6ff"
   },
   "source": [
    "eta2 = s2_f / s2\n",
    "eta2"
   ],
   "execution_count": 20,
   "outputs": [
    {
     "data": {
      "text/plain": "0.7889388880824503"
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "M2g7FJjJYo-M"
   },
   "source": [
    "Значение $\\eta^2$ близко к 1 — значит,  различие средних зарплат в трех группах является статистически значимым."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "zyWIjbTvYo-O"
   },
   "source": [
    "##### Двухфакторный дисперсионный анализ"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "VgPWRCiyYo-T"
   },
   "source": [
    "В таблице представлены расчетные формулы для двухфакторного  \n",
    "дисперсионного анализа с однократными наблюдениями."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "2AdPpT4_Yo-V"
   },
   "source": [
    "<img src='https://ru.files.fm/thumb_show.php?i=vppqqgpj&view' width=650>Таблица 1. Формулы для двухфакторного дисперсионного анализа с однократными наблюдениями</img>"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "FINvfH-TYo-X"
   },
   "source": [
    "#### Факторный анализ"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "vw5yBA8-Yo-a"
   },
   "source": [
    "Факторный анализ (ФА) — это способ приведения (синтеза) множества непосредственно наблюдаемых показателей  \n",
    "\n",
    "$X_j = \\{x_{ij}\\}$, $(i = 1, 2, ..., n;\\:j = 1, 2, ..., m)$ к меньшему числу **Q < m** новых линейно независимых факторов \n",
    "\n",
    "(признаков, показателей) $Y_q$, ($q$ = 1, 2, ..., $Q$)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "-Zpz-C0ZYo-b"
   },
   "source": [
    "Предположим, что исходные данные представлены в виде матрицы  $X = \\{x_{ij}\\}$, $(i = 1, 2, ..., n;\\:j = 1, 2, ..., m)$, \n",
    "\n",
    "где $n$ — количество наблюдений, $m$ — показателей."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ASroxCLrYo-d"
   },
   "source": [
    "Зная, что величины $X_j$ могут иметь различный физический смысл и шкалы измерений, для удобства лучше \n",
    "\n",
    "перейти к стандартизированной матрице исходных данных  $X^{*} = \\{x_{ij}^{*}\\}$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "c72EHzv1Yo-d"
   },
   "source": [
    "Здесь каждый показатель $X_j^{*}$ имеет среднее значение, равное 0, и единичную дисперсию. Считается, что в факторном анализе \n",
    "\n",
    "линейная связь между измеряемыми показателями и факторами:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "BMrusEDAYo-f"
   },
   "source": [
    "$$X_{j}^{*} = \\sum\\limits_{q=1}^{Q}a_{jq}Y_q + U_j,\\;\\sum\\limits_{j=1}^{m}a_{jq}^{2} = 1, \\;q = 1, 2, ..., m,$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "kqBbuSDiYo-g"
   },
   "source": [
    "где $a_{jq}$ — подлежащиe определению коэффициенты."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Ssf_xsU9Yo-i"
   },
   "source": [
    "Справедливо соотношение:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "guo16URbYo-j"
   },
   "source": [
    "$$\\sigma_{j}^{2} = \\sum\\limits_{q=1}^{Q}a_{jq}^{2} + U_{j}^{2} = h^2 + U_{j}^{2} = 1,$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "aXnuXodwYo-l"
   },
   "source": [
    "где $h^2$, $U_j^2$ — соответственно общность и специфичность **j**-го показателя."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "OEgcLY_tYo-n"
   },
   "source": [
    "Данное равенство выполняется, если переменные стандартизированы, не коррелированы и для исследования используется линейная \n",
    "\n",
    "модель. Оценка $h_j^2$ определяется до выделения факторов, и это первая проблема.\n",
    "\n",
    "Вторая состоит в том, что сложно определить количество факторов и вид осей координат, используемых для отображения $m$ \n",
    "\n",
    "переменных. Применяются модели центроидных компонент, главных компонент и факторная модель."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "qOuTNlFEYo-p"
   },
   "source": [
    "Если возникают проблемы с факторами, необходимо ввести ограничения, чтобы однозначно определить систему \n",
    "\n",
    "равенств $R = A\\cdot{A^T} + U^2$, где $A^T$ — транспонированная матрица факторных нагрузок."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "LKQ16HRtYo-r"
   },
   "source": [
    "Процедура выделения факторов имеет бесконечно много эквивалентных решений, удовлетворяющие равенству  $R^h = A\\cdot{A^T}$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "tTm5s9z5Yo-t"
   },
   "source": [
    "Чтобы решить проблему с вращением, необходимо в уже установленном нами пространстве общих факторов определить \n",
    "\n",
    "для каждой переменной наиболее простое факторное объяснение (максимальные нагрузки для одних факторов, минимальные для других)."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "l95GJqy2Yo-t"
   },
   "source": [
    "Конечный результат факторного анализа — получение содержательно интерпретируемых факторов, которые воспроизводят \n",
    "\n",
    "матрицу коэффициентов корреляции между переменными. Для отдельного наблюдения (объекта) имеем:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ItgCDWt_Yo-w"
   },
   "source": [
    "$$x_{ij}^{*} = \\sum\\limits_{q=1}^{Q}a_{jq}y_{iq} + U_j, \\: i = \\overline{1, n}; \\: j = \\overline{1, m}.$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "w12R3gLDYo-y"
   },
   "source": [
    "Здесь $y_{iq}$ — значение фактора **q** у **i**-го объекта. Измеряем факторы исходя из равенства:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "moqJ8VrrYo-z"
   },
   "source": [
    "$$Y = A^{T}X, \\; y_{iq} = \\sum\\limits_{j=1}^{m}a_{jq}x_{ij}; \\; i = \\overline{1, n}, \\; q = \\overline{1, m}.$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "-DKDebq6Yo-1"
   },
   "source": [
    "##### Логистическая регрессия"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "gbv67jErYo-2"
   },
   "source": [
    "Пусть $Y_i$ указывает на значение переменной $Y, i = 1, ..., n$, где $n$ — количество выбирающих, и на значения $X_i = (x_{il}, ..., x_{jk})$ факторов, \n",
    "\n",
    "характеризующих выбор и выбирающего. Рассмотрим модель линейной вероятности:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "QRkSHcZ8Yo-4"
   },
   "source": [
    "$$Y_i = F(X_{i}\\beta^{T}) = \\beta_{1} x_{1i} + \\beta_{2} x_{2i} + ... + \\beta_{k} x_{ki} + \\varepsilon_{i}$$."
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "kWI3J86wYo-5"
   },
   "source": [
    "где $\\beta$ — вектор коэффициентов регрессии, $\\varepsilon_{i}$ — независимо распределенная случайная величина с нулевым математическим ожиданием \n",
    "\n",
    "(в дальнейшем — случайная ошибка). Из предположения о нулевом математическом ожидании случайной ошибки следует, что она \n",
    "\n",
    "принимает только дискретные значения. Поскольку $Y_i$ принимает только два значения, очевидно, что:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "d4RIIwScYo-7"
   },
   "source": [
    "$$E(Y_i) = 1 \\cdot {P(Y_i=1)} + 0 \\cdot {P(Y_i = 0)} = P(Y_i = 1) = F(X_i \\beta^T)$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "FVrxu16AYo-8"
   },
   "source": [
    "Модель может быть записана в виде:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "k43MnVuRYo-9"
   },
   "source": [
    "$$P(Y_i=1) = F(X_i \\beta^T) = X_i \\beta^T$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "LP-w8lK7Yo_H"
   },
   "source": [
    "Модель бинарного выбора, основанная на использовании функции распределения $F(z)$, область значений которой лежит в отрезке $[0, 1]$, имеет вид:"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "ZrMXSGHvYo_I"
   },
   "source": [
    "$$P_i = F(X_i \\beta^T)$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "Ypo0h2AeYo_K"
   },
   "source": [
    "Функцию логистического распределения"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "cYTLVweKYo_b"
   },
   "source": [
    "$$F(X_i \\beta^T) = \\frac{e^{X_i \\beta^T}}{1 + e^{X_i \\beta^T}} = \\frac{1}{1 + e^{-X_i \\beta^T}} = \\Lambda(X_i \\beta^T)$$"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {
    "id": "QOWr0b45Yo_c"
   },
   "source": [
    "называют logit-моделью."
   ]
  },
  {
   "cell_type": "code",
   "metadata": {
    "id": "ZjNthQrPYo_d"
   },
   "source": [
    ""
   ],
   "execution_count": 20,
   "outputs": []
  }
 ]
}