get_wikipedia_parent_category.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "import json\n",
    "import glob\n",
    "from urllib.request import urlopen\n",
    "import wikipediaapi\n",
    "import random \n",
    "from collections import Counter "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "['ஓவியம்',\n",
       " 'கட்டிடக்கலை',\n",
       " 'சிற்பக்கலை',\n",
       " 'ஒளிப்படவியல்',\n",
       " 'நாடகம்',\n",
       " 'இசை',\n",
       " 'நடனம்',\n",
       " 'திரைப்படம்',\n",
       " 'மொழி',\n",
       " 'இலக்கியம்',\n",
       " 'வரலாறு',\n",
       " 'சட்டம்',\n",
       " 'மெய்யியல்',\n",
       " 'சமயம்',\n",
       " 'மானிடவியல்',\n",
       " 'தொல்லியல்',\n",
       " 'பொருளியல்',\n",
       " 'அரசியல்',\n",
       " 'உளவியல்',\n",
       " 'சமூகவியல்',\n",
       " 'உயிரியல்',\n",
       " 'வேதியியல்',\n",
       " 'புவியியல்',\n",
       " 'புவி அறிவியல்',\n",
       " 'வானியல்',\n",
       " 'இயற்பியல்',\n",
       " 'கணினியியல்',\n",
       " 'கணிதம்',\n",
       " 'புள்ளியியல்',\n",
       " 'வணிகவியல்',\n",
       " 'தொழினுட்பம்',\n",
       " 'நலம்',\n",
       " 'நூலகவியல்',\n",
       " 'ஊடகவியல்',\n",
       " 'கல்வி',\n",
       " 'போரியல்',\n",
       " 'சமூகம்',\n",
       " 'பண்பாடு']"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "wiki_wiki = wikipediaapi.Wikipedia('ta')\n",
    "parent_cats_df = pd.read_csv(\"data/disciplines.csv\") \n",
    "parent_cats = parent_cats_df['Tamil Title'].tolist()\n",
    "parent_cats\n",
    "skip_cats = [\"Commons category with local link same as on Wikidata\"]\n",
    "parent_cats"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def get_cats(wiki_wiki, page_name):\n",
    "    page_py = wiki_wiki.page(page_name)\n",
    "    page_cats = False\n",
    "    if page_py.exists() == True:\n",
    "        page_cats = page_py.categories\n",
    "        page_cats = list(page_cats.keys())\n",
    "    return page_cats"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def find_cat(wiki_wiki, parent_cats, category_name, recursion_count):\n",
    "    result = \"NoCat\"\n",
    "    \n",
    "    ## base/terminating condition\n",
    "    if recursion_count > 25:\n",
    "        return result, recursion_count\n",
    "    recursion_count = recursion_count + 1\n",
    "    \n",
    "    skip_cats = [\"Commons category with local link same as on Wikidata\", \"Commons category with local link different than on Wikidata\", \"விக்கிப்பீடியா\", \"மேற்கோள் தேவைப்படும் அனைத்து கட்டுரைகள்\", \"விக்கிப்பீடியா துப்புரவு\", \"விக்கிப்பீடியா நிர்வாகம்\"]\n",
    "    cat1 = category_name.replace(\"பகுப்பு:\", \"\")\n",
    "    \n",
    "    ## base/terminating condition\n",
    "    if cat1 in parent_cats :\n",
    "        return cat1, recursion_count\n",
    "    else: \n",
    "        page_cats = get_cats(wiki_wiki, category_name)\n",
    "        \n",
    "        if page_cats == False:\n",
    "            return result, recursion_count\n",
    "\n",
    "        # shuffle so that we randomize the category selection\n",
    "        random.shuffle(page_cats) \n",
    "\n",
    "        # If cat is in the page_cats, return\n",
    "        for cat in page_cats: \n",
    "            cat2 = cat.replace(\"பகுப்பு:\", \"\")\n",
    "            \n",
    "            if cat2 in skip_cats :\n",
    "                continue\n",
    "    \n",
    "            if cat2 in parent_cats :\n",
    "                result = cat2\n",
    "                return cat2, recursion_count\n",
    "            \n",
    "        # Else continue to search\n",
    "        for cat in page_cats: \n",
    "            cat2 = cat.replace(\"பகுப்பு:\", \"\")\n",
    "            \n",
    "            if cat2 in skip_cats :\n",
    "                continue\n",
    "            \n",
    "            result, recursion_count = find_cat(wiki_wiki, parent_cats, cat, recursion_count)    \n",
    "                \n",
    "            ## base/terminating condition                \n",
    "            if result in parent_cats :\n",
    "                return result, recursion_count          \n",
    "            \n",
    "            # Not sure if we will ever get here\n",
    "            # Call and break, otherwise, we will add too many things to the stack\n",
    "            break\n",
    "    \n",
    "    return result, recursion_count"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "def most_frequent(List): \n",
    "    occurence_count = Counter(List) \n",
    "    return occurence_count.most_common(1)[0][0] "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>categories</th>\n",
       "      <th>id</th>\n",
       "      <th>text</th>\n",
       "      <th>title</th>\n",
       "      <th>url</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>43439</th>\n",
       "      <td>[]</td>\n",
       "      <td>3</td>\n",
       "      <td>முதற் பக்கம்\\n\\nBULLET::::- விக்கிப்பீடியா மொழ...</td>\n",
       "      <td>முதற் பக்கம்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=3</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43440</th>\n",
       "      <td>[கட்டிடக்கலை]</td>\n",
       "      <td>12</td>\n",
       "      <td>கட்டிடக்கலை\\n\\nகட்டிடக்கலை என்பது கட்டிடங்கள் ...</td>\n",
       "      <td>கட்டிடக்கலை</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=12</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43441</th>\n",
       "      <td>[கட்டிடக்கலை]</td>\n",
       "      <td>13</td>\n",
       "      <td>கட்டிடங்களின் பட்டியல்\\n\\nபிரபலமான அல்லது குறி...</td>\n",
       "      <td>கட்டிடங்களின் பட்டியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=13</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43442</th>\n",
       "      <td>[கட்டிடக்கலை, கட்டிடக்கலைஞர்கள்]</td>\n",
       "      <td>16</td>\n",
       "      <td>கட்டடக் கலைஞர்\\n\\nஒரு கட்டிடக்கலைஞன் அல்லது கட...</td>\n",
       "      <td>கட்டடக் கலைஞர்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=16</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43443</th>\n",
       "      <td>[கட்டிடக்கலைஞர்கள்]</td>\n",
       "      <td>17</td>\n",
       "      <td>குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்\\n...</td>\n",
       "      <td>குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=17</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43444</th>\n",
       "      <td>[புவியியல், புவி அறிவியல்]</td>\n",
       "      <td>18</td>\n",
       "      <td>புவியியல்\\n\\nபுவியியல் என்பது புவி, அங்குள்ள ந...</td>\n",
       "      <td>புவியியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=18</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43445</th>\n",
       "      <td>[நாடுகள், நாடுகள் தொடர்பான பட்டியல்கள்]</td>\n",
       "      <td>19</td>\n",
       "      <td>உலக நாடுகள் பட்டியல் (அகர வரிசையில்)\\n\\nஇது உல...</td>\n",
       "      <td>உலக நாடுகள் பட்டியல் (அகர வரிசையில்)</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=19</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43446</th>\n",
       "      <td>[நாடுகாண் பயணிகள், இத்தாலியர், 1451 பிறப்புகள்...</td>\n",
       "      <td>21</td>\n",
       "      <td>கிறித்தோபர் கொலம்பசு\\n\\nகிறித்தோபர் கொலம்பசு (...</td>\n",
       "      <td>கிறித்தோபர் கொலம்பசு</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=21</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43447</th>\n",
       "      <td>[இலங்கை புவியியல்]</td>\n",
       "      <td>26</td>\n",
       "      <td>இலங்கையின் புவியியல்\\n\\nஇலங்கை, இந்தியாவுக்குத...</td>\n",
       "      <td>இலங்கையின் புவியியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=26</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43448</th>\n",
       "      <td>[இந்தியப் புவியியல், ஆசியா, தெற்கு ஆசியா, கண்ட...</td>\n",
       "      <td>32</td>\n",
       "      <td>இந்தியத் துணைக்கண்டம்\\n\\nஇந்தியத் துணைக் கண்டம...</td>\n",
       "      <td>இந்தியத் துணைக்கண்டம்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=32</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                              categories  id  \\\n",
       "43439                                                 []   3   \n",
       "43440                                      [கட்டிடக்கலை]  12   \n",
       "43441                                      [கட்டிடக்கலை]  13   \n",
       "43442                   [கட்டிடக்கலை, கட்டிடக்கலைஞர்கள்]  16   \n",
       "43443                                [கட்டிடக்கலைஞர்கள்]  17   \n",
       "43444                         [புவியியல், புவி அறிவியல்]  18   \n",
       "43445            [நாடுகள், நாடுகள் தொடர்பான பட்டியல்கள்]  19   \n",
       "43446  [நாடுகாண் பயணிகள், இத்தாலியர், 1451 பிறப்புகள்...  21   \n",
       "43447                                 [இலங்கை புவியியல்]  26   \n",
       "43448  [இந்தியப் புவியியல், ஆசியா, தெற்கு ஆசியா, கண்ட...  32   \n",
       "\n",
       "                                                    text  \\\n",
       "43439  முதற் பக்கம்\\n\\nBULLET::::- விக்கிப்பீடியா மொழ...   \n",
       "43440  கட்டிடக்கலை\\n\\nகட்டிடக்கலை என்பது கட்டிடங்கள் ...   \n",
       "43441  கட்டிடங்களின் பட்டியல்\\n\\nபிரபலமான அல்லது குறி...   \n",
       "43442  கட்டடக் கலைஞர்\\n\\nஒரு கட்டிடக்கலைஞன் அல்லது கட...   \n",
       "43443  குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்\\n...   \n",
       "43444  புவியியல்\\n\\nபுவியியல் என்பது புவி, அங்குள்ள ந...   \n",
       "43445  உலக நாடுகள் பட்டியல் (அகர வரிசையில்)\\n\\nஇது உல...   \n",
       "43446  கிறித்தோபர் கொலம்பசு\\n\\nகிறித்தோபர் கொலம்பசு (...   \n",
       "43447  இலங்கையின் புவியியல்\\n\\nஇலங்கை, இந்தியாவுக்குத...   \n",
       "43448  இந்தியத் துணைக்கண்டம்\\n\\nஇந்தியத் துணைக் கண்டம...   \n",
       "\n",
       "                                              title  \\\n",
       "43439                                  முதற் பக்கம்   \n",
       "43440                                   கட்டிடக்கலை   \n",
       "43441                        கட்டிடங்களின் பட்டியல்   \n",
       "43442                                கட்டடக் கலைஞர்   \n",
       "43443  குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்   \n",
       "43444                                     புவியியல்   \n",
       "43445          உலக நாடுகள் பட்டியல் (அகர வரிசையில்)   \n",
       "43446                          கிறித்தோபர் கொலம்பசு   \n",
       "43447                          இலங்கையின் புவியியல்   \n",
       "43448                         இந்தியத் துணைக்கண்டம்   \n",
       "\n",
       "                                          url  \n",
       "43439   https://ta.wikipedia.org/wiki?curid=3  \n",
       "43440  https://ta.wikipedia.org/wiki?curid=12  \n",
       "43441  https://ta.wikipedia.org/wiki?curid=13  \n",
       "43442  https://ta.wikipedia.org/wiki?curid=16  \n",
       "43443  https://ta.wikipedia.org/wiki?curid=17  \n",
       "43444  https://ta.wikipedia.org/wiki?curid=18  \n",
       "43445  https://ta.wikipedia.org/wiki?curid=19  \n",
       "43446  https://ta.wikipedia.org/wiki?curid=21  \n",
       "43447  https://ta.wikipedia.org/wiki?curid=26  \n",
       "43448  https://ta.wikipedia.org/wiki?curid=32  "
      ]
     },
     "execution_count": 6,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "## Read the artile info into a dataframe\n",
    "json_files = glob.glob('data/tamil_wiki_data/wiki_*')\n",
    "df_list = []\n",
    "for filename in json_files:\n",
    "    df_list.append(pd.read_json(filename, orient='columns', lines=True))\n",
    "    \n",
    "df = pd.concat(df_list, ignore_index=True)    \n",
    "df = df.sort_values(by=['id'])\n",
    "df.head(10)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(129526, 5)"
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df.shape"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>categories</th>\n",
       "      <th>id</th>\n",
       "      <th>text</th>\n",
       "      <th>title</th>\n",
       "      <th>url</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>43440</th>\n",
       "      <td>[கட்டிடக்கலை]</td>\n",
       "      <td>12</td>\n",
       "      <td>கட்டிடக்கலை\\n\\nகட்டிடக்கலை என்பது கட்டிடங்கள் ...</td>\n",
       "      <td>கட்டிடக்கலை</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=12</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43441</th>\n",
       "      <td>[கட்டிடக்கலை]</td>\n",
       "      <td>13</td>\n",
       "      <td>கட்டிடங்களின் பட்டியல்\\n\\nபிரபலமான அல்லது குறி...</td>\n",
       "      <td>கட்டிடங்களின் பட்டியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=13</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43442</th>\n",
       "      <td>[கட்டிடக்கலை, கட்டிடக்கலைஞர்கள்]</td>\n",
       "      <td>16</td>\n",
       "      <td>கட்டடக் கலைஞர்\\n\\nஒரு கட்டிடக்கலைஞன் அல்லது கட...</td>\n",
       "      <td>கட்டடக் கலைஞர்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=16</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43443</th>\n",
       "      <td>[கட்டிடக்கலைஞர்கள்]</td>\n",
       "      <td>17</td>\n",
       "      <td>குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்\\n...</td>\n",
       "      <td>குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=17</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43444</th>\n",
       "      <td>[புவியியல், புவி அறிவியல்]</td>\n",
       "      <td>18</td>\n",
       "      <td>புவியியல்\\n\\nபுவியியல் என்பது புவி, அங்குள்ள ந...</td>\n",
       "      <td>புவியியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=18</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43445</th>\n",
       "      <td>[நாடுகள், நாடுகள் தொடர்பான பட்டியல்கள்]</td>\n",
       "      <td>19</td>\n",
       "      <td>உலக நாடுகள் பட்டியல் (அகர வரிசையில்)\\n\\nஇது உல...</td>\n",
       "      <td>உலக நாடுகள் பட்டியல் (அகர வரிசையில்)</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=19</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43446</th>\n",
       "      <td>[நாடுகாண் பயணிகள், இத்தாலியர், 1451 பிறப்புகள்...</td>\n",
       "      <td>21</td>\n",
       "      <td>கிறித்தோபர் கொலம்பசு\\n\\nகிறித்தோபர் கொலம்பசு (...</td>\n",
       "      <td>கிறித்தோபர் கொலம்பசு</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=21</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43447</th>\n",
       "      <td>[இலங்கை புவியியல்]</td>\n",
       "      <td>26</td>\n",
       "      <td>இலங்கையின் புவியியல்\\n\\nஇலங்கை, இந்தியாவுக்குத...</td>\n",
       "      <td>இலங்கையின் புவியியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=26</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43448</th>\n",
       "      <td>[இந்தியப் புவியியல், ஆசியா, தெற்கு ஆசியா, கண்ட...</td>\n",
       "      <td>32</td>\n",
       "      <td>இந்தியத் துணைக்கண்டம்\\n\\nஇந்தியத் துணைக் கண்டம...</td>\n",
       "      <td>இந்தியத் துணைக்கண்டம்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=32</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                              categories  id  \\\n",
       "43440                                      [கட்டிடக்கலை]  12   \n",
       "43441                                      [கட்டிடக்கலை]  13   \n",
       "43442                   [கட்டிடக்கலை, கட்டிடக்கலைஞர்கள்]  16   \n",
       "43443                                [கட்டிடக்கலைஞர்கள்]  17   \n",
       "43444                         [புவியியல், புவி அறிவியல்]  18   \n",
       "43445            [நாடுகள், நாடுகள் தொடர்பான பட்டியல்கள்]  19   \n",
       "43446  [நாடுகாண் பயணிகள், இத்தாலியர், 1451 பிறப்புகள்...  21   \n",
       "43447                                 [இலங்கை புவியியல்]  26   \n",
       "43448  [இந்தியப் புவியியல், ஆசியா, தெற்கு ஆசியா, கண்ட...  32   \n",
       "\n",
       "                                                    text  \\\n",
       "43440  கட்டிடக்கலை\\n\\nகட்டிடக்கலை என்பது கட்டிடங்கள் ...   \n",
       "43441  கட்டிடங்களின் பட்டியல்\\n\\nபிரபலமான அல்லது குறி...   \n",
       "43442  கட்டடக் கலைஞர்\\n\\nஒரு கட்டிடக்கலைஞன் அல்லது கட...   \n",
       "43443  குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்\\n...   \n",
       "43444  புவியியல்\\n\\nபுவியியல் என்பது புவி, அங்குள்ள ந...   \n",
       "43445  உலக நாடுகள் பட்டியல் (அகர வரிசையில்)\\n\\nஇது உல...   \n",
       "43446  கிறித்தோபர் கொலம்பசு\\n\\nகிறித்தோபர் கொலம்பசு (...   \n",
       "43447  இலங்கையின் புவியியல்\\n\\nஇலங்கை, இந்தியாவுக்குத...   \n",
       "43448  இந்தியத் துணைக்கண்டம்\\n\\nஇந்தியத் துணைக் கண்டம...   \n",
       "\n",
       "                                              title  \\\n",
       "43440                                   கட்டிடக்கலை   \n",
       "43441                        கட்டிடங்களின் பட்டியல்   \n",
       "43442                                கட்டடக் கலைஞர்   \n",
       "43443  குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்   \n",
       "43444                                     புவியியல்   \n",
       "43445          உலக நாடுகள் பட்டியல் (அகர வரிசையில்)   \n",
       "43446                          கிறித்தோபர் கொலம்பசு   \n",
       "43447                          இலங்கையின் புவியியல்   \n",
       "43448                         இந்தியத் துணைக்கண்டம்   \n",
       "\n",
       "                                          url  \n",
       "43440  https://ta.wikipedia.org/wiki?curid=12  \n",
       "43441  https://ta.wikipedia.org/wiki?curid=13  \n",
       "43442  https://ta.wikipedia.org/wiki?curid=16  \n",
       "43443  https://ta.wikipedia.org/wiki?curid=17  \n",
       "43444  https://ta.wikipedia.org/wiki?curid=18  \n",
       "43445  https://ta.wikipedia.org/wiki?curid=19  \n",
       "43446  https://ta.wikipedia.org/wiki?curid=21  \n",
       "43447  https://ta.wikipedia.org/wiki?curid=26  \n",
       "43448  https://ta.wikipedia.org/wiki?curid=32  "
      ]
     },
     "execution_count": 8,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_subset = df.iloc[1:10]\n",
    "df_subset = df_subset.sort_values(by=['id'])\n",
    "df_subset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "item: 1\n",
      "title: கட்டிடக்கலை\n",
      "category: கட்டிடக்கலை\n",
      "item: 2\n",
      "title: கட்டிடங்களின் பட்டியல்\n",
      "category: கட்டிடக்கலை\n",
      "item: 3\n",
      "title: கட்டடக் கலைஞர்\n",
      "category: கட்டிடக்கலை\n",
      "item: 4\n",
      "title: குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்\n",
      "category: கட்டிடக்கலை\n",
      "item: 5\n",
      "title: புவியியல்\n",
      "category: புவியியல்\n",
      "item: 6\n",
      "title: உலக நாடுகள் பட்டியல் (அகர வரிசையில்)\n",
      "category: புவியியல்\n",
      "item: 7\n",
      "title: கிறித்தோபர் கொலம்பசு\n",
      "category: வரலாறு\n",
      "item: 8\n",
      "title: இலங்கையின் புவியியல்\n",
      "category: புவியியல்\n",
      "item: 9\n",
      "title: இந்தியத் துணைக்கண்டம்\n",
      "category: புவியியல்\n"
     ]
    }
   ],
   "source": [
    "cat_list = []\n",
    "recursion_depth_list = []\n",
    "\n",
    "i = 0;\n",
    "for index, row in df_subset.iterrows():\n",
    "    cats = row[\"categories\"]\n",
    "    title = row[\"title\"]\n",
    "    i = i + 1\n",
    "    print(\"item: \" + str(i))\n",
    "    print(\"title: \" + title)\n",
    "    \n",
    "    parent_cat_list = []\n",
    "    recursion_count_list = []\n",
    "    for cat in cats:\n",
    "        category_name = \"பகுப்பு:\" + cat\n",
    "        found_cat, recursion_count = find_cat(wiki_wiki, parent_cats, category_name, 0)\n",
    "        parent_cat_list.append(found_cat)\n",
    "        recursion_count_list.append(recursion_count)\n",
    "\n",
    "    if len(cats) == 0:\n",
    "        parent_cat = \"NoCat\"\n",
    "        recursion_depth = 99\n",
    "    else:\n",
    "        parent_cat = most_frequent(parent_cat_list)\n",
    "        recursion_count_index = parent_cat_list.index(parent_cat)\n",
    "        recursion_depth = recursion_count_list[recursion_count_index]\n",
    "        \n",
    "    cat_list.append(parent_cat)\n",
    "    recursion_depth_list.append(recursion_depth)\n",
    "    print(\"category: \" + parent_cat)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style>\n",
       "    .dataframe thead tr:only-child th {\n",
       "        text-align: right;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: left;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>categories</th>\n",
       "      <th>id</th>\n",
       "      <th>text</th>\n",
       "      <th>title</th>\n",
       "      <th>url</th>\n",
       "      <th>parent_category</th>\n",
       "      <th>parent_category_recursion_depth</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>43440</th>\n",
       "      <td>[கட்டிடக்கலை]</td>\n",
       "      <td>12</td>\n",
       "      <td>கட்டிடக்கலை\\n\\nகட்டிடக்கலை என்பது கட்டிடங்கள் ...</td>\n",
       "      <td>கட்டிடக்கலை</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=12</td>\n",
       "      <td>கட்டிடக்கலை</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43441</th>\n",
       "      <td>[கட்டிடக்கலை]</td>\n",
       "      <td>13</td>\n",
       "      <td>கட்டிடங்களின் பட்டியல்\\n\\nபிரபலமான அல்லது குறி...</td>\n",
       "      <td>கட்டிடங்களின் பட்டியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=13</td>\n",
       "      <td>கட்டிடக்கலை</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43442</th>\n",
       "      <td>[கட்டிடக்கலை, கட்டிடக்கலைஞர்கள்]</td>\n",
       "      <td>16</td>\n",
       "      <td>கட்டடக் கலைஞர்\\n\\nஒரு கட்டிடக்கலைஞன் அல்லது கட...</td>\n",
       "      <td>கட்டடக் கலைஞர்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=16</td>\n",
       "      <td>கட்டிடக்கலை</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43443</th>\n",
       "      <td>[கட்டிடக்கலைஞர்கள்]</td>\n",
       "      <td>17</td>\n",
       "      <td>குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்\\n...</td>\n",
       "      <td>குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=17</td>\n",
       "      <td>கட்டிடக்கலை</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43444</th>\n",
       "      <td>[புவியியல், புவி அறிவியல்]</td>\n",
       "      <td>18</td>\n",
       "      <td>புவியியல்\\n\\nபுவியியல் என்பது புவி, அங்குள்ள ந...</td>\n",
       "      <td>புவியியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=18</td>\n",
       "      <td>புவியியல்</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43445</th>\n",
       "      <td>[நாடுகள், நாடுகள் தொடர்பான பட்டியல்கள்]</td>\n",
       "      <td>19</td>\n",
       "      <td>உலக நாடுகள் பட்டியல் (அகர வரிசையில்)\\n\\nஇது உல...</td>\n",
       "      <td>உலக நாடுகள் பட்டியல் (அகர வரிசையில்)</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=19</td>\n",
       "      <td>புவியியல்</td>\n",
       "      <td>1</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43446</th>\n",
       "      <td>[நாடுகாண் பயணிகள், இத்தாலியர், 1451 பிறப்புகள்...</td>\n",
       "      <td>21</td>\n",
       "      <td>கிறித்தோபர் கொலம்பசு\\n\\nகிறித்தோபர் கொலம்பசு (...</td>\n",
       "      <td>கிறித்தோபர் கொலம்பசு</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=21</td>\n",
       "      <td>வரலாறு</td>\n",
       "      <td>7</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43447</th>\n",
       "      <td>[இலங்கை புவியியல்]</td>\n",
       "      <td>26</td>\n",
       "      <td>இலங்கையின் புவியியல்\\n\\nஇலங்கை, இந்தியாவுக்குத...</td>\n",
       "      <td>இலங்கையின் புவியியல்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=26</td>\n",
       "      <td>புவியியல்</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>43448</th>\n",
       "      <td>[இந்தியப் புவியியல், ஆசியா, தெற்கு ஆசியா, கண்ட...</td>\n",
       "      <td>32</td>\n",
       "      <td>இந்தியத் துணைக்கண்டம்\\n\\nஇந்தியத் துணைக் கண்டம...</td>\n",
       "      <td>இந்தியத் துணைக்கண்டம்</td>\n",
       "      <td>https://ta.wikipedia.org/wiki?curid=32</td>\n",
       "      <td>புவியியல்</td>\n",
       "      <td>2</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                                              categories  id  \\\n",
       "43440                                      [கட்டிடக்கலை]  12   \n",
       "43441                                      [கட்டிடக்கலை]  13   \n",
       "43442                   [கட்டிடக்கலை, கட்டிடக்கலைஞர்கள்]  16   \n",
       "43443                                [கட்டிடக்கலைஞர்கள்]  17   \n",
       "43444                         [புவியியல், புவி அறிவியல்]  18   \n",
       "43445            [நாடுகள், நாடுகள் தொடர்பான பட்டியல்கள்]  19   \n",
       "43446  [நாடுகாண் பயணிகள், இத்தாலியர், 1451 பிறப்புகள்...  21   \n",
       "43447                                 [இலங்கை புவியியல்]  26   \n",
       "43448  [இந்தியப் புவியியல், ஆசியா, தெற்கு ஆசியா, கண்ட...  32   \n",
       "\n",
       "                                                    text  \\\n",
       "43440  கட்டிடக்கலை\\n\\nகட்டிடக்கலை என்பது கட்டிடங்கள் ...   \n",
       "43441  கட்டிடங்களின் பட்டியல்\\n\\nபிரபலமான அல்லது குறி...   \n",
       "43442  கட்டடக் கலைஞர்\\n\\nஒரு கட்டிடக்கலைஞன் அல்லது கட...   \n",
       "43443  குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்\\n...   \n",
       "43444  புவியியல்\\n\\nபுவியியல் என்பது புவி, அங்குள்ள ந...   \n",
       "43445  உலக நாடுகள் பட்டியல் (அகர வரிசையில்)\\n\\nஇது உல...   \n",
       "43446  கிறித்தோபர் கொலம்பசு\\n\\nகிறித்தோபர் கொலம்பசு (...   \n",
       "43447  இலங்கையின் புவியியல்\\n\\nஇலங்கை, இந்தியாவுக்குத...   \n",
       "43448  இந்தியத் துணைக்கண்டம்\\n\\nஇந்தியத் துணைக் கண்டம...   \n",
       "\n",
       "                                              title  \\\n",
       "43440                                   கட்டிடக்கலை   \n",
       "43441                        கட்டிடங்களின் பட்டியல்   \n",
       "43442                                கட்டடக் கலைஞர்   \n",
       "43443  குறிப்பிடத்தக்க கட்டிடக்கலைஞர்களின் பட்டியல்   \n",
       "43444                                     புவியியல்   \n",
       "43445          உலக நாடுகள் பட்டியல் (அகர வரிசையில்)   \n",
       "43446                          கிறித்தோபர் கொலம்பசு   \n",
       "43447                          இலங்கையின் புவியியல்   \n",
       "43448                         இந்தியத் துணைக்கண்டம்   \n",
       "\n",
       "                                          url parent_category  \\\n",
       "43440  https://ta.wikipedia.org/wiki?curid=12     கட்டிடக்கலை   \n",
       "43441  https://ta.wikipedia.org/wiki?curid=13     கட்டிடக்கலை   \n",
       "43442  https://ta.wikipedia.org/wiki?curid=16     கட்டிடக்கலை   \n",
       "43443  https://ta.wikipedia.org/wiki?curid=17     கட்டிடக்கலை   \n",
       "43444  https://ta.wikipedia.org/wiki?curid=18       புவியியல்   \n",
       "43445  https://ta.wikipedia.org/wiki?curid=19       புவியியல்   \n",
       "43446  https://ta.wikipedia.org/wiki?curid=21          வரலாறு   \n",
       "43447  https://ta.wikipedia.org/wiki?curid=26       புவியியல்   \n",
       "43448  https://ta.wikipedia.org/wiki?curid=32       புவியியல்   \n",
       "\n",
       "       parent_category_recursion_depth  \n",
       "43440                                1  \n",
       "43441                                1  \n",
       "43442                                1  \n",
       "43443                                1  \n",
       "43444                                1  \n",
       "43445                                1  \n",
       "43446                                7  \n",
       "43447                                2  \n",
       "43448                                2  "
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "df_subset['parent_category'] = cat_list\n",
    "df_subset['parent_category_recursion_depth'] = recursion_depth_list\n",
    "df_subset"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": [
    "df_subset.to_csv(\"data/ready_data_0_10_example.csv\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {
    "collapsed": true
   },
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.6.9"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}