1.make-csv-of-frequency-nouns-and-adjs.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "import pandas as pd\n",
    "import numpy as np\n",
    "\n",
    "df = pd.read_csv(\"./word2vec_wrangling.csv\")\n",
    "exercise_to_loop = df[\"exercise_name\"].to_list()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'This lovely couple will be at the ➡️\\n➡️ FETHIYE DANCE CAMP Vol V\\n29 May-7 June 2020 😍💥\\nDancers: Can y Nil\\nPage: @canyniloficial\\n🏡Living in the first sea line hotel with breakfast and supper\\n✅Full pass to all master-classes and parties\\n🛥 Yacht tour in Oludeniz lagoon with dinner and party on the board\\n🏰Excursions to the area’s main sights\\n🏝Beach parties with live latin orchestra\\n🚗 All transfers to the parties, excursions and back ⬇️Contact with us⬇️ 🔸@fethiyedancecamp 🔸@innokentiykyzlasov 🤗\\n-----------------------------------------------\\nFOLLOW ➡️ @SDANCEWOW ☑️\\n------------------------------------------------- #bachata#sdancewow #socialdance#romeosantos #bachatas #bachatasensual #sensualbachata #bachateros #bachatera#bestdance #gwepaaa #bachatadance #atacaylaalemana #ilovebachata #lovebachata #bachatalove #bachatalover #bachatadancing #бачата #bachateamemama#바차타 #bachatanight #lovedance #социальныетанцы #baile #bachataurbana #bachateame #bachatatime#dancelover \\nVideo by @yclozl @sociald'"
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "exercise_name = \"바차타\"\n",
    "file_name = \"#\" + exercise_name + \"_sum.txt\"\n",
    "file_1 = \"/Users/noopy/FitCuration/\" + file_name\n",
    "text = open(file_1, 'r', -1, \"UTF-8\", errors=\"ignore\").read()\n",
    "text[:1000]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'                                                                                            바차타           년 새해 첫 시작으로 새로운 취미 어떠신가요라틴속으로 살사 바차타 차차 메렝게 홍대 홍대살사 홍대라틴속으로 라틴속으로살사 살사댄스 남미 남미댄스 취미 직장인취미  합정 망원      파타야 살사벙 금요 소셜 플레이스 파타야 시암시암 노블 바차타 워크숍 수업 후 사진                        살사 살사강습 바차타 바차타수업 바차타동호회 살사동호회    파타야 파타야여행 파타야살사 다이어트 운동 라틴 영어   살사여행 취미활동 라틴댄스 홍대살사 홍대바차타 라틴살사댄스클럽 살사 바차타    텐션홍대동호회 살사동호회 라틴속으로 초급모집 기 살사 홍대 합정 연남동 망원 강남 살사댄스 생일 홍대동호회추천 취미 소셜 동호회 소통 인친 친구 바차타 바차타댄스 셀스타그램 친목 인기 셀피 정모   도와주세요 제 지인이 아픕니다 많이 아픕니다벌이가 시원치 않아 맘이 아파요ㅠㅠ울 자이쌤   춤 잘춥니다 진짜예요울산에서 젤 잘춘다고 자기 입으로 말했어요잘 갈킵니다부족한거 콕콕 찝어서 쿠사리 줘가면서 눈물 쏙 빼면서 잘 갈켜요원래 욕먹고 배워야 안까먹거든요옛날에 바차타로 전국대회 상도 탔어요그때 파트너 외국가셔서 지금은 파트너도 없는 외기러기 신세지만ㅠㅠ이 사람 열심히 살아요춤추고 술먹고 춤추고 술먹고 춤추춤 안추면 술만 먹어서 폐인될지도 몰라요그리고 이사람 빠 접으면 저도 춤출대가 없어요라 사보 바모 푸에음 안되면 딴대가서 놀아도 되겠다그래도 이 양반이 젤로 잘갈켜요라틴댄스 관심있는 분 울산보니따 에서 배워 봅시다살사 바차타 차차 다 잼나요여기 클릭해서 가입하심 됩니다울산자이 춤신춤왕 울산춤짱라틴패밀리 울산라팸울산살사 울산바차타 울산차차 울산라틴댄스운동하는남자 운동하는여자울산삼산 울산핫플 울산 울산춤추는남자 춤추는여자인생취미 삼산맛집 삼산멋집펭수 자이언트펭수  일요 바차타 초중급 '"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# -*- coding: utf-8 -*-\n",
    "import re\n",
    "def preprocessing_hangul(text):\n",
    "    # 개행문자 제거\n",
    "    hangul = re.compile('[^ ㄱ-ㅣ가-힣]+')\n",
    "    result = hangul.sub('', text)\n",
    "    return result\n",
    "\n",
    "clean_text = preprocessing_hangul(text)\n",
    "clean_text[:1000]"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 103,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('살사', 3096),\n",
       " ('바차타', 2386),\n",
       " ('댄스', 1642),\n",
       " ('라틴', 1297),\n",
       " ('동호회', 865),\n",
       " ('홍대', 630),\n",
       " ('취미', 543),\n",
       " ('여행', 359),\n",
       " ('수업', 336),\n",
       " ('강습', 316),\n",
       " ('강남', 307),\n",
       " ('춤', 280),\n",
       " ('소셜', 262),\n",
       " ('운동', 252),\n",
       " ('클럽', 229),\n",
       " ('다이어트', 214),\n",
       " ('파티', 213),\n",
       " ('에버', 209),\n",
       " ('영어', 202),\n",
       " ('텐션', 180),\n",
       " ('활동', 166),\n",
       " ('공연', 163),\n",
       " ('파타야', 152),\n",
       " ('쌤', 147),\n",
       " ('키', 146),\n",
       " ('좀바', 137),\n",
       " ('방콕', 130),\n",
       " ('모임', 126),\n",
       " ('커플', 119),\n",
       " ('나', 117),\n",
       " ('오사카', 115),\n",
       " ('바', 115),\n",
       " ('부산', 115),\n",
       " ('정모', 114),\n",
       " ('수원', 112),\n",
       " ('클래스', 109),\n",
       " ('일상', 109),\n",
       " ('쿠바', 109),\n",
       " ('직장', 103),\n",
       " ('생활', 103),\n",
       " ('일본', 98),\n",
       " ('사진', 97),\n",
       " ('슈얼', 94),\n",
       " ('팔', 94),\n",
       " ('반', 89),\n",
       " ('초급', 89),\n",
       " ('스다', 83),\n",
       " ('연말', 83),\n",
       " ('시간', 77),\n",
       " ('맛집', 75),\n",
       " ('베이직', 75),\n",
       " ('중', 73),\n",
       " ('핫', 72),\n",
       " ('주차', 72),\n",
       " ('크루', 70),\n",
       " ('신청', 69),\n",
       " ('아카데미', 68),\n",
       " ('연습', 67),\n",
       " ('소통', 64),\n",
       " ('맘보', 63),\n",
       " ('것', 63),\n",
       " ('홍', 63),\n",
       " ('번', 60),\n",
       " ('주', 60),\n",
       " ('차', 60),\n",
       " ('설', 60),\n",
       " ('시작', 57),\n",
       " ('콜', 56),\n",
       " ('미군', 54),\n",
       " ('부대', 54),\n",
       " ('오픈', 54),\n",
       " ('음악', 53),\n",
       " ('새해', 52),\n",
       " ('여기', 52),\n",
       " ('달', 52),\n",
       " ('한곡', 52),\n",
       " ('완성', 51),\n",
       " ('거', 50),\n",
       " ('사랑', 50),\n",
       " ('블랙', 49),\n",
       " ('센', 49),\n",
       " ('콩', 49),\n",
       " ('속', 48),\n",
       " ('이번', 48),\n",
       " ('앵', 48),\n",
       " ('스터디', 47),\n",
       " ('언어', 47),\n",
       " ('교환', 47),\n",
       " ('특강', 47),\n",
       " ('서울', 46),\n",
       " ('벨', 46),\n",
       " ('영상', 46),\n",
       " ('친구', 45),\n",
       " ('전설', 45),\n",
       " ('수강', 45),\n",
       " ('토요일', 45),\n",
       " ('사람', 44),\n",
       " ('우리', 44),\n",
       " ('남미', 43),\n",
       " ('생일', 43)]"
      ]
     },
     "execution_count": 103,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# MeCab으로 명사 뽑아내기\n",
    "from konlpy.tag import Mecab\n",
    "mecab = Mecab()\n",
    "noun_list_mecab = mecab.nouns(clean_text)\n",
    "\n",
    "# stopwards preprocessing\n",
    "stopwords_mecab = ['수','퀄리티','도시','분','전문','스타','년','원',\\\n",
    "                   '월','화','수','목','금','시','앤','일','그램','문'] \n",
    "\n",
    "clean_noun_list_mecab = []\n",
    "\n",
    "for n in noun_list_mecab:\n",
    "    if n not in stopwords_mecab:\n",
    "        clean_noun_list_mecab.append(n)\n",
    "\n",
    "# get top 100 most common nouns\n",
    "from collections import Counter\n",
    "nouns_mecab = Counter(clean_noun_list_mecab)\n",
    "\n",
    "tags_mecab = nouns_mecab.most_common(100)\n",
    "tags_mecab"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 104,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[('배우기', 99),\n",
       " ('따', 84),\n",
       " ('보니', 80),\n",
       " ('센', 52),\n",
       " ('들', 47),\n",
       " ('좋아요', 38),\n",
       " ('미치리', 38),\n",
       " ('좋아하고', 33),\n",
       " ('댄', 26),\n",
       " ('해서', 24),\n",
       " ('많은', 24),\n",
       " ('넘', 23),\n",
       " ('즐거운', 23),\n",
       " ('해주세요', 22),\n",
       " ('좋은', 22),\n",
       " ('까사', 20),\n",
       " ('춤추는', 17),\n",
       " ('감사합니다', 17),\n",
       " ('주세요', 16),\n",
       " ('출', 15),\n",
       " ('만나요', 14),\n",
       " ('미', 14),\n",
       " ('신나게', 14),\n",
       " ('먹고', 13),\n",
       " ('참', 13),\n",
       " ('멋진', 13),\n",
       " ('즐겁게', 13),\n",
       " ('넘나', 13),\n",
       " ('크', 13),\n",
       " ('클', 13),\n",
       " ('새로운', 12),\n",
       " ('나도', 12),\n",
       " ('행복한', 12),\n",
       " ('오세요', 12),\n",
       " ('한', 12),\n",
       " ('가', 11),\n",
       " ('하지', 11),\n",
       " ('하면', 11),\n",
       " ('했어', 11),\n",
       " ('나를', 11),\n",
       " ('따라', 10),\n",
       " ('했는데', 10),\n",
       " ('하게', 10),\n",
       " ('아름다운', 10),\n",
       " ('낄라', 10),\n",
       " ('는', 10),\n",
       " ('갈', 9),\n",
       " ('배워', 9),\n",
       " ('있다', 9),\n",
       " ('쓰', 9),\n",
       " ('싸', 9),\n",
       " ('받으세요', 9),\n",
       " ('그럼', 9),\n",
       " ('빤', 9),\n",
       " ('고마워', 9),\n",
       " ('해주는', 9),\n",
       " ('이쁜', 9),\n",
       " ('재밌는', 9),\n",
       " ('하면서', 9),\n",
       " ('어떤것', 9),\n",
       " ('춤추고', 8),\n",
       " ('와', 8),\n",
       " ('아님', 8),\n",
       " ('드려요', 8),\n",
       " ('보는', 8),\n",
       " ('해야', 8),\n",
       " ('마세요', 7),\n",
       " ('마시고', 7),\n",
       " ('주는', 7),\n",
       " ('까', 7),\n",
       " ('배우고', 7),\n",
       " ('갑니다', 7),\n",
       " ('놀러', 7),\n",
       " ('썬', 7),\n",
       " ('싶은', 7),\n",
       " ('좋아', 7),\n",
       " ('와주세요', 7),\n",
       " ('추는', 7),\n",
       " ('가는', 7),\n",
       " ('되면', 7),\n",
       " ('춤추기', 7),\n",
       " ('본', 6),\n",
       " ('있죠', 6),\n",
       " ('잊지', 6),\n",
       " ('즐겨', 6),\n",
       " ('놀아', 6),\n",
       " ('봐요', 6),\n",
       " ('어느새', 6),\n",
       " ('했던', 6),\n",
       " ('있고', 6),\n",
       " ('있으니', 6),\n",
       " ('추고', 6),\n",
       " ('오셔서', 6),\n",
       " ('달려', 6),\n",
       " ('배우는', 6),\n",
       " ('알차게', 6),\n",
       " ('죽어', 6),\n",
       " ('찐', 6),\n",
       " ('보면', 6),\n",
       " ('올', 6)]"
      ]
     },
     "execution_count": 104,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Okt(Twitter 업데이트 버전)으로 서술어 뽑아내기\n",
    "# Reference: https://m.blog.naver.com/imsam77/221260229647\n",
    "# 1. 이전 포스트에서 크롤링한 댓글파일을 읽기전용으로 호출함\n",
    "# Trying to get adjectives\n",
    "# 3. 트윗터 패키지 안에 konlpy 모듈호출\n",
    "from konlpy.tag import Okt\n",
    "from collections import Counter\n",
    "\n",
    "twitter = Okt()\n",
    "\n",
    "# 4. 각 문장별로 형태소 구분하기\n",
    "morphed_list_okt = twitter.pos(clean_text)\n",
    "# morphed_list\n",
    "\n",
    "# 불용어\n",
    "stopwords_Twitter = [\"입니다\",\"있는\",\"있습니다\",\"같은\",\"안녕하세요\",\"고마워요\",\"있어요\",\"있게\"\\\n",
    "                     ,\"있도록\",\"부탁드립니다\",\"하는\",\"합니다\",\"할\",\"하세요\",\"하기\",\"해\",\"됩니다\",\"하여\",'잘','된','되고','되어','되었습니다',\"없는\",\"드립니다\"\\\n",
    "                    ,\"되기\",\"하시는\",\"하고\",\"않을\",\"같다\",\"싶다\",\"이런\",\"저런\",\"그런\",'바랍니다'\\\n",
    "                    ,\"했습니다\",\"했다\",\"해드립니다\",\"하신\",\"하실\",\"않고\",\"해요\",\"가능합니다\",\"하고싶으신\"\\\n",
    "                    ,\"않으며\",\"주세요\",\"오세요\"]\n",
    "\n",
    "# 5. 형용사 품사만 뽑아내기\n",
    "adj_list_okt = []\n",
    "for word, tag in morphed_list_okt:\n",
    "    if tag in ['Adjective','Verb'] and word not in stopwords_Twitter:\n",
    "        adj_list_okt.append(word)\n",
    "\n",
    "# 6. 선별된 품사별 빈도수 계산 & 상위 빈도 10위 까지 출력\n",
    "adj_counts_okt = Counter(adj_list_okt)\n",
    "common_adj_okt = adj_counts_okt.most_common(100)\n",
    "common_adj_okt"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": 105,
   "metadata": {},
   "outputs": [],
   "source": [
    "# list_noun_adj_combined = tags_mecab + common_adj_okt \n",
    "# list_noun_adj_combined"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 106,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "0.25.1\n",
      "1.17.2\n"
     ]
    }
   ],
   "source": [
    "import pandas as pd\n",
    "from pandas.api.types import CategoricalDtype # 그래프의 값을 정렬해서 보기위해\n",
    "import numpy as np\n",
    "print(pd.__version__)\n",
    "print(np.__version__)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 107,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>바차타 등장횟수</th>\n",
       "      <th>관련명사</th>\n",
       "      <th>바차타 등장횟수</th>\n",
       "      <th>관련서술어</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>0</td>\n",
       "      <td>3096</td>\n",
       "      <td>살사</td>\n",
       "      <td>99</td>\n",
       "      <td>배우기</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>1</td>\n",
       "      <td>2386</td>\n",
       "      <td>바차타</td>\n",
       "      <td>84</td>\n",
       "      <td>따</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>2</td>\n",
       "      <td>1642</td>\n",
       "      <td>댄스</td>\n",
       "      <td>80</td>\n",
       "      <td>보니</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3</td>\n",
       "      <td>1297</td>\n",
       "      <td>라틴</td>\n",
       "      <td>52</td>\n",
       "      <td>센</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4</td>\n",
       "      <td>865</td>\n",
       "      <td>동호회</td>\n",
       "      <td>47</td>\n",
       "      <td>들</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "      <td>...</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>95</td>\n",
       "      <td>45</td>\n",
       "      <td>토요일</td>\n",
       "      <td>6</td>\n",
       "      <td>알차게</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>96</td>\n",
       "      <td>44</td>\n",
       "      <td>사람</td>\n",
       "      <td>6</td>\n",
       "      <td>죽어</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>97</td>\n",
       "      <td>44</td>\n",
       "      <td>우리</td>\n",
       "      <td>6</td>\n",
       "      <td>찐</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>98</td>\n",
       "      <td>43</td>\n",
       "      <td>남미</td>\n",
       "      <td>6</td>\n",
       "      <td>보면</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>99</td>\n",
       "      <td>43</td>\n",
       "      <td>생일</td>\n",
       "      <td>6</td>\n",
       "      <td>올</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "<p>100 rows × 4 columns</p>\n",
       "</div>"
      ],
      "text/plain": [
       "   바차타 등장횟수 관련명사 바차타 등장횟수 관련서술어\n",
       "0      3096   살사       99   배우기\n",
       "1      2386  바차타       84     따\n",
       "2      1642   댄스       80    보니\n",
       "3      1297   라틴       52     센\n",
       "4       865  동호회       47     들\n",
       "..      ...  ...      ...   ...\n",
       "95       45  토요일        6   알차게\n",
       "96       44   사람        6    죽어\n",
       "97       44   우리        6     찐\n",
       "98       43   남미        6    보면\n",
       "99       43   생일        6     올\n",
       "\n",
       "[100 rows x 4 columns]"
      ]
     },
     "execution_count": 107,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "noun_df = pd.DataFrame(np.sort(np.array(tags_mecab), axis=1), columns=[exercise_name+' 등장횟수','관련명사'])\n",
    "adj_df = pd.DataFrame(np.sort(np.array(common_adj_okt), axis=1), columns=[exercise_name+ ' 등장횟수','관련서술어'])\n",
    "combined_df = pd.concat([noun_df,adj_df],axis=1)\n",
    "combined_df"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 108,
   "metadata": {},
   "outputs": [],
   "source": [
    "combined_df.to_csv(exercise_name+'.csv', index=False, header=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "varInspector": {
   "cols": {
    "lenName": 16,
    "lenType": 16,
    "lenVar": 40
   },
   "kernels_config": {
    "python": {
     "delete_cmd_postfix": "",
     "delete_cmd_prefix": "del ",
     "library": "var_list.py",
     "varRefreshCmd": "print(var_dic_list())"
    },
    "r": {
     "delete_cmd_postfix": ") ",
     "delete_cmd_prefix": "rm(",
     "library": "var_list.r",
     "varRefreshCmd": "cat(var_dic_list()) "
    }
   },
   "types_to_exclude": [
    "module",
    "function",
    "builtin_function_or_method",
    "instance",
    "_Feature"
   ],
   "window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}