examples/yt_audio_example.ipynb

{
 "cells": [
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "import openai\n",
    "from example_config import SECRET_KEY\n",
    "openai.api_key = SECRET_KEY"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [],
   "source": [
    "from knowledgegpt.extractors.yt_audio_extractor import YoutubeAudioExtractor"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {},
   "outputs": [],
   "source": [
    "url = \"https://www.youtube.com/watch?v=x5rdjoVgyGc\"\n",
    "query = \"Basketbolda gelmis gecmis en iyi oyuncu kim?\""
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [],
   "source": [
    "scrape_yt_audio = YoutubeAudioExtractor(video_id=url, model_lang='tr', embedding_extractor='hf', is_turbo=True)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Transcribing audio...\n",
      "[youtube] Extracting URL: https://www.youtube.com/watch?v=x5rdjoVgyGc\n",
      "[youtube] x5rdjoVgyGc: Downloading webpage\n",
      "[youtube] x5rdjoVgyGc: Downloading android player API JSON\n",
      "[info] x5rdjoVgyGc: Downloading 1 format(s): 251\n",
      "[dashsegments] Total fragments: 2\n",
      "[download] Destination: audio.webm\n",
      "[download] 100% of   11.74MiB in 00:00:09 at 1.25MiB/s               \n",
      "[ExtractAudio] Destination: audio.mp3\n",
      "Deleting original file audio.webm (pass -k to keep)\n",
      "Computing embeddings...\n",
      "model_lang tr\n",
      "Selected 39 document sections:\n",
      "38\n",
      "61\n",
      "115\n",
      "66\n",
      "29\n",
      "88\n",
      "30\n",
      "24\n",
      "126\n",
      "28\n",
      "121\n",
      "69\n",
      "104\n",
      "40\n",
      "82\n",
      "123\n",
      "33\n",
      "119\n",
      "142\n",
      "127\n",
      "124\n",
      "130\n",
      "89\n",
      "77\n",
      "95\n",
      "25\n",
      "14\n",
      "46\n",
      "0\n",
      "141\n",
      "11\n",
      "8\n",
      "144\n",
      "98\n",
      "59\n",
      "73\n",
      "102\n",
      "85\n",
      "145\n",
      "Cümleyi doğru bir şekilde cevaplayın ve cevap metin içinde yoksa \"bilmiyorum\" diyin.\n",
      "\n",
      "Metin:\n",
      "\n",
      "* Yani şimdi NBA tarihinin gelmiş geçmiş en iyi oyun kurucusu 13 sezon 12 kez All-Star, 4 kez asist kralı, 2 kez top çalma kralı, 3 kez MVP, 2 kez de ikinci oldu, 3 kez de final MVP'si.\n",
      "* 3 kez şampiyonluk, 2 kez final MVP'si, 3 kez lig MVP'si, 9 kez NBA'in en iyi 5'i, 4 kez de MVP ikincisi.\n",
      "* O zaman basketbol çok daha farklı oynanıyordu.\n",
      "* Bence gelmiş geçmiş en iyi beyaz oyuncu.\n",
      "* 2 kez de NBA'in en iyi savunma beşine çünkü o pozisyonu genelde Bill Russell alabiliyordu.\n",
      "* Şimdi LeBron James'i içeride diyecek ki LeBron hiç öyle bir uzunluğa oynamadı.\n",
      "* Resmi olmasa da quintel double yapan tek oyuncu ve o quintel double maçının scout'unu tutan arkadaş Harvey Pollack da ölene kadar NBA'i scouting ve statistics sisteminin danışmanıydı.\n",
      "* 2 NBA şampiyonluğu, 1 kez final MVP'si, 4 kez lig MVP'si, 2 kez ikinci bitirdi.\n",
      "* Yani daha NBA izini çıkmadan.\n",
      "* 7 kez NBA'in en iyi beşine seçildi.\n",
      "* 10 kez NBA'in en iyi 5'i.\n",
      "* 1 numara beni izleyenler zaten tahmin ediyor ama 3 numaraya, yani LeBron James'in ben şey huyunun ona çok puan kaybettirdiğini düşünüyorum.\n",
      "* 6 finalinde MVP'si oldu.\n",
      "* 5 NBA şampiyonluğu 9 kez de NBA'nin en iyi 5'i.\n",
      "* LeBron James 4 kez final MVP'si oldu.\n",
      "* 10 kez sayı kralı oldu.\n",
      "* 59 sayı, 32 rebound, 14 asist, 24 blok ve 11 top çalma ve biz onu 6.'ya koyuyoruz.\n",
      "* Ya Jordan sakatlanırsa ne olacak bu NBA'in hali diye.\n",
      "* 28 playoff maçında Luca Doncic.\n",
      "* 1988 yılında MVP yılın savunmacısı ve sayı kralı oldu.\n",
      "* 6 NBA, 1 NCAA şampiyonluğu var, 2 de altın madalyası.\n",
      "* Genel şık yüzdesi 5.5 rebound, 5.9 asist, 3.2 top çalma.\n",
      "* Tamam Anthony Davis güzel hoş da.\n",
      "* Ondan ben LeBron'u 3.ye koyacağım.\n",
      "* Ve o 2 şampiyonlukta da final MVP'si oldu.\n",
      "* 7 kez sayı kralı, 11 kez rebound kralı ve 1 kez de asist kralı.\n",
      "* LeBron James ve Kobe Bryant, Michael Jordan, Magic Johnson, Larry Bird ve Wild Chamberlain.\n",
      "* James Worthy.\n",
      "* Merhaba sevgili NBA severler, yeni kanalımıza hoş geldiniz NBA Digitale.\n",
      "* 179 playoff maçında bu ortalamayı tutturmuş Michael Jordan.\n",
      "* Ve hücumda hakikaten The Goat Of All Time olmayı çok da hak etmiyordu ama reboundlarda, savunmada, takım oyununda muhteşemdi.\n",
      "* Bill Russell, Aki Malajuan, Jerry West, Elgin Baylor, Oscar Robertson, Hondo Pavlocek.\n",
      "* LeBron'ın 28.7 playoff ortalaması, Kobe'nin 25.6 playoff ortalaması.\n",
      "* Tabii ki birinci sırada Michael Jordan var.\n",
      "* 12 kez All-Star seçildi.\n",
      "* Yaşlanmış tecrübeli bir yıldızın buyout'unu başka bir takım kullanıyor, onu serbest bırakıyor.\n",
      "* Michael Jordan 6 kez final oynadı.\n",
      "* Kobe Bryant, Şak'ın Moses Malone gibi olduğu dönemde oynuyordu.\n",
      "* Şu an izninizle The Goat, Michael Jordan.\n",
      "\n",
      " Q: Basketbolda gelmis gecmis en iyi oyuncu kim?\n",
      " A:\n",
      "all_done!\n"
     ]
    }
   ],
   "source": [
    "answer, prompt, messages = scrape_yt_audio.extract( query=query, max_tokens=1200)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Cevap metin içinde verilmiyor.'"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "answer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Basketbolda gelmis gecmis en iyi oyuncu kim?\n",
      "all_done!\n"
     ]
    }
   ],
   "source": [
    "answer, prompt, messages = scrape_yt_audio.extract( query=query, max_tokens=1200)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Metinde belirli bir oyuncunun en iyi olduğuna dair net bir ifade yok. Ancak metinde sık sık Michael Jordan, LeBron James, Kobe Bryant, Magic Johnson, Larry Bird, Wilt Chamberlain, Bill Russell, Oscar Robertson gibi ünlü basketbolcuların adı geçiyor ve onların başarılarından bahsediliyor.'"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "answer"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[{'role': 'system', 'content': 'you are a helpful assistant'},\n",
       " {'role': 'user',\n",
       "  'content': 'Cümleyi doğru bir şekilde cevaplayın ve cevap metin içinde yoksa \"bilmiyorum\" diyin.\\n\\nMetin:\\n\\n* Yani şimdi NBA tarihinin gelmiş geçmiş en iyi oyun kurucusu 13 sezon 12 kez All-Star, 4 kez asist kralı, 2 kez top çalma kralı, 3 kez MVP, 2 kez de ikinci oldu, 3 kez de final MVP\\'si.\\n* 3 kez şampiyonluk, 2 kez final MVP\\'si, 3 kez lig MVP\\'si, 9 kez NBA\\'in en iyi 5\\'i, 4 kez de MVP ikincisi.\\n* O zaman basketbol çok daha farklı oynanıyordu.\\n* Bence gelmiş geçmiş en iyi beyaz oyuncu.\\n* 2 kez de NBA\\'in en iyi savunma beşine çünkü o pozisyonu genelde Bill Russell alabiliyordu.\\n* Şimdi LeBron James\\'i içeride diyecek ki LeBron hiç öyle bir uzunluğa oynamadı.\\n* Resmi olmasa da quintel double yapan tek oyuncu ve o quintel double maçının scout\\'unu tutan arkadaş Harvey Pollack da ölene kadar NBA\\'i scouting ve statistics sisteminin danışmanıydı.\\n* 2 NBA şampiyonluğu, 1 kez final MVP\\'si, 4 kez lig MVP\\'si, 2 kez ikinci bitirdi.\\n* Yani daha NBA izini çıkmadan.\\n* 7 kez NBA\\'in en iyi beşine seçildi.\\n* 10 kez NBA\\'in en iyi 5\\'i.\\n* 1 numara beni izleyenler zaten tahmin ediyor ama 3 numaraya, yani LeBron James\\'in ben şey huyunun ona çok puan kaybettirdiğini düşünüyorum.\\n* 6 finalinde MVP\\'si oldu.\\n* 5 NBA şampiyonluğu 9 kez de NBA\\'nin en iyi 5\\'i.\\n* LeBron James 4 kez final MVP\\'si oldu.\\n* 10 kez sayı kralı oldu.\\n* 59 sayı, 32 rebound, 14 asist, 24 blok ve 11 top çalma ve biz onu 6.\\'ya koyuyoruz.\\n* Ya Jordan sakatlanırsa ne olacak bu NBA\\'in hali diye.\\n* 28 playoff maçında Luca Doncic.\\n* 1988 yılında MVP yılın savunmacısı ve sayı kralı oldu.\\n* 6 NBA, 1 NCAA şampiyonluğu var, 2 de altın madalyası.\\n* Genel şık yüzdesi 5.5 rebound, 5.9 asist, 3.2 top çalma.\\n* Tamam Anthony Davis güzel hoş da.\\n* Ondan ben LeBron\\'u 3.ye koyacağım.\\n* Ve o 2 şampiyonlukta da final MVP\\'si oldu.\\n* 7 kez sayı kralı, 11 kez rebound kralı ve 1 kez de asist kralı.\\n* LeBron James ve Kobe Bryant, Michael Jordan, Magic Johnson, Larry Bird ve Wild Chamberlain.\\n* James Worthy.\\n* Merhaba sevgili NBA severler, yeni kanalımıza hoş geldiniz NBA Digitale.\\n* 179 playoff maçında bu ortalamayı tutturmuş Michael Jordan.\\n* Ve hücumda hakikaten The Goat Of All Time olmayı çok da hak etmiyordu ama reboundlarda, savunmada, takım oyununda muhteşemdi.\\n* Bill Russell, Aki Malajuan, Jerry West, Elgin Baylor, Oscar Robertson, Hondo Pavlocek.\\n* LeBron\\'ın 28.7 playoff ortalaması, Kobe\\'nin 25.6 playoff ortalaması.\\n* Tabii ki birinci sırada Michael Jordan var.\\n* 12 kez All-Star seçildi.\\n* Yaşlanmış tecrübeli bir yıldızın buyout\\'unu başka bir takım kullanıyor, onu serbest bırakıyor.\\n* Michael Jordan 6 kez final oynadı.\\n* Kobe Bryant, Şak\\'ın Moses Malone gibi olduğu dönemde oynuyordu.\\n* Şu an izninizle The Goat, Michael Jordan.\\n\\n Q: Basketbolda gelmis gecmis en iyi oyuncu kim?\\n A:'},\n",
       " {'role': 'assistant', 'content': 'Cevap metin içinde verilmiyor.'},\n",
       " {'role': 'user', 'content': 'Basketbolda gelmis gecmis en iyi oyuncu kim?'},\n",
       " {'role': 'assistant',\n",
       "  'content': 'Metinde belirli bir oyuncunun en iyi olduğuna dair net bir ifade yok. Ancak metinde sık sık Michael Jordan, LeBron James, Kobe Bryant, Magic Johnson, Larry Bird, Wilt Chamberlain, Bill Russell, Oscar Robertson gibi ünlü basketbolcuların adı geçiyor ve onların başarılarından bahsediliyor.'}]"
      ]
     },
     "execution_count": 12,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "messages"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "knowledgegpt-env",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.9.16"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}