ELAN_PYMPI_LING.ipynb

{
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "view-in-github",
        "colab_type": "text"
      },
      "source": [
        "<a href=\"https://colab.research.google.com/github/Cogitarian/MultCorp/blob/main/ELAN_PYMPI_LING.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "6bc7b6e9",
      "metadata": {
        "id": "6bc7b6e9"
      },
      "source": [
        "3.6.1 Instalacja i import\n",
        "Pierwszy krok to instalacja biblioteki w wierszu poleceń:\n",
        "pip install pympi-ling\n",
        "Następnie wczytujemy bibliotekę pympi w Pythonie:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "6d8cb2f5",
      "metadata": {
        "id": "6d8cb2f5"
      },
      "outputs": [],
      "source": [
        "import pympi"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "7fccbddb",
      "metadata": {
        "id": "7fccbddb"
      },
      "source": [
        "3.6.2 Wczytanie pliku .eaf\n",
        "Przed każdą operacją należy wczytać plik .eaf, dlatego dla wygody określamy katalog roboczy:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "9d64cc2e",
      "metadata": {
        "id": "9d64cc2e"
      },
      "outputs": [],
      "source": [
        "import os\n",
        "eafpath = \"plikiZelana\"\n",
        "os.chdir(eafpath)"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "407f16f5",
      "metadata": {
        "id": "407f16f5"
      },
      "source": [
        "Wczytujemy plik .eaf jako obiekt do klasy pympi.Eaf:"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "d8aefa33",
      "metadata": {
        "id": "d8aefa33"
      },
      "outputs": [],
      "source": [
        "eaffile = pympi.Eaf(eaf_file)"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "6ddb0375",
      "metadata": {
        "id": "6ddb0375"
      },
      "source": [
        "3.6.3 Przykładowe operacje w pympi-ling"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Podaj listę warstw w pliku:"
      ],
      "metadata": {
        "id": "Bi9rvHC3ILZt"
      },
      "id": "Bi9rvHC3ILZt"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "d4926202",
      "metadata": {
        "id": "d4926202"
      },
      "outputs": [],
      "source": [
        "listier = eaffile.get_tier_names()"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Dodaj warstwę:"
      ],
      "metadata": {
        "id": "mGZfiwfpIFhm"
      },
      "id": "mGZfiwfpIFhm"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "ad4d07c3",
      "metadata": {
        "id": "ad4d07c3"
      },
      "outputs": [],
      "source": [
        "eaffile.add_tier(tiername, ling= tiertype)"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast tiername wpisujemy nazwę warstwy, a zamiast tiertype – nazwę typu dla warstwy. Typ musi być utworzony wcześniej w pliku .eaf.\n",
        "\n",
        "Usuń warstwę:"
      ],
      "metadata": {
        "id": "eHgRHsX0IF-Y"
      },
      "id": "eHgRHsX0IF-Y"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "2d00fd86",
      "metadata": {
        "id": "2d00fd86"
      },
      "outputs": [],
      "source": [
        "eaffile.remove_tier(oldname)"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast oldname wpisujemy nazwę warstwy, którą chcemy usunąć.\n",
        "\n",
        "Zmień nazwę warstwy:"
      ],
      "metadata": {
        "id": "Sf4ZNIbYIGc_"
      },
      "id": "Sf4ZNIbYIGc_"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "180f0f7d",
      "metadata": {
        "id": "180f0f7d"
      },
      "outputs": [],
      "source": [
        "eaffile.rename_tier(oldname, newname)"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast oldname wpisujemy nazwę warstwy, której nazwę zmieniamy, a zamiast newname – nową nazwę warstwy.\n",
        "\n",
        "Połącz dwie warstwy w jedną:"
      ],
      "metadata": {
        "id": "GK0Y4iVSIG4A"
      },
      "id": "GK0Y4iVSIG4A"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "cecc6395",
      "metadata": {
        "id": "cecc6395"
      },
      "outputs": [],
      "source": [
        "eaffile.merge_tiers(tier1,tier2, safe=True)"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast tier1 i tier2 wpisujemy nazwy warstw, które chcemy połączyć.\n",
        "\n",
        "Podaj listę anotacji na wybranej warstwie:"
      ],
      "metadata": {
        "id": "SuMd-JgGIHUL"
      },
      "id": "SuMd-JgGIHUL"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "6bf15f5a",
      "metadata": {
        "id": "6bf15f5a"
      },
      "outputs": [],
      "source": [
        "annotations = eaffile.get_annotation_data_for_tier(tier)"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast tier wpisujemy nazwę warstwy, z której chcemy uzyskać listę anotacji.\n",
        "\n",
        "Usuń wszystkie anotacje na wybranej warstwie:"
      ],
      "metadata": {
        "id": "PMpCn6W9IHou"
      },
      "id": "PMpCn6W9IHou"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "c995a5b8",
      "metadata": {
        "id": "c995a5b8"
      },
      "outputs": [],
      "source": [
        "eaffile.remove_all_annotations_from_tier(tier)"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast tier wpisujemy nazwę warstwy, z której chcemy usunąć anotacje.\n",
        "\n",
        "Dodaj anotację na wybranej warstwie:"
      ],
      "metadata": {
        "id": "vpNhORZXIIPA"
      },
      "id": "vpNhORZXIIPA"
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "023b8ed7",
      "metadata": {
        "id": "023b8ed7"
      },
      "outputs": [],
      "source": [
        "eaffile.add_annotation(tier,start,stop, value= text)"
      ]
    },
    {
      "cell_type": "markdown",
      "id": "75a9e93d",
      "metadata": {
        "id": "75a9e93d"
      },
      "source": [
        "Zamiast tier wpisujemy nazwę warstwy, na której chcemy dodać anotacje złożone z początku – start, końca – start i etykiety – text.\n",
        "3.6.4 Zachowywanie zmian w pliku .eaf"
      ]
    },
    {
      "cell_type": "code",
      "execution_count": null,
      "id": "48c718a1",
      "metadata": {
        "id": "48c718a1"
      },
      "outputs": [],
      "source": [
        "eaffile.to_file(eaf_file)"
      ]
    },
    {
      "cell_type": "markdown",
      "source": [
        "3.6.4\tZachowywanie zmian w pliku .eaf\n",
        "Zmiany zachowujemy, wywołując:\n"
      ],
      "metadata": {
        "id": "WVYFUtqjIpWm"
      },
      "id": "WVYFUtqjIpWm"
    },
    {
      "cell_type": "code",
      "source": [
        "\teaffile.to_file(eaf_file)"
      ],
      "metadata": {
        "id": "o1PezR9GIszn"
      },
      "id": "o1PezR9GIszn",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "3.6.5\tWywołanie poleceń pympi w formie funkcji\n",
        "Każdą z wyżej wymienionych funkcji możemy włączyć w nową, która wczyta plik .eaf i zwróci przerobiony plik, na przykład:"
      ],
      "metadata": {
        "id": "dWwZ-vSTItyA"
      },
      "id": "dWwZ-vSTItyA"
    },
    {
      "cell_type": "code",
      "source": [
        "def ADDtier(eaf_file, tiername, tiertype):\n",
        "  eaffile = pympi.Eaf(eaf_file)\n",
        "  eaffile.add_tier(tiername, ling= tiertype)\n",
        "  eaffile.to_file(eaf_file)"
      ],
      "metadata": {
        "id": "-j_pTWn3Iv1c"
      },
      "id": "-j_pTWn3Iv1c",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "3.6.6\tKopiowanie warstwy\n",
        "Skopiuj warstwę w pliku .eaf, czyli zduplikuj warstwę. Do tej operacji potrzebna jest nowa funkcja:"
      ],
      "metadata": {
        "id": "dmUhWHA2Ix-D"
      },
      "id": "dmUhWHA2Ix-D"
    },
    {
      "cell_type": "code",
      "source": [
        "def DUPtier(eaf_file, oldname, newname, tiertype, parentier):\n",
        " eaffile = pympi.Eaf(eaf_file)\n",
        " annotations = eaffile.get_annotation_data_for_tier(oldname)\n",
        " eaffile.add_tier(newname, ling=tiertype, parent=parentier)\n",
        " for s in range(0,len(annotations)):\n",
        "  (start, stop, text) = annotations\n",
        "  eaffile.add_annotation(newname,start,stop,value=text)\n",
        " eaffile.to_file(eaf_file)\n",
        " del (eaffile,annotations)"
      ],
      "metadata": {
        "id": "nW6d7NrUIz0u"
      },
      "id": "nW6d7NrUIz0u",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast eaf_file wpisujemy nazwę pliku, w którym chcemy powtórzyć warstwę o nazwie oldname, a nowa warstwa będzie miała nazwę newname i typ tiertype oraz warstwę nadrzędną parentier.\n",
        "\n",
        "Albo w innej wersji:"
      ],
      "metadata": {
        "id": "RTxX-I-DI1k4"
      },
      "id": "RTxX-I-DI1k4"
    },
    {
      "cell_type": "code",
      "source": [
        "def DUPtier2(eaf_file, oldname, newname):\n",
        " annofile = pympi.Elan.Eaf(eaf_file)\n",
        " tempfile = pympi.Elan.Eaf(pympi.__init__(\" empty.eaf\" ))\n",
        " annofile.copy_tier(tempfile,oldname)\n",
        " annofile.remove_tier(oldname)\n",
        " tempfile.rename_tier(oldname,newname)\n",
        " tempfile.copy_tier(annofile,newname)\n",
        " annofile.to_file(eaf_file)"
      ],
      "metadata": {
        "id": "oBYd0clmI3e2"
      },
      "id": "oBYd0clmI3e2",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "3.6.7\tŁączenie warstw anotacji\n",
        "Połącz anotacje z dwóch plików w jeden, czyli funkcja dostępna w ELAN-ie w menu File > Merge transcriptions… Łączenie anotacji w jeden plik przydaje się, jeśli chcemy porównać anotacje dwóch anotatorów dla jednego nagrania. Pierwsza wersja tej funkcji dodaje warstwy anotacji z jednego pliku do drugiego i zachowuje jako nowy plik."
      ],
      "metadata": {
        "id": "mo_Y7Ss0I58C"
      },
      "id": "mo_Y7Ss0I58C"
    },
    {
      "cell_type": "code",
      "source": [
        "def MEReafs(eaf_file1, eaf_file2):\n",
        "  eaffile1 = pympi.Eaf(eaf_file1)\n",
        "  eaffile2 = pympi.Eaf(eaf_file2)\n",
        "  tierlist = eaffile1.get_tier_names()\n",
        "  for tier in tierlist:\n",
        "    annotations = eaffile1.get_annotation_data_for_tier(tier)\n",
        "    eaffile2.add_tier(tier)\n",
        "    for s in range(0,len(annotations)):\n",
        "      (start, stop, text) = annotations\n",
        "      eaffile2.add_annotation(tier,start,stop,value=text)\n",
        "    eaffile2.to_file(eaf_file2)\n",
        "  del(eaffile1,eaffile2,annotations)"
      ],
      "metadata": {
        "id": "A0j9q9YFI8FH"
      },
      "id": "A0j9q9YFI8FH",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast eaf_file1, eaf_file2 wpisujemy nazwy łączonych plików. Jednakże jeśli w dwóch plikach .eaf mamy takie same nazwy warstwy, to musimy je zmienić przed kopiowaniem do jednego pliku, bo ELAN nie pozwala na dwie warstwy o takich samych nazwach w jednym pliku. Dlatego druga funkcja uwzględnia zmiany nazwy warstw na nowy format złożony z nazwy warstwy i ostatnich trzech liter z nazwy pliku do oznaczenia anotatora. Załóżmy, że mamy dwa pliki anotacji dla tego samego nagrania wykonane przez różnych anotatorów: 81-60-S5-4-K-Mly.eaf i 81-60-S5-4-K-Occ.eaf, gdzie Mly i Occ oznaczają właśnie tych anotatorów. Łączymy oba pliki w nowy plik o nazwie 81-60-S5-4-K-Occ-Mly.eaf za pomocą funkcji:"
      ],
      "metadata": {
        "id": "7eFurYYaI-ag"
      },
      "id": "7eFurYYaI-ag"
    },
    {
      "cell_type": "code",
      "source": [
        "def MEReafs(eaf_file1, eaf_file2, new_file):\n",
        "  import pympi\n",
        "  import os\n",
        "  eaffile1 = pympi.Eaf(eaf_file1)\n",
        "  eaffile2 = pympi.Eaf(eaf_file2)\n",
        "  eaffile_new = pympi.Eaf() # Create a new Eaf file\n",
        "  # Extracting the last three characters of the file names without extension\n",
        "  file1_name_suffix = os.path.splitext(os.path.basename(eaf_file1))\n",
        "  file2_name_suffix = os.path.splitext(os.path.basename(eaf_file2))\n",
        "  # Process the first file\n",
        "  tierlist1 = eaffile1.get_tier_names()\n",
        "  for tier in tierlist1:\n",
        "    new_tier_name = f\"{tier}_{file1_name_suffix}\"\n",
        "    annotations = eaffile1.get_annotation_data_for_tier(tier)\n",
        "    eaffile_new.add_tier(new_tier_name)\n",
        "    for start, stop, text in annotations:\n",
        "      eaffile_new.add_annotation(new_tier_name, start, stop, value=text)\n",
        "  # Process the second file\n",
        "  tierlist2 = eaffile2.get_tier_names()\n",
        "  for tier in tierlist2:\n",
        "    new_tier_name = f\"{tier}_{file2_name_suffix}\"\n",
        "    annotations = eaffile2.get_annotation_data_for_tier(tier)\n",
        "    eaffile_new.add_tier(new_tier_name)\n",
        "    for start, stop, text in annotations:\n",
        "      eaffile_new.add_annotation(new_tier_name, start, stop, value=text)\n",
        "  # Save the new file\n",
        "  eaffile_new.to_file(new_file)\n",
        "  del(eaffile1, eaffile2, eaffile_new)\n"
      ],
      "metadata": {
        "id": "puF0zTGJJAZx"
      },
      "id": "puF0zTGJJAZx",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast eaf_file1, eaf_file2 wpisujemy nazwy łączonych plików, a new_file to nazwa nowego pliku.\n",
        "\n",
        "3.6.8\tZmiana typu warstwy\n",
        "Zmień typ warstwy:"
      ],
      "metadata": {
        "id": "aXWJr2lfJC_w"
      },
      "id": "aXWJr2lfJC_w"
    },
    {
      "cell_type": "code",
      "source": [
        "def SETtype(eaf_file, tiername, tiertype):\n",
        "  eaffile = pympi.Elan.Eaf(eaf_file)\n",
        "  tierlist = eaffile.get_tier_names()\n",
        "  if tiername in tierlist:\n",
        "    annotations = eaffile.get_annotation_data_for_tier(tiername)\n",
        "    eaffile.remove_tier(tiername)\n",
        "    eaffile.add_tier(tiername, ling=tiertype)\n",
        "    for s in range(0, len(annotations)):\n",
        "      (start, stop, text)=annotations\n",
        "      eaffile.add_annotation(tiername, start, stop, value=text)\n",
        "    eaffile.to_file(eaf_file)\n",
        "  del (eaffile, tiername, tiertype, tierlist)"
      ],
      "metadata": {
        "id": "Mr_AlVR7JCnu"
      },
      "id": "Mr_AlVR7JCnu",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast eaf_file wpisujemy nazwę pliku .eaf, a zamiast tiername – nazwę warstwy i zamiast tiertype – nazwę typu.\n",
        "3.6.9\tZmiany anotacji za pomocą wyszukiwania i wymieniania tekstu lub tagu\n",
        "Znajdź i zamień w anotacjach lub transkrypcjach na wybranej warstwie:"
      ],
      "metadata": {
        "id": "JFVvs9jvJInw"
      },
      "id": "JFVvs9jvJInw"
    },
    {
      "cell_type": "code",
      "source": [
        "def findANDrepl(eaf_file,tier,findtext,repltext):\n",
        "  eaffile = pympi.Eaf(eaf_file)\n",
        "  annotations = eaf_file.get_annotation_data_for_tier(tier)\n",
        "  eaffile.remove_all_annotations_from_tier(tier)\n",
        "  for s in range(0,len(annotations)):\n",
        "    (start, stop, text) = annotations\n",
        "    text = re.sub(findtext, repltext, text)\n",
        "    eaffile.add_annotation(tier,start,stop, value=text)\n",
        "  eaffile.to_file(eaf_file)\n"
      ],
      "metadata": {
        "id": "oZXdpG5HJNYv"
      },
      "id": "oZXdpG5HJNYv",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast eaf_file wpisujemy nazwę pliku .eaf, a zamiast tier – warstwy i findtext – szukany tekst, a repltext – tekst do zamiany w miejsce findtext. W miejscu re.sub można podstawić dowolne wyrażenie regularne, wedle którego chcemy dokonać korekty. W ten sposób możemy oczyścić transkrypcję z numerów, znaków niealfabetycznych albo zamienić wielkie litery na małe i tym podobne. Funkcja jest dostępna w ELAN-ie w menu Search > Find (and Replace).\n",
        "\n",
        "1.1.1\tTokenizacja anotacji\n",
        "Rozdziel anotacje lub transkrypcje na anotacje, gdzie spacja jest separatorem. Funkcja jest dostępna w ELAN-ie w menu Tier > Tokenize tier:\n"
      ],
      "metadata": {
        "id": "LG6XSjFAJLQz"
      },
      "id": "LG6XSjFAJLQz"
    },
    {
      "cell_type": "code",
      "source": [
        "def TOKtier(eaf_file, oldname, newname):\n",
        "  transeaf = pympi.Eaf ( eaf_file )\n",
        "  aucz = transeaf.get_annotation_data_for_tier(oldname)\n",
        "  transeaf.add_tier(newname)\n",
        "  for s in range ( 0 , len ( aucz ) ):\n",
        "    (start , stop , text) = aucz\n",
        "    wordList = re.sub ( \"\" , \" \" , text ).split ( )\n",
        "    licz = len(wordList)\n",
        "    if licz!=0:\n",
        "      leng = stop-start\n",
        "      word = leng/licz\n",
        "      w = 0\n",
        "      for wyr in wordList:\n",
        "        starw = start+(word*w)\n",
        "        starw = round ( starw )\n",
        "        w = w + 1 # początek anotacji z 1 wyrazem\n",
        "        stopw = start+(word*w) #koniec anotacji z 1 wyrazem\n",
        "        stopw = round ( stopw )\n",
        "        transeaf.add_annotation (newname , starw , stopw , value = wyr )\n",
        "  transeaf.to_file(eaf_file)\n"
      ],
      "metadata": {
        "id": "3Kcm-To1JTWW"
      },
      "id": "3Kcm-To1JTWW",
      "execution_count": null,
      "outputs": []
    },
    {
      "cell_type": "markdown",
      "source": [
        "Zamiast eaf_file wpisujemy nazwę pliku .eaf, a oldname i newname to nazwy warstw.\n",
        "\n",
        "Bardziej złożone operacje pozwalają na uzupełnienie danych o uczestnikach lub anotatorach na podstawie pliku .csv albo na ustawienie skrótów i kolorów etykiet także z pliku .csv; wyznaczenie fragmentów anotacji, w których współwystępują określone słowa i gesty. Możliwe jest także zdefiniowanie zestawu reguł anotacji, wedle których chcieliśmy uporządkować anotacje w ramach wybranego systemu. Reguły dotyczyłyby usuwania, dodawania lub zmieniania anotacji na określonych warstwach zależnie od anotacji na innych warstwach. Nie dyskutujemy ich tutaj, gdyż wymagałoby to szczegółowego omówienia wybranego systemu anotacji, na przykład NEUROGES (Lausberg 2019).\n"
      ],
      "metadata": {
        "id": "uflPue81JVWc"
      },
      "id": "uflPue81JVWc"
    }
  ],
  "metadata": {
    "colab": {
      "provenance": [],
      "include_colab_link": true
    }
  },
  "nbformat": 4,
  "nbformat_minor": 5
}