Database

Löschen über CSV

1. zu löschende Daten in einer CSV-Datei namens hgvDelete.csv sammeln

Es wird die vollständige HGV-Id benötigt,also die TexIDLang, die aus TM-Nr., TexLett und Mehrfachkennung besteht, z.B.

14073
40601a
40601b X
40601b Y
14074 X
14074 Y

2. CSV-Datei auf dem Server speichern

Mit dem Server verbinden und die Datei unter /var/www/aquila/data ablegen.

scp hgvDelete.csv [email protected]:/var/www/aquila/data/
scp hgvDelete.csv [email protected]:/var/www/aquila_dev/data/

3. Löschskript über die Kommandozeile aufrufen

Auf dem Server per ssh einwählen in das Verzeichnis für die HGV-Webseite wechseln und Löschskript starten:

ssh [email protected]
cd /var/www/aquila_dev
cd /var/www/aquila
bin/console app:delete-records

Import aus Google Sheet

Aktualisieren der Datenbestände in MariaDB auf heiCloud-Rechner aus einem Google Sheet

(EMPFOHLEN/AKTUELLER PROZESS)

1. Neue Einträge und Änderungen im Google Sheet vornehmen

• Vorlage HGV xWalk Mastertemplate kopieren File > Copy Sheet und Einträge im Tab »HGV« vornehmen.
• Falls das Sheet zu wenig Zeilen enthält, können durch »Herunterziehen« weitere Zeilen hinzugefügt werden. Durch das »Herunterziehen« werden die Formeln übertragen (graue Felder = Formelfelder).
• In dem Sheet finden sich im Tab »Bedienungsanleitung« Hinweise zur Bedeutung der Kopfzeilen sowie zur Handhabung der Felder.
• Eingaben erfolgen normalerweise nur in weiße Felder; graue Felder werden berechnet, können aber, falls die Berechnung nicht den Wünschen entspricht, händisch überschrieben werden.
• Zusammengehörige Blocks werden durch die gleiche Farbe in der Überschriftenzeile angezeigt, z. B. blau für Ids, rot für Publikation, grün für Datumsangaben, blau für Ortsangaben, orange für Inventarisierung; ein Teil der Felder innerhalb eines Block sind in der Regel weiß (Eingabefelder), ein anderer Teil grau (Formelfelder).
• folgende Felder werden vom Import berücksichtigt
  • tm_id / hgv_letter / multiple_letter / hgv_id_long
  • hgv_id (entspricht primary key der Tabelle hgv)
  • publication_long / publication / volume / volume_extra / number / number_extra / side
  • material
  • date_1 / date_2
  • day_1 / month_1 / year_1 / century_1 / extra_1
  • day_2 / month_2 / year_2 / century_2 / extra_2
  • uncertain
  • chron_minimum / chron_maximum / chron_global
  • original_title / content
  • provenance / provenance_type (noch nicht) / place_name (noch nicht) / nome (noch nicht) / province (noch nicht) / region (noch nicht)
  • other_publication / published_photo / translations
  • notes
  • mentioned_dates
  • image_link
  • place (noch nicht) / collection (noch nicht) / inventory_number
  • ddb_collection_hybrid / ddb_volume_number / ddb_document_number
  • created

2. Daten aus Google Sheet exportieren

eine mögliche Vorgehensweise, um ein Google Sheet in FODS-Format zu überführen bei minimaler Parametrierarbeit (z.B. anstatt die Datenzeile anzugeben, einfach und alle fortfolgenden Spalten als Daten interpretiert werden dürfen, oder anstatt bei Import den Tab-Namen anzugeben, einfach das Tab HGV nennen):

• Google Sheet öffnen, darauf achten, dass alle relevanten Datenfelder ausgefüllt wurden
• Sheet exportieren über Menübefehl File > Download > Comma Separated File (.csv)
• heruntergeladene Datei mit LibreOffice öffnen, und über den Menübefehl File > Save As… > Flat XML ODF Spreadsheet (.fods) im data-Ordner des Aquila-Projekts unter dem Namen HGV.fods ablegen; für einfacheres Handling beim Import dabei folgende Konventionen beachten:
  • den Tab mit den Daten in HGV umbenennen (zumeist der einzige Tab)
  • die erste Zeile sollte die Spaltenüberschriften enthalten (also tm_id, material, provenance, usw.)
  • die Daten sollten ab Zeile 2 beginnen (Leerzeilen erlaubt)

3. Exportierte XML-Daten auf dem Server speichern

scp HGV.fods [email protected]:/var/www/aquila/data/
scp HGV.fods [email protected]:/var/www/aquila_dev/data/

4. Importskript über die Kommandozeile aufrufen

Die Import-Datei wird unter dem Namen HGV.fods im Verzeichnis /var/www/aquila_dev/data bzw. /var/www/aquila/data erwartet. Das Verzeichis data steht nicht unter git-Versionskontrolle. Um die Datei zu importieren, aus einem Uni-Netz oder durch einen VPN-Tunnel per ssh auf dem Server einwählen, in das Verzeichnis für die HGV-Webseite wechseln und das Importskrip starten:

ssh [email protected]
cd /var/www/aquila_dev
cd /var/www/aquila
bin/console app:update-records dry-run
bin/console app:update-records

Basismodul ausführen (lediglich Auflistung der verfügbaren Felder, kein Import)

bin/console app:read-fods

Zusammenfassung

FODS- und CSV-Dateien (HGV.fods und hgvDelete.csv) in data von dev und prod speichern (in FODS-Datei Tabelle namens 'HGV'):

• HGV.fods und hgvDelete.csv
• dev und prod
• Tabellenname in HGV.fods HGV

(cd ~/projects/xWalk/data)
scp HGV.fods [email protected]:/var/www/aquila_dev/data/HGV.fods
scp HGV.fods [email protected]:/var/www/aquila/data/HGV.fods

scp hgvDelete.csv [email protected]:/var/www/aquila_dev/data/
scp hgvDelete.csv [email protected]:/var/www/aquila/data/

Auf dem Server Lösch- und Updatekommandos ausführen:

ssh [email protected]

cd /var/www/aquila_dev
bin/console app:delete-records
bin/console app:update-records dry-run
bin/console app:update-records

sudo cp data/hgvDelete.csv ../aquila/data/
sudo cp data/HGV.fods ../aquila/data/

cd ../aquila
bin/console app:delete-records
bin/console app:update-records dry-run
bin/console app:update-records

sudo cp data/HGV.fods data/HGV_2022-01-18.fods

Weiter mit HGV.Texte und xWalk

Falls neue Texte dazugekommen sind, müssen für diese auch Einträge in HGV.Texte vorgenommen werden.

Wenn es neue commits in HGV.Texte gibt, müssen die git submodules von HGV.Texte aktualisiert werden.

Wenn die Daten zusätzlich in idp.data fließen sollen, muss noch ein xWalk durchgeführt werden, um die Daten in EpiDoc zu konvertieren.