notebooks/Demo-from-lines-to-running-text.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "92db4de4",
   "metadata": {},
   "source": [
    "# Turning text lines into running text elements\n",
    "\n",
    "**Note**: This tutorial follows and depends on the tutorial on [Reading PageXML files from archives](./Demo-reading-pagexml-files-from-archive.ipynb). It assumes you have downloaded the PageXML archives and derived line format files from them. \n",
    "\n",
    "PageXML documents contain text lines as represented in the **physical document**, but these lines do not correspond one-to-one with sentences and paragraphs of the **logical structure** of the document.\n",
    "\n",
    "Turning lines of text into running paragraphs of text requires taking into account paragraph boundaries and word-break characters like soft-hyphens ('-').\n",
    "\n",
    "As an example of a text archive, this tutorial uses a dataset provided by the [National Archives of the Netherlands](https://www.nationaalarchief.nl/en) (NA) via their HTR repository on [Zenodo](https://zenodo.org/): https://zenodo.org/record/6414086#.Y8Elk-zMIUo. The repository contains many other HTR PageXML datasets that NA made available.\n",
    "\n",
    "The dataset contains HTR output in [PageXML](https://www.primaresearch.org/tools/PAGELibraries) format of scans from the following archive: \n",
    "- (medium) _Verspreide West-Indische stukken, 1614-1875, 1.05.06, 1-1413_ ([EAD](https://www.nationaalarchief.nl/onderzoeken/archief/1.05.06/invnr/%401?query=1.05.06&search-type=inventory)). This is an archive maintained by the [Nationaal Archief](https://www.nationaalarchief.nl/en). \n",
    "\n",
    "You can download the datasets via the following URLs:\n",
    "- https://zenodo.org/record/6414086/files/HTR%20results%201.05.06%20PAGE.zip?download=1\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8d6156b0",
   "metadata": {},
   "source": [
    "## Detecting word break characters\n",
    "\n",
    "**Note**: This tutorial follows and depends on the tutorial on [Reading PageXML files from archives](./Demo-reading-pagexml-files-from-archive.ipynb). It assumes you have downloaded the PageXML archives and derived line format files from them. \n",
    "\n",
    "This tutorials shows how you can check whether lines contain a word-break character (a word is split across the end of one line and the start of the next line, usually with a soft hyphen)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "ee3809d4",
   "metadata": {},
   "outputs": [],
   "source": [
    "%reload_ext autoreload\n",
    "%autoreload 2\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "2c25e072",
   "metadata": {},
   "outputs": [],
   "source": [
    "import pagexml.helper.text_helper as text_helper\n",
    "\n",
    "da_line_file = '../data/line_format-NL-AsnDA_0114.11.tsv.gz'\n",
    "na_line_file = '../data/line_format-NL-HaNA_1.05.06.tsv.gz'\n",
    "\n",
    "# reading from line file is much faster \n",
    "# than reading from archived PageXML files\n",
    "line_reader = text_helper.LineReader(pagexml_line_files=na_line_file, add_bounding_box=True)\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8ce8b42b",
   "metadata": {},
   "source": [
    "The `text_stats` package contains class for analysing character and word frequencies and for detecting word-break characters and the _end_ and the _beginning_ of text lines. \n",
    "\n",
    "We start with analysing character frequencies in four different categories:\n",
    "\n",
    "- `all`: the overall frequency of characters\n",
    "- `start`: the frequency of characters that appear as the first character of a line\n",
    "- `end`: the frequency of characters that appear as the last character of a line\n",
    "- `mid`: the frequency of characters that appear between the first and last characters of a line\n",
    "\n",
    "This allows us to calculate relative frequencies of character in the start, middle and end of lines.\n",
    "\n",
    "The `LineCharAnalyser` takes as argument a iterable of text lines (which can be a list of strings, a list of `PageXMLTextLine`s or a list of dictionaries with a `text` property (e.g. from line-format files)."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "d3fdb15c",
   "metadata": {},
   "outputs": [],
   "source": [
    "from pagexml.analysis.text_stats import LineCharAnalyser\n",
    "\n",
    "lca = LineCharAnalyser(line_reader)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "d8045b9f",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token_type</th>\n",
       "      <th>all_freq</th>\n",
       "      <th>all_frac</th>\n",
       "      <th>start_freq</th>\n",
       "      <th>start_frac</th>\n",
       "      <th>start_rel_frac</th>\n",
       "      <th>mid_freq</th>\n",
       "      <th>mid_frac</th>\n",
       "      <th>mid_rel_frac</th>\n",
       "      <th>end_freq</th>\n",
       "      <th>end_frac</th>\n",
       "      <th>end_rel_frac</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>0</th>\n",
       "      <td>e</td>\n",
       "      <td>5630529</td>\n",
       "      <td>0.165220</td>\n",
       "      <td>30123</td>\n",
       "      <td>0.030213</td>\n",
       "      <td>0.182865</td>\n",
       "      <td>5462615</td>\n",
       "      <td>0.169998</td>\n",
       "      <td>1.028917</td>\n",
       "      <td>137791</td>\n",
       "      <td>0.145274</td>\n",
       "      <td>0.879274</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>1</th>\n",
       "      <td></td>\n",
       "      <td>4849265</td>\n",
       "      <td>0.142295</td>\n",
       "      <td>0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>4849265</td>\n",
       "      <td>0.150910</td>\n",
       "      <td>1.060545</td>\n",
       "      <td>0</td>\n",
       "      <td>0.000000</td>\n",
       "      <td>0.000000</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>2</th>\n",
       "      <td>n</td>\n",
       "      <td>2894479</td>\n",
       "      <td>0.084935</td>\n",
       "      <td>21729</td>\n",
       "      <td>0.021794</td>\n",
       "      <td>0.256597</td>\n",
       "      <td>2700582</td>\n",
       "      <td>0.084043</td>\n",
       "      <td>0.989500</td>\n",
       "      <td>172168</td>\n",
       "      <td>0.181518</td>\n",
       "      <td>2.137149</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>3</th>\n",
       "      <td>a</td>\n",
       "      <td>2026303</td>\n",
       "      <td>0.059459</td>\n",
       "      <td>27859</td>\n",
       "      <td>0.027942</td>\n",
       "      <td>0.469940</td>\n",
       "      <td>1986422</td>\n",
       "      <td>0.061818</td>\n",
       "      <td>1.039672</td>\n",
       "      <td>12022</td>\n",
       "      <td>0.012675</td>\n",
       "      <td>0.213169</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>4</th>\n",
       "      <td>o</td>\n",
       "      <td>1710173</td>\n",
       "      <td>0.050183</td>\n",
       "      <td>25457</td>\n",
       "      <td>0.025533</td>\n",
       "      <td>0.508802</td>\n",
       "      <td>1669379</td>\n",
       "      <td>0.051951</td>\n",
       "      <td>1.035247</td>\n",
       "      <td>15337</td>\n",
       "      <td>0.016170</td>\n",
       "      <td>0.322220</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "  token_type  all_freq  all_frac  start_freq  start_frac  start_rel_frac  \\\n",
       "0          e   5630529  0.165220       30123    0.030213        0.182865   \n",
       "1              4849265  0.142295           0    0.000000        0.000000   \n",
       "2          n   2894479  0.084935       21729    0.021794        0.256597   \n",
       "3          a   2026303  0.059459       27859    0.027942        0.469940   \n",
       "4          o   1710173  0.050183       25457    0.025533        0.508802   \n",
       "\n",
       "   mid_freq  mid_frac  mid_rel_frac  end_freq  end_frac  end_rel_frac  \n",
       "0   5462615  0.169998      1.028917    137791  0.145274      0.879274  \n",
       "1   4849265  0.150910      1.060545         0  0.000000      0.000000  \n",
       "2   2700582  0.084043      0.989500    172168  0.181518      2.137149  \n",
       "3   1986422  0.061818      1.039672     12022  0.012675      0.213169  \n",
       "4   1669379  0.051951      1.035247     15337  0.016170      0.322220  "
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "import pandas as pd\n",
    "\n",
    "char_df = pd.DataFrame(lca.get_stats())\n",
    "char_df.head(5)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "fc7930dd",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>token_type</th>\n",
       "      <th>all_freq</th>\n",
       "      <th>all_frac</th>\n",
       "      <th>start_freq</th>\n",
       "      <th>start_frac</th>\n",
       "      <th>start_rel_frac</th>\n",
       "      <th>mid_freq</th>\n",
       "      <th>mid_frac</th>\n",
       "      <th>mid_rel_frac</th>\n",
       "      <th>end_freq</th>\n",
       "      <th>end_frac</th>\n",
       "      <th>end_rel_frac</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <th>29</th>\n",
       "      <td>-</td>\n",
       "      <td>122764</td>\n",
       "      <td>0.003602</td>\n",
       "      <td>3588</td>\n",
       "      <td>0.003599</td>\n",
       "      <td>0.998994</td>\n",
       "      <td>36817</td>\n",
       "      <td>0.001146</td>\n",
       "      <td>0.318058</td>\n",
       "      <td>82359</td>\n",
       "      <td>0.086832</td>\n",
       "      <td>24.104202</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>31</th>\n",
       "      <td>„</td>\n",
       "      <td>97019</td>\n",
       "      <td>0.002847</td>\n",
       "      <td>38243</td>\n",
       "      <td>0.038357</td>\n",
       "      <td>13.473387</td>\n",
       "      <td>14227</td>\n",
       "      <td>0.000443</td>\n",
       "      <td>0.155520</td>\n",
       "      <td>44549</td>\n",
       "      <td>0.046968</td>\n",
       "      <td>16.498098</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>24</th>\n",
       "      <td>.</td>\n",
       "      <td>182205</td>\n",
       "      <td>0.005347</td>\n",
       "      <td>1056</td>\n",
       "      <td>0.001059</td>\n",
       "      <td>0.198100</td>\n",
       "      <td>99568</td>\n",
       "      <td>0.003099</td>\n",
       "      <td>0.579547</td>\n",
       "      <td>81581</td>\n",
       "      <td>0.086011</td>\n",
       "      <td>16.087237</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>75</th>\n",
       "      <td>½</td>\n",
       "      <td>3578</td>\n",
       "      <td>0.000105</td>\n",
       "      <td>125</td>\n",
       "      <td>0.000125</td>\n",
       "      <td>1.194129</td>\n",
       "      <td>2014</td>\n",
       "      <td>0.000063</td>\n",
       "      <td>0.596964</td>\n",
       "      <td>1439</td>\n",
       "      <td>0.001517</td>\n",
       "      <td>14.450177</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <th>62</th>\n",
       "      <td>—</td>\n",
       "      <td>23118</td>\n",
       "      <td>0.000678</td>\n",
       "      <td>8739</td>\n",
       "      <td>0.008765</td>\n",
       "      <td>12.920910</td>\n",
       "      <td>7103</td>\n",
       "      <td>0.000221</td>\n",
       "      <td>0.325852</td>\n",
       "      <td>7276</td>\n",
       "      <td>0.007671</td>\n",
       "      <td>11.308244</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "   token_type  all_freq  all_frac  start_freq  start_frac  start_rel_frac  \\\n",
       "29          -    122764  0.003602        3588    0.003599        0.998994   \n",
       "31          „     97019  0.002847       38243    0.038357       13.473387   \n",
       "24          .    182205  0.005347        1056    0.001059        0.198100   \n",
       "75          ½      3578  0.000105         125    0.000125        1.194129   \n",
       "62          —     23118  0.000678        8739    0.008765       12.920910   \n",
       "\n",
       "    mid_freq  mid_frac  mid_rel_frac  end_freq  end_frac  end_rel_frac  \n",
       "29     36817  0.001146      0.318058     82359  0.086832     24.104202  \n",
       "31     14227  0.000443      0.155520     44549  0.046968     16.498098  \n",
       "24     99568  0.003099      0.579547     81581  0.086011     16.087237  \n",
       "75      2014  0.000063      0.596964      1439  0.001517     14.450177  \n",
       "62      7103  0.000221      0.325852      7276  0.007671     11.308244  "
      ]
     },
     "execution_count": 5,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "min_freq = char_df.all_freq.sum() / 1e4\n",
    "\n",
    "\n",
    "char_df[char_df.all_freq > min_freq].sort_values('end_rel_frac', ascending=False).head(5)"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a7e111de",
   "metadata": {},
   "source": [
    "The hyphen `-`, low quotes `„` and period `.` are far more common as the last character of a line than letters like `e`, `n`, `a` and `o`.\n",
    "\n",
    "Both the hyphen and low quotes are typical word-break characters in hand-written text."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "676b6765",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Monisen, reeders van den schepe ge„   naempt het Vosken, daer schipper op is\n",
      "\n",
      "geweest Jan de With, Hans Hongers, Pau„   lus Pelgrom, Lambrecht van Tweenhuijsen\n",
      "\n",
      "Claessen ende Berent Sweertssen, ree„   ders van het schip genaempt den\n",
      "\n"
     ]
    }
   ],
   "source": [
    "prev_line = None\n",
    "for li, line in enumerate(line_reader):\n",
    "    if prev_line is None or (prev_line['text'] is None or prev_line['text'] == ''):\n",
    "        prev_line = line\n",
    "        continue\n",
    "    if prev_line is not None and prev_line['text'][-1] in {'-', '„'}:\n",
    "        print(f\"{prev_line['text']}   {line['text']}\\n\")\n",
    "    if (li+1) >= 30:\n",
    "        break\n",
    "    prev_line = line\n",
    "    \n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "id": "c3a8874f",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "1510\teen reijs van 16/m het eene door het andere d:o ƒ 24000-   aan Equipagien proncen uijt onthuijs komende maandgelden\n",
      "\n",
      "3148\tde en Horissante staat te brengen, zouden hoofdzaakelyk be-   staan:\n",
      "\n",
      "3151\tvan Magellaan, om aldaar eene algemeene Laad- en Los-   plaats voor de schepen te hebben, en van de Producten\n",
      "\n",
      "3161\tTen derden, in de Nieuwe Carolynsche Pilanden, mids-   Laders de Goud- en Parel-Filanden,\n",
      "\n",
      "3164\tMirlofte buldekt zyn, en alle andere Pilanden, in de Zuid-   zoe gelegen, op eene veilige wyze, op te zoeken, en te\n",
      "\n",
      "3169\tmet de Vrugten, Planten en Gewasschen, die deeze Lan-   den geeven, of aldaar met goed succes zouden kunnen ge-\n",
      "\n",
      "3170\tden geeven, of aldaar met goed succes zouden kunnen ge-   zaaid en geplant worden; midsgaders met der zelver andere\n",
      "\n",
      "3172\tProduelen, een voordeeligen Handel, zoo in Europa, als el-   ders, te dryven; en daar tegen weer Europische en andere\n",
      "\n",
      "3176\tManschap konnen bevaaren worden, en weinig geld aan in-   koop en onderhoud kosten, tot het transporteeren der goe.\n",
      "\n",
      "3186\tAlle andere Middelen, waar van in dit Project zal wor-   den gesprooken, kunnen tot de bovengemelde hoofd-poinc\n",
      "\n",
      "3190\tvoorgesteld; en teffens aantoonen, hoedanig de bovenge-   melde Middelen tot herstelling van de Westindische Maat\n",
      "\n",
      "3197\tHet kakstr werk zoudan behooren te weezen het aanleg-   gen van een Volkplanting op de Kust van Magellaan, in de\n",
      "\n",
      "3216\thet smelten van de Sneeu van de kruinen der Bergen op ver-   scheide plaatsen zoet water loopt. Men heeft 'er overvloed\n",
      "\n",
      "3220\tpalmen hoog: aan de kop en langen hals gelyken zy na een Ca-   meel; dog over het overig gedeelte van tlighaam gelyken zy\n",
      "\n",
      "3224\twol is, verwonderlyk syn Verders vindt men er Struisvo-   gels by twintigen teffens, Haazen, Patryzen, snippen, wil-\n",
      "\n",
      "3225\tgels by twintigen teffens, Haazen, Patryzen, snippen, wil-   de Ganzen, en een menigte klein Gevogelte. Men ontdekt\n",
      "\n",
      "3232\theeft men het Pinguynen Piland, waar op zich een onbezel-   baare menigte van Pinquyns en Zeehalven onthouden. Na\n",
      "\n",
      "3251\tbladen en blaauwen bloessem, van den zelfden smaak als on-   ze groene Boonen. Onder verscheide groene Kruiden ont\n",
      "\n",
      "3266\tzoo dra zy daar toe gelegentheid konden vinden. Ziet ver-   ders de Reizen van de Capiteins John Warborough en Wood\n",
      "\n",
      "3270\tDe schepen, die de Maatschappy van nooden zou heb-   ben,\n",
      "\n",
      "3272\tben, om het bovengemelde Ontwerp (namentlyk van ’t aan-   leggen van een Volkplanting op de Kust van Magellaan) ter\n",
      "\n",
      "3290\tze een Houtpoort hebben, en over de hut een galg, om stoe-   pen aan te hangen. Hetdek van de Kajuit moest zoo laag\n",
      "\n",
      "3314\twelke men gevangen kreeg. Van welke Dieren men aange-   zien haare groote, meenigte, en fyne wol, zeer groote voor-\n",
      "\n",
      "3315\tzien haare groote, meenigte, en fyne wol, zeer groote voor-   deelen zou kunnen trekken, voornamelyk wanneer men daar\n",
      "\n",
      "3329\tzou men met twee van de voorzeide kleine Hekboots kun-   nen laaten haalen; het zy van de vaste Kust, of van de Pi-\n",
      "\n",
      "3330\tnen laaten haalen; het zy van de vaste Kust, of van de Pi-   tanden, daar men het zelve het digtste- by zou vinden. De\n",
      "\n",
      "3334\tZoetwaters Baai in de straat Magellaan is bezoomd met ge-   boomte, den beuken niet ongelyk, niet min dan 18 duimen\n",
      "\n",
      "3336\tover kruis dit, en veertig voeten hoog. - Dog nergens le-   verd die straat betere nog dikkere stammen, als by de Hon-\n",
      "\n",
      "3337\tverd die straat betere nog dikkere stammen, als by de Hon-   gerhaven, vindende men 'er van twee en een halve voeten\n",
      "\n",
      "3356\tsiderabel veel geld zou uitwinnen, dat ze anders aan Victua-   sie voor ’t scheepsvolk zou moeten besteeden: behalven de\n",
      "\n",
      "3358\tonkosten van die Victualie uit Europa daar na toe te bren-   B 2\n",
      "\n",
      "3363\t’t geen men op de uit-reis van nooden hadt, moest mede nee-   men) men nu andere Waaren zou kunnen laaden.\n",
      "\n",
      "3367\tWilden van deeze Kust, welke tot het Christen geloot wier-   den bekeerd, als Matroosen tot de Walvischvangst enz. ge-\n",
      "\n",
      "3368\tden bekeerd, als Matroosen tot de Walvischvangst enz. ge-   bruikte: alzoo de Maatschappy, die voor vry wat minder\n",
      "\n",
      "3376\tmen die soldaaten en Matroosen, onder Europeaansche Sol-   daaten en Matrgosen vermengen, zoo liep men geen gevaar\n",
      "\n",
      "3378\tvan door hun overweldigd te worden, of dat ze de sche-   pen zouden afloopen. En om hun niet alleen de hoop om\n",
      "\n",
      "3381\tdoen, te beneemen, moest men hen weldoen, en heusche-   lik handelen.\n",
      "\n",
      "3394\tvoor ’t volk van nooden hadt. Het vet daar van zou, ge-   lik gezegd is, kunnen dienen, om in plaats van Lamp- en\n",
      "\n",
      "3414\t5. Juliaan behooren te zenden. Deeze groote en kleine Hek-   boots moesten tot de Walvisch-vangst weezen uitgerust.\n",
      "\n",
      "3417\tNa dat het volk van de zelve zich in de Haven van 5. Ju-   siaan behoorlyk ververscht hadt, moest men twee van de\n",
      "\n",
      "3421\tlaaten vertrekken, om de Walvischvangst daar in de Zomer-   maanden te pleegen. Men moest het spek, dat aldaar ge-\n",
      "\n",
      "3422\tmaanden te pleegen. Men moest het spek, dat aldaar ge-   vangen wierdt, op het Piland Perre de Veutot Praan koo-\n",
      "\n",
      "3423\tvangen wierdt, op het Piland Perre de Veutot Praan koo-   ken: ten welken einde men ketels en andere noodige mate-\n",
      "\n",
      "3424\tken: ten welken einde men ketels en andere noodige mate-   rialen moest medeneemen.\n",
      "\n",
      "3436\tde schepen met het overige spek en Praan na de Slaven 5. Ju-   liaan zeilen, en lossen daar haare Waaren aan land.\n",
      "\n",
      "3441\tDat gedaan zynde, moesten de voorschreve groote Hek-   poots, om niet stil te leggen, van de slaven 5. Juliaan na\n",
      "\n",
      "3443\tde Kust van Atrica vertrekken, om aldaar in de Wintermaan-   den, tusschen de 1i en 28 graden Zuiderbreedte, mede de\n",
      "\n",
      "3445\tWalvischvangst te pleegen. Men moest daar niet op hoo-   ger breedte als van 28 graden, de Walvischvangst pleegen,\n",
      "\n",
      "3451\tden gekookt. Zy moesten daar in Augustus maaken te wee-   zen; om in de Maand September of October, weer, als voo-\n",
      "\n",
      "3452\tzen; om in de Maand September of October, weer, als voo-   ren, na Perre de feu te vertrekken, en aldaar de Walvisch\n",
      "\n",
      "3461\tgen, die men van nooden zou hebben, in de slaven amp. Jn-   siaan weer te rug. Van waarze in de Zomer-maanden weer\n",
      "\n",
      "3471\tden gekookt; In de Winter-maanden konden deeze sche-   pen, ook onder de Kust van Atrica gaan visschen. En duskon\n",
      "\n",
      "3480\tgebruiken, als de zelve na bevinding zou oordeelen te be-   hooren.\n",
      "\n",
      "3485\tvan de Reizigers, die daar geweest zyn. Mij is van een ge-   looswaardig man verzekerd, dat de zelve twee Reizen van\n",
      "\n",
      "3489\tin een Baai, als ontakeld, hebben gelegen, en daar de Wat-   visschen gevangen; en dat in zoon groote menigte, dat zy\n",
      "\n",
      "3505\tden kunnen werden voorzien Capitein Warborough ge-   tuigd in de straat Magellaan verscheide Walvisschen te heb-\n",
      "\n",
      "3506\ttuigd in de straat Magellaan verscheide Walvisschen te heb-   ben gezien digte by de Caap Calant in zekere Baas, die hy\n",
      "\n",
      "3512\tder Reizen het 18 Deel Pag. 200 en de Reize van den Ad-   gemelde 18 Deel te vinden,\n",
      "\n",
      "3534\tvan nooden hadt, met Praan, en andere Waaren na West-   Indie, de Kust van Cuuine, of Europa kunnen vertrekken.\n",
      "\n",
      "3545\tschooven moet worden meegenoomen, op dat de sche-   pen verders met andere goederen konden werden gelaaden.\n",
      "\n",
      "3547\tEn op de weerom, reis van de Kust van Magellaan na Luro-   pa, zoumen op die schepen, tusschen het vaatwerk eenige\n",
      "\n",
      "3550\tgeen hinder aan doen kon; ten einde dus maar weinig sche-   pen tot het transporteeren der goederen van nooden te hebben.\n",
      "\n",
      "3555\tdie Jaarlyks uit Europa na de slaven 5. Juliaan zouden wer-   den gezonden, om de Praan daar van daan te haalen, zou\n",
      "\n",
      "3560\tzoete Oly, en eenige Plantjes van Vrugtboomen, in te nee-   men en vervolgens na de Kust van Magellaan te brengen.\n",
      "\n",
      "3563\tzoo dra de Walvisch-vangst gereguleerd was, of wan-   neer\n",
      "\n",
      "3577\ttrekken, is, om het Vaarwater tusschen Diemen, en Nieuw-   Zeeland, zoo veel te beter te leeren kennen, of de schepen\n",
      "\n",
      "3582\tvertrekken, leggende op 21 graaden 20 minuten Zuider-   breedte, en 250 graaden 29 minuten lengte. Op dit kilanc\n",
      "\n",
      "3600\tmen zoo lang by dat Piland blyven leggen, tot dat de Ves-   ting klaar was; en met de twee andere groote Hekboots\n",
      "\n",
      "3603\tde Caap Hoorn; en van daar na de slaven 5. Juliaan vertrek-   ken, ommeer volk, en ’t geen men verder van nooden hadt\n",
      "\n",
      "3605\tte haalen. Daarenboven moest men ook met andere sche-   pen\n",
      "\n",
      "3608\tpen in ’t laastgemelde jaar, zoo manschap, als het geen ver-   ders op het voorschreve Kiland vereischt wierdt, van de Ha\n",
      "\n",
      "3612\tpoots ten zelfde einde na de slaven 5. Juliaan wierden ge-   zonden.\n",
      "\n",
      "3618\tKust van Nieuw Cuine vast is. En met twee van de ande-   re kleine Hekboots zou men op de naastgelegene Pilanden\n",
      "\n",
      "3621\tzaaden van Moeskruid, en wat men daar verders kon beko-   men en van nooden hadt, te haalen.\n",
      "\n",
      "3640\tmen het spinnen, naaien, preien, enz. laatenleeren, en een-   ge tot het Boerewerk gebruiken. En zoo dit Piland geen\n",
      "\n",
      "3645\tPiland, gelyk gezegd is, op 21 graaden 20 minuten Zuider-   breedte, en 205 graaden 29 minuten lengte, en ’t eerstge-\n",
      "\n",
      "3646\tbreedte, en 205 graaden 29 minuten lengte, en ’t eerstge-   mel-\n",
      "\n",
      "3647\tmel-   „\n",
      "\n",
      "3650\tmelde Piland daar niet ver van daan. Op beide deeze Hilan-   den vind men overvloed van allerlei ververschingen. De\n",
      "\n",
      "3661\tgaan onderzoeken, wat Pilanden en Droogtens, men tus-   schen het land van 5. Asprit, en de Noordelykste Hoek van\n",
      "\n",
      "3665\tgoede slaven heeft, alwaar men in ’t vervolg ook een Volk-   planting zou kunnen aanleggen.\n",
      "\n",
      "3671\ten Droogtens daar op die Coers werden gevonden: wel-   ke Pilanden, en Droogtens, men op haar behoorlyke breed.\n",
      "\n",
      "3685\tDoor den tyd zou men daar nog meer andere kleine Hek-   boots toe kunnen gebruiken: en dus zou men van Nieuw-\n",
      "\n",
      "3686\tboots toe kunnen gebruiken: en dus zou men van Nieuw-   Zeeland en ’t Land van 5. Asprit, met weinig onkosten, alle\n",
      "\n",
      "3693\tmen ook weer opgaanzoeken de Nieuwe Carolynsche Kilan-   den, midsgaders de Pilanden, en Landen, die door Capitein\n",
      "\n",
      "3704\tzulke groote brokken vindt, dat ze tot zetels kunnen die-   nen. Liet de Histor: Beschryv: der Reizen het 18 Deel pag. 83.\n",
      "\n",
      "3708\them in den volgende togt ontdekt. Namentlyk, van de Ma-   rianes Pilanden vertrokken zynde, en zyn cours van daar\n",
      "\n",
      "3712\tvan daar tot op 67 graaden Zuiderbreedte Zuid-oost, en ver-   volgens Noord-oost Htuurende, eindelyk op de Kust van\n",
      "\n",
      "3714\tChili aangeland. Hy verzekerd, op dien, togt veele Pilan-   sen, en nieuwe Landen, rik in Goud en Paarlen, en tot\n",
      "\n",
      "3716\tdien tyd toe aan alle de Zeelieden onbekend, ontdekt te heb-   ben. Des zelfs Reize is by Betteworth en Meurs in ’t jaar\n",
      "\n",
      "3725\tvoorzien was, zou men eene Volkplanting kunnen gaan aan-   leggen op het Land van 5. Asprit, by de slaven van Vera\n",
      "\n",
      "3728\tDe Haven Vera Cruzlegt op 15 graaden 40 minuten Zui-   derbreedte, en 187 graaden lengte, in de Baai 5. Jago en\n",
      "\n",
      "3735\ten een goe-   vatten, welke 'er op omtrent tien vademen,\n",
      "\n",
      "3738\tDe voorschreeve Rivieren zyn fordano en 5. Salvador ge-   naamd: de eene heeft veel overeenkomst met de Rivier Cua-\n",
      "\n",
      "3739\tnaamd: de eene heeft veel overeenkomst met de Rivier Cua-   datquivir in spanje, en de andere is voor sloepen bevaarbaar.\n",
      "\n",
      "3752\tHet aardryk brengt genoegzaam zonder bebouwing over-   vloed van aangenaame vrugten, Pataten, Papas, Plantanen,\n",
      "\n",
      "3754\tOranje-appelen, Limoenen, Amandelen, Obos, en verschei-   de andere zeer lekkere vrugten voorts Men vindt er Aloen„\n",
      "\n",
      "3757\tvermits het zelve in een Lugtstreek legt daar de Oost-pas-   laat- wind waaid, en zoo ver bezuiden de Linie legt, als het\n",
      "\n",
      "3759\tPiland Martinique, benoorden de zelve, en met andere Fi-   landen en Landen daaromstreeks weinig in breedte verschild,\n",
      "\n",
      "3762\tdigo, Cacao, en meer andere vrugten, planten en gewas-   schen met goed succes gezaaid en geplant zouden konnen\n",
      "\n",
      "3767\tbekwaam om Wyn of Azyn te maaken: dog vooral een groo-   te menigte Cocosboomen.\n",
      "\n",
      "3770\tGeiten; Ringelduiven, Patryzen, Papegaaien, Bien, Hoen-   ders, en ander wild en tam Gevogelte, byna als in Europa.\n",
      "\n",
      "3776\tDe schatten van dit land zyn, behalven ’t geen reeds ge-   meld is, Gond, Zilver en Paarlen, Marmer, Hardsteen:\n",
      "\n",
      "3795\tniet overmaatig is, en dat men na middernagt, om de koel-   te van den morgen, zich met een, wolle deken moest\n",
      "\n",
      "3801\tlaage hutten met stroo gedekt. Deeze lieden zyn onkun-   dig van eenige konsten, hebben nog steden, nog sterktens,\n",
      "\n",
      "3803\tnog Wetten, nog Overheden. Hunne Wapenen zyn boo-   gen, pilen, zonder vergil, stokken; lansen, en zagaaien ol\n",
      "\n",
      "3805\twerpspiessen. zy zyn blygeestig, gemeenzaam en zeer er-   kennelik voor, de blyken van vriendschap welke men hun\n",
      "\n",
      "3809\tvan zekere Memorie door gemelde Fernand de Quiros aan Phi-   lips den Derden, Koning van Spanje, overgelevert; en ’t Ver-\n",
      "\n",
      "3810\tlips den Derden, Koning van Spanje, overgelevert; en ’t Ver-   paal der Reize van de Ouiros, door Torquemado uit de Dag\n",
      "\n",
      "3812\tregisters van de Duiros getrokken; beide te vinden in ’t bo-   vengemelde i8 Deel van de Histor. Beschryv. der Reiz-\n",
      "\n",
      "3813\tvengemelde i8 Deel van de Histor. Beschryv. der Reiz-   S. XXKJ.\n",
      "\n",
      "3815\tWanneer de Volkplanting op ’t Land van 5. Asprit in or-   der was, zou men ook een Volkplanting kunnen aanleggen\n",
      "\n",
      "3817\taan de Noordzyde van Nieuw-Zeeland, beoosten de Noor-   delykste hoek van ’t zelve land, op zoodanig een plaats, al-\n",
      "\n",
      "3818\tdelykste hoek van ’t zelve land, op zoodanig een plaats, al-   waar bevoorens door de Hekboots een goede baai of slaven\n",
      "\n",
      "3821\tDe Noordelykste hoek van Nieuw Zeeland, aan de West-   zyde, legt op 34 graaden 35 minuten Zuiderbreedte, en igt\n",
      "\n",
      "3825\tontdekt heeft, schryft, dat het hem vermaakelyk en vrugt-   haar voorkwam: maar welke Producten het eigentlyk voort-\n",
      "\n",
      "3826\thaar voorkwam: maar welke Producten het eigentlyk voort-   brengt,\n",
      "\n",
      "3828\tbrengt, kan met geen zekerheid bepaald worden, wyl nie-   mand van de Europeaanen het onderzogt heeft Dog ver\n",
      "\n",
      "3832\tbelooven. Liet de Reize van Pasman in ’t 2 Deer van ’t Re-   cewil in ’t jaar 1738, te Amsterdam door Frederik Bernard uit-\n",
      "\n",
      "3833\tcewil in ’t jaar 1738, te Amsterdam door Frederik Bernard uit-   gegeeven, of in ’t meergemelde 18 Deel van de Histor. Be\n",
      "\n",
      "3848\tDe schepen, die van de Kust van Magellaan wierden ge-   zonden, om de Europeische en andere Waaren, van daar na\n",
      "\n",
      "3851\tmoesten ook Hekboots weezen van 136 voet lang, en moes-   ten in April, Mat en Juny van de Kust van Magellaan ver-\n",
      "\n",
      "3852\tten in April, Mat en Juny van de Kust van Magellaan ver-   231\n",
      "\n",
      "3855\tzy moesten haar cours neemen tusschen het Land van Die-   men, en NieuwZeeland door, en niet om de Caap Hoorn,\n",
      "\n",
      "3857\tof door de straat van Magellaan zeilen: want niet tegen-   staande de verheid van de slaven 5. Juliaan na de Haven Ve-\n",
      "\n",
      "3858\tstaande de verheid van de slaven 5. Juliaan na de Haven Ve-   ra Cruz, om de Caap Hoorn slegts 2569 mylen, en dus 465\n",
      "\n",
      "3866\tte, op de Zuiderbreedte van 42. a 44 graaden, met de Wes-   telijke Winden spoedig zyne reis zou kunnen voortzetten.\n",
      "\n",
      "3878\twaren gearriveert, moesten ze haare Waaren daar gedeel-   telyk in passant lossen; en weer andere in plaats van de zel-\n",
      "\n",
      "3879\ttelyk in passant lossen; en weer andere in plaats van de zel-   ve inneemen; en alsdan haare reis na ’t Land van 5. Esprit\n",
      "\n",
      "3889\tder in drie verzendigsna de Kust van Magellaan werden ge-   zonden: te weeten in November, December en Januaryes\n",
      "\n",
      "3896\tWat de cours belangd, die deeze schepen op haar terug-   reis van ’t Land van 5. Asprit na de Kust van Magellaan moes-\n",
      "\n",
      "3897\treis van ’t Land van 5. Asprit na de Kust van Magellaan moes-   ten houden, de zelve moest weezen als volgt: Eerst moes-\n",
      "\n",
      "3898\tten houden, de zelve moest weezen als volgt: Eerst moes-   ten ze tot op 829 graaden Zuider-breedte zeilen, en dan\n",
      "\n",
      "3904\tlijkste hoek van Nieuw Zeeland, en vervolgens na de Volk-   planting aldaar.\n",
      "\n",
      "3912\tMaart, om de Caap Hoorn na de Haven 5. Juliaan vertrek-   ken, vermids de Westelyke winden, des Winters om de\n",
      "\n",
      "3923\tvan Mai tot November van 5. Asprit na Nieuw Zeeland wier-   den gezonden, zouden van ’t Land van 5. Aprit eerst Noor-\n",
      "\n",
      "3924\tden gezonden, zouden van ’t Land van 5. Aprit eerst Noor-   den moeten stuuren tot op 6 â 7. graaden Noorderbreedte\n",
      "\n",
      "3926\ten dan Oost, zoo ver, tot dat zy met een Zuide cours bo-   ven ’t Land van 5. Asprit konden zeilen; en laaten het dan\n",
      "\n",
      "3932\tper tot Mai van ’t Land van 5. Asprie na Nieuw-Zeeland zou-   den vertrekken, moesten eerst Noorden Htuuren tot op 7 â 8\n",
      "\n",
      "3935\tmet een Zuide cours boven ’t Land van 5. Asprit konden zei-   len, en dan als vooren na Nieuw-Zeeland.\n",
      "\n",
      "3946\tergten beter Vaarwater zyn, als het zelve, alzoo men by-   na altyd een voordeelige Wind zal hebben, het volk steeds\n",
      "\n",
      "3948\tonder een gezonde luchtstreek zal weezen, en altyd goe-   de Victualie en verversching zal kunnen hebben, die men\n",
      "\n",
      "3956\tDaarenboven zal de Compagnie haare Waaren uit Furo-   pa over de Kust van Magellaan na ’t Land van 5. Asprit, en\n",
      "\n",
      "3961\tkunnen brengen. Dit is best te zien, wanneer men de on-   kosten, die de Oostindische Compagnie moet doen, om de\n",
      "\n",
      "3969\tvoorheeld, verondersteld, dat die beide Compagnien jaar-   lyks dertig scheepslaadingen na de voorschreeve Plaatsen\n",
      "\n",
      "3971\tuitzenden, en weer t'huisbekomen, zoo blykt, dat de onkos-   ten, die de Westindische Compagnie ten dien einde zou be-\n",
      "\n",
      "3972\tten, die de Westindische Compagnie ten dien einde zou be-   hoeven aan te wenden, verscheide Ponnen Gonds minder\n",
      "\n",
      "3974\tzouden bedraagen, als de onkosten van de Oostindische Com-   pagnie.\n",
      "\n",
      "4001\tvende dus bo schepen, die de Oostindische Compagnie noo-   sig heeft, om de Vaart aan de gang te houden, indien de\n",
      "\n",
      "4012\tte weeten met go zeevaarende Persoonen, zynde het ordi-   naris getal daar een Fregat mee bemant wordt: want die op\n",
      "\n",
      "4014\tde uitgaande Oostindische schepen meer worden meege-   geeven, worden eigentlyk gestuurd om de ontbreekende\n",
      "\n",
      "4021\tgeld en victualie, des maands 2165 guldens, dus in 27 maan-   den 25564 guldens; by gevolg kosten de dertig schepen\n",
      "\n",
      "4033\tVoor ’t verouderen van ’t schip, en voor ’t on-   derhoud van ’t schip, aan Zeilen en Louwerk, enz.\n",
      "\n",
      "4045\twerden gezonden, aan de Oostindische Compag-   vƒ 2400420\n",
      "\n",
      "4049\tvan 136 voet lang, die met 45 zeevarende Persoonen be-   mant worden, van de slaven 5. Juliaan na ’t Land van 5. Aspril\n",
      "\n",
      "4058\tvan Maart, uit Europana de Slaven 5. Juliaan vol-   ren, en van daar weerterug na Europa wierden ge-\n",
      "\n",
      "4059\tren, en van daar weerterug na Europa wierden ge-   zonden met de Waaren door de eerstgemelde Sche-\n",
      "\n",
      "4060\tzonden met de Waaren door de eerstgemelde Sche-   sen in de slaven 5. Juliaan gebragt, en de zelve haar\n",
      "\n",
      "4063\theen en weerom,) en als daaren boven nog tien Sche-   pen in de maand September en December nog z0\n",
      "\n",
      "4087\ten de laastgemelde z0 schepen in 8 maan-   132\n",
      "\n",
      "4121\tvan 5. Asprit na Europa wierden gezonden, geza-   rommen\n",
      "\n",
      "4130\tom jaarlyks z0 scheepslaadingen uit Europa na Ba-   tavia, en van Batavia na Europa te zenden, be-\n",
      "\n",
      "4131\ttavia, en van Batavia na Europa te zenden, be-   o\n",
      "\n",
      "4135\tzoo blikt, dat ze der Westindische Compag-   nie minder zouden kosten\n",
      "\n",
      "4141\tVan Niouw Zeeland en ’t Land van 5. Alprit zou men wy-   ders het heele jaar door op de Nieuwe Carolynsche Pilanden,\n",
      "\n",
      "4144\tdoor Jean Nichel Mirlotte ontdekt zyn, heen en weer kun-   nen vaaren.\n",
      "\n",
      "4159\tvan zelfs spreekt, naar evenredigheid van dien Handel moe-   ten bepaald worden.\n",
      "\n",
      "4164\tdie onkosten egter gering zyn in de vergelyking van de voor-   deelen, die de Compagnie er in ’t vervolg van zougenieten:\n",
      "\n",
      "4172\tdie onderneemingen ook alle byna te gelyk kunnen ter uit-   voer brengen, maar dan zou men in ’t begin veel meergeld\n",
      "\n",
      "4178\tmen heeft, om de Walvisch-vangst op 22 â 33 graaden Zus-   der-breedte te pleegen, maar daar mee is uitgescheiden, de\n",
      "\n",
      "4181\tals men vindt aangetekend in de tegenwoordige staat der ver-   eenigde Nederlanden &amp; Deel Pag. 533. Zou men altemets\n",
      "\n",
      "4184\tzen, om daar weer mee te beginnen. Dog daar tegen mer-   ke ik aan, dat die reden geen plaats zou kunnen hebben\n",
      "\n",
      "4198\tderen der Wilden bekwaam waren gemaakt, om tot de Wal-   vilch-vangst gebruikt te worden. Ook zou de Compag-\n",
      "\n",
      "4199\tvilch-vangst gebruikt te worden. Ook zou de Compag-   nie geen leege schepen behoeven uit te zenden, maar ge-\n",
      "\n",
      "4200\tnie geen leege schepen behoeven uit te zenden, maar ge-   deeltelyk met Koopmanschappen geladen, alzoo men het\n",
      "\n",
      "4206\tschepen zou behoeven uit te stuuren, maar volgens dit Pro-   jeet het heele jaar door kunnen visschen.\n",
      "\n",
      "4214\tvoorgaf, te willen doen, om reden, als hier voor is aange-   tekend, dat het volk, ’t welk voor eenige jaaren ten dien\n",
      "\n",
      "4226\tLogt wederom te doen: gelyk ze ook niet weigeren zou-   den, om na de Zuidzee te vaaren, als zy eerst op de Kust\n",
      "\n",
      "4273\tde zander grote kekboots inde zomermaand de wal-   22\n",
      "\n",
      "4341\t300000-   voor Cargaroenes om Hasen voor de voltplant,\n",
      "\n",
      "4364\tondernemingen meer gedaan zyn, maar dit wyls van een scha-   delyk gevolg, of zonder vrugt zyn geweest: dog men ge-\n",
      "\n",
      "4365\tdelyk gevolg, of zonder vrugt zyn geweest: dog men ge-   liest te letten, dat het de meesten, die zulks hebben onder-\n",
      "\n",
      "4366\tliest te letten, dat het de meesten, die zulks hebben onder-   noomen, aan goed beleid, en anderen aan standvastigheid,\n",
      "\n",
      "4368\tontbrooken heeft. De schepen; die men uit Europa gezon-   den heeft, om de onbekende Zuidlanden op te zoeken,\n",
      "\n",
      "4370\tzyn altoos maar direct na die Landen gevaaren, zonder al-   voorens een verversch-plaats aan te leggen, daar het volk\n",
      "\n",
      "4372\tvan de geledene latiques zou kunnen iitrusten; zich behoor-   lyk ververschen, en van nieuwe Victualie, en ’t geen zever-\n",
      "\n",
      "4373\tlyk ververschen, en van nieuwe Victualie, en ’t geen zever-   ders mogten van nooden hebben; werden voorzien. Dee-\n",
      "\n",
      "4374\tders mogten van nooden hebben; werden voorzien. Dee-   ze onderneemingen waaren daarom altoos vrugteloos, en\n",
      "\n",
      "4379\talgemat door een langduurige Reis en gebrek van verver-   sching, was voor een groot gedeelte gestorven; en de overi-\n",
      "\n",
      "4380\tsching, was voor een groot gedeelte gestorven; en de overi-   ze in scheurbuik, en andere ziektens vervallen, verlangden\n",
      "\n",
      "4382\tmaar weer na ’t Vaderland te keeren, dat weinige het ge-   luk hadden, van weerom te zien.\n",
      "\n",
      "4384\tDe spanjaards, die van America na de onbekende Zuid-   landen zyn gevaaren, zyn beter geslagen in hunne onderne-\n",
      "\n",
      "4385\tlanden zyn gevaaren, zyn beter geslagen in hunne onderne-   mingen: maar het spaansche tlot, belemmerd door den Oor-\n",
      "\n",
      "4386\tmingen: maar het spaansche tlot, belemmerd door den Oor-   tog en andere zaaken, heeft, verzuimd zyn voordeel met\n",
      "\n",
      "4389\topzichte der Zuidlanden, ook hun voordeelniet gedaan heb-   ben met de ontdekkingen van hunne eige Natie, en die van\n",
      "\n",
      "4395\twind daar op een laager wal zynde of nooit, of beswaar-   lijk, daar van daan hebben konnen komen. Maar dewyl\n",
      "\n",
      "4401\thaaren, of het der Westindische Compagnie wel gepermit-   teerd zou weezen, om haar schepen beoosten de Caap de\n",
      "\n",
      "4407\tik antwoorde, dat, na myn gedagten, de Oostindische Com-   pagnie geen regt heeft, om zulks aan de Westindische Com-\n",
      "\n",
      "4408\tpagnie geen regt heeft, om zulks aan de Westindische Com-   pagnie te betwisten; want dat niemand, als de Oostindische\n",
      "\n",
      "4419\tvan de Westindische Compagnie beoosten de Caap de goe-   de Hoop, of om de Caap Hoorn, of door de straat van Ma-\n",
      "\n",
      "4420\tde Hoop, of om de Caap Hoorn, of door de straat van Ma-   gellaan, na Nieuw-Zeeland en ’t Land van 5. Aprit zeilen.\n",
      "\n",
      "4423\taan de Westindische Compagnie verleend, binnen de Limi-   ten van de Westindische Compagnie gelegen zin: derhalven\n",
      "\n",
      "4425\tkan de Oostindische Compagnie haar de Vaart op de voor-   schreeve landen, zoo min beoosten de Caap de goede Hoop,\n",
      "\n",
      "4433\tgenoegen op te lossen, en alle tegenwerpingen op een vol-   doende wys te beantwoorden.\n",
      "\n",
      "4440\tLinie te pleegen; of op de Kust van Magellaan, Nieuw-Zee-   land, het Land van 5. Asprit, of andere landen en Pilanden,\n",
      "\n",
      "4442\tin de Zuidzee gelegen, eenigen Handel te dryven, al wil-   de men jaan de Compagnie daar Recognitie voor betaalen;\n",
      "\n",
      "4444\tten einde de Compagnie alleen de voordeelen daar van ge-   niete.\n",
      "\n",
      "4486\t-   Jfrica, ende de possossie van het Casteel aldaer gelogen\n",
      "\n"
     ]
    }
   ],
   "source": [
    "prev_line = None\n",
    "for li, line in enumerate(line_reader):\n",
    "    if prev_line is None or (prev_line['text'] is None or prev_line['text'] == ''):\n",
    "        prev_line = line\n",
    "        continue\n",
    "    if prev_line is not None and prev_line['text'][-1] in {'-'}:\n",
    "        print(f\"{li}\\t{prev_line['text']}   {line['text']}\\n\")\n",
    "    if (li+1) >= 5000:\n",
    "        break\n",
    "    prev_line = line\n",
    "    \n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "01da5314",
   "metadata": {},
   "source": [
    "Here it's clear that low quotes are used as word-break characters. We can make paragraphs of running text using these word-break characters naively."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "id": "2478138e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "r1 {'lines': 33, 'words': 165, 'text_regions': 0}\n",
      "\tJieem — Nederland\n",
      "\tkopij om te leggen nevens de minuut.\n",
      "\t11 Octob. 1614.\n",
      "\tDie Staten Generaal der Vereenichden\n",
      "\tNederlanden, Allen den ghenen die dese\n",
      "\tjegenwoordige sullen werden gethoont,\n",
      "\tdoen te weten: Alsoo Gerrit Jacobs\n",
      "\tWitssen, Oud Borgermeester der stadt\n",
      "\tAmstelredam, Jonas Witssen, Simon\n",
      "\tMonisen, reeders van den schepe ge„\n",
      "\tnaempt het Vosken, daer schipper op is\n",
      "\tgeweest Jan de With, Hans Hongers, Pau„\n",
      "\tlus Pelgrom, Lambrecht van Tweenhuijsen\n",
      "\treeders van de twee seepen genaempt\n",
      "\tƒ88488\n",
      "\tden Tijger ende de Fortuijn, daer schip\n",
      "\tRaem.\n",
      "\tpers op zijn geweest Adriaen Bloek\n",
      "\tende Henrick Corstiaenssen, Arnoult\n",
      "\tvan Lijbergen, Wessel Schenck, Hans\n",
      "\tClaessen ende Berent Sweertssen, ree„\n",
      "\tders van het schip genaempt den\n",
      "\tNachtegael, daer schipper op is geweest\n",
      "\tThijs Volkertssen, coopluijden der voors:\n",
      "\tstadt Amstelredam, -en de Pieter Clements\n",
      "\tBrouwer, Jan Clementssen Kies en de\n",
      "\tCornelis Volckertsen, coopluijden der\n",
      "\tstede Hoorn, reeders van den schepe\n",
      "\tgenaempt de Fortuijn, daer, schipper\n",
      "\top is geweest Cornelis Jacobssen Maij:\n",
      "\tAlle als nu te samen vereenight en\n",
      "\teene compargnie, ons reverentelijck\n",
      "\tvert.\n",
      "Jieem — Nederland kopij om te leggen nevens de minuut. 11 Octob. 1614. Die Staten Generaal der Vereenichden Nederlanden, Allen den ghenen die dese jegenwoordige sullen werden gethoont, doen te weten: Alsoo Gerrit Jacobs Witssen, Oud Borgermeester der stadt Amstelredam, Jonas Witssen, Simon Monisen, reeders van den schepe genaempt het Vosken, daer schipper op is geweest Jan de With, Hans Hongers, Paulus Pelgrom, Lambrecht van Tweenhuijsen reeders van de twee seepen genaempt ƒ88488 den Tijger ende de Fortuijn, daer schip Raem. pers op zijn geweest Adriaen Bloek ende Henrick Corstiaenssen, Arnoult van Lijbergen, Wessel Schenck, Hans Claessen ende Berent Sweertssen, reeders van het schip genaempt den Nachtegael, daer schipper op is geweest Thijs Volkertssen, coopluijden der voors: stadt Amstelredam, -en de Pieter Clements Brouwer, Jan Clementssen Kies en de Cornelis Volckertsen, coopluijden der stede Hoorn, reeders van den schepe genaempt de Fortuijn, daer, schipper op is geweest Cornelis Jacobssen Maij: Alle als nu te samen vereenight en eene compargnie, ons reverentelijck vert.\n"
     ]
    }
   ],
   "source": [
    "import pagexml.parser as parser\n",
    "import pagexml.helper.pagexml_helper as pagexml_helper\n",
    "\n",
    "word_break_chars='-„'\n",
    "\n",
    "scans = text_helper.read_pagexml_docs_from_line_file(na_line_file)\n",
    "for scan in scans:\n",
    "    for tr in scan.text_regions:\n",
    "        print(tr.id, tr.stats)\n",
    "        for line in tr.lines:\n",
    "            print(f'\\t{line.text}')\n",
    "        text, line_ranges = pagexml_helper.make_text_region_text(tr.lines, word_break_chars=word_break_chars)\n",
    "        print(text)\n",
    "    break"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e6d5bf40",
   "metadata": {},
   "source": [
    "## Deriving a word-break detector from corpus statistics\n",
    "\n",
    "The hyphen is sometimes used as a soft hyphen, but it is also used to indicate e.g. monetary amounts. So it should not always be treated as a soft hyphen. \n",
    "\n",
    "To attempt to do a better job, it is possible to build a word break detector that gathers corpus statistics about words and their frequencies in the middle of a line, and at the start and end of a line."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "id": "655c539e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Step 1: setting unigram counters\n",
      "1007175 lines processed\tall:   409555 types\t 6658439 tokens\n",
      "Step 2: setting bigram counter\n",
      "1007175 lines processed\tall: 588086 bigrams\n",
      "Step 3: setting common merge counters\n",
      "Step 4: setting typical line ends and starts\n",
      "Step 5: setting common line ends and starts\n"
     ]
    }
   ],
   "source": [
    "from pagexml.analysis.text_stats import WordBreakDetector\n",
    "\n",
    "word_break_chars='-„'\n",
    "\n",
    "wbd = WordBreakDetector(min_bigram_word_freq=5, \n",
    "                        word_break_chars=word_break_chars,\n",
    "                        lines=line_reader)\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "id": "9f1a5d9f",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "number of lines: 997021\n",
      "number of words per line: 6.678333756259899\n",
      "all:            409555 types\t   6658439 tokens\n",
      "start:          132129 types\t    997021 tokens\n",
      "mid:            255368 types\t   4815847 tokens\n",
      "end:            146299 types\t    997021 tokens\n",
      "mid bigrams:    588086 types\t   2947515 tokens\n",
      "Number of typical merge line ends: 140\n",
      "Number of typical merge line starts: 142\n",
      "Number of common merge line ends: 37\n",
      "Number of common merge line starts: 23\n"
     ]
    }
   ],
   "source": [
    "wbd.print_counter_stats()"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "id": "801bc585",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "r1 {'lines': 33, 'words': 165, 'text_regions': 0}\n",
      "\tJieem — Nederland\n",
      "\tkopij om te leggen nevens de minuut.\n",
      "\t11 Octob. 1614.\n",
      "\tDie Staten Generaal der Vereenichden\n",
      "\tNederlanden, Allen den ghenen die dese\n",
      "\tjegenwoordige sullen werden gethoont,\n",
      "\tdoen te weten: Alsoo Gerrit Jacobs\n",
      "\tWitssen, Oud Borgermeester der stadt\n",
      "\tAmstelredam, Jonas Witssen, Simon\n",
      "\tMonisen, reeders van den schepe ge„\n",
      "\tnaempt het Vosken, daer schipper op is\n",
      "\tgeweest Jan de With, Hans Hongers, Pau„\n",
      "\tlus Pelgrom, Lambrecht van Tweenhuijsen\n",
      "\treeders van de twee seepen genaempt\n",
      "\tƒ88488\n",
      "\tden Tijger ende de Fortuijn, daer schip\n",
      "\tRaem.\n",
      "\tpers op zijn geweest Adriaen Bloek\n",
      "\tende Henrick Corstiaenssen, Arnoult\n",
      "\tvan Lijbergen, Wessel Schenck, Hans\n",
      "\tClaessen ende Berent Sweertssen, ree„\n",
      "\tders van het schip genaempt den\n",
      "\tNachtegael, daer schipper op is geweest\n",
      "\tThijs Volkertssen, coopluijden der voors:\n",
      "\tstadt Amstelredam, -en de Pieter Clements\n",
      "\tBrouwer, Jan Clementssen Kies en de\n",
      "\tCornelis Volckertsen, coopluijden der\n",
      "\tstede Hoorn, reeders van den schepe\n",
      "\tgenaempt de Fortuijn, daer, schipper\n",
      "\top is geweest Cornelis Jacobssen Maij:\n",
      "\tAlle als nu te samen vereenight en\n",
      "\teene compargnie, ons reverentelijck\n",
      "\tvert.\n",
      "Jieem — Nederland kopij om te leggen nevens de minuut. 11 Octob. 1614. Die Staten Generaal der Vereenichden Nederlanden, Allen den ghenen die dese jegenwoordige sullen werden gethoont, doen te weten: Alsoo Gerrit Jacobs Witssen, Oud Borgermeester der stadt Amstelredam, Jonas Witssen, Simon Monisen, reeders van den schepe genaempt het Vosken, daer schipper op is geweest Jan de With, Hans Hongers, Paulus Pelgrom, Lambrecht van Tweenhuijsen reeders van de twee seepen genaempt ƒ88488 den Tijger ende de Fortuijn, daer schip Raem. pers op zijn geweest Adriaen Bloek ende Henrick Corstiaenssen, Arnoult van Lijbergen, Wessel Schenck, Hans Claessen ende Berent Sweertssen, reeders van het schip genaempt den Nachtegael, daer schipper op is geweest Thijs Volkertssen, coopluijden der voors: stadt Amstelredam, -en de Pieter Clements Brouwer, Jan Clementssen Kies en de Cornelis Volckertsen, coopluijden der stede Hoorn, reeders van den schepe genaempt de Fortuijn, daer, schipper op is geweest Cornelis Jacobssen Maij: Alle als nu te samen vereenight en eene compargnie, ons reverentelijck vert.\n"
     ]
    }
   ],
   "source": [
    "word_break_chars='-„'\n",
    "\n",
    "scans = text_helper.read_pagexml_docs_from_line_file(na_line_file, add_bounding_box=True)\n",
    "for scan in scans:\n",
    "    for tr in scan.text_regions:\n",
    "        print(tr.id, tr.stats)\n",
    "        for line in tr.lines:\n",
    "            print(f'\\t{line.text}')\n",
    "        text, line_ranges = pagexml_helper.make_text_region_text(tr.lines, word_break_chars=word_break_chars)\n",
    "        print(text)\n",
    "    break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 12,
   "id": "3575ead5",
   "metadata": {},
   "outputs": [],
   "source": [
    "hyphen_scan = None\n",
    "for scan in scans:\n",
    "    for tr in scan.text_regions:\n",
    "        hyphen_lines = [line for line in tr.lines if line.text and line.text[-1] == '-']\n",
    "        if len(hyphen_lines) > 4:\n",
    "            hyphen_scan = scan\n",
    "            break\n",
    "    if hyphen_scan is not None:\n",
    "        break\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 13,
   "id": "0e49803e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "v mor\n",
      "rnn\n",
      "nanarm\n",
      "marr\n",
      "v mor rnn nanarm marr\n",
      "v mor rnn nanarm marr\n",
      "\n",
      "None\n",
      "None\n",
      "171\n",
      "171\n",
      "171\n",
      "31\n",
      "P. J.\n",
      "eMiddelen, waar van men zich, naar onze gedagten,\n",
      "8\n",
      "zou behooren te bedienen, om de Nederlandsche\n",
      "—\n",
      "Geoctroyeerde Westindische Compagnie in een goe\n",
      "de en Horissante staat te brengen, zouden hoofdzaakelyk be-\n",
      "staan:\n",
      "Vooreerst, in een Volkplanting aan te leggen op de Kust\n",
      "van Magellaan, om aldaar eene algemeene Laad- en Los-\n",
      "plaats voor de schepen te hebben, en van de Producten\n",
      "van die Kust te protiteeren, zoo om daar mee een voordee\n",
      "tigen Handel te dryven, als om de schepen met de zelve te\n",
      "victualieeren, &amp;c.\n",
      "Ten twoeden, in de Walvischvangst het heele jaar door te\n",
      "pleegen op differente plaatsen, daar die Visch zich in me\n",
      "nigte ophoudt, en dat met zoo weinig onkosten, en daar\n",
      "omtrent zoodanig een schikking te maaken, als nooit voor\n",
      "deezen is gepractiseert geweest\n",
      "Ten derden, in de Nieuwe Carolynsche Pilanden, mids-\n",
      "Laders de Goud- en Parel-Filanden,\n",
      "die door Jean Michel\n",
      "Mirlofte buldekt zyn, en alle andere Pilanden, in de Zuid-\n",
      "zoe gelegen, op eene veilige wyze, op te zoeken, en te\n",
      "ontdekken.\n",
      "Ten vierden, in een Volkplanting aan te leggen op ’t Land\n",
      "van 5. Asprit, en de Kust van Nieuw Zeeland, ten einde\n",
      "met de Vrugten, Planten en Gewasschen, die deeze Lan-\n",
      "den geeven, of aldaar met goed succes zouden kunnen ge-\n",
      "zaaid en geplant worden; midsgaders met der zelver andere\n",
      "Produelen, een voordeeligen Handel, zoo in Europa, als el-\n",
      "ders, te dryven; en daar tegen weer Europische en andere\n",
      "Waaren aan de Ingezetenen aldaar te verhandelen,\n",
      "Ten vyfden, in zeker soort van schepen, die met weinig\n",
      "Manschap konnen bevaaren worden, en weinig geld aan in-\n",
      "koop en onderhoud kosten, tot het transporteeren der goe.\n",
      "ren te gebruiken; waar door men considerabel veel geld aan\n",
      "onkosten zou uitwinnen, welke men anders meer daar toe\n",
      "4 2\n",
      "zo0\n",
      "31 P. J. eMiddelen, waar van men zich, naar onze gedagten, 8 zou behooren te bedienen, om de Nederlandsche — Geoctroyeerde Westindische Compagnie in een goe de en Horissante staat te brengen, zouden hoofdzaakelyk bestaan: Vooreerst, in een Volkplanting aan te leggen op de Kust van Magellaan, om aldaar eene algemeene Laad- en Losplaats voor de schepen te hebben, en van de Producten van die Kust te protiteeren, zoo om daar mee een voordee tigen Handel te dryven, als om de schepen met de zelve te victualieeren, &amp;c. Ten twoeden, in de Walvischvangst het heele jaar door te pleegen op differente plaatsen, daar die Visch zich in me nigte ophoudt, en dat met zoo weinig onkosten, en daar omtrent zoodanig een schikking te maaken, als nooit voor deezen is gepractiseert geweest Ten derden, in de Nieuwe Carolynsche Pilanden, midsLaders de Goud- en Parel-Filanden, die door Jean Michel Mirlofte buldekt zyn, en alle andere Pilanden, in de Zuidzoe gelegen, op eene veilige wyze, op te zoeken, en te ontdekken. Ten vierden, in een Volkplanting aan te leggen op ’t Land van 5. Asprit, en de Kust van Nieuw Zeeland, ten einde met de Vrugten, Planten en Gewasschen, die deeze Landen geeven, of aldaar met goed succes zouden kunnen gezaaid en geplant worden; midsgaders met der zelver andere Produelen, een voordeeligen Handel, zoo in Europa, als elders, te dryven; en daar tegen weer Europische en andere Waaren aan de Ingezetenen aldaar te verhandelen, Ten vyfden, in zeker soort van schepen, die met weinig Manschap konnen bevaaren worden, en weinig geld aan inkoop en onderhoud kosten, tot het transporteeren der goe. ren te gebruiken; waar door men considerabel veel geld aan onkosten zou uitwinnen, welke men anders meer daar toe 4 2 zo0\n",
      "31 P. J. eMiddelen, waar van men zich, naar onze gedagten, 8 zou behooren te bedienen, om de Nederlandsche — Geoctroyeerde Westindische Compagnie in een goede en Horissante staat te brengen, zouden hoofdzaakelyk bestaan: Vooreerst, in een Volkplanting aan te leggen op de Kust van Magellaan, om aldaar eene algemeene Laad- en Losplaats voor de schepen te hebben, en van de Producten van die Kust te protiteeren, zoo om daar mee een voordee tigen Handel te dryven, als om de schepen met de zelve te victualieeren, &amp;c. Ten twoeden, in de Walvischvangst het heele jaar door te pleegen op differente plaatsen, daar die Visch zich in menigte ophoudt, en dat met zoo weinig onkosten, en daar omtrent zoodanig een schikking te maaken, als nooit voor deezen is gepractiseert geweest Ten derden, in de Nieuwe Carolynsche Pilanden, mids - Laders de Goud- en Parel-Filanden, die door Jean Michel Mirlofte buldekt zyn, en alle andere Pilanden, in de Zuidzoe gelegen, op eene veilige wyze, op te zoeken, en te ontdekken. Ten vierden, in een Volkplanting aan te leggen op ’t Land van 5. Asprit, en de Kust van Nieuw Zeeland, ten einde met de Vrugten, Planten en Gewasschen, die deeze Landen geeven, of aldaar met goed succes zouden kunnen gezaaid en geplant worden; midsgaders met der zelver andere Produelen, een voordeeligen Handel, zoo in Europa, als elders, te dryven; en daar tegen weer Europische en andere Waaren aan de Ingezetenen aldaar te verhandelen, Ten vyfden, in zeker soort van schepen, die met weinig Manschap konnen bevaaren worden, en weinig geld aan inkoop en onderhoud kosten, tot het transporteeren der goe. ren te gebruiken; waar door men considerabel veel geld aan onkosten zou uitwinnen, welke men anders meer daar toe 4 2 zo0\n"
     ]
    }
   ],
   "source": [
    "for tr in hyphen_scan.text_regions:\n",
    "    for line in tr.lines:\n",
    "        print(line.text)\n",
    "    text, line_ranges = pagexml_helper.make_text_region_text(tr.lines, word_break_chars=word_break_chars)\n",
    "    print(text)\n",
    "    text, line_ranges = pagexml_helper.make_text_region_text(tr.lines, wbd=wbd)\n",
    "    print(text)\n",
    "        "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "8d1c9301",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "92756de1",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "39e5d985",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}