tg-news · KMicha · Aug 18, 2025 · Aug 18, 2025 · Aug 18, 2025 · Aug 18, 2025
diff --git a/.github/workflows/bayes.yml b/.github/workflows/bayes.yml
@@ -19,7 +19,7 @@ jobs:
   docker-run-action:
     runs-on: ubuntu-latest
     container:
-      image: tamboraorg/crecoding:2020.0
+      image: credocker/crecoding:2020.0
       volumes:
         - ${{ github.workspace }}:/cre/python
     steps:
@@ -33,7 +33,7 @@ jobs:
       - name: cd /cre/python/
         run: (cd /cre/python/)
       - name: Install HanTa textblob_de
-        run: (pip3 install HanTa textblob_de)
+        run: (pip3 install HanTa textblob_de scikit-learn==1.0.2)
       - name: Run bayes
         run: (python3 bayes.py)
       - name: Submit changes       

diff --git a/.github/workflows/diagrams.yml b/.github/workflows/diagrams.yml
@@ -13,13 +13,13 @@ on:
 #    weekly #m h d/m m d/w 
 #    - cron:  '30 1 * * 1'
 #    daily #m h d/m m d/w 
-    - cron:  '30 1 * * *'
+    - cron:  '30 3 * * *'
 
 jobs:
   docker-run-action:
     runs-on: ubuntu-latest
     container:
-      image: tamboraorg/crecoding:2020.0
+      image: credocker/crecoding:2020.0
       volumes:
         - ${{ github.workspace }}:/cre/python
     steps:
@@ -32,6 +32,8 @@ jobs:
 #          ref: main
       - name: cd /cre/python/
         run: (cd /cre/python/)
+      - name: Install nltk
+        run: (pip3 install nltk==3.8 scikit-learn==1.0.2)
       - name: Run diagrams
         run: (python3 diagrams.py)
       - name: Submit changes       

diff --git a/.github/workflows/entities.yml b/.github/workflows/entities.yml
@@ -11,15 +11,15 @@ on:
   schedule:
     # * is a special character in YAML so you have to quote this string : 
 #    weekly #m h d/m m d/w 
-    - cron:  '10 1 * * 1'
+    - cron:  '10 2 * * 1'
 #    daily #m h d/m m d/w 
 #    - cron:  '30 1 * * *'
 
 jobs:
   docker-run-action:
     runs-on: ubuntu-latest
     container:
-      image: tamboraorg/crecoding:2020.0
+      image: credocker/crecoding:2020.0
       volumes:
         - ${{ github.workspace }}:/cre/python
     steps:
@@ -33,7 +33,7 @@ jobs:
       - name: cd /cre/python/
         run: (cd /cre/python/)
       - name: Install spacy textblob_de
-        run: (pip3 install spacy textblob_de)
+        run: (pip3 install spacy textblob_de nltk==3.8)
       - name: Install download de_core_news_md
         run: (python3 -m spacy download de_core_news_md)
       - name: Run entities

diff --git a/.github/workflows/harvest.yml b/.github/workflows/harvest.yml
@@ -10,7 +10,7 @@ on:
   schedule:
     # * is a special character in YAML so you have to quote this string : 
 #    daily,every 5 hours #m h d/m m d/w 
-    - cron:  '00 */5 * * *'
+    - cron:  '45 */5 * * *'
 #    every 2 hour
 #    - cron:  '10 */2 * * *'
 #    every month 2.nd day
@@ -20,7 +20,7 @@ jobs:
   docker-run-action:
     runs-on: ubuntu-latest
     container:
-      image: tamboraorg/crecoding:2020.0
+      image: credocker/crecoding:2020.0
       env:
         NEWSAPI_KEY: ${{ secrets.NEWSAPI_KEY }}
       volumes:

diff --git a/.github/workflows/manually.yml b/.github/workflows/manually.yml
diff --git a/HOWTO.md b/HOWTO.md
@@ -28,7 +28,7 @@ The harvester works best with about 20 search-terms (called keyword here) organi
 
 ![image of organisations](images/gh_organisation.png)
 
-* Create a new organization with unique name - i.e. choose your username and append '_news', like 'kmicha_news'
+* Create a new organization with unique name - i.e. choose your username and append '-news', like 'kmicha-news'
 
 ![image of organizations](images/gh_new_org.png)
 
@@ -84,5 +84,25 @@ Attention: You can adapt the keywords later, but for now you should not remove a
 
 ### 7. Remove existing news_20yy_mm.csv files
 
+Inside your repository, goto code, then inside csv folder, select news_2022_mm.csv file (one after the other) and delete it.
+After each deletion,a commit must be done. 
+
+![goto csv](images/gh_csv_folder.png)
+
+![select csv](images/gh_select_news_csv.png)
+
+![delete csv](images/gh_delete_news_csv.png)
+
+![submit csv](images/gh_submit_delete.png)
+
+
 ### 8.) Add the newsapi API-key to your organization
 
+Switch to your organization (the one ending with "-news") and goto the settings tab.
+Scroll down  untill you find the Security section at the left side panel; there open the Secrets-Range and click on Actions.
+
+![new secret](images/gh_secrets_new.png)
+
+Press the "New organization secret" button and add the newsapi-key inside the Value field. For the name use "NEWSAPI_KEY".
+
+![add secret](images/gh_secrets_add.png)
diff --git a/bayes.py b/bayes.py
@@ -8,6 +8,7 @@
 
 
 import nltk
+import sklearn
 from nltk.corpus import stopwords
 from HanTa import HanoverTagger as ht
 from textblob_de import TextBlobDE

diff --git a/csv/news_2022_01.csv b/csv/news_2022_01.csv
@@ -0,0 +1,3 @@
+index,url,valid,domain,title,description,image,published,archive,content,quote,language,keyword
+https://de.nachrichten.yahoo.com/brennelementfabrik-lingen-mitten-atomausstiegsland-181028686.html,https://de.nachrichten.yahoo.com/brennelementfabrik-lingen-mitten-atomausstiegsland-181028686.html,0,de.nachrichten.yahoo.com,Brennelementfabrik Lingen: Mitten im Atomausstiegsland,Französische und russische Konzerne wollen in Niedersachen gemeinsam Brennelemente für Atomkraft herstellen. Mit dem Deal könnte Russland in Europa an Einfluss gewinnen.,https://web.archive.org/web/20220131113834im_/https://s.yimg.com/ny/api/res/1.2/dpCdmpw5rub54Hq.Q66vow--/YXBwaWQ9aGlnaGxhbmRlcjt3PTEyMDA7aD04MDA-/https://s.yimg.com/uu/api/res/1.2/qPEaxyyVlPRTg8GHkPZPBA--~B/aD04MTA7dz0xNDQwO2FwcGlkPXl0YWNoeW9u/https://media.zenfs.com/de/zeit_921/18af10f21842b77df7cacfdfaa66ff85,2022-01-31T11:38:34Z,https://web.archive.org/web/20220131113834/https://de.nachrichten.yahoo.com/brennelementfabrik-lingen-mitten-atomausstiegsland-181028686.html,,,de-DE,'Russland'
+https://de.euronews.com/2022/01/31/wenn-russland-europa-den-gashahn-zudreht-was-dann,https://de.euronews.com/2022/01/31/wenn-russland-europa-den-gashahn-zudreht-was-dann,0,de.euronews.com,Wenn Russland Europa den Gashahn zudreht - was dann? | Euronews,Der Ukraine-Konflikt schwelt weiter. Ruslland hat ein Faustpfand gegenüber den Westen: Erdgas. #EuropeanDebates,https://static.euronews.com/articles/stories/06/32/04/04/1000x563_cmsv2_63f48f2e-5169-5f1a-8a8a-abd24fd1f787-6320404.jpg,2022-01-31 17:01:27,https://web.archive.org/web/20220131162914/https://de.euronews.com/2022/01/31/wenn-russland-europa-den-gashahn-zudreht-was-dann,,,de,'Russland'
diff --git a/csv/news_2022_02.csv b/csv/news_2022_02.csv
@@ -0,0 +1,8 @@
+index,url,valid,domain,title,description,image,published,archive,content,quote,language,keyword
+https://www.dw.com/de/ohne-gazprom-geht-es-in-europa-nicht/a-60665234,https://www.dw.com/de/ohne-gazprom-geht-es-in-europa-nicht/a-60665234,0,www.dw.com,Ohne Gazprom geht es in Europa nicht | Europa | DW | 06.02.2022,In der Ukraine-Krise setzt der Kreml Gaslieferungen möglicherweise als politische Waffe ein. Über welche Macht verfügt der russische Energiekonzern Gazprom in Europa? Bernd Riegert aus Brüssel. ,https://static.dw.com/image/60200827_6.jpg,2022-02-06T20:15:13Z,https://web.archive.org/web/20220206201513/https://www.dw.com/de/ohne-gazprom-geht-es-in-europa-nicht/a-60665234,,,de,'Ukraine'
+https://de.euronews.com/2022/02/14/europa-in-der-kalte-die-eu-hat-schwierigkeiten-ihre-gasversorgung-zu-sichern,https://de.euronews.com/2022/02/14/europa-in-der-kalte-die-eu-hat-schwierigkeiten-ihre-gasversorgung-zu-sichern,0,de.euronews.com,"Europa in der Kälte - Die EU hat Schwierigkeiten, ihre Gasversorgung zu sichern | Euronews","Die durch die Spannungen mit Moskau verschärfte Energiekrise treibt Europa dazu, sich anderswo nach neuen Formen der Gasversorgung umzusehen. Das Problem besteht jedoch nicht nur darin, andere Länder als Russland zu finden, die bereit sind, mit der Europäischen Union Geschäfte zu machen. #EuropeDecoded",https://static.euronews.com/articles/stories/06/47/26/50/1000x563_cmsv2_04d541af-63a5-59fa-beac-257eccf3e3aa-6472650.jpg,2022-02-14 16:51:07,https://web.archive.org/web/20220214160444/https://de.euronews.com/2022/02/14/europa-in-der-kalte-die-eu-hat-schwierigkeiten-ihre-gasversorgung-zu-sichern,,,de,'Gas'
+https://www.dw.com/de/ukraine-krise-wirtschaft-geht-in-deckung/av-60876828,https://www.dw.com/de/ukraine-krise-wirtschaft-geht-in-deckung/av-60876828,0,www.dw.com,Ukraine-Krise: Wirtschaft geht in Deckung | Podcast Wirtschaft | DW | 22.02.2022,"Ukraine-Krise: Finanzmärkte, Gas-Abhängigkeiten und Wasserstoff +++ Briten setzen wieder auf Gas +++ Geldwäsche in Milliardenhöhe",https://static.dw.com/image/53201152_6.png,2022-02-22T19:01:46Z,https://web.archive.org/web/20220222190146/https://www.dw.com/de/ukraine-krise-wirtschaft-geht-in-deckung/av-60876828,,,de,'Gas'
+https://de.rt.com/europa/130814-eu-eneregiekommissar-dombrovski-nord-stream,https://de.rt.com/europa/130814-eu-eneregiekommissar-dombrovski-nord-stream,0,de.rt.com,EU-Energiekommissar Dombrovskis: Nord Stream 2 auf Eis gelegt — RT DE,Die EU-Staaten kämpfen weiterhin mit extrem hohen Gaspreisen und einer weiteren Verknappung des wertvollen Gutes. Unterdessen verzögert sich die Inbetriebnahme der europäisch-russischen Erdgaspipeline Nord Stream 2. Angeblich aufgrund bürokratischer Hürden.,https://web.archive.org/web/20220201075908im_/https://cdni.rt.com/deutsch/images/2022.01/article/61f8556bb480cc48ec6368df.jpg,2022-02-01T07:59:08Z,https://web.archive.org/web/20220201075908/https://de.rt.com/europa/130814-eu-eneregiekommissar-dombrovski-nord-stream/,,,de,'Gas'
+https://www.welt.de/wirtschaft/article236651459/Putins-Energiekrieg-spaltet-Europa-und-die-USA-planen-die-Gasbruecke.html,https://www.welt.de/wirtschaft/article236651459/Putins-Energiekrieg-spaltet-Europa-und-die-USA-planen-die-Gasbruecke.html,0,www.welt.de,Putins Energiekrieg spaltet Europa – und die USA planen die „Gasbrücke“ - WELT,"Europas Energiepreise werden zum geostrategischen Risiko, sagt Washingtons Sonderbeauftragter für Energiesicherheit. Er kam nach Berlin, um zu schildern, wie sein Land helfen will, das gefährliche Preisgefüge zu brechen. Eine zentrale Rolle spielt die Ukraine.",https://web.archive.org/web/20220202233035im_/https://img.welt.de/img/wirtschaft/mobile236651479/6101355257-ci16x9-w1200/LNG-or-liquid-natural-gas-tanker-entering-Rotterdam-harbour-to-dock-at-a-the-ne.jpg,2022-02-02T23:24:09Z,https://web.archive.org/web/20220202233035/https://www.welt.de/wirtschaft/article236651459/Putins-Energiekrieg-spaltet-Europa-und-die-USA-planen-die-Gasbruecke.html,,,de,'Gas'
+https://de.rt.com/international/131666-fruehling-ja-nicht-mehr-fern,https://de.rt.com/international/131666-fruehling-ja-nicht-mehr-fern,0,de.rt.com,"""Frühling ja nicht mehr fern""  – Von der Leyen sieht LNG als Alternative zum Erdgas aus Russland — RT DE","EU-Kommissionspräsidentin von der Leyen sieht die europäische Energieversorgung auch dank Flüssiggas vorerst als gesichert an. Dass dies nicht ausreicht, um russisches Erdgas zu ersetzen, gestand von der Leyen zwar ein, ermunterte aber wegen der nahenden wärmeren Saison zu Optimismus.",https://web.archive.org/web/20220216172856im_/https://cdni.rt.com/deutsch/images/2022.02/article/620cffff48fbef7ab5604426.jpg,2022-02-16T17:28:56Z,https://web.archive.org/web/20220216172856/https://de.rt.com/international/131666-fruehling-ja-nicht-mehr-fern/,,,de,'Russland'
+https://www.spiegel.de/wirtschaft/service/heizkosten-steigen-drastisch-trotz-mildem-winter-a-4d784c02-4d68-4c30-898f-0e5aef97b135,https://www.spiegel.de/wirtschaft/service/heizkosten-steigen-drastisch-trotz-mildem-winter-a-4d784c02-4d68-4c30-898f-0e5aef97b135,0,www.spiegel.de,Heizkosten steigen drastisch trotz milden Winters - DER SPIEGEL,"Laut neuen Daten des Vergleichsportals Verivox zahlen Menschen mit Ölheizungen rund 73 Prozent mehr als im vorigen Winter. Wer mit Gas heizt, kommt besser weg – allerdings steigen die Preise immer noch weiter.",https://cdn.prod.www.spiegel.de/images/21e3ac2d-a3d8-4f2d-a63b-b581fa97f231_w1280_r1.77_fpx48_fpy49.jpg,2022-02-03T17:41:00+01:00,https://web.archive.org/web/20220203170006/https://www.spiegel.de/wirtschaft/service/heizkosten-steigen-drastisch-trotz-mildem-winter-a-4d784c02-4d68-4c30-898f-0e5aef97b135,,,de,'Gas'
diff --git a/csv/news_2022_03.csv b/csv/news_2022_03.csv
@@ -0,0 +1,5 @@
+index,url,valid,domain,title,description,image,published,archive,content,quote,language,keyword
+https://www.freitag.de/autoren/sebastianpuschner/oekonom-moritz-schularick-wir-muessen-zur-not-die-gasspeicher-enteignen,https://www.freitag.de/autoren/sebastianpuschner/oekonom-moritz-schularick-wir-muessen-zur-not-die-gasspeicher-enteignen,0,www.freitag.de,Ökonom Moritz Schularick: „Wir müssen zur Not die Gasspeicher enteignen“ — der Freitag,"Deutschland kann schnell auf Rohstoffe aus Russland verzichten, sagt der Ökonom Moritz Schularick. Aber dafür müssten Robert Habeck und Olaf Scholz ihren Kurs gegenüber der Industrie ändern",https://www.freitag.de/autoren/sebastianpuschner/oekonom-moritz-schularick-wir-muessen-zur-not-die-gasspeicher-enteignen/@@images/image/lead_article,2022-03-17T05:00:21Z,https://web.archive.org/web/20220317050021/https://www.freitag.de/autoren/sebastianpuschner/oekonom-moritz-schularick-wir-muessen-zur-not-die-gasspeicher-enteignen,,,de,'Russland'
+https://weather.com/de-DE/wissen/mensch/news/2022-03-09-heizverhalten-energie-experten-zeigen-wie-wir-den-gasverbrauch-senken,https://weather.com/de-DE/wissen/mensch/news/2022-03-09-heizverhalten-energie-experten-zeigen-wie-wir-den-gasverbrauch-senken,0,weather.com,"Heizverhalten: Energie-Experten verraten, wie wir den Gasverbrauch senken können | The Weather Channel","Auch Verbraucher können etwas tun, um die Abhängigkeit von russischen Gas-Importen zu senken, sagen Experten. Zentral dabei: ein optimiertes Heizverhalten. - Artikel von The Weather Channel | weather.com",https://s.w-x.co/de-gas-energie.jpg,2022-03-09T22:31:24Z,https://web.archive.org/web/20220309223124/https://weather.com/de-DE/wissen/mensch/news/2022-03-09-heizverhalten-energie-experten-zeigen-wie-wir-den-gasverbrauch-senken,,,de-DE,'Gas'
+https://de.euronews.com/my-europe/2022/03/23/europa-muss-gas-geben-um-gas-zu-bekommen,https://de.euronews.com/my-europe/2022/03/23/europa-muss-gas-geben-um-gas-zu-bekommen,0,de.euronews.com,"Europa muss Gas geben, um Gas zu bekommen | Euronews",Der Ukraine-Krieg beschert Europa eine Energiekrise - und die Erkenntnis: Die EU-Staaten müssen gemeinsam handeln. #EuropeNews,https://static.euronews.com/articles/stories/06/56/31/00/1000x563_cmsv2_ab9d27cf-eba4-51eb-8b6f-a86a369f4cd2-6563100.jpg,2022-03-23 20:06:38,https://web.archive.org/web/20220323191558/https://de.euronews.com/my-europe/2022/03/23/europa-muss-gas-geben-um-gas-zu-bekommen,,,de,'Ukraine'
+https://www.abendblatt.de/ratgeber/article234954547/gas-engpaesse-sparen-heizen-wasser-heizung.html,https://www.abendblatt.de/ratgeber/article234954547/gas-engpaesse-sparen-heizen-wasser-heizung.html,0,www.abendblatt.de,Gas: So können Sie im Alltag sparen - Tipps und Tricks - Hamburger Abendblatt ,"Die Gaspreise steigen, Heizung und Warmwasser werden auch für Haushalte immer teurer. Wie kann man im Alltag Gas sparen? Fünf Tipps. ",https://img.abendblatt.de/img/ratgeber/crop234954545/2942607100-w820-cv16_9-q85/heizen-hamburg.jpg,2022-03-30T15:30:35+02:00,https://web.archive.org/web/20220330210124/https://www.abendblatt.de/ratgeber/article234954547/gas-engpaesse-sparen-heizen-wasser-heizung.html,,,de-DE,'Gas'