Dependencies: Upgrade PyThaiNLP to 4.0.2

BLKSerene · Jul 21, 2023 · 7ca60e7 · 7ca60e7
1 parent 395cb16
commit 7ca60e7
Show file tree

Hide file tree

Showing 7 changed files with 7 additions and 6 deletions.
diff --git a/ACKNOWLEDGMENTS.md b/ACKNOWLEDGMENTS.md
@@ -39,7 +39,7 @@ As Wordless stands on the shoulders of giants, I hereby extend my sincere gratit
 14|[pypdf](https://github.com/py-pdf/pypdf)                           |3.6.0 |Mathieu Fenniak, Ashish Kulkarni, Steve Witham, Martin Thoma|[BSD-3-Clause](https://github.com/py-pdf/pypdf/blob/main/LICENSE)
 15|[Pyphen](https://pyphen.org/)                                      |0.14.0|Guillaume Ayoub|[GPL-2.0-or-later/LGPL-2.1-or-later/MPL-1.1](https://github.com/Kozea/Pyphen/blob/master/LICENSE)
 16|[PyQt](https://riverbankcomputing.com/software/pyqt/)              |5.15.9|Riverbank Computing|[Commercial-License/GPL-3.0-only](https://www.riverbankcomputing.com/static/Docs/PyQt5/introduction.html#license)
-17|[PyThaiNLP](https://github.com/PyThaiNLP/pythainlp)                |3.1.1 |Wannaphong Phatthiyaphaibun (วรรณพงษ์ ภัททิยไพบูลย์)|[Apache-2.0](https://github.com/PyThaiNLP/pythainlp/blob/dev/LICENSE)
+17|[PyThaiNLP](https://github.com/PyThaiNLP/pythainlp)                |4.0.2 |Wannaphong Phatthiyaphaibun (วรรณพงษ์ ภัททิยไพบูลย์)|[Apache-2.0](https://github.com/PyThaiNLP/pythainlp/blob/dev/LICENSE)
 18|[python-docx](https://github.com/python-openxml/python-docx)       |0.8.11|Steve Canny|[MIT](https://github.com/python-openxml/python-docx/blob/master/LICENSE)
 19|[python-mecab-ko](https://github.com/jonghwanhyeon/python-mecab-ko)|1.3.3 |Jonghwan Hyeon|[BSD-3-Clause](https://github.com/jonghwanhyeon/python-mecab-ko/blob/main/LICENSE)
 20|[Requests](https://github.com/psf/requests)                        |2.31.0|Kenneth Reitz|[Apache-2.0](https://github.com/psf/requests/blob/main/LICENSE)

diff --git a/ACKNOWLEDGMENTS_zho_cn.md b/ACKNOWLEDGMENTS_zho_cn.md
@@ -39,7 +39,7 @@
 14|[pypdf](https://github.com/py-pdf/pypdf)                           |3.6.0 |Mathieu Fenniak, Ashish Kulkarni, Steve Witham, Martin Thoma|[BSD-3-Clause](https://github.com/py-pdf/pypdf/blob/main/LICENSE)
 15|[Pyphen](https://pyphen.org/)                                      |0.14.0|Guillaume Ayoub|[GPL-2.0-or-later/LGPL-2.1-or-later/MPL-1.1](https://github.com/Kozea/Pyphen/blob/master/LICENSE)
 16|[PyQt](https://riverbankcomputing.com/software/pyqt/)              |5.15.9|Riverbank Computing|[Commercial-License/GPL-3.0-only](https://www.riverbankcomputing.com/static/Docs/PyQt5/introduction.html#license)
-17|[PyThaiNLP](https://github.com/PyThaiNLP/pythainlp)                |3.1.1 |Wannaphong Phatthiyaphaibun (วรรณพงษ์ ภัททิยไพบูลย์)|[Apache-2.0](https://github.com/PyThaiNLP/pythainlp/blob/dev/LICENSE)
+17|[PyThaiNLP](https://github.com/PyThaiNLP/pythainlp)                |4.0.2 |Wannaphong Phatthiyaphaibun (วรรณพงษ์ ภัททิยไพบูลย์)|[Apache-2.0](https://github.com/PyThaiNLP/pythainlp/blob/dev/LICENSE)
 18|[python-docx](https://github.com/python-openxml/python-docx)       |0.8.11|Steve Canny|[MIT](https://github.com/python-openxml/python-docx/blob/master/LICENSE)
 19|[python-mecab-ko](https://github.com/jonghwanhyeon/python-mecab-ko)|1.3.3 |Jonghwan Hyeon|[BSD-3-Clause](https://github.com/jonghwanhyeon/python-mecab-ko/blob/main/LICENSE)
 20|[Requests](https://github.com/psf/requests)                        |2.31.0|Kenneth Reitz|[Apache-2.0](https://github.com/psf/requests/blob/main/LICENSE)

diff --git a/ACKNOWLEDGMENTS_zho_tw.md b/ACKNOWLEDGMENTS_zho_tw.md
@@ -39,7 +39,7 @@
 14|[pypdf](https://github.com/py-pdf/pypdf)                           |3.6.0 |Mathieu Fenniak, Ashish Kulkarni, Steve Witham, Martin Thoma|[BSD-3-Clause](https://github.com/py-pdf/pypdf/blob/main/LICENSE)
 15|[Pyphen](https://pyphen.org/)                                      |0.14.0|Guillaume Ayoub|[GPL-2.0-or-later/LGPL-2.1-or-later/MPL-1.1](https://github.com/Kozea/Pyphen/blob/master/LICENSE)
 16|[PyQt](https://riverbankcomputing.com/software/pyqt/)              |5.15.9|Riverbank Computing|[Commercial-License/GPL-3.0-only](https://www.riverbankcomputing.com/static/Docs/PyQt5/introduction.html#license)
-17|[PyThaiNLP](https://github.com/PyThaiNLP/pythainlp)                |3.1.1 |Wannaphong Phatthiyaphaibun (วรรณพงษ์ ภัททิยไพบูลย์)|[Apache-2.0](https://github.com/PyThaiNLP/pythainlp/blob/dev/LICENSE)
+17|[PyThaiNLP](https://github.com/PyThaiNLP/pythainlp)                |4.0.2 |Wannaphong Phatthiyaphaibun (วรรณพงษ์ ภัททิยไพบูลย์)|[Apache-2.0](https://github.com/PyThaiNLP/pythainlp/blob/dev/LICENSE)
 18|[python-docx](https://github.com/python-openxml/python-docx)       |0.8.11|Steve Canny|[MIT](https://github.com/python-openxml/python-docx/blob/master/LICENSE)
 19|[python-mecab-ko](https://github.com/jonghwanhyeon/python-mecab-ko)|1.3.3 |Jonghwan Hyeon|[BSD-3-Clause](https://github.com/jonghwanhyeon/python-mecab-ko/blob/main/LICENSE)
 20|[Requests](https://github.com/psf/requests)                        |2.31.0|Kenneth Reitz|[Apache-2.0](https://github.com/psf/requests/blob/main/LICENSE)

diff --git a/CHANGELOG.md b/CHANGELOG.md
@@ -22,6 +22,7 @@
 ### ⏫ Dependency Changes
 - Dependencies: Upgrade Botok to 0.8.12
 - Dependencies: Upgrade Charset Normalizer to 3.2.0
+- Dependencies: Upgrade PyThaiNLP to 4.0.2
 - Dependencies: Upgrade Requests to 2.31.0
 - Dependencies: Upgrade wordcloud to 1.9.2
 

diff --git a/requirements_tests.txt b/requirements_tests.txt
@@ -24,7 +24,7 @@ jieba == 0.42.1
 lingua-language-detector == 1.3.2
 nltk == 3.8.1
 pyphen == 0.14.0
-pythainlp == 3.1.1
+pythainlp == 4.0.2
 sacremoses == 0.0.53
 simplemma == 0.9.1
 textblob == 0.17.1

diff --git a/tests/wl_tests_nlp/test_word_detokenization.py b/tests/wl_tests_nlp/test_word_detokenization.py
@@ -50,7 +50,7 @@ def test_word_detokenize(lang):
     elif lang == 'jpn':
         assert text == '日本語（にほんご、にっぽんご[注2] ）は、日本国内や、かつての日本領だった国、そして国外移民や移住者を含む日本人同士の間で使用されている言語。'
     elif lang == 'tha':
-        assert text == 'ภาษาไทยหรือภาษาไทยกลางเป็นภาษาในกลุ่มภาษาไท ซึ่งเป็นกลุ่มย่อยของตระกูลภาษาขร้า - ไท และเป็นภาษาราชการ และภาษาประจำชาติของประเทศไทย [ 3 ][ 4 ]'
+        assert text == 'ภาษาไทยหรือภาษาไทยกลางเป็นภาษาในกลุ่มภาษาไทซึ่งเป็นกลุ่มย่อยของตระกูลภาษาขร้า - ไทและเป็นภาษาราชการและภาษาประจำชาติของประเทศไทย [ 3 ][ 4 ]'
     elif lang == 'bod':
         assert text == 'བོད་ཀྱི་སྐད་ཡིག་ནི་བོད་ཡུལ་དང་ཉེ་འཁོར་གྱི་ས་ཁུལ་བལ་ཡུལ།འབྲུག་དང་འབྲས་ལྗོངས།'
     else:

diff --git a/tests/wl_tests_nlp/test_word_tokenization.py b/tests/wl_tests_nlp/test_word_tokenization.py
@@ -311,7 +311,7 @@ def test_word_tokenize(lang, word_tokenizer):
         elif word_tokenizer == 'pythainlp_max_matching':
             assert tokens == ['ภาษาไทย', 'หรือ', 'ภาษาไทยกลาง', 'เป็น', 'ภาษา', 'ใน', 'กลุ่ม', 'ภาษา', 'ไท', 'ซึ่ง', 'เป็น', 'กลุ่มย่อย', 'ของ', 'ตระกูล', 'ภาษา', 'ข', 'ร้า', '-', 'ไท', 'และ', 'เป็น', 'ภาษาราชการ', 'และ', 'ภาษาประจำชาติ', 'ของ', 'ประเทศ', 'ไทย', '[', '3', '][', '4', ']']
         elif word_tokenizer == 'pythainlp_nercut':
-            assert tokens == ['ภาษาไทย', 'หรือ', 'ภาษาไทย', 'กลาง', 'เป็น', 'ภาษา', 'ใน', 'กลุ่ม', 'ภาษา', 'ไท', 'ซึ่ง', 'เป็น', 'กลุ่มย่อย', 'ของ', 'ตระกูลภาษาขร้า', '-', 'ไท', 'และ', 'เป็น', 'ภาษาราชการ', 'และ', 'ภาษาประจำชาติ', 'ของ', 'ประเทศ', 'ไทย', '[', '3][4]']
+            assert tokens == ['ภาษาไทย', 'หรือ', 'ภาษาไทย', 'กลาง', 'เป็น', 'ภาษา', 'ใน', 'กลุ่ม', 'ภาษา', 'ไท', 'ซึ่ง', 'เป็น', 'กลุ่มย่อย', 'ของ', 'ตระกูล', 'ภาษา', 'ข', 'ร้า', '-', 'ไท', 'และ', 'เป็น', 'ภาษาราชการ', 'และ', 'ภาษาประจำชาติ', 'ของ', 'ประเทศ', 'ไทย', '[', '3', '][', '4', ']']
         else:
             tests_lang_util_skipped = True
     elif lang == 'bod':