From 4c577c0f4120a052556d96f8b32ab47a506165ee Mon Sep 17 00:00:00 2001 From: forFudan Date: Tue, 30 May 2023 11:38:33 +0200 Subject: [PATCH] Provide formula for statistics --- beta/mabiao/baidu/yuhao_tradition.txt | 14 +++++++------- beta/mabiao/dada/yuhao_tradition.txt | 14 +++++++------- beta/mabiao/dazhu/yuhao_tradition.txt | 14 +++++++------- beta/mabiao/duoduo/yuhao_tradition.txt | 14 +++++++------- .../yuhao_tradition.words_extended.dict.yaml | 8 ++++---- .../yuhao_tradition.words_literature.dict.yaml | 6 +++--- docs/articles/statistics.md | 15 +++++++++++++++ index.md | 13 ++++++++----- 8 files changed, 58 insertions(+), 40 deletions(-) diff --git a/beta/mabiao/baidu/yuhao_tradition.txt b/beta/mabiao/baidu/yuhao_tradition.txt index 3aa2b383..69470f31 100644 --- a/beta/mabiao/baidu/yuhao_tradition.txt +++ b/beta/mabiao/baidu/yuhao_tradition.txt @@ -33419,7 +33419,7 @@ dkrh 南街 dkrj 不由得 dkrj 不见得 dkrn 走向 -dkrn 雲開衡岳積陰止 +dkrn 雲開衡嶽積陰止 dkro 電稿 dkrq 成败得失 dkrq 馬里奧 @@ -44361,7 +44361,6 @@ efib 后汉 efib 后梁 efib 𬐃 efic 便池 -efic 岳池 efie 𫢅 efih 兵法 efij 丘 @@ -55431,7 +55430,6 @@ ffee 本質 ffee 楊柳依依 ffef 本体 ffef 本条 -ffef 林岳 ffeg 枯木逢春 ffeh 无功受禄 ffeh 𢽳 @@ -55690,6 +55688,7 @@ ffjm 檢校山園書所見 ffjm 更想幽期處 ffjr 棟 ffjr 本日 +ffjr 林嶽 ffjr 𣈅 ffjs 𡹚 ffjt 榃 @@ -66367,7 +66366,7 @@ fwdv 构成 fwdy 攀索 fwdy 五月不可觸 fwec 攀爬 -fwef 五千仞岳上摩天 +fwef 五千仞嶽上摩天 fweg 万代 fweh 𭫺 fwem 𣟡 @@ -90528,7 +90527,6 @@ ienc 𭯺 ienc 𭲣 iend 激鬥 iene 浟 -iene 海岳尚可傾 iene 𭲦 ienf 滌 ienf 所困 @@ -93974,6 +93972,7 @@ ijmx 𧡱 ijnd 𣴪 ijnd 𥪎 ijne 意图 +ijne 海嶽尚可傾 ijnf 沉思默想 ijnf 𣷐 ijnl 意圖 @@ -106776,6 +106775,7 @@ jrhw 日均 jrhw 男兒到死心如鐵 jrhw 嶶 jrhy 日志 +jric 嶽池 jrif 日新 jrig 日漸 jrig 曉行湘水春 @@ -141628,7 +141628,6 @@ ocec 安妥 oced 案例 oced 案值 ocef 安丘 -ocef 安岳 oceg 𪧮 oceh 𫴧 ocel 安保 @@ -141680,6 +141679,7 @@ ocis 安源 ociv 安慶 ocjf 安凱 ocjm 安曼 +ocjr 安嶽 ocjw 安歇 ocjw 𡪙 ock 谲 @@ -219274,7 +219274,6 @@ vddt 孤零零 vddy 红艳艳 vdeb 续假 vdec 及其使人也 -vdef 張震岳 vdeh 頗佳 vdel 续保 vdeo 绑住 @@ -219322,6 +219321,7 @@ vdjf 𰘱 vdjj 𢐤 vdjk 𰌪 vdjq 司馬昭之心路人皆知 +vdjr 張震嶽 vdjr 㢶 vdjr 𬁣 vdjs 终南山 diff --git a/beta/mabiao/dada/yuhao_tradition.txt b/beta/mabiao/dada/yuhao_tradition.txt index 8f53c1de..a9a879cd 100644 --- a/beta/mabiao/dada/yuhao_tradition.txt +++ b/beta/mabiao/dada/yuhao_tradition.txt @@ -33419,7 +33419,7 @@ 不由得 dkrj 不见得 dkrj 走向 dkrn -雲開衡岳積陰止 dkrn +雲開衡嶽積陰止 dkrn 電稿 dkro 成败得失 dkrq 馬里奧 dkrq @@ -44361,7 +44361,6 @@ 后梁 efib 𬐃 efib 便池 efic -岳池 efic 𫢅 efie 兵法 efih 丘 efij @@ -55431,7 +55430,6 @@ 楊柳依依 ffee 本体 ffef 本条 ffef -林岳 ffef 枯木逢春 ffeg 无功受禄 ffeh 𢽳 ffeh @@ -55690,6 +55688,7 @@ 更想幽期處 ffjm 棟 ffjr 本日 ffjr +林嶽 ffjr 𣈅 ffjr 𡹚 ffjs 榃 ffjt @@ -66367,7 +66366,7 @@ 攀索 fwdy 五月不可觸 fwdy 攀爬 fwec -五千仞岳上摩天 fwef +五千仞嶽上摩天 fwef 万代 fweg 𭫺 fweh 𣟡 fwem @@ -90528,7 +90527,6 @@ 𭲣 ienc 激鬥 iend 浟 iene -海岳尚可傾 iene 𭲦 iene 滌 ienf 所困 ienf @@ -93974,6 +93972,7 @@ 𣴪 ijnd 𥪎 ijnd 意图 ijne +海嶽尚可傾 ijne 沉思默想 ijnf 𣷐 ijnf 意圖 ijnl @@ -106776,6 +106775,7 @@ 男兒到死心如鐵 jrhw 嶶 jrhw 日志 jrhy +嶽池 jric 日新 jrif 日漸 jrig 曉行湘水春 jrig @@ -141628,7 +141628,6 @@ $ kkmy 案例 oced 案值 oced 安丘 ocef -安岳 ocef 𪧮 oceg 𫴧 oceh 安保 ocel @@ -141680,6 +141679,7 @@ $ kkmy 安慶 ociv 安凱 ocjf 安曼 ocjm +安嶽 ocjr 安歇 ocjw 𡪙 ocjw 谲 ock @@ -219274,7 +219274,6 @@ $ kkmy 红艳艳 vddy 续假 vdeb 及其使人也 vdec -張震岳 vdef 頗佳 vdeh 续保 vdel 绑住 vdeo @@ -219322,6 +219321,7 @@ $ kkmy 𢐤 vdjj 𰌪 vdjk 司馬昭之心路人皆知 vdjq +張震嶽 vdjr 㢶 vdjr 𬁣 vdjr 终南山 vdjs diff --git a/beta/mabiao/dazhu/yuhao_tradition.txt b/beta/mabiao/dazhu/yuhao_tradition.txt index 5975f3b2..87d6b13d 100644 --- a/beta/mabiao/dazhu/yuhao_tradition.txt +++ b/beta/mabiao/dazhu/yuhao_tradition.txt @@ -33471,7 +33471,7 @@ dkrh 南街 dkrj 不由得 dkrj 不见得 dkrn 走向 -dkrn 雲開衡岳積陰止 +dkrn 雲開衡嶽積陰止 dkro 電稿 dkrq 成败得失 dkrq 馬里奧 @@ -44426,7 +44426,6 @@ efib 后汉 efib 后梁 efib 𬐃 efic 便池 -efic 岳池 efie 𫢅 efih 兵法 efij 丘 @@ -55520,7 +55519,6 @@ ffee 本質 ffee 楊柳依依 ffef 本体 ffef 本条 -ffef 林岳 ffeg 枯木逢春 ffeh 无功受禄 ffeh 𢽳 @@ -55779,6 +55777,7 @@ ffjm 檢校山園書所見 ffjm 更想幽期處 ffjr 棟 ffjr 本日 +ffjr 林嶽 ffjr 𣈅 ffjs 𡹚 ffjt 榃 @@ -66431,7 +66430,7 @@ fwdv 构成 fwdy 攀索 fwdy 五月不可觸 fwec 攀爬 -fwef 五千仞岳上摩天 +fwef 五千仞嶽上摩天 fweg 万代 fweh 𭫺 fwem 𣟡 @@ -90650,7 +90649,6 @@ ienc 𭯺 ienc 𭲣 iend 激鬥 iene 浟 -iene 海岳尚可傾 iene 𭲦 ienf 滌 ienf 所困 @@ -94101,6 +94099,7 @@ ijmx 𧡱 ijnd 𣴪 ijnd 𥪎 ijne 意图 +ijne 海嶽尚可傾 ijnf 沉思默想 ijnf 𣷐 ijnl 意圖 @@ -106744,6 +106743,7 @@ jrhw 日均 jrhw 男兒到死心如鐵 jrhw 嶶 jrhy 日志 +jric 嶽池 jrif 日新 jrig 日漸 jrig 曉行湘水春 @@ -141071,7 +141071,6 @@ ocec 安妥 oced 案例 oced 案值 ocef 安丘 -ocef 安岳 oceg 𪧮 oceh 𫴧 ocel 安保 @@ -141123,6 +141122,7 @@ ocis 安源 ociv 安慶 ocjf 安凱 ocjm 安曼 +ocjr 安嶽 ocjw 安歇 ocjw 𡪙 ock 谲 @@ -218858,7 +218858,6 @@ vddt 孤零零 vddy 红艳艳 vdeb 续假 vdec 及其使人也 -vdef 張震岳 vdeh 頗佳 vdel 续保 vdeo 绑住 @@ -218906,6 +218905,7 @@ vdjf 𰘱 vdjj 𢐤 vdjk 𰌪 vdjq 司馬昭之心路人皆知 +vdjr 張震嶽 vdjr 㢶 vdjr 𬁣 vdjs 终南山 diff --git a/beta/mabiao/duoduo/yuhao_tradition.txt b/beta/mabiao/duoduo/yuhao_tradition.txt index 768b7758..1184d465 100644 --- a/beta/mabiao/duoduo/yuhao_tradition.txt +++ b/beta/mabiao/duoduo/yuhao_tradition.txt @@ -33419,7 +33419,7 @@ 不由得 dkrj 不见得 dkrj 走向 dkrn -雲開衡岳積陰止 dkrn +雲開衡嶽積陰止 dkrn 電稿 dkro 成败得失 dkrq 馬里奧 dkrq @@ -44361,7 +44361,6 @@ 后梁 efib 𬐃 efib 便池 efic -岳池 efic 𫢅 efie 兵法 efih 丘 efij @@ -55431,7 +55430,6 @@ 楊柳依依 ffee 本体 ffef 本条 ffef -林岳 ffef 枯木逢春 ffeg 无功受禄 ffeh 𢽳 ffeh @@ -55690,6 +55688,7 @@ 更想幽期處 ffjm 棟 ffjr 本日 ffjr +林嶽 ffjr 𣈅 ffjr 𡹚 ffjs 榃 ffjt @@ -66367,7 +66366,7 @@ 攀索 fwdy 五月不可觸 fwdy 攀爬 fwec -五千仞岳上摩天 fwef +五千仞嶽上摩天 fwef 万代 fweg 𭫺 fweh 𣟡 fwem @@ -90528,7 +90527,6 @@ 𭲣 ienc 激鬥 iend 浟 iene -海岳尚可傾 iene 𭲦 iene 滌 ienf 所困 ienf @@ -93974,6 +93972,7 @@ 𣴪 ijnd 𥪎 ijnd 意图 ijne +海嶽尚可傾 ijne 沉思默想 ijnf 𣷐 ijnf 意圖 ijnl @@ -106776,6 +106775,7 @@ 男兒到死心如鐵 jrhw 嶶 jrhw 日志 jrhy +嶽池 jric 日新 jrif 日漸 jrig 曉行湘水春 jrig @@ -141628,7 +141628,6 @@ $ kkmy 案例 oced 案值 oced 安丘 ocef -安岳 ocef 𪧮 oceg 𫴧 oceh 安保 ocel @@ -141680,6 +141679,7 @@ $ kkmy 安慶 ociv 安凱 ocjf 安曼 ocjm +安嶽 ocjr 安歇 ocjw 𡪙 ocjw 谲 ock @@ -219274,7 +219274,6 @@ $ kkmy 红艳艳 vddy 续假 vdeb 及其使人也 vdec -張震岳 vdef 頗佳 vdeh 续保 vdel 绑住 vdeo @@ -219322,6 +219321,7 @@ $ kkmy 𢐤 vdjj 𰌪 vdjk 司馬昭之心路人皆知 vdjq +張震嶽 vdjr 㢶 vdjr 𬁣 vdjr 终南山 vdjs diff --git a/beta/schema/yuhao_tradition.words_extended.dict.yaml b/beta/schema/yuhao_tradition.words_extended.dict.yaml index ef77ea25..e924e58a 100644 --- a/beta/schema/yuhao_tradition.words_extended.dict.yaml +++ b/beta/schema/yuhao_tradition.words_extended.dict.yaml @@ -17094,7 +17094,7 @@ columns: 集寧 wfoy 念念 toto 紅塔 bfhs -張震岳 vdef +張震嶽 vdjr 張韶涵 viiv 弱弱 vsvs 弗朗西斯 vodd @@ -23476,7 +23476,7 @@ columns: 鋭志 wuhy 名偵探柯南 read 攤鋪 aswf -岳池 efic +嶽池 jric 挑戰杯 alfd 後怕虎 rymu 換歌 ayal @@ -25543,7 +25543,7 @@ columns: 米拉 pmai 米妮 pmcb 裸模 pjfs -安岳 ocef +安嶽 ocjr 安信 oceu 安鄉 ocvq 密保卡 oekm @@ -28180,7 +28180,7 @@ columns: 梅書慧 fxdd 柳兒 ftrq 橡塑 fyux -林岳 ffef +林嶽 ffjr 校色 foyc 橙果 fbjf 柱塞 foos diff --git a/beta/schema/yuhao_tradition.words_literature.dict.yaml b/beta/schema/yuhao_tradition.words_literature.dict.yaml index ab5aa688..7b4c449f 100644 --- a/beta/schema/yuhao_tradition.words_literature.dict.yaml +++ b/beta/schema/yuhao_tradition.words_literature.dict.yaml @@ -3863,7 +3863,7 @@ columns: 預將書報家 cxxo 信知生男惡 eqwf 以手撫膺坐長嘆 xtal -五千仞岳上摩天 fwef +五千仞嶽上摩天 fwef 可憐後主還祠廟 ayru 無家問死生 qokw 寒林空見日斜時 ofpj @@ -6123,7 +6123,7 @@ columns: 歸心折大刀 yyab 雲水長和島嶼青 dkhh 苟正其身矣 sfdv -海岳尚可傾 iene +海嶽尚可傾 ijne 微霞尚滿天 rdnf 吊羅榮桓同志 lmuh 則民莫敢不敬 mcss @@ -14657,7 +14657,7 @@ columns: 得兔而忘蹄 rysn 不罰而民畏 dmsj 而通之於台桑 sbpb -雲開衡岳積陰止 dkrn +雲開衡嶽積陰止 dkrn 涓涓泣露紫含笑 iiiq 夔州處女發半華 uims 飄逸的宇宙觀 dyes diff --git a/docs/articles/statistics.md b/docs/articles/statistics.md index f241d881..d761c76d 100644 --- a/docs/articles/statistics.md +++ b/docs/articles/statistics.md @@ -27,6 +27,7 @@ nav_order: 2 - 「常用繁简」是指大陆《通用规范汉字表》一二级的6500个汉字、台湾《常用国字标准字体表》中的 4888个汉字、以及《古籍印刷通用规范》中的125个大陆繁体字形。总共为8390个常用繁简汉字。测试输入法**繁简混合文本下的确定性**。 - GB2312 是大陆信息技术简化字集，共有简化汉字 6764 个。 - GBK 是大陆的信息技术大字集，共有繁简汉字 21003 个。 +- **静态重码数**指的是一个字集范围内，编码相同的汉字的绝对数量，反映出了输入法在检字方面的确定性。 - **动态选重率**指的是用字频数据对重码汉字进行加权。因为存在五码自动顶一选，只有在二选或三选时才需要选重。这个指标更能反映实际的输入体验。 - 注意，动态重码率基于字频数据，不同的字频统计会产生不同结果。我采用的字频数据，简体来自北京师范大学邢红兵的[《25亿字语料汉字字频表》](https://faculty.blcu.edu.cn/xinghb/zh_CN/article/167473/content/1437.htm)，繁体来自"繁体字频表.txt"。 @@ -70,6 +71,20 @@ nav_order: 2 | **音形方案** | | | | | | | | **简体方案** | | 小鹤音形 | 730 | 725 | - | - | - | 85.3‱ | - | - | +## 公式化表达 + +假设 $Z$ 为一个汉字的集合, $M$ 为一个编码的集合, $p:Z\rightarrow [0,1]$ 为汉字到某文本状态下单字频率的映射. + +用编码和字频对汉字排序, 使汉字 $z_{ij}$ 是编码为 $m_i$ 的第 $j$ 个汉字, $i \in I$, $j \in J_i$, 且满足 $a\geq b$ 时, $f(z_{ia})\geq f(z_{ib})$. + +那么，静态重码数可以表达为： + +$N_{s} = \mid \{z_{ia}, z_{ib} \text{ if } M(z_{ia}) = M(z_{ib}) \text{ for all } a,b \in J_i \text{ and } i \in I \}.$ + +动态重码率可以表达为: + +$N_{d} = \sum\limits_{i \in I, j \in J_i/\{1\}} p(z_{ij}).$ + ## 码表来源 码表数据基于： diff --git a/index.md b/index.md index d3ab4e61..e6b6d699 100644 --- a/index.md +++ b/index.md @@ -114,12 +114,11 @@ nav_order: 1 [![宇浩三码顶](./image/smyh.png)](./image/smyh.png) - +项目地址：[https://ispoto.github.io/YuHaoDict/](https://ispoto.github.io/YuHaoDict/) ## 背景故事 @@ -135,7 +134,11 @@ nav_order: 1 使用繁体字写了一百万字的古典章回体小说后，我深感具备繁简通打能力的字形输入法妙不可言。当前市面上允许**繁简通打**的**四码定长**的字形输入法只有徐码，但它需要判断主副根，且回头码有时占据第四码，对于复杂漢字的拆分不是特别顺畅。基于这个原因，我决定暂时放下小说创作，使用 Python 制作一款在繁体、简体、繁简混合，这三种文本模式下都能进行盲打的方案。 -特别的，我希望它能够做到规则简明、常用繁简字闭眼盲打、大字集检字方便。经过了一系列调试和改进，在同好们的支持和鼓励下，这款输入法终于大功告成。在此，需要感谢所有帮助过我，给我提过宝贵意见和建议的诸位同好。感谢五笔字型和郑码这两个形码界的里程碑，它们的很多理念被沿用。感谢徐码，它是第一个将繁简通打引入四码定长的方案，它的繁简混合低重奠定了宇浩输入法的高起点。 +特别的，我希望它能够做到规则简明、常用繁简字闭眼盲打、大字集检字方便。经过了一系列调试和改进，在同好们的支持和鼓励下，这款输入法终于大功告成。 + +到目前为止，我转用宇浩输入法又陆续写了十万多字的小说，感觉它在写作方面的确更加流畅。对每一个汉字的拆分也更加理性。 + +在此，需要感谢所有帮助过我，给我提过宝贵意见和建议的诸位同好。感谢五笔字型和郑码这两个形码界的里程碑，它们的很多理念被沿用。感谢徐码，它是第一个将繁简通打引入四码定长的方案，它的繁简混合低重奠定了宇浩输入法的高起点。 ## 脚注