File tree 1 file changed +8
-4
lines changed
1 file changed +8
-4
lines changed Original file line number Diff line number Diff line change 7
7
## 项目初衷
8
8
自然语言处理本来是一个小众的圈子,综合了多个交叉学科的领域知识。不但需要较深的数学基础,还需要实现复杂算法的工程能力,并且语言学知识也不可或缺。
9
9
HanLP作为一个开源自由的项目,初衷是降低上述理论门槛,普及统计自然语言处理到生产环境中去。即使只是一个抛砖引玉的项目,也有其坚持的东西。
10
- 为什么走统计自然语言处理的方向?因为“人工规则”“评分公式”过于主观而死板,无法处理灵活的语言现象。汉语言优美而含蓄的语义蕴含在海量的语料中,需要通过灵活的模型与高效的算法去捕捉,而不是僵硬的规则去生搬硬套。而且任何语言都是随着时间不断发展的生命体,融合了所有使用者的集体智慧,没有万能公式,只能以数据驱动的方式建模分析。
11
- 很高兴最初的想法得到了越来越多的赞同,有越来越多的公司和个人开始关注语料库建设,开始转型到统计模型。
10
+
11
+ 为什么走统计自然语言处理的方向?因为“人工规则”“评分公式”过于主观而死板,无法处理灵活的语言现象。汉语言优美而含蓄的语义蕴含在海量的语料中,需要通过灵活的模型与高效的算法去捕捉,而不是僵硬的规则去生搬硬套。而且任何语言都是随着时间不断发展的生命体,融合了所有使用者的集体智慧,没有万能公式,只能以数据驱动的方式建模分析。很高兴最初的想法得到了越来越多的赞同,有越来越多的公司和个人开始关注语料库建设,开始转型到统计模型。
12
+
12
13
HanLP核心代码几乎全部配有注释和附属说明文档。衷心希望第一次接触自然语言处理的工程师,也能看懂代码的关键,并最终参与开源,一起完善这个不完美的小项目。
13
- HanLP所有代码和文章都注明了大量的论文引用,一些第三方代码也保留了全部署名。希望大家尊重提出了该算法的学者老师、实现了该算法的开源作者。HanLP能在这些研究成果上改进算法,大家能在HanLP上做商业应用,归根结底全是他们的功劳。也希望借此激发大家对底层算法的兴趣,了解原理才能评估一项技术的优缺点、选择最适合的技术。
14
14
15
- 目前中国大陆的语料库建设不太理想,缺乏高质量的语料支撑精准的NLP系统。HanLP主要使用的2014人民日报语料也不例外,其中含有不少错误。这些错误不可能靠一个人的力量排除,只能靠众人合力校对。这是当时决定开源的一个重要原因,希望看到这条信息的人都能参与进来。不要仅仅伸手下载打包好的data.zip,而应该 ` git clone https://github.com/hankcs/HanLP.git ` 。遇到分词不准的时候,随时 [ 调整模型 ] ( https://github.com/hankcs/HanLP#%E4%BF%AE%E6%94%B9%E6%96%B9%E6%B3%95 ) ,随时把补丁 ` push ` 到开源版本库,随时从开源版本库 ` pull ` 他人的补丁。这才是开源项目应有的运作方式,也是HanLP与其他项目最大的不同 。
15
+ HanLP所有代码和文章都注明了大量的论文引用,一些第三方代码也保留了全部署名。希望大家尊重提出了该算法的学者老师、实现了该算法的开源作者。HanLP能在这些研究成果上改进算法,大家能在HanLP上做商业应用,归根结底全是他们的功劳。也希望借此激发大家对底层算法的兴趣,了解原理才能评估一项技术的优缺点、选择最适合的技术 。
16
16
17
17
## 开源项目定义
18
18
世界上有很多开源项目,但按照目的而言只有两种:
@@ -29,6 +29,10 @@ HanLP所有代码和文章都注明了大量的论文引用,一些第三方代
29
29
30
30
毫无疑问,HanLP是属于后者的,完全基于兴趣,无商业支持,专注一个小众领域,希望做到极致。即使现在做的还不好,也在往好的方向前进。
31
31
32
+ ## 目前问题
33
+
34
+ 目前开源项目缺乏高质量的语料支撑,HanLP主要使用的2014人民日报语料也不例外,其中含有不少错误。这些错误不可能靠一个人的力量排除,只能靠众人合力校对。这是当时决定开源的一个重要原因,希望看到这条信息的人都能参与进来。不要仅仅伸手下载打包好的` data.zip ` ,而应该` fork ` 一份并` git clone https://github.com/YourName/HanLP.git ` 。遇到分词不准的时候,随时[ 调整模型] ( https://github.com/hankcs/HanLP#%E4%BF%AE%E6%94%B9%E6%96%B9%E6%B3%95 ) ,随时把补丁` push ` 到开源版本库,随时从开源版本库` pull ` 他人的补丁。这才是开源项目应有的运作方式,也是HanLP与其他项目最大的不同。
35
+
32
36
## 其他贡献方式
33
37
* 回答[ issue区] ( https://github.com/hankcs/HanLP/issues ) 的问题,参与讨论,提出批评与建议
34
38
* 参与[ 《开发计划》] ( https://github.com/hankcs/HanLP/projects ) 中的短期project
You can’t perform that action at this time.
0 commit comments