Auto merge of #10 - mozillazg:develop, r=mozillazg

homu · homu · commit 10d15e241b3d · 2016-05-16T21:58:01.000+09:00
v0.6.0
diff --git a/.travis.yml b/.travis.yml
@@ -11,10 +11,13 @@ sudo: false
 
 before_install:
   - if ! go get code.google.com/p/go.tools/cmd/cover; then go get golang.org/x/tools/cmd/cover; fi
-  - go get golang.org/x/crypto/ssh/terminal
+  - go get github.com/mattn/go-isatty
   - go get github.com/axw/gocov/gocov
   - go get github.com/mattn/goveralls
 
 script:
   - go run pinyin/main.go abc
+  - go run pinyin/main.go -s Normal abc
+  - echo "abc" | go run pinyin/main.go
+  - echo "abc" > abc.txt && go run pinyin/main.go < abc.txt
   - $HOME/gopath/bin/goveralls -repotoken WAzmh3gmiQEUYEHM2wkwSH4oTrshvMmll
diff --git a/CHANGELOG.md b/CHANGELOG.md
@@ -1,6 +1,32 @@
 # Changelog
 
 
+## 0.6.0 (2016-05-14)
+
+* **NEW** 命令行程序支持指定拼音风格:
+
+  ```shell
+  $ pinyin -s Normal 你好
+  ni hao
+  ```
+* **Bugfixed** 解决韵母 i, u, ü 的问题：根据以下拼音方案，还原出正确的韵母
+   [#8](https://github.com/mozillazg/go-pinyin/pull/8),  [python-pinyin#26](https://github.com/mozillazg/python-pinyin/pull/26)
+
+    > i 行的韵母，前面没有声母的时候，写成：yi（衣），yɑ（呀），ye（耶），
+    > yɑo（腰），you（忧），yɑn（烟），yin（因），yɑnɡ（央），yinɡ（英），yonɡ（雍）。
+    >
+    > u 行的韵母，前面没有声母的时候，写成wu（乌），wɑ（蛙），wo（窝），
+    > wɑi（歪），wei（威），wɑn（弯），wen（温），wɑnɡ（汪），wenɡ（翁）。
+    >
+    > ü行的韵母跟声母j，q，x拼的时候，写成ju（居），qu（区），xu（虚），
+    > ü上两点也省略；但是跟声母l，n拼的时候，仍然写成lü（吕），nü（女）。
+
+    **注意** `y` 既不是声母也不是韵母。详见 [汉语拼音方案](http://www.edu.cn/20011114/3009777.shtml)
+
+* **Bugfixed** 解决未正确处理鼻音 ḿ, ń, ň, ǹ 的问题：包含鼻音的拼音不应该有声母
+
+
+
 ## 0.5.0 (2016-03-12)
 
 * **CHANGE** 改为使用来自 [pinyin-data](https://github.com/mozillazg/pinyin-data) 的拼音数据。
diff --git a/TODO.md b/TODO.md
@@ -1,9 +1,10 @@
 
-* [ ] 同步更新 [python-pinyin][1] 中修复过的 BUG
-  * [ ] fix "``ju``, ``qu``, ``xu``, ``yu``, ``yi`` 和 ``wu`` 的韵母"([python-pinyin#26][2])
-  * [ ] fix "未正确处理鼻音"([python-pinyin#31](2))
-* [x] 命令行程序支持从标准输入读取数据（支持管道和重定向输入）
-* [ ] 命令行程序支持指定拼音风格
+* [x] 同步更新 [python-pinyin][1] 中修复过的 BUG
+  * [x] fix "``ju``, ``qu``, ``xu``, ``yu``, ``yi`` 和 ``wu`` 的韵母"([python-pinyin#26][2])
+  * [x] fix "未正确处理鼻音"([python-pinyin#31][3])
+  * [x] 命令行程序支持从标准输入读取数据（支持管道和重定向输入）
+* [x] 命令行程序支持指定拼音风格
+* [x] 命令行程序中改为使用 <https://github.com/mattn/go-isatty>
 
 [1]: https://github.com/mozillazg/python-pinyin
 [2]: https://github.com/mozillazg/python-pinyin/pull/26
diff --git a/phonetic_symbol.go b/phonetic_symbol.go
@@ -28,5 +28,6 @@ var phoneticSymbol = map[string]string{
 	"ǜ": "v4",
 	"ń": "n2",
 	"ň": "n3",
-	"": "m2",
+	"ǹ": "n4",
+	"ḿ": "m2",
 }
diff --git a/pinyin.go b/pinyin.go
@@ -7,7 +7,7 @@ import (
 
 // Meta
 const (
-	Version   = "0.5.0"
+	Version   = "0.6.0"
 	Author    = "mozillazg, 闲耘"
 	License   = "MIT"
 	Copyright = "Copyright (c) 2016 mozillazg, 闲耘"
@@ -38,7 +38,7 @@ const (
 )
 
 // 声母表
-var initials = strings.Split(
+var initialArray = strings.Split(
 	"b,p,m,f,d,t,n,l,g,k,h,j,q,x,r,zh,ch,sh,z,c,s",
 	",",
 )
@@ -83,6 +83,15 @@ var Fallback = func(r rune, a Args) []string {
 	return []string{}
 }
 
+var finalExceptionsMap = map[string]string{
+	"ū": "ǖ",
+	"ú": "ǘ",
+	"ǔ": "ǚ",
+	"ù": "ǜ",
+}
+var reFinalExceptions = regexp.MustCompile("^(j|q|x)(ū|ú|ǔ|ù)$")
+var reFinal2Exceptions = regexp.MustCompile("^(j|q|x)u(\\d?)$")
+
 // NewArgs 返回包含默认配置的 `Args`
 func NewArgs() Args {
 	return Args{Style, Heteronym, Separator, Fallback}
@@ -91,7 +100,7 @@ func NewArgs() Args {
 // 获取单个拼音中的声母
 func initial(p string) string {
 	s := ""
-	for _, v := range initials {
+	for _, v := range initialArray {
 		if strings.HasPrefix(p, v) {
 			s = v
 			break
@@ -102,17 +111,45 @@ func initial(p string) string {
 
 // 获取单个拼音中的韵母
 func final(p string) string {
-	i := initial(p)
-	if i == "" {
-		return p
+	n := initial(p)
+	if n == "" {
+		return handleYW(p)
 	}
-	return strings.Join(strings.SplitN(p, i, 2), "")
+
+	// 特例 j/q/x
+	matches := reFinalExceptions.FindStringSubmatch(p)
+	// jū -> jǖ
+	if len(matches) == 3 && matches[1] != "" && matches[2] != "" {
+		v, _ := finalExceptionsMap[matches[2]]
+		return v
+	}
+	// ju -> jv, ju1 -> jv1
+	p = reFinal2Exceptions.ReplaceAllString(p, "${1}v$2")
+	return strings.Join(strings.SplitN(p, n, 2), "")
+}
+
+// 处理 y, w
+func handleYW(p string) string {
+	// 特例 y/w
+	if strings.HasPrefix(p, "yu") {
+		p = "v" + p[2:] // yu -> v
+	} else if strings.HasPrefix(p, "yi") {
+		p = p[1:] // yi -> i
+	} else if strings.HasPrefix(p, "y") {
+		p = "i" + p[1:] // y -> i
+	} else if strings.HasPrefix(p, "wu") {
+		p = p[1:] // wu -> u
+	} else if strings.HasPrefix(p, "w") {
+		p = "u" + p[1:] // w -> u
+	}
+	return p
 }
 
 func toFixed(p string, a Args) string {
 	if a.Style == Initials {
 		return initial(p)
 	}
+	origP := p
 
 	// 替换拼音中的带声调字符
 	py := rePhoneticSymbol.ReplaceAllStringFunc(p, func(m string) string {
@@ -134,10 +171,18 @@ func toFixed(p string, a Args) string {
 	switch a.Style {
 	// 首字母
 	case FirstLetter:
-		py = string([]byte(py)[0])
+		py = py[:1]
 	// 韵母
 	case Finals, FinalsTone, FinalsTone2:
-		py = final(py)
+		// 转换为 []rune unicode 编码用于获取第一个拼音字符
+		// 因为 string 是 utf-8 编码不方便获取第一个拼音字符
+		rs := []rune(origP)
+		switch string(rs[0]) {
+		// 因为鼻音没有声母所以不需要去掉声母部分
+		case "ḿ", "ń", "ň", "ǹ":
+		default:
+			py = final(py)
+		}
 	}
 	return py
 }
diff --git a/pinyin/main.go b/pinyin/main.go
@@ -7,31 +7,51 @@ import (
 	"os"
 	"strings"
 
+	"github.com/mattn/go-isatty"
 	"github.com/mozillazg/go-pinyin"
-	"golang.org/x/crypto/ssh/terminal"
 )
 
 func main() {
 	heteronym := flag.Bool("e", false, "启用多音字模式")
+	style := flag.String("s", "Tone", "指定拼音风格。可选值：Normal, Tone, Tone2, Initials, FirstLetter, Finals, FinalsTone, FinalsTone2")
 	flag.Parse()
 	hans := flag.Args()
-	args := pinyin.NewArgs()
-	args.Style = pinyin.Tone
 	stdin := []byte{}
-	if !terminal.IsTerminal(0) {
+	if !isatty.IsTerminal(os.Stdin.Fd()) {
 		stdin, _ = ioutil.ReadAll(os.Stdin)
 	}
 	if len(stdin) > 0 {
 		hans = append(hans, string(stdin))
 	}
 
 	if len(hans) == 0 {
-		fmt.Println("请至少输入一个汉字: pinyin HANS [HANS ...]")
+		fmt.Println("请至少输入一个汉字: pinyin [-e] [-s STYLE] HANS [HANS ...]")
 		os.Exit(1)
 	}
+
+	args := pinyin.NewArgs()
 	if *heteronym {
 		args.Heteronym = true
 	}
+	switch *style {
+	case "Normal":
+		args.Style = pinyin.Normal
+	case "Tone2":
+		args.Style = pinyin.Tone2
+	case "Initials":
+		args.Style = pinyin.Initials
+	case "FirstLetter":
+		args.Style = pinyin.FirstLetter
+	case "Finals":
+		args.Style = pinyin.Finals
+	case "FinalsTone":
+		args.Style = pinyin.FinalsTone
+	case "FinalsTone2":
+		args.Style = pinyin.FinalsTone2
+	default:
+		args.Style = pinyin.Tone
+	}
+
 	pys := pinyin.Pinyin(strings.Join(hans, ""), args)
 	for _, s := range pys {
 		fmt.Print(strings.Join(s, ","), " ")
diff --git a/pinyin_test.go b/pinyin_test.go
@@ -11,14 +11,13 @@ type testCase struct {
 	result [][]string
 }
 
-func testPinyin(s string, d []testCase, f pinyinFunc) (t *testing.T) {
+func testPinyin(t *testing.T, s string, d []testCase, f pinyinFunc) {
 	for _, tc := range d {
 		v := f(s, tc.args)
 		if !reflect.DeepEqual(v, tc.result) {
 			t.Errorf("Expected %s, got %s", tc.result, v)
 		}
 	}
-	return t
 }
 
 func TestPinyin(t *testing.T) {
@@ -125,7 +124,7 @@ func TestPinyin(t *testing.T) {
 		},
 	}
 
-	testPinyin(hans, testData, Pinyin)
+	testPinyin(t, hans, testData, Pinyin)
 
 	// 测试不是多音字的 Heteronym
 	hans = "你"
@@ -143,7 +142,7 @@ func TestPinyin(t *testing.T) {
 			},
 		},
 	}
-	testPinyin(hans, testData, Pinyin)
+	testPinyin(t, hans, testData, Pinyin)
 }
 
 func TestNoneHans(t *testing.T) {
@@ -208,43 +207,6 @@ func TestFinal(t *testing.T) {
 	}
 }
 
-// `yu`, `y`, `w` 不是声母
-func TestNewInitials(t *testing.T) {
-	hans := "鱼"
-	testData := []testCase{
-		testCase{
-			Args{Style: Initials},
-			[][]string{
-				[]string{""},
-			},
-		},
-		testCase{
-			Args{Style: Finals},
-			[][]string{
-				[]string{"yu"},
-			},
-		},
-	}
-	testPinyin(hans, testData, Pinyin)
-
-	hans = "五"
-	testData = []testCase{
-		testCase{
-			Args{Style: Initials},
-			[][]string{
-				[]string{""},
-			},
-		},
-		testCase{
-			Args{Style: Finals},
-			[][]string{
-				[]string{"wu"},
-			},
-		},
-	}
-	testPinyin(hans, testData, Pinyin)
-}
-
 func TestFallback(t *testing.T) {
 	hans := "中国人abc"
 	testData := []testCase{
@@ -291,5 +253,72 @@ func TestFallback(t *testing.T) {
 			},
 		},
 	}
-	testPinyin(hans, testData, Pinyin)
+	testPinyin(t, hans, testData, Pinyin)
+}
+
+type testItem struct {
+	hans   string
+	args   Args
+	result [][]string
+}
+
+func testPinyinUpdate(t *testing.T, d []testItem, f pinyinFunc) {
+	for _, tc := range d {
+		v := f(tc.hans, tc.args)
+		if !reflect.DeepEqual(v, tc.result) {
+			t.Errorf("Expected %s, got %s", tc.result, v)
+		}
+	}
+}
+
+func TestUpdated(t *testing.T) {
+	testData := []testItem{
+		// 误把 yu 放到声母列表了
+		testItem{"鱼", Args{Style: Tone2}, [][]string{[]string{"yu2"}}},
+		testItem{"鱼", Args{Style: Finals}, [][]string{[]string{"v"}}},
+		testItem{"雨", Args{Style: Tone2}, [][]string{[]string{"yu3"}}},
+		testItem{"雨", Args{Style: Finals}, [][]string{[]string{"v"}}},
+		testItem{"元", Args{Style: Tone2}, [][]string{[]string{"yua2n"}}},
+		testItem{"元", Args{Style: Finals}, [][]string{[]string{"van"}}},
+		// y, w 也不是拼音, yu的韵母是v, yi的韵母是i, wu的韵母是u
+		testItem{"呀", Args{Style: Initials}, [][]string{[]string{""}}},
+		testItem{"呀", Args{Style: Tone2}, [][]string{[]string{"ya"}}},
+		testItem{"呀", Args{Style: Finals}, [][]string{[]string{"ia"}}},
+		testItem{"无", Args{Style: Initials}, [][]string{[]string{""}}},
+		testItem{"无", Args{Style: Tone2}, [][]string{[]string{"wu2"}}},
+		testItem{"无", Args{Style: Finals}, [][]string{[]string{"u"}}},
+		testItem{"衣", Args{Style: Tone2}, [][]string{[]string{"yi1"}}},
+		testItem{"衣", Args{Style: Finals}, [][]string{[]string{"i"}}},
+		testItem{"万", Args{Style: Tone2}, [][]string{[]string{"wa4n"}}},
+		testItem{"万", Args{Style: Finals}, [][]string{[]string{"uan"}}},
+		// ju, qu, xu 的韵母应该是 v
+		testItem{"具", Args{Style: FinalsTone}, [][]string{[]string{"ǜ"}}},
+		testItem{"具", Args{Style: FinalsTone2}, [][]string{[]string{"v4"}}},
+		testItem{"具", Args{Style: Finals}, [][]string{[]string{"v"}}},
+		testItem{"取", Args{Style: FinalsTone}, [][]string{[]string{"ǚ"}}},
+		testItem{"取", Args{Style: FinalsTone2}, [][]string{[]string{"v3"}}},
+		testItem{"取", Args{Style: Finals}, [][]string{[]string{"v"}}},
+		testItem{"徐", Args{Style: FinalsTone}, [][]string{[]string{"ǘ"}}},
+		testItem{"徐", Args{Style: FinalsTone2}, [][]string{[]string{"v2"}}},
+		testItem{"徐", Args{Style: Finals}, [][]string{[]string{"v"}}},
+		// # ń
+		testItem{"嗯", Args{Style: Normal}, [][]string{[]string{"n"}}},
+		testItem{"嗯", Args{Style: Tone}, [][]string{[]string{"ń"}}},
+		testItem{"嗯", Args{Style: Tone2}, [][]string{[]string{"n2"}}},
+		testItem{"嗯", Args{Style: Initials}, [][]string{[]string{""}}},
+		testItem{"嗯", Args{Style: FirstLetter}, [][]string{[]string{"n"}}},
+		testItem{"嗯", Args{Style: Finals}, [][]string{[]string{"n"}}},
+		testItem{"嗯", Args{Style: FinalsTone}, [][]string{[]string{"ń"}}},
+		testItem{"嗯", Args{Style: FinalsTone2}, [][]string{[]string{"n2"}}},
+		// # ḿ  \u1e3f  U+1E3F
+		testItem{"呣", Args{Style: Normal}, [][]string{[]string{"m"}}},
+		testItem{"呣", Args{Style: Tone}, [][]string{[]string{"ḿ"}}},
+		testItem{"呣", Args{Style: Tone2}, [][]string{[]string{"m2"}}},
+		testItem{"呣", Args{Style: Initials}, [][]string{[]string{""}}},
+		testItem{"呣", Args{Style: FirstLetter}, [][]string{[]string{"m"}}},
+		testItem{"呣", Args{Style: Finals}, [][]string{[]string{"m"}}},
+		testItem{"呣", Args{Style: FinalsTone}, [][]string{[]string{"ḿ"}}},
+		testItem{"呣", Args{Style: FinalsTone2}, [][]string{[]string{"m2"}}},
+	}
+	testPinyinUpdate(t, testData, Pinyin)
 }

Original file line number	Diff line number	Diff line change
`@@ -28,5 +28,6 @@ var phoneticSymbol = map[string]string{`
`28`	`28`	`"ǜ": "v4",`
`29`	`29`	`"ń": "n2",`
`30`	`30`	`"ň": "n3",`
`31`		`- "": "m2",`
	`31`	`+ "ǹ": "n4",`
	`32`	`+ "ḿ": "m2",`
`32`	`33`	`}`