tokenizerのquote処理見直し

[cacapon]

fixed #213

概要

tokenizerが元々"a""b"を["a","b"]別トークンで扱っていたのを["\"a\"\b\""]という形で一つのトークンにまとめる形にしました。

クオートをなくす処理についてはParserの責務ですので、このプルリクエストでは対応していません。
詳しくはｰ>#200

確認方法

make後./minishで確認で動作可能ですが、効果を確認するのは難しいです。
一応対応前後でechoの挙動が変わります。

• 修正前: echo "a""b" -> "a" "b" ※token区切りでスペースを入れて出力しているため、修正前はスペースが入る
• 修正後: echo "a""b" -> "a""b"

[dayano74]

動作に問題はないと思います。