@@ -126,25 +126,18 @@ python show_result.py \
126
126
127
127
## Sample Outputs
128
128
129
- #### Question:
130
- > 植物性タンパク源と動物性タンパク源の違いは何ですか?
131
- #### Answer of llm-jp--llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0:
132
- > 動物性タンパク質は、牛、羊、ヤギ、豚、魚、甲殻類、昆虫、乳製品など、さまざまな種類の生き物から得ることができる。植物性タンパク質は、大豆、ナッツ類、種子類、野菜、果物などのさまざまな植物から得ることができる。
133
- #### Answer of llm-jp--llm-jp-13b-instruct-lora-jaster-dolly-oasst-v1.0:
134
- > 植物性タンパク源は動物性タンパク源に比べて消化・吸収が遅いため、植物性タンパク源を多く摂取すると、動物性タンパク源よりも満腹感が得られます。さらに、植物性タンパク源は、動物性タンパク源よりもグルテン、乳糖、その他の成分が少ないため、より健康的です。
135
- #### openai--text-davinci-003:
136
- > 植物性タンパク源は、植物から抽出されたタンパク質で構成されています。一方、動物性タンパク源は、動物から抽出されたタンパク質で構成されています。植物性タンパク源は、植物から抽出されたタンパク質であるため、植物性タンパク源は、動物性タンパク源よりも低カロリーであり、低脂肪である可能性があります。また、植物性タンパク源は、動物性タンパク源よりもビタミンやミネラルなどの有益な栄養素を多く含んでいる可能性があります。
137
- #### Answer of rinna--japanese-gpt-neox-3.6b-instruction-ppo:
138
- > 植物性タンパク源とは、大豆やナッツ類などの豆類、豆腐、テンペなど、植物から作られるタンパク質源です。一方、動物性タンパク源とは、牛肉や豚肉などの肉類、卵、牛乳、チーズなどの乳製品、魚介類など、主に動物から得られるタンパク質源です。
139
- #### Answer of rinna--japanese-gpt-neox-3.6b-instruction-sft-v2:
140
- > それは、肉を食べるか魚を食べるか、です。
141
- #### Answer of cyberagent--calm2-7b-chat:
142
- > 植物性タンパク源と動物性タンパク源の違いは以下の通りです。\n\n1. 供給源: 植物性タンパク源は主に植物、特に穀物から得られます。一方、動物性タンパク源は動物、特に哺乳類から得られます。\n\n2. 生物的特性: 植物性タンパク源は、植物が有する、植物の、特に植物の、植物性タンパク源の、特に植物性タンパク源の、植物性タンパク源の、特に植物性タンパク源の、特に特に特に特に特に特に特に特に特に特に
143
-
144
-
145
- [ // ] : # ( ## Comparison )
146
-
147
- [ // ] : # (  ; )
129
+ Question: 植物性タンパク源と動物性タンパク源の違いは何ですか?
130
+
131
+ Model outputs:
132
+
133
+ | Model | Answer |
134
+ | ----------------------------------------------------------| ----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|
135
+ | openai--text-davinci-003 | 植物性タンパク源は、植物から抽出されたタンパク質で構成されています。一方、動物性タンパク源は、動物から抽出されたタンパク質で構成されています。植物性タンパク源は、植物から抽出されたタンパク質であるため、植物性タンパク源は、動物性タンパク源よりも低カロリーであり、低脂肪である可能性があります。また、植物性タンパク源は、動物性タンパク源よりもビタミンやミネラルなどの有益な栄養素を多く含んでいる可能性があります。 |
136
+ | llm-jp--llm-jp-13b-instruct-full-jaster-dolly-oasst-v1.0 | 動物性タンパク質は、牛、羊、ヤギ、豚、魚、甲殻類、昆虫、乳製品など、さまざまな種類の生き物から得ることができる。植物性タンパク質は、大豆、ナッツ類、種子類、野菜、果物などのさまざまな植物から得ることができる。 |
137
+ | llm-jp--llm-jp-13b-instruct-lora-jaster-dolly-oasst-v1.0 | 植物性タンパク源は動物性タンパク源に比べて消化・吸収が遅いため、植物性タンパク源を多く摂取すると、動物性タンパク源よりも満腹感が得られます。さらに、植物性タンパク源は、動物性タンパク源よりもグルテン、乳糖、その他の成分が少ないため、より健康的です。 |
138
+ | rinna--japanese-gpt-neox-3.6b-instruction-ppo | 植物性タンパク源とは、大豆やナッツ類などの豆類、豆腐、テンペなど、植物から作られるタンパク質源です。一方、動物性タンパク源とは、牛肉や豚肉などの肉類、卵、牛乳、チーズなどの乳製品、魚介類など、主に動物から得られるタンパク質源です。 |
139
+ | rinna--japanese-gpt-neox-3.6b-instruction-sft-v2 | それは、肉を食べるか魚を食べるか、です。 |
140
+ | cyberagent--calm2-7b-chat | 植物性タンパク源と動物性タンパク源の違いは以下の通りです。\n\n1. 供給源: 植物性タンパク源は主に植物、特に穀物から得られます。一方、動物性タンパク源は動物、特に哺乳類から得られます。\n\n2. 生物的特性: 植物性タンパク源は、植物が有する、植物の、特に植物の、植物性タンパク源の、特に植物性タンパク源の、植物性タンパク源の、特に植物性タンパク源の、特に特に特に特に特に特に特に特に特に特に |
148
141
149
142
## Pairwise win-rate compared with GPT-3.5-davinci-003
150
143
| Model | Win | Loss | Tie | Win Rate | Loss Rate | Win Rate Adjusted |
0 commit comments