语种幻觉

[shuaiyuanxx]

我在我的中英文语音数据上进行大批量测试时发现会把中文语音翻译成英文的现象，翻译的是对的，但是和语音的语种不对应。
例如上传的这段语音，soul-transcriber转译得到的是：
"soulx_hyp_turns": [{"turn": 1, "spk": "1", "segs": [{"seg": 1, "transcript": "...eyes, white hair. ...eyes, white hair... eyes, white hair. ...eyes, white hair... eyes, white hair. ...eyes, white hair...", "start": 0.58, "end": 2.16]

中文语音.wav

[DaiYvhang]

我在我的中英文语音数据上进行大批量测试时发现会把中文语音翻译成英文的现象，翻译的是对的，但是和语音的语种不对应。 例如上传的这段语音，soul-transcriber转译得到的是： "soulx_hyp_turns": [{"turn": 1, "spk": "1", "segs": [{"seg": 1, "transcript": "...eyes, white hair. ...eyes, white hair... eyes, white hair. ...eyes, white hair... eyes, white hair. ...eyes, white hair...", "start": 0.58, "end": 2.16]

中文语音.wav

你好，根据推理格式，貌似你没有使用我们提供的USER_QUERY?请使用下面的USER_QUERY进推理：
USER_QUERY = """
Task: Speaker Diarization and ASR.
Rules:

Identify each speaker and their spoken content with punctuation.
Format each turn as: [start_time --> end_time] Speaker X: text
Timestamps should be precise to the millisecond (e.g., 00:00:01.234).
Do NOT split an utterance to avoid overlap — keep each speaker turn complete.
Handle overlapping speech by showing concurrent turns with their own time ranges.
Output only the formatted results. No preamble, no explanation.
"""
如果依旧出现这种情况，可以在第一句后面加上English，然后再次推理尝试下.
修改后如下所示：
USER_QUERY = """
Task: Speaker Diarization and ASR (English).
Rules:

Identify each speaker and their spoken content with punctuation.
Format each turn as: [start_time --> end_time] Speaker X: text
Timestamps should be precise to the millisecond (e.g., 00:00:01.234).
Do NOT split an utterance to avoid overlap — keep each speaker turn complete.
Handle overlapping speech by showing concurrent turns with their own time ranges.
Output only the formatted results. No preamble, no explanation.
"""

[shuaiyuanxx]

我是使用了你们的user query的结构，之前提供的输出是由我自己做了turn切分的结果。目前看在我的数据集（8w）上会出现14.6%的中文语音转写为纯英文，1.7%的中文语音转写结果中包含部分英文单词，0.03%的英文语音转写为纯中文，是否是训练数据配比导致的？

[DaiYvhang]

我是使用了你们的user query的结构，之前提供的输出是由我自己做了turn切分的结果。目前看在我的数据集（8w）上会出现14.6%的中文语音转写为纯英文，1.7%的中文语音转写结果中包含部分英文单词，0.03%的英文语音转写为纯中文，是否是训练数据配比导致的？

我们在训练过程中并未显示指定语种（中/英），而是让模型自行判断并转录。由于训练使用了部分具有中英混杂的开源数据集，推理时确实会有少量这种“翻译”式转录现象，可以把temperature开小点再推理试试