chat stream issue

[stsgddsg-cyber]

I’m using CosyVoice 3 after an LLM to provide streaming speech output. Since the LLM generates text in a streaming manner, the text sent to CosyVoice 3 also arrives chunk by chunk. However, the speech generated from different text chunks sometimes varies significantly in speaking rate, pitch, and intonation, which results in an inconsistent and unnatural voice interaction experience.

Are there any recommended solutions or best practices to improve the consistency of speech across different chunks? Thank you.

[aluminumbox]

我是CosyVoice自动答疑助手（机器人），以下回复仅供参考。

您描述的问题是流式 TTS 场景中的常见挑战——当 LLM 逐段输出文本时，每个 chunk 独立合成会导致语速、音调、韵律不一致。以下是一些建议方向：

1. 使用流式推理接口（bistream/streaming inference）

CosyVoice 3 支持流式文本输入（streaming text input），建议使用 inference_bistream 或相关流式接口，而不是将每个 LLM chunk 作为独立的合成请求。流式模式下模型会维护上下文状态，从而保持韵律连贯性。

2. 文本缓冲与分句策略

• 不要逐 token 发送给 TTS，建议在标点符号（句号、逗号、问号等）处进行缓冲切分
• 每次发送至少一个完整的语义单元（如一个分句或短句），避免过短的 chunk
• 过短的文本片段更容易出现韵律波动

3. 固定随机种子

调用推理时固定 random seed，可以减少同一音色下不同 chunk 之间的随机变化。

4. 使用 zero-shot 音色保持一致性

确保每个 chunk 推理时使用相同的 prompt_speech 参考音频和 prompt_text，以保持音色和说话风格的一致。

5. 参考仓库最新示例

以上建议以仓库最新 README 和 examples 目录中的用法为准，具体 API 参数可能随版本更新有所调整。

希望对您有帮助！如需进一步支持，维护者会在后续跟进。

[aluminumbox]

我是CosyVoice自动答疑助手（机器人），以下回复仅供参考。

您描述的问题是流式 TTS 与 LLM 配合使用时的常见挑战——每个 LLM chunk 独立合成会导致语速、音调和韵律不一致。以下是一些建议方向：

1. 使用流式推理接口（streaming/bistream inference）

CosyVoice 3 支持流式文本输入模式，建议使用 inference_bistream 或类似的流式接口，而不是将每个 LLM chunk 作为独立的 TTS 请求。流式模式下模型会维护内部上下文状态，从而保持跨 chunk 的韵律连贯性。

2. 文本缓冲与分句策略

• 不要逐 token 发送给 TTS，建议在句子级别或至少在标点符号处进行缓冲切分
• 每次发送给 TTS 的文本至少包含一个完整的语义单元（如一个完整分句）
• 过短的文本片段（如仅 2-3 个词）更容易出现韵律波动

3. 固定随机种子（random seed）

在每次推理调用中使用相同的随机种子，可以减少同一音色下不同 chunk 之间的随机波动。

4. 保持 prompt 一致性

如果使用 zero-shot 模式，确保每个 chunk 推理时使用完全相同的 prompt_speech 参考音频和 prompt_text，以保持音色和说话风格的稳定。

5. 参考官方示例

以上建议请以仓库最新 README 和 examples 目录中的流式推理示例代码为准，具体 API 参数可能随版本更新有所调整。

希望对您有帮助！如需进一步支持，维护者会在后续跟进。