PinkVoice 的实现说明与问题记录。README 只讲这个 App 是什么、怎么用; 工程怎么做到的、路上踩过哪些坑,都记在这里。
下面每一条算法调整都是被真机数据逼出来的,不是教科书上抄的。 每条都附了当时的观测值,方便判断在你的设备上还成不成立。
┌───────────── 采集线程 (THREAD_PRIORITY_URGENT_AUDIO) ─────────────┐
麦克风 → AudioRecord (48k/mono/PCM16)
│
├─ A. 直通返听 ─→ 环形缓冲 (256 KB) ─→ 返听线程 ─→ AudioTrack ─→ 耳机/蓝牙
│ (原始 PCM,零处理,零额外延迟)
│
└─ B. 分析支路 ─→ FIR 降采样 48k→16k ─→ YIN (窗 1024/跳 256)
└→ 迟滞跟踪器 ─→ 音高历史 ─→ UI 曲线
两条路径完全独立是整个设计的关键:
- 返听走原始 PCM,不做任何滤波/重采样,监听延迟只由 HAL 决定;
- 分析支路降采样后再算基频,避免高次谐波混叠折回基带造成倍频误判;
- 返听写缓冲在独立线程,蓝牙这类大缓冲输出设备不会反压采集线程 (采集一旦阻塞,麦克风缓冲溢出,音高曲线会跳变)。
采集线程只做非阻塞写入。分析支路把 48 kHz 降到 16 kHz 再算基频, 既省算力,也避免高次谐波混叠折回基带造成倍频误判。
这是这类 App 最容易做错的地方,推导如下:
曲线最右端对应的音频采集时刻 = now - 采集延迟 - 分析延迟
用户此刻听到的音频采集时刻 = now - 采集延迟 - 输出延迟 - 蓝牙附加延迟
两者之差 = (输出延迟 + 蓝牙附加) − 分析延迟。采集延迟在相减时抵消, 所以对齐量与它无关。
- 自动部分 =
输出延迟 − 分析延迟(由AudioTimestamp测得) - 手动部分 = 蓝牙 A2DP 那段(
AudioTimestamp只反映 HAL 层,测不到),由 UI 滑块补
踩过的坑:最初把对齐量写成
采集 + 输出,多算了约 47 ms(分析时滞被重复计入), 曲线会明显比声音慢。修正后自动对齐量在 Note 20 Ultra 上是 0–20 ms。
| 环节 | 延迟 |
|---|---|
| 麦克风 ADC + HAL(采集) | 2–30 ms |
| AudioTrack 输出 | 19–64 ms |
| 分析链路固有时滞(FIR 63 + YIN 窗口 2175 采样点) | 46 ms |
| 你听到自己声音的总延迟 | 约 30–80 ms |
| 蓝牙 A2DP 额外延迟 | 实测 ~390 ms(不可消除) |
蓝牙音频的输出延迟很大——Note 20 Ultra + Galaxy Buds Pro 实测输出延迟 378–410 ms,这个物理约束消不掉。App 的处理方式:
- 分析链路走手机内置麦克风(
AudioManager.MODE_NORMAL, 不切到蓝牙 HFP 麦克风),所以 f0 曲线依然跟手(10–20 ms); - 用
AudioTimestamp测出系统侧的真实延迟并在设置面板里显示; - 手动对齐补偿滑块:蓝牙栈那段延迟测不到,需要用户自己校准;
- 顶部实时显示当前输出设备(蓝牙/有线/外放)。
结论:蓝牙下"听到的声音"会明显滞后于"看到的曲线",这是蓝牙的物理限制, 不是 App 的 bug。
用手机扬声器返听时,麦克风会拾取自己的监听声 → 正反馈啸叫, 而且曲线分析到的是延迟后的监听声而不是人声。
曾经的方案是"检测到内置扬声器 → 顶部显示 ⚠ 芯片 + 返听音量限幅到 35%"。 后来改成直接不返听:
- 顶部芯片显示「⚠ 仅监测」;
- 返听音量滑块置灰;
- 主按钮文案变成「开始监听」而不是「开始监听 + 返听」。
理由:限幅只是止损——35% 的音量下用户还是能听到自己的声音被延迟播回, 而曲线分析的根本不是人声。既然分析结果已经不可信, 不如干脆关掉返听,只做音高监测(分析走内置麦克风,不受影响)。 接上耳机后自动恢复。
引擎侧的实现是根本不创建 AudioTrack:
start rate=48000 analysis=16000 recBuf=4096 trackBuf=0 monitor=off
trackBuf=0表示没有创建播放通道;voice-monitor线程不启动;- 采集循环里整段跳过写环形缓冲(省一次字节转换 + 一次缓冲写入);
- 输出延迟记 0,采集与分析延迟照常测量。
曾试过开启系统 AEC(
AcousticEchoCanceler+VOICE_COMMUNICATION源): 啸叫确实能消掉,但输出延迟从 ~40 ms 涨到 ~330 ms(通话通路的缓冲固有代价), 对练声来说得不偿失,已移除。
AudioRecord.Builder没有setPerformanceMode(那是AudioTrack独有的), 低延迟靠"小缓冲 +VOICE_RECOGNITION源"实现;AudioRecord.getTimestamp在 API 24–35 是单参(AudioTimestamp), API 34+ 是双参(AudioTimestamp, int timebase),TimestampProbe用反射同时兼容两种;AudioRecord.getAudioId()是隐藏 API,公开入口是getAudioSessionId();- 很多机型在
VOICE_RECOGNITION源下只支持 16 kHz, 引擎会按 48k → 44.1k → 16k 依次回退; AudioRecord/AudioTrack的getTimestamp在不同厂商 ROM 上返回的帧号语义不完全一致, 延迟测量因此只取相对差值,不取绝对值。
在 Note 20 Ultra(120 Hz 屏)上实测的 CPU 占用(top 的进程级数值)。
| 问题 | 原因 | 修法 |
|---|---|---|
| 空闲时 90% CPU | 曲线 Canvas 的 60 fps 心跳在停止监听后仍空转。引擎停了但渲染管线还在跑 | 心跳加 active 闸:引擎不运行就停跳,补画最后一帧 |
| 延迟诊断值拖慢整屏 | latency / droppedBytes 在界面顶层被 collect,而引擎每 21 ms(一个音频块)发布一次 → 整屏每秒重组 47 次 |
发布节流到 8 Hz;完整延迟明细改为只在设置面板打开时订阅,主界面只订阅一个单独发布的 autoOffsetMs |
| 120 Hz 屏上的高频重组 | withFrameNanos 按屏幕刷新率回调,120 Hz 就是每秒 120 次 |
曲线限速 20 fps、读数限速 30 Hz 并改用 delay(不与 vsync 绑定) |
| 状态 | 优化前 | 优化后 |
|---|---|---|
| 停止监听(前台空闲) | 90% | 0% |
| 运行中 | 80–93% | 约 65% |
运行中剩下的开销分布(8 秒采样):
| 线程 | CPU | 说明 |
|---|---|---|
| 主线程 | 41% | Compose 渲染曲线与读数 |
| RenderThread | 19% | GPU 侧合成 |
| voice-capture | 15% | 真正的活:采集 + FIR + YIN |
| voice-monitor | 4% | 返听播放 |
即约 15% 是音频算法本身的必要开销,其余是界面渲染。
- 日志与实际值不一致:
outputMs在日志里打印的是 clamp 前的原始值, 可能出现out=-2ms(负延迟没有物理意义),而 UI 显示的是 clamp 后的 0。 现在统一按 clamp 后的值发布与打印。 copyRange每帧扫全环:环形缓冲最多 4096 条,而 6 秒窗口里只有约 375 条。 改成从最新一条反向扫描、遇到早于窗口起点的就停(环内按时间递增排列)。 这个改动引出了一个真 bug:环形缓冲绕回后,反向扫描会绕圈重复取点 (窗口覆盖整个环时死循环到数组上限)。由PitchHistoryTest抓到并修复 (加visited计数),并补了 8 个用例把新实现与朴素正向扫描逐条对照。
一开始取的是 60–500 Hz("覆盖所有可能"),真机上看下来有两个问题:
- 色带只占中间一小条。男声区 85–180、女声区 165–255 两条色带加起来 只覆盖 85–255 Hz,映射到 60–500 Hz 的对数轴上只有中间约 55%, 上下各留一大片空白,曲线挤在一条窄缝里。
- C4 附近的音名看不清。262 Hz 落在女声区(165–255)之外, 标签是中性灰,夹在一堆灰色刻度里。
改成 81–300 Hz:色带填满曲线区主体,只在女声区上方留出"高位置"的余量。 边界刻意不落在整音上(81 而非 82),否则 E2 的标签会被卡片底边裁掉一半。
频率轴是对数轴,色带的"大小"看的是比值不是差值:
| 分界点 | 男声区跨比 | 女声区跨比 | 男声占轴 | 女声占轴 |
|---|---|---|---|---|
| 165 Hz | 85→165(1.94×) | 165→255(1.55×) | 60% | 40% |
| 147 Hz | 82→147(1.79×) | 147→255(1.74×) | 48% | 45% |
分界在 165 时蓝色块明显比粉色块大。挪到 √(82×255) ≈ 147 Hz (几何中点)后,两区的对数跨度基本相等,视觉上才是两个差不多大的色带。
147 Hz 正好是 D3(146.83 Hz),所以音名标注不会出现 "D3 蓝色、E3 粉色"这种看起来像错位的跳变。
宽 52 dp,两列:
- 左列音名(10 sp),按所在音域着色——女声区粉色、男声区蓝色、 其余中性灰;八度音名加粗。
- 右列频率(9 sp),右对齐到坐标栏末尾。
粉色区域里显示粉色的音名,是为了让用户一眼看出自己落在哪个音域, 而不必去比对数字。
半音一条。八度线加粗到 1.4 dp 且不透明度 100%,其余半音线 45%; 落在音域色带里的线压到 18%——否则密集的网格会盖住色带本身。
网格与音名都画在静态层(不读 tick),只在尺寸或主题变化时重绘,
不影响运行时的帧率。
PitchHistory.statsIn(tMin, tMax) 一次算出四个数:
| 字段 | 含义 |
|---|---|
avgHz |
窗口内有声帧的音高算术平均值;没有有声帧时为 null |
voicedRatio |
有声帧占全部帧的比例 |
avgRms |
窗口内全部帧的 RMS 平均值 |
peakRms |
窗口内最大的 RMS |
两个"平均"的口径不同,是有意的:
- 音高只算有声帧。静音帧的音高是 0 Hz,算进去会把平均值拉得很低, 显示出来像是"唱得很低",其实是没在唱。
- 响度算全部帧。说话时的停顿本来就不发声,响度要反映的是 "这段时间声音有多大",把停顿算进去才是真实的音量感受。
统计窗口和曲线窗口必须是同一个(CURVE_WINDOW_MS = 6000),
否则曲线上的平均线会和读数里的平均音高不在同一段数据上,对不上。
真机实测静音时 rms ≈ 0.0009,也就是 −61 dB(底噪)。
rmsToDb 把下限钳在 −60 dB:再往下都是底噪,显示出来没有意义。
真机用扬声器放 220 Hz 声音时,麦克风拾取到的信号里二次谐波(440 Hz)比基频还强 (扬声器削顶失真)。YIN 的"取第一个低于阈值的 τ"规则于是先撞上半个周期, 把基频报成高八度——真机实测报出 433 Hz。
这在 MTF 训练里是致命的:目标音域 165–255 Hz,一旦整体翻八度,训练方向完全反过来。
修法(YinPitchDetector.fixOctave):比较候选 τ 与 2τ 的 cmnd。
| 情况 | cmnd[2τ] / cmnd[τ] | 处理 |
|---|---|---|
| τ 确实是基频 | ≈ 1(周期信号在 2τ 处同样重复) | 不动 |
| τ 只是半个周期 | ≪ 1(真周期 2τ 处的谷深得多) | 改用 2τ |
但纯音会让这个比值失去意义:400 Hz 纯音在 16 kHz 下正好 40 采样点一个周期,
d[τ] 与 d[2τ] 都是浮点噪声级别(1e-30),比值纯看运气。
所以先加一道能量守恒护栏:若候选 τ 处的失配能量占比 ≤ 0.2%
(说明 τ 就是货真价实的周期,只剩浮点噪声),一律不做修正。
观测:谐波是基频 5 倍时,修复前报 441 Hz,修复后报 220.0 Hz(清晰度 0.99)。 另有回归用例守住"正常人声不被误判成低八度"这条线。
手机扬声器 + 房间反射会形成梳状滤波,梳状周期(≈7 ms)常常比真实基频周期有更深的谷。 YIN 的 fallback 原本取全局最小值,于是锁到梳状周期上,曲线出现整段下探毛刺。
修法:fallback 改为取"第一个满足松弛阈值的 τ"而不是全局最小,优先落在真实基频。
fallback 阈值收到 0.35 时,真实但信噪比不高的声音(离麦远、环境嘈杂) 大量帧被判成无声。阈值放到 0.5 之后曲线才连续——单帧离群点交给跟踪器处理, 这里只保证不丢帧。
起音冲击瞬态会在曲线上画出一个 ~85 Hz 的下探。修法:跟踪器加起音确认, 连续 2 帧一致才认定"开始发声"。
第一版修正没有能量守恒护栏,400 Hz 纯音因为 d[τ] 与 d[2τ] 都是浮点噪声,
比值纯看运气,偶尔会被误改成 200 Hz。加了失配能量占比门槛后消失。
| 参数 | 值 | 理由 |
|---|---|---|
| 分析采样率 | 16 kHz | 降采样后算,省算力且避免混叠 |
| 窗 / 跳 | 1024 / 256 | 64 ms 窗能覆盖 75 Hz 的 4.5 个周期 |
| 绝对阈值 | 0.12 | 严格阈值,只认可信的周期 |
| 松弛阈值 | 0.5 | 0.35 会把信噪比不高的声音判成无声 |
| 八度修正比值 | 0.5 | 纯音比值≈1,留足余量 |
| 失配能量门槛 | 0.2% | 低于此值说明已是货真价实的周期 |
| 参数 | 值 | 理由 |
|---|---|---|
| 容差 | 60 cent | 颤音、滑音都能跟上 |
| 接管帧数 | 3 | 单帧离群点被完全丢弃 |
| 断连桥接 | 2 帧 | 短暂无声不切断曲线 |
| 起音确认 | 2 帧 | 避免起音瞬态画出假尖刺 |
- 返听:点"开始监听 + 返听",对着麦克风说话,应立刻听到自己(延迟 30–80 ms)。
- 音高:持续发一个元音(a / i / u),曲线应稳定在一条水平线上;读数区显示音名 + cents。
- 音域带:背景蓝色 = 男声区(85–180 Hz),粉色 = 女声区(165–255 Hz)。 同一个人的声音应落在固定区域。
- 丢样告警:底部出现"返听缓冲丢样"说明输出缓冲偏小或设备过载。
- 蓝牙对齐校准:戴蓝牙耳机播放一段持续长音,唱一串音阶, 调整"额外对齐补偿"滑块,直到耳朵听到的音高起伏和屏幕上曲线的起伏同时发生。
日志:
adb logcat -s VoiceEngine
# I VoiceEngine: start rate=48000 analysis=16000 recBuf=4096 trackBuf=7696
# D VoiceEngine: latency in=16ms out=31ms analysis=46ms dropped=0
# D VoiceEngine: pitch raw=221.0 stable=221.0 clarity=0.88 rms=0.0021