给 Whisper 加上字幕对齐:稿子已经写好了,让它算出每个字什么时候念到。注意:作者已经归档,不再更新。
适合:做视频和动画
我们字幕对齐的关键一步:稿子是现成的,用它算出每一句什么时候念到,字幕就和口播对得上。
给 OpenAI 的 Whisper 语音识别加了一层,让时间戳更准。最常用的一招叫「对齐」:稿子已经写好、配音也录好了,把两样一起交给它,它算出每个字、每句话在第几秒念到,直接导出 SRT 字幕文件。没有稿子时,它也能像普通语音识别那样把音频转成带时间的文字,还能在一段音频里找某个词出现在哪几秒。
pip install -U stable-ts。stable-ts audio.mp3 --align text.txt --language en,中文稿把 en 换成 zh。也可以直接对 AI 说「用 stable-ts 把这份稿子和这段配音对齐,导出 SRT 字幕」。https://github.com/jianfch/stable-ts
上面的介绍是我们按项目的 GitHub 说明用自己的话整理的,细节以原作者为准。