Deepgram 是什么?13 亿美元的语音底座,10 月底把 Pipecat 也收进兜里(基础篇)

Deepgram 是什么?13 亿美元的语音底座,10 月底把 Pipecat 也收进兜里(基础篇)

10 月 29 日,Deepgram 在自己的第一场大会 Deepgram Speak 上宣布收购 Daily,也就是 Pipecat 的东家。Pipecat 保持 BSD-2 开源,另外成立独立基金会;Deepgram 则把 Daily 的实时网络、自家语音模型和 Pipecat 的编排层拼成了一个「Voice Agent Platform」。

这家公司在中文圈名气不大,但你用过的语音 Agent 大概率从它身上过了一遍:Decagon、Sierra、Vapi、Granola 的转写层都在它家。1 月 C 轮的新闻稿写的是 1,300 家组织在用,10 月的稿子已经改成 5,000 家,开发者 20 万。

它是什么:一条链路,四段拆开卖

Deepgram 起家是 STT,现在卖四样东西:

  • Nova-3:流式转写主力,50 多种语言,中文的 zh、zh-CN、zh-Hans、zh-TW、zh-HK 都在列。
  • Flux:给语音 Agent 专门做的对话式 STT,模型自己判断「这句说完了」,不用外挂 VAD 断句。代价是只有十个语种:英、西、法、德、印地、俄、葡、日、意、荷。
  • Aura-2 / Flux TTS:把回复念出来,按千字符计费。
  • Voice Agent API:一条 WebSocket 把上面三段串起来,你只发音频、只收音频,也能只换其中一段(自带 LLM、自带 TTS)。再往前还有一个 Saga,官方叫它 Voice OS。

它解决的不是「模型准不准」,是「一轮对话多久接得上」。官方文档给的目标是端到端 500–700ms,每一段压到 50–100ms,全靠流式:转写还没出完整句子就先送 LLM,LLM 吐出前几个词就先送 TTS。这三段拼起来不难,拼到不卡才难,它卖的就是这个。

Flux 的卖点其实就一个:打断。人说话会插嘴,传统 STT 只给你一串字,判断「说完了没有」是应用层的事;Flux 把这个判断塞进模型,再配 EagerEndOfTurn 提前起跑,首字延迟才敢往几百毫秒里压。

Deepgram 语音 Agent 栈:来电经电话与传输进入 Voice Agent API,STT 转写、LLM 决策并可调用业务 API,TTS 合成后回传
Voice Agent API 把 STT、LLM、TTS 串在一条 WebSocket 上,任意一段都能换掉

钱怎么算

官网 11 月 3 日的价目:流式 STT 英文 $0.0077/分钟,Nova-3 多语 $0.0092;预录 $0.0043。TTS 的 Aura-2 是 $0.030/千字符。Voice Agent API $0.075/分钟,也就是 $4.50 一小时,自带 TTS 降到 $0.065。

注册送 $200,不用信用卡,按 Nova-3 算大约 43,000 分钟。PAYG 单项目 45 路并发,企业版从 100 路起。

上手:两条路

最小验证是转写,一条 curl:

curl -X POST "https://api.deepgram.com/v1/listen?model=nova-3&language=zh-CN&smart_format=true&punctuate=true" 
  -H "Authorization: Token $DEEPGRAM_API_KEY" 
  -H "Content-Type: audio/wav" 
  --data-binary @test.wav

要整条语音 Agent,就连 wss://agent.deepgram.com/v1/agent/converse:先发一条 Settings 把 stt、llm、tts 三段配好,再往里灌音频,事件里收转写和音频帧。

想自己编排就走 Pipecat:pipecat init quickstart 拉模板,把 DEEPGRAM_API_KEY 填进 .env,uv run bot.py,浏览器打开 7860 就能对着说话。区别很直接——上面那条是租它的流水线,这条是流水线在你手里,Deepgram 只负责听和说。

实话

第一,Flux 没有中文。 这是中文项目最容易踩的坑:想要它模型自带的断句能力,得等;现在只能退回 Nova-3,VAD 和断句自己补。参数里写 language=zh-CN 走的是 Nova-3,不是 Flux。

第二,$4.50 一小时不是全部成本。 它含的是托管的小模型,换成 GPT、Claude 要另贴 token 钱;自带 TTS 省下 $0.01/分钟,但 Cartesia、ElevenLabs 的钱照付。一通 3 分钟的电话,落地价大概 $0.22 起。

第三,自托管只给 Enterprise。 Kubernetes 部署要谈合同,权重不对外,别指望像 Whisper 那样在自己机器上跑。

第四,收购之后 Pipecat 会不会变味。 官方给的是 BSD-2 加独立基金会,短期不会;但商业方向一定往自家云上引。要完全自主,Pipecat 加本地模型还是那条路。

第五,国内访问没有中国区端点。 最近的在新加坡,APAC 总部也设在那儿,跨境 RTT 是硬伤;电话线路还得自己接 Twilio、Telnyx 或者 SIP 中继。

结语

Deepgram 的位置挺怪:既不是 Vapi 那种「帮你把 Agent 搭好」的平台,也不是纯模型 API。它卖的是中间那层——把听、想、说焊在一条连接上,再让你把任意一段换掉。要最快跑通,Vapi 更省事;要自己控制每一段,Pipecat 加 Deepgram 是现在最完整的一栈,想要更轻的开源替代可以看 LiveKit Agents 和 Dograh。

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注