每月 1 亿通电话：语音代理平台 Retell 靠什么跑

Retell AI 做的是语音代理平台：坐进企业的客服电话系统里，替它接电话、办事——查订单、查保修、排障、转人工、发短信、做预约。按客户故事口径，它现在坐在 4000 多家企业的电话系统下面；月通话量从 2026 年初的约 3000 万通涨到 9 月的 1 亿通以上。“客服电话那头是 AI”不是个别公司的尝鲜，而是一个月 1 亿通量级的日常运行。

对模型的依赖度，故事给出了三个数：平台 80% 的通话回复由 OpenAI 模型生成；跨 OpenAI 模型累计消耗已超 1 万亿 token；客户的解决率持续保持在 80% 以上。选型行为也写得具体：新客户选定 OpenAI 模型后基本不再更换，OpenAI 新模型上线当天即可接入，基准随模型改进定期重跑。最后一句值得单独记下——CEO Bing Wu 的原话是：“我们选模型的方式和客户选供应商一样：看真实通话，不看 demo。OpenAI 一直在赢得这个位置。”怎么个“看真实通话”法，第三章看他们的 vCX 基准。

• 读官方客户故事原文 ↗

把架构图拆开看（下图）：Retell 的 harness 负责对话的骨架——音频模型做语音识别、轮次检测和转语音（或语音到语音，可替换且有回退）；对话状态记着当前步骤、流程走向和已有转写；上下文管理装着知识库与联系人记忆。OpenAI 模型（GPT-6.1 Sol、GPT-6 Astra、GPT-5.5）承担理解请求、生成回答、请求工具调用这三件事；工具的执行在 Retell 侧——转接、发短信、预约、自定义函数——执行结果再写回给模型继续对话。需要人来判断时，代理先把情况向人工坐席简报、答完坐席的追问、确认准备好了再接通；挂断之后，GPT-5.6 Terra 分析通话转写、提取结果。

语音场景的工程约束也在故事里：日间流量可达深夜低点的 50 倍，Retell 用与 OpenAI 共享的专用服务器承接；医疗与金融客户走区域 API 端点满足数据驻留；冗余是双份的——自持电话栈随时可接管，语音与模型服务都有备份。延迟数字（10 月 13 日基准口径）：GPT-6 Astra 与 GPT-6 Sol 的中位首句延迟都是 883 毫秒，GPT-5.6 Luna 以 497 毫秒最快——首句快慢直接决定电话那头“接得像不像人”。一个版本提醒：事后析谱用的是 GPT-5.6 Terra；本站 10 月 27 日写过的 GPT-6.1 Terra 是新一代，两个版本别混。

vCX 是 Retell 自家的基准：取“来自真实生产场景的困难多轮对话”，测指令遵循、接地（回答是否钉在事实与上下文上）、工具调用和自然对话四件事。10 月 13 日的榜单上，GPT-6 Astra 以 89.7% 居指令遵循首位（前五见图：GPT-6.1 Sol 88.5、GPT-6 Sol 86.2、GPT-5.5 85.6、Claude-5.5 Opus 83.8；口径为 None/low 推理、排除 fast 变体）。预发布评估是另一路：GPT-5.5 在开启推理时拿到 88.0% 的非幻觉率与 88.3% 的工具调用正确率，高于 Gemini-3.1-Pro 与 Claude-4.6；关闭推理时非幻觉率同样领先。新模型上线先用 vCX 重跑一遍，再决定是否接入——这是“看真实通话”的落点。

边界要说在前面：vCX 是 Retell 自家基准——任务取自它自己的客户场景、口径由它自己定，成绩也是 Retell／OpenAI 转述。它不属本站持续跟踪的三张独立榜单（AA 综合能力、Pi 编程、Physics-IQ 物理），本站不并入、不混算：站内 AA 榜记录里 GPT-6 Astra 的 57 分（max 档）量的是另一件事。这张图的用处是看清一家重度语音平台用什么标准挑模型——指令遵循与工具调用排在前两位，通用智能分反而退后。

• 打开 vCX 基准官网（动态页面） ↗

生活端是两块具体场景。Anker 把英美市场的 Tier-1 售后交给跑在 Retell 上的语音代理：订单跟踪、保修核查、排障。数字口径：案件解决率 80.4%，NPS 63，团队说代理的语气、节奏与温度达到了人工坐席的标准。Pine Park Health 是另一路：语音代理做诊所的预约提醒与主动排程，把结果写进患者的病历；公司口径是找回了相当于 2.1 个全职医疗助理的时间，转回患者照护，代理联系到患者时 55.7% 的通话完成预约。

两条都是公司自报、经 OpenAI 客户故事发布的数字，本站没有拨打过任何一通。放进站内的线索里看：上周写过的 Anima 是一家诊所公司自己接模型改流程，Retell 是坐在很多家企业电话下面的平台层——同一条“打不通的电话”这条线，一端是单家诊所的 50 分钟变 10 分钟，另一端是一个月 1 亿通的平台。电话这个入口，正在从两头同时被改。

• 接看：Anima 的诊所电话从 50 分钟等到 10 分钟 →

这家平台的开发过程也在故事里：工程师全程用 Codex——调研陌生代码时让它扫代码、对实际数据、讲清需要改什么；实现时用它抓细节；调试时交叉引用日志与数据库记录；还用它写客户代理的指令。GPT-6 Astra 的 computer use 被用来测前端：打开界面、逐步点按、测试流程、设法把它弄坏并报告问题——故事原话是此前模型做不到这一点。经营口径：人均年化收入运行率 160 万美元，工程团队没有随业务同步扩张。后续计划（更多语言的 QA 与模拟、知识库自动学习）是宣布中的方向，不是已交付的结果。

边界钉住：本文全部数字来自 OpenAI 发布的客户故事，属 Retell 与其客户自报；本站未拨打、未审听、未复测；vCX 与延迟数字都是 10 月 13 日口径，引用需带日期。想在站内接着看：GPT-6 Astra 的模型条目与站内 Astra 主线（同源能力在桌面与代理侧的记录）；GPT-6.1 Terra 一文——记得故事里做事的是上一代 5.6 Terra；以及个人 AI 伙伴专题里“代理接手事务”这条更长的线。

• 看 GPT-6 Astra 模型条目 →
• 接看：GPT-6.1 Terra（注意与故事里的 5.6 Terra 分清） →