OpenAI DevDay：Realtime 实时多模态 API、缓存折扣、视觉微调，全是利好开发者...

主要观点总结

OpenAI在昨天的DevDay上公布了五项重大创新，包括实时API、提示词缓存、模型蒸馏、视觉微调和新广场玩法。这些新能力标志着OpenAI战略重心的变化，更注重基础建设增强其「开发者生态」，而不是直接在「AI应用领域」争夺终端用户。今年的DevDay重点在于增强开发人员的能力和展示社区故事。OpenAI还演示了使用o1模型在30秒内构建iPhone iOS应用程序的能力。虽然核心高管离职和产品兑现不及大众预期曾让OpenAI面临挑战，但随着重大融资进展和更有效的利用AI模型创造，该公司似乎重回正轨。OpenAI首席产品官凯文·韦尔表示首席技术官和首席研究官的离职不会影响公司发展。现场观众对OpenAI的工程化能力表示认可，尤其是实时API的潜力被广泛关注。模型蒸馏、视觉微调和新广场玩法等更新也引起了行业内的广泛关注。通过改进现有工具并赋能开发人员，OpenAI正在为AI领域的长期增长和稳定奠定基础。

关键观点总结

关键观点1: 实时API

让开发者可以构建近乎实时的“语音转语音”的体验，并可以选择使用OpenAI提供的六种声音。

关键观点2: 提示词缓存

允许开发人员在API调用之间缓存常用上下文，从而降低成本并改善延迟。

关键观点3: 模型蒸馏

让开发人员可以使用大型AI模型来微调较小的模型，从而提高模型的效率和成本效益。

关键观点4: 视觉微调

结合图像和文本提高模型的视觉理解能力，影响深远，可能应用于自动驾驶汽车、医学成像和视觉搜索功能等领域。

关键观点5: 新广场玩法

涉及提示词的结构框架和其他用法，构建可持续的AI生态系统。