GPT-4o System Card
OpenAI Please cite this work as “OpenAI (2024)". Full authorship contribution statements appear at the end of the document.
Abstract
GPT-4o[1] is an autoregressive omni model, which accepts as input any combination of text, audio, image, and video and generates any combination of text, audio, and image outputs. It’s trained end-to-end across text, vision, and audio, meaning that all inputs and outputs are processed by the same neural network.
中文速览
大模型走向"全能"不再只是愿景——GPT-4o 把文字、图像、音频、视频统一放进同一个神经网络里端到端训练，让模型真正做到一口气听懂你说的话、看懂你发的图、再开口回答你。为了确保这个强大的"全能模型"不被滥用，OpenAI 系统梳理了语音对话带来的新型风险，包括声音克隆与冒充、说话人身份识别、对不同口音用户的性能差异、情绪感知被操控、幻觉与错误推断等，并通过覆盖45种语言、29个国家的逾百名外部红队测试员进行压力测试，再结合后训练对齐和实时音频分类器加以缓解。评估结果显示，GPT-4o 在英文及代码任务上与 GPT-4 Turbo 持平，非英语文本显著提升，API 成本降低50%，同时在语音和图像理解上超越此前模型，语速更接近真实人类对话节奏（平均320毫秒响应）。这份系统卡公开了模型能力的边界与安全隐患，对推动多模态大模型的负责任开发具有重要参考价值。
原文 arXiv:2410.21276;中英对照 + 大白话阅读 https://aha.fim.ai/paper/2410.21276v1