8月6日讯，OpenAI昨日正式发布了两款开源推理模型gpt-oss系列，采用Apache 2.0许可证授权。此次推出的模型分别为gpt-oss-20b和gpt-oss-120b，其中参数规模较小的gpt-oss-20b专为边缘设备设计，在仅配备16GB内存的设备上即可流畅运行；而参数量更大的gpt-oss-120b则能够在单个80GB GPU上实现高效运算。
硬件厂商积极响应，AMD和高通已宣布旗下多款产品将全面支持gpt-oss系列模型。具体而言，AMD的锐龙AI Max+ 395处理器专为运行gpt-oss-120b优化设计；其Radeon RX 9070 16GB显卡则完美支持gpt-oss-20b模型。同时，高通的旗舰骁龙平台也对gpt-oss-20b提供了全面兼容。
AMD的技术专家表示，锐龙AI Max+ 395处理器是目前唯一能够运行gpt-oss-120b模型的消费级AI PC解决方案。通过采用GGML框架转换为MXFP4格式，优化后的gpt-oss-120b模型仅需61GB显存即可运行。而其”Strix Halo”平台凭借128GB统一内存设计，可将96GB内存分配给GPU使用，充分满足该模型的硬件需求。
在性能表现方面，锐龙AI Max+ 395处理器在运行gpt-oss-120b时实现了30 Token/秒的稳定输出速率，并完美支持MCP模型上下文协议。这一成绩标志着消费级硬件在大语言模型处理能力上取得了新的突破。
针对gpt-oss-20b模型，AMD的Radeon RX 9070 16GB显卡在首Token输出时间（TTFT）和每秒Token输出数量方面均表现出色，为边缘设备部署提供了强有力的支持。
高通技术公司表示，基于早期测试数据，gpt-oss-20b模型在端侧设备上展现出了卓越的思维链推理能力。开发者可以通过Hugging Face和Ollama等主流平台，在搭载骁龙芯片的终端设备上轻松访问并充分利用该模型的强大功能。
相关文章
