TOPIC COLLECTION
OpenAI称GPT-6.1 Sol迁移COBOL准确率97.9%:MultiLangBench成绩怎么看,银行老系统能不能交给AI改
OpenAI于2026-10-19公布低资源编程语言测评:GPT-6.1 Sol在COBOL迁移测试中低推理档86.6%、高推理档97.9%;GPT-6 Astra在20种语言的MultiLangBench平均通过率87.4%,测试集已开源。本文解读数字含义,并给出老系统迁移的实际做法和坑。
资料更新:2026-10-20
依据OpenAI官方文章(2026-10-19)。成绩为OpenAI自家测试集结果,本站未复现。核查2026-10-20(新加坡时间)。
主题标签:OpenAI、COBOL、代码迁移、GPT-6、MultiLangBench
10月19日OpenAI发了一篇不太起眼、但做企业开发的人值得细看的文章:它专门测了模型在COBOL、Fortran、Visual Basic、OCaml这类「训练资料少」的语言上的表现。最抓眼的数字是:GPT-6.1 Sol把COBOL程序迁移到其他语言,在高推理档位下准确率97.9%。
听上去像是「银行核心系统可以交给AI重写了」。我的看法是:这个数字是真进步,但离「直接上生产」还差着好几道工序。下面先把数字讲清楚,再说怎么用。
两个测评分别测什么
MultiLangBench:让模型用指定语言从零写一个兼容SQLite的数据库引擎,共20种语言。评测方式挺巧妙——给程序一个初始数据库文件和一条SQL,看它输出的数据库内容是否和官方SQLite的结果一致,测试用例改编自SQLite自己的测试集。这样不管用什么语言写,都能用同一套标准打分。OpenAI已经把评测环境和测试集放到GitHub上。
COBOL迁移评测:把现成的COBOL程序迁到C++、Java、Kotlin、Python或Rust,要求隐藏测试里所有可观察输出逐字节一致,一个测试没过就算失败。
成绩表
| 测评 | 模型 | 成绩 | 对比GPT-5.6 Sol |
|---|---|---|---|
| MultiLangBench(20语言平均) | GPT-6 Astra(最高推理) | 87.4% | 26.8% |
| MultiLangBench(20语言平均) | GPT-6 Luna(最高推理) | 40.3% | 26.8%,单样本成本约0.77美元 vs 3.48美元 |
| COBOL迁移 | GPT-6.1 Sol(低推理) | 86.6% | 5.4%,API成本为其61% |
| COBOL迁移 | GPT-6.1 Sol(高推理) | 97.9% | — |
分语言看,Astra在COBOL上从10.9%涨到72.1%,Fortran从21.4%到83.5%,Visual Basic从27.5%到89.4%,OCaml从25.6%到85.8%。20种语言里19种超过83%,COBOL仍是最难的那个。
几个模型的定位区别,站内GPT-6 Astra、Luna、Sol区别有详细对比。
这些数字该怎么读
这是OpenAI自己出题自己考。测试集开源是好事,外部可以复现,但截至我核查时还没看到第三方复测结果。
另外,「从零写SQLite」和「迁移老代码」是两回事。前者考的是工程组织能力,后者考的是「别改变原来的行为」。对企业来说后者更要命,而97.9%正是后者的成绩。
再一个,测试程序和你们行里的程序不是一回事。评测用的COBOL程序再复杂,也比不过一套跑了三十年、改过几百次、文档早就丢了的批处理系统。OpenAI自己在文中也写了:用到生产系统仍需要专家评审,并针对业务规则和依赖做测试。
COBOL迁移最容易翻车的地方
OpenAI文章里举了一个例子很典型:COBOL的定点运算默认直接截掉多余小数位,除非代码里显式写了ROUNDED。迁到Java或Python时如果顺手用了四舍五入,程序跑得好好的,利息却每笔差一分钱。几百万笔交易累计下来,对账就对不上了。
按我接触过的迁移项目,下面几类问题同样常见:
- PIC字段和打包十进制(COMP-3):字段长度、符号位、溢出时的行为都要原样保留,Python的int和float都不能直接替代,至少要用Decimal并设好精度和舍入模式。
- EBCDIC编码与排序:大型机上的字符排序和ASCII不同,迁移后SORT结果顺序可能变了。
- 文件读到末尾、记录不存在的处理:AT END、INVALID KEY分支里藏着业务规则,OpenAI文章也点到了「缺失记录处理」。
- JCL和调度:程序只是一半,另一半在作业流里。只迁代码不迁调度,等于没迁。
想试的话,可以这么做
- 先挑一个边界清晰的小程序。比如一个只读输入文件、输出报表的批处理,不碰数据库更新。
- 先做「特征测试」。在旧系统上用真实(脱敏)数据跑一遍,把输入和输出全存下来,作为黄金样本。这一步比让AI写代码更重要。
- 让模型先解释再翻译。先要求它列出程序里所有的舍入、截断、异常分支和隐含规则,人工核对这份清单,再让它出目标语言代码。
- 逐字节比对输出。照着OpenAI评测的标准来,金额、空格、换行都要一致,不一致就回到第3步。
- 并行运行一段时间。新旧系统同时跑至少一个完整账期,再考虑切换。
工具上,用API可以走OpenAI开发者平台,命令行工作流可以用Codex CLI;IDE里做小范围改写,GitHub Copilot和Cursor也行,但长任务和大仓库迁移,CLI加脚本更好控制。两种工作方式的取舍见Claude Code和Codex怎么选。
费用怎么估
官方给的只有相对数:GPT-6.1 Sol低推理档成本约为GPT-5.6 Sol的61%;MultiLangBench上Luna单样本约0.77美元,GPT-5.6 Sol约3.48美元。这里的「样本」是一次完整的长时编码任务,不是一次对话。真实项目里,迁移一个几千行的程序往往要多轮修正,建议先拿一个程序跑通,把token消耗记下来,再乘以程序数量做预算。别忘了把测试和人工评审的工时算进去,那部分通常比API费用大。
对个人开发者有什么用
如果你不碰大型机,这篇文章的意义在于:小众语言的AI辅助终于能用了。写Fortran数值代码的科研同学、维护老VB6工具的运维、学OCaml的学生,都可以重新试试。语言基础可以配合Rust官方文档、Python官方这类权威资料对照看,AI生成的写法要和官方惯用法比一下。
更多编程助手在AI编程分类和AI软件工程智能体分类,各语言官方站点在编程语言分类。
常见问题
这是新模型发布吗?
不是。这是对现有GPT-6系列和GPT-6.1 Sol的能力测评文章,模型本身之前已经上线。
测试集在哪?
官方说MultiLangBench的评测环境、测试集和各语言结果已经发布在GitHub,链接在原文里。
能保证迁移零错误吗?
不能。97.9%是在OpenAI测试集上的结果,原文明确说生产软件仍需专家评审和测试。
来源与核查日期
核查日期:2026-10-20(新加坡时间)。成绩均为OpenAI自家测评数据;COBOL迁移注意事项为本站整理的通用经验。