当东谈主工智能还是能下围棋、写代码，奈何让机器团结并发挥数学定理欧洲杯体育，仍是横亘在科研界的首要艰苦。
字节跳跃 Seed 团队与南京大学结伴发布CriticLean框架，一举将数学当然谈话到 Lean 4 代码的姿色化准确率从 38% 晋升至 84%。
该框架革命性地将评估模子置于中枢位置。通过强化学习西宾的 CriticLeanGPT 模子，能像数学巨匠相似精确判断姿色化代码是否贴合原始语义，合营迭代优化机制，让生成的定剃头挥既适应语法门径，又针织于数学逻辑。
⽬前论⽂和数据代码仓库均已对外公开，宽容开源使用。
数学姿色化领域的中枢挑战
将当然谈话刻画的数学命题漂泊为机器可考证的姿色化代码（如 Lean 4 定理），是自动化定剃头挥领域的基础性艰苦，其中枢挑战不仅在于语法层面的准确调遣，更在于对数学语义的深度团结与针织规复。
尽管现存筹办在生成模子与编译灵验性上赢得一定进展，但在复杂问题的语义对王人上仍存在显耀瓶颈，具体体目下以下三方面：
语义畛域：
当然谈话数学命题的隐含条目等难精确映射为姿色逻辑，易出现前提翻译偏差等问题，过往方法因缺语义一致性校验，导致多数逻辑虚假的姿色化成果。
评价缺位：
对姿色化成果的评价依赖编译检讨或 LLM 简便判断，存在虚假类型掩盖不全、评价可靠性不及的问题，难以识别逻辑矛盾等。
数据瓶颈：
现存数学姿色化数据集范围和各样性不及、难度散播单一、语义校验缺失，制约了模子应酬复杂数学命题的才调。
引入 Critic 扮装以罢了可靠姿色化
上述挑战的中枢在于：姿色化历程中"评价"与"生成"的割裂。
CriticLean 框架将引入强化学习的 Critic 模子，通过西宾有利的语义评价模子（CriticLeanGPT）、招引 Lean 4 编译器响应进行迭代生成。系统性措置语义对王人、评价可靠性与数据质地问题，为数学自动化姿色化提供了全新范式。
图 1：CriticLean 框架通过编译器与评估器的双重响应，罢了数学姿色化的迭代优化
CriticLeanGPT：会"挑错"的数学评估巨匠
团队基于 Qwen2.5 和 Qwen3 系列模子，通过两步西宾打造专科评估器：
有监督微调（SFT）
：在 4.8 万条包含：数学、代码以及数学语句 - 姿色化代码对一致性关联的 Critic 数据CriticLeanInstruct 数据集上西宾，增强其针对语义判断的评估才调。
强化学习优化（RL）
：剿袭 GRPO 算法，以"判断是否准确"和"输出形态是否门径"算作奖励信号，让模子学会在评估中迭代晋升。
该模子能识别 12 类常见虚假，包括类型虚假（占比 24.9%）、数学暗示虚假（23.8%）等，大概发现"代码编译通过但逻辑偏离原题"的隐性问题。
△图 2：不同类型虚假的散播 CriticLeanBench：首个聚焦姿色化任务语义评估的基准测试
CriticLeanBench是用于评估模子在数学姿色化任务中关节推理才调的基准测试，旨在全面商量模子将当然谈话数学呈报漂泊为经姿色考证的定理声明等方面的推崇 .
其构建和罢了过程如下：
CriticLeanBench 在数据汇注阶段，从多个数据起首录取数学呈报及对应的 Lean 4 呈报，提交 Lean 4 呈报到编译器。1）关于编译失败的语句，就地采样保留编译器响应信息。2）关于编译见效的部分，通过使用 DeepSeek R1 招引巨匠校验的方式保留正确和虚假的样本（虚假的样本保留虚假信息）。
数据起首各样：
数学呈报录取了 Omni-MATH、AIME、U-MATH 等多个数据源，这些数据源涵盖了不同难度档次和数学领域的问题。有助于更全面准确地评估模子在不同数学推行上的推崇。
掩盖多种虚假类型：
CriticLeanBench 掩盖语法虚假、语义虚假、逻辑虚假等多种问题，全面纯熟模子才调。
确保评估可靠灵验：
通过巨匠审查和大模子考证相招引的方式来保证评估基准的可靠性和灵验性。在不同类别中录取具有代表性的样本，确保涵盖各样虚假类型，从而使评估成果更可靠。
△图 3: CriticLeanBench 构建的概览
△表 1：CriticLeanBench 数据集统计信息与各样代码基准数据集的对比
在包含 500 组测试样本的 CriticLeanBench 基准中，CriticLeanGPT 的准确率达到 87%，远超 GPT-4o（67.8%）和 Claude 3.5（74.2%），以至卓绝 DeepSeek-R1（84%）的推崇。
中枢目标：
Qwen3-32B-RL 版块准确率达 87%，true negative rate（正确识别虚假样本）达 85.6%，远超 GPT-4o 的 40.0%。
对比上风：
在相通模子范围下，经 CriticLean 西宾的 Qwen2.5-32B 模子准确率（78.6%）较基础版（73.0%）晋升 5.6%，且对虚假样本的识别才调晋升较着。
△表 2：在 CriticLeanBench 上的性能推崇
模子大小的 Scaling 分析标明，模子性能随范围晋升稳步增强。
△图 4: 大谈话模子在 CriticLeanBench 上的彭胀性分析 ( ˆ 暗示闭源的大谈话模子 ) FineLeanCorpus：28.5 万条高质地姿色化数据
依托 CriticLean 框架，团队构建了目下范围最大、质地最高的数学姿色化数据集之一：
范围与各样性：
包含 285,957 条样本，掩盖从高中奥数到大学数学的 16 个领域，其中高难度子集（Diamond）含 36,033 条问题。
质地保险：
每条样本均通过编译器语法检讨与 CriticLeanGPT 语义考证，东谈主工抽检准确率达 84% 以上。
结构上风：
比拟 LeanWorkbook，其难度散播更平衡（多峰散播），领域掩盖更全面（如融会几何样本量晋升 300%）。
△表 3：FineLeanCorpus 的不同起首及数据集统计信息
与高度偏畸的 Lean-Workbook 比拟，FineLeanCorpus 提供了更透明的批判过程、更高比例的顶级问题，以及愈加平衡和各样化的主题散播
△表 4：数据集统计信息的对比
△图 5：数据集统计信息的对比 ( ) 实验成果：大幅提高数学姿色化准确率
将该框架期骗于自动姿色化历程，合营 Kimina-Autoformalizer-7B 生成器，准确率从 38%（单轮生成）晋升至 84%（多轮迭代优化），其华文义评估设施孝顺了 30 个百分点的晋升。
△表 5：自动化姿色化性能的东谈主类评估准确率成果
论文蚁集：https://arxiv.org/pdf/2507.06181
容颜蚁集：https://github.com/multimodal-art-projection/CriticLean
一键三连「点赞」「转发」「贯注心」
宽容在褒贬区留住你的念念法！
— 完 —
� � 点亮星标 � �
科技前沿进展逐日见欧洲杯体育
