MK,MK体育,MK体育官网,MK体育app,MK体育网页版,MK电竞,MK棋牌,MK百家乐,MK真人,MK百家乐,MK体育注册,MK平台注册,MK中国,MK体育中国,MK体育网页版,MK体育官方网站,mk官方网站,mk sports,mk体育平台app
2023年，业界还在卷Scaling Law，不断突破参数规模和数据规模时，微软亚洲研究院张丽团队就选择了另一条路径。
在当前基于PPO/GRPO强化学习路线主导的当下，她们的工作又将带来哪些新的可能性？
本期「大模型创新架构」主题访谈，量子位邀请到rStar-Math作者微软亚洲研究院首席研究员张丽，聊聊突破大模型智商上限、奖励模型以及System2背后的故事。
张丽，MSRA系统研究组首席研究员，微软LongRoPE及rStar系列工作项目leader。
以下为量子位与rStar-Math作者微软亚洲研究院首席研究员张丽的对话实录整理：
量子位：能简单介绍下rStar-Math的核心工作吗？当初为什么选择这个研究方向？
MSRA张丽：一直以来我们主要沿着如何提升大语言模型的智商这个大方向在持续做研究，具体分两个方向：
一个是让模型具备无限且持久的记忆能力，另一个是提升模型的深度推理逻辑思考能力。
我们2025年1月发布的rStar-Math工作，简单说是第一个公开通过蒙特卡洛搜索算法，让7B模型实现了接近OpenAI o1级别的数学推理能力的工作。
我们当时做这个工作的时候，整个行业趋势还是在卷scaling law，认为模型size越大，数据量越多，效果越好。
但我们发现，尽管隔一段时间就有新体量的模型推出，但实际上模型的数学深度推理能力一直没有显著提升。
2022年11月ChatGPT出来时，大家都被震惊了，但是我们发现它仍然在有些方面做得不够好。
作为研究员，我们比较注重逻辑推理思考能力，所以很自然会希望大语言模型能像我们一样具备很强的推理能力。
一是希望模型在解题时能够利用很长的“草稿纸”，所以我们做了LongRoPE，拓展大模型长文本的推理窗口。
二是要有效利用这个草稿纸，这就需要像人一样的深度推理思考方式，这就有了rStar系列工作。
MSRA张丽：可能是我们吧。更准确地说，当我们想定义这种能力时，从人脑认知科学中找到了这个可以类比的词。
MSRA张丽：我们觉得，大语言模型真正要落地应用，或者实现通用，其他能力可能都好说，智商或推理能力才是最关键因素。
看各行各业的顶尖人才，他们的专业领域不同，有人擅长解数学题，有人擅长写代码，有人写作或口才好，但本质上他们都有很强的推理能力，这就是智商。
大模型有了这个基础，再去做其他应用，让大模型落地或提高社会生产力，都会变得简单得多。
量子位：rStar-Math在研究过程中模型自己涌现出了self-reflection能力，这意味着什么？
MSRA张丽：这其实并不是有意为之，是意外收获。后来想想，可能间接验证了self-reflection是提升大模型智商的关键能力这一点。
这种自我修正或自我反思是人类做很多事情都会使用的思维方式，可以说是一种必备能力。
我们确实没有刻意追求复现“aha moment”，但这在当时确实是个机会，很多团队都想复现，最后发现强化学习可以激发出这种能力。
MSRA张丽：我个人认为，大模型预训练数据中本来就包含人类自我反思过程的信息。
互联网上的大量数据中会自然混入一些这样的内容，因为这是人类基本的高级思考模式。
大模型经过预训练记住这些模式后，强化学习或蒙特卡洛搜索算法会将这种能力激发出来。
在解决复杂问题过程中，模型发现用了self-reflection后效果更好，蒙特卡洛算法就会把这些标记为高质量数据；
如果是强化学习，模型发现用了self-reflection后能答对，就会给这个策略更高分数。最终结果都是让模型涌现出这种能力。
MSRA张丽：确实rStar-Math比我们之前的工作受到了更多关注，完全超出了我的预期。
我想可能是因为当时o1已经出来好几个月，但还没有哪份公开的报告能说清楚它是怎么做到的。
感觉有点“破圈”效应。学术圈通常只有做同方向的人才会关注你的工作，但那时很多不做这个方向的同事朋友都发微信说某某看了我们工作想认识一下，这种情况很少见。
还有很多媒体，国内外的，都要采访我们。在X上也有大量讨论，一些人给了很高评价，认为用7B模型就能达到OpenAI o1级别表现非常不可思议。
也有人讨论2025年会不会是小模型的时代，还引发了关于scaling law与其他路线的新一轮辩论。
一开始在DeepSeek R1和Kimi 1.5出来之前，主要质疑是“小模型能力怎么会这么强”以及“这个方法能否泛化到其他任务”，所以后来我们开源了代码和数据。
后来，DeepSeek R1和Kimi 1.5出来了，有人开始讨论复现OpenAI o1效果到底是否真的需要蒙特卡洛搜索。这些质疑都很合理，因为每个人观点不同。
量子位：蒙特卡洛搜索算法的奖励模型和传统Best of N奖励模型的根本区别是什么？
MSRA张丽：根本区别是蒙特卡洛搜索算法的奖励模型是步骤级别的，是过程奖励模型。
Best of N是结果奖励模型，不关注过程，所以蒙特卡洛搜索算法效果更好。
量子位：为什么蒙特卡洛搜索算法在小模型上表现这么好？效果会不会仅限于小模型？
当时我们没有进行任何训练，甚至没有训练奖励模型，只是在小模型上应用蒙特卡洛搜索算法，发现效果非常好，甚至能与做了特殊微调后的模型效果相当。
因为System2是更高级的思维模式，有一定门槛，策略模型不能太差，而小模型作为策略模型本身就较弱。
所以为了解决小模型效果不理想的问题，如幻觉等，我们唯一做的就是加了code-augmented CoT，尽量让蒙特卡洛搜索算法效果发挥到极致。
MSRA张丽：之前它不是很主流，但学术界确实有一些工作开始关注这个方向。
MSRA张丽：目前还没看到这种趋势，大多数人还是在做强化学习。不过我知道一些其他领域的人也在尝试蒙特卡洛搜索算法。
由于我们的工作受到关注，有人联系我们，希望将这种方法应用到金融或医疗领域。一些实际场景需要较小的模型，他们可能会考虑我们的方法。
量子位：你们做了scaling law实验吗？有看到你们的工作随着参数量增加效果的变化趋势吗？
如果模型size固定，我相信蒙特卡洛搜索算法比当前基于强化学习或蒸馏的方法潜力更高。
MSRA张丽：主要有两点。第一是code-augmented CoT，虽然最初是为小模型设计的，但对更大模型也有用。
第二是我们用了过程奖励模型配合蒙特卡洛搜索算法，会做很多rollout，给不同步骤和每个trace打分。
即使是正确的trace中，我们也会挑选出更优的步骤，这相当于做了很好的数据筛选。
量子位：您认为奖励模型的重要性未来会成为共识吗？对奖励模型的研究会增多吗？
MSRA张丽：我觉得会。现实中有很多任务没有明确标准答案，很难用简单规则评价。
比如写作，你几乎无法用几条规则判断好坏，肯定需要一个更强的奖励模型来打分。
对于复杂逻辑推理问题，比如数学证明也很难做好的奖励模型，因为它不只是结果对就行，必须每一步证明都正确，需要一个非常严格的过程奖励。
要在提升大模型智商这个方向继续前进，一个优秀的过程奖励模型是必不可少的。
MSRA张丽：首先，奖励模型比策略模型更难做。奖励模型是强化学习多年来始终未完全解决的问题。
其次，奖励模型在强化学习中容易出现reward hacking问题。策略模型可能会用各种方法骗过奖励模型，实际上输出的答案并不好。
这导致强化学习无法持续进行，所以很多做强化学习的研究者会拿掉奖励模型，但本质上还是因为奖励模型目前没有很好的解决方案。
在一般问题中，奖励模型不那么准确可能还能接受，但在数学问题中，一步错误就会导致最终答案完全错误。
rStar-Math本质上是一种思路，我只需要知道每次rollout的结果是对还是错就可以应用。
当最终结果正确时，我就认为这次rollout中的每个步骤都有贡献，就会返回给它们打分，然后进行更多rollout。
如果中间某个节点每次都能导向正确答案，那可能是个正确步骤；如果经常导向错误答案，可能就是错误步骤。
打完分后，我就能收集数据构造过程奖励模型，这就是rStar-Math的核心思想。
它唯一的门槛是在rollout到根节点时需要判断这次outcome是否正确，这个门槛并不高，所以应用场景其实很广，泛化性没有问题。
MSRA张丽：我们当然希望它能有更广泛的应用，或者有人基于我们的代码在更大模型上尝试。
目前有一些第三方联系我们，比如有家公司想用这个模型做数学AI教育，还有国外一些知名实验室希望在代码类和数学证明方面合作。
有趣的是，还有一家智能车厂商联系我们，希望用我们的算法在他们的模型上复现，让我们帮助解答一些问题。
量子位：您看好rStar-Math在工业级模型上落地吗？在通用场景中，蒙特卡洛搜索算法的搜索空间会不会太大？
对通用任务，它可以用但不一定是必要的。普通大模型一次回答可能就足够接受，不需要再用System2去多次搜索。
多搜索几次可能找到比一次回答更好的答案，但两者差距可能不大，从性价比上考虑可能必要性不会特别高。
MSRA张丽：关于长文本，我们之前做LongRoPE时从算法层面提供了让预训练模型文本窗口可以拓展到无限的方案。
但要真正扩展到那么长的长度，还需要解决效率问题以及长文本数据和算力问题，这些不是我当前阶段关注的重点。
第二是进一步提升策略模型能力，希望它能学会更像人类的高级推理方式，比如主动提问或self-reflection之外的其他推理方式。
第三是扩展任务领域，除了数学外，我们还想扩展到高难度的代码推理任务，最终实现通用的深度推理能力。
MSRA张丽：我认为是的。数学推理基本上是大语言模型中最要求程序执行能力和逻辑严谨性的任务类型。
有些证明题数学家需要花几百年才能证明出来，我个人认为它应该是智能天花板的一种表现。
量子位：有种说法认为大家对提升数学能力的研究更多是因为它结果唯一、数据全且易验证，数学能力一定代表智商天花板吗？
MSRA张丽：数学任务确实更容易着手研究，效果更容易验证，但要真正提升数学推理能力并不容易。
比如FrontierMath这个高难度数学基准测试，由多名数学家出题，目前最强的模型在上面的准确率也只有2%左右。
有些非证明题甚至不需要看步骤，看答案对不对就可以了，所以可能给人感觉大模型数学能力好做。
人类的其他复杂任务可能现在各方面研究条件还不够成熟，所以感觉大家都在做数学能力。
05月23日,国家民委党组《求是》刊文：以铸牢中华民族共同体意识为主线加强和改进党的民族工作 ,
今天，我们在这里召开全室大会，对室机关党委进行换届选举，这是我们政治生活中的一件大事，也是我们政研室今年的一项重要工作。刚才，志宏代表室机关党委作了重要，回顾总结了第二届本室机关党委工作，部署了新一届机关党委的工作任务。大会还通过选举产生了新一届的机关党委。在此，我代表室领导班子向大会圆满召开和新当选的机关党委委员表示热烈的祝贺!对上一届机关党委委员所付出的辛勤劳动表示衷心的感谢!借此机会，我想对全室特别是新一届机关党委成员提几点希望和要求，与大家共勉。
这头刺兽长有一个蛟头，躯体有点像刺猬，生有一条鳄尾，体形庞大，足有七八十米长，张口喷火，顿时将一座山头都给烧的熔化了，岩浆滚滚。
05月23日,匈媒：打压中国电动车，苦果欧洲自己尝,城镇化工作会议讲线足球官方,bobapp官网下载。
一是紧紧抓住政策推进的新机遇。中央把城镇化作为“”时期的重要发展战略，今后将逐步建立健全与城镇化发展相适应的各项制度，消除制约城镇化的体制性障碍;将加大城镇基础设施投入，特别是城镇户口进一步放开，将为城镇经济发展和农村人口转移提供有力保障。随着国家促进中部崛起和新农村建设的深入推进，将会出台一系列加快中部地区发展的政策措施，包括加大资金投入，这将极大地改善中部地区的发展条件和环境，有力地促进新野城镇化大发展。二是紧紧抓住产业转移的新机遇。经济全球化的深入发展，国际国内资本和产业向内地转移步伐加快，在承接这种转移中，我们处于承东启西的有利位置，能够赢得发展先机。这将有利于承接资金、技术、人才等生产要素，推动工业集聚和人口集聚，加快城镇化进程。
,顶级官方赌场直营网,ku游网址登录入口,北京猎人国际线日,外交部：提醒中国公民避免卷入武装冲突,
如一座神钟响起，小不点通体发光，神曦化成字符，一个个的排列在空中，将他的躯体裹住，挡住了这轮攻击。
进一步加强保密工作。某近年来虽然没有发生过大的失泄密案件，但通过有关部门的几次专项检查，还是暴露出许多薄弱环节，有些单位和部门甚至存在失泄密的重大隐患，这些问题如果任其发展，后果不堪设想。对此，我们要有清醒的认识，采取措施，强化管理，牢固构筑保密安全防线。一是要切实抓好规范定密工作，从源头抓起，尽快建立和完善有关定密工作的规章制度，严格执行定密程序，坚决克服定密工作的随意性;二是高度重视电子政务建设和应用中的保密管理，重点抓好政务内网建设和应用中的保密管理，严禁涉及秘密的信息上网。三是加强保密督促检查和对失泄密案件的督查力度，弥补漏洞，减少隐患，杜绝泄密事件发生;四是抓好保密技术工作，增强保密技术防范能力，逐步改善保密设施和办文条件，努力提高地某地保密技术的整体防范能力。,老开元棋脾,博狗在线平台,美高梅赌场网站。05月23日,3954标箱！这个班列5次刷新单月发运量历史纪录,“好像没什么危险，但这只生灵有点古怪，紫云降低一点，近距离看一看。”小石昊说道。
