股票配资正规平台_网上股票配资申请_炒股杠杆在线申请-股票配资选股 又一机构发布推理模型,大模型从Scaling Law转向多样化探索
你的位置:股票配资正规平台_网上股票配资申请_炒股杠杆在线申请 > 炒股杠杆在线申请 > 股票配资选股 又一机构发布推理模型,大模型从Scaling Law转向多样化探索
股票配资选股 又一机构发布推理模型,大模型从Scaling Law转向多样化探索
发布日期:2024-12-27 01:42    点击次数:130

股票配资选股 又一机构发布推理模型,大模型从Scaling Law转向多样化探索

联合国秘书长古特雷斯通过视频致辞表示,世界比以往任何时候都更需要合作,应加快国际金融架构改革,增加发展融资,加强全球安全网,以实现可持续发展目标。他呼吁各方采取紧急行动股票配资选股,落实《未来契约》,为所有人建立可持续、平等和公正的未来。

第一,发挥新型研发机构的粘合作用,唤醒激活新质生产力。

自9月OpenAI发布全新AI推理大模型GPT-o1后,国内企业机构也开始了密集的更新,同步到推理模型的进程。

11月25日晚,上海人工智能实验室向社会用户开放了书生·浦语大模型,并在大模型界面发布了强推理模型InternThinker。据悉,InternThinker模型具有长思维能力,并能在推理过程中进行反思和纠正,从而在数学、代码、推理谜题等多种复杂推理任务上取得更优结果。

这个月已有多个推理模型的发布。11月16日,月之暗面Kimi宣布推出新一代数学推理模型k0-math,号称数学能力对标OpenAI o1系列。11月20日,DeepSeek发布推理模型DeepSeek-R1-Lite,称模型通过强化学习训练,在数学、代码和复杂逻辑推理任务上表现媲美o1-preview。

发布推理模型已成当前AI行业的一大趋势,上海人工智能实验室青年科学家陈恺在接受第一财经采访时表示,“目前大模型的头部机构都有研发和发布推理模型的计划,因为推理能力是大模型智能水平的重要体现,也是面向复杂应用场景的必备能力。”

强大的推理能力是迈向通用人工智能的重要基础。从应用层面来看,陈恺认为,模型推理能力的进一步提升将会带来更多的智能应用场景,可以和人更好地协作进行思考和解决高难度任务,从而推动大模型在生产力方面的应用。

在具体应用上,陈恺举例表示,一般的大模型可以在读完一份财报之后帮忙整理其中的关键信息,如果是具备强推理能力的模型,未来就可以像分析师一样帮助分析财报中的数据,给出合理的研究和预测。

在提升模型推理能力方面,陈恺提到,目前主要的难点是高密度监督数据,例如高难度的问题和更详细的思维链,这些数据在自然文本中占比很小,需要研究有效的构造方法。此外,推理能力目前的提升路径依赖有效的强化学习,在强化学习中如何提升模型的搜索效率,如何训练泛化且可靠的奖励模型以便于获取反馈也是难点。

OpenAI 9月发布的o1模型展示出强大的推理能力,在提升模型推理能力的研究中,据介绍,实验室采用的是相对独立的路线,通过设计元动作思考范式来引导模型的搜索空间,基于通专融合的方式进行数据合成,并通过构建大规模沙盒环境获取反馈,从而提升模型的性能。

具体来说,人在学习解决复杂推理任务时,并非从海量的样本中进行单点知识的学习,而是思维模式的学习——在解决问题的过程中,通过回忆相关知识点,对正确的解题过程进行理解、记忆,对错误解题等过程进行反思和修正,即对自我的认知过程进行觉察和调节,该能力也被称作元认知能力。

受元认知理论的启发,实验室的研究团队设计了一系列元动作来引导模型解决问题的过程,如对问题的理解、知识回忆、规划、执行、总结等。模型在面对复杂任务时,会显式且动态地选择元动作,再进一步展开相关动作的具体思维过程。通过这种设计,利用部分训练任务,可强化模型对关键元动作组合的使用,提升模型学习效率。

随着大模型的不断发展,陈恺认为,目前行业的研究方向从按照Scaling Law(尺度定律)简单地放大模型参数量和数据,转向了更多样化的探索。他预测,未来一部分资源投入会从预训练转向后训练,包括使用更多的推理算力来换取模型更好的性能,以及强化学习的大规模应用。

此前在发布推理模型时,谈及Scaling Law是否还有效,月之暗面Kimi创始人兼CEO杨植麟也提到了Scaling law 的范式转换,他认为,过去大模型的路径是“next token prediction”,但预测下一个词有局限性,是一个静态的数据集,没办法探索更难的任务,接下来大模型的目标是通过强化学习让AI具备思考的能力。

“接下来还能持续scale,只是过程不一样。”杨植麟认为,预训练还有半代到一代模型的空间,这个空间可能会在明年释放出来,但是他判断,接下来最重点的还是强化学习。

举报 第一财经广告合作,请点击这里此内容为第一财经原创,著作权归第一财经所有。未经第一财经书面授权,不得以任何方式加以使用,包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。 如需获得授权请联系第一财经版权部:021-22002972或021-22002335;banquan@yicai.com。 文章作者

刘晓洁

相关阅读 月之暗面发布数学推理模型

月之暗面发布数学推理模型

19 11-16 15:52 OpenAI联合创始人格雷格·布罗克曼宣布回归

OpenAI联合创始人格雷格·布罗克曼在离开总裁职位三个月后,已重返这家人工智能初创公司。

102 11-13 07:35 OpenAI计划推出下一代前沿模型Orion

消息人士称,微软内部的工程师正准备最早于11月在Azure上托管Orion。

10 74 10-25 10:10 OpenAI暗示2029年之前无法实现盈利

对OpenAI的财务文件数据分析显示,2026年亏损可能高达140亿美元,约为今年预期亏损三倍。

43 10-10 10:47 OpenAI官宣融资66亿美元 估值达1570亿美元

这是OpenAI迄今最大的风投交易股票配资选股。

115 10-03 07:54 一财最热 点击关闭