傅盛的大模型,只做百亿级,这是为啥

出品|网易科技《态度》栏目ulC致力于为用户收集丰富的生活经验知识

作者|丁广胜ulC致力于为用户收集丰富的生活经验知识

CEO永远是最后一个知道公司倒闭的人。ulC致力于为用户收集丰富的生活经验知识

这句话来自杰克·韦尔奇,他被称为全球第一CEO。傅盛引用表达人工智能变革的关键在“一把手”。ulC致力于为用户收集丰富的生活经验知识

顺着这个思路,傅盛希望带着猎户星空,在大模型时代,找到“Think Different”,服务CEO们。ulC致力于为用户收集丰富的生活经验知识

他说卷的思维模式是Think Better,创新的思维是Think Different,找到不同,是他给大模型定下的路径。ulC致力于为用户收集丰富的生活经验知识

为了教会“一把手”用好大模型,傅盛用了两个小时,从科技史讲起,高声呼喊着:ulC致力于为用户收集丰富的生活经验知识

超越OpenAI的机会一定来自大模型应用公司!未来,董事会应该考核CEO使用AI的时长!ulC致力于为用户收集丰富的生活经验知识

不做千亿级大模型,百亿就能用好用ulC致力于为用户收集丰富的生活经验知识

傅盛希望揭穿OpenAI的“阳谋”。ulC致力于为用户收集丰富的生活经验知识

“做出自己的千亿大模型,就一定能取得商业上的成功吗?如果技术没有和产品、应用形成闭环,再多技术投入都不能形成壁垒。”ulC致力于为用户收集丰富的生活经验知识

傅盛分析,现在大模型之路主流的模式,是砸钱预训练千亿级模型,微调,然后寻找应用场景。而猎户星空AI大模型创新以Think Different思维逻辑,在已知应用场景后,再微调,然后寻找合适的模型。ulC致力于为用户收集丰富的生活经验知识

“千亿大模型过半凋零,私有化百亿大模型百花盛开。”他作出判断。ulC致力于为用户收集丰富的生活经验知识

所以,猎户星空的战法,就是聚焦百亿大模型,主打够用,然后拼场景。ulC致力于为用户收集丰富的生活经验知识

行业惯例,先看跑分。ulC致力于为用户收集丰富的生活经验知识

傅盛说猎户星空的跑分是“素质教育”,坚决不刷题,真真实实。并且已经达到了媲美千亿大模型的能力。ulC致力于为用户收集丰富的生活经验知识

具体来看,猎户星空大模型Orion-14B,有140亿参数规模,Orion-14B模型在一个庞大且多样化的数据集上进行训练,数据集规模达到了2.5万亿token。ulC致力于为用户收集丰富的生活经验知识

这一规模不仅覆盖了常见语言,还涵盖了专业术语和特定领域知识,确保模型能够理解和生成多种语境下的文本。ulC致力于为用户收集丰富的生活经验知识

Orion-14B在MMLU、C-Eval、CMMLU、GAOKAO、BBH等第三方测试集上,均为同级别模型SOTA。ulC致力于为用户收集丰富的生活经验知识

傅盛的大模型,只做百亿级,这是为啥ulC致力于为用户收集丰富的生活经验知识

140亿参数,以小博大。第三方OpenCompass综合测评总分中,700亿以下参数基座模型中文数据集排名第一。ulC致力于为用户收集丰富的生活经验知识

傅盛的大模型,只做百亿级,这是为啥ulC致力于为用户收集丰富的生活经验知识

实现长文本中“大海捞针”,最长可支持320K token 超长文本,一次性读入一本小说。在三十万文字中任意位置随机隐藏关键信息,对模型进行提问,结果正确。ulC致力于为用户收集丰富的生活经验知识

傅盛的大模型,只做百亿级,这是为啥ulC致力于为用户收集丰富的生活经验知识

与此同时,通过AWQ Q4量化技术,模型大小减少70%,推理速度提升30%,可在千元级显卡可以流畅运行,在NVIDIA RTX 3060显卡实测,推理速度31 token/s (约每秒50汉字)。ulC致力于为用户收集丰富的生活经验知识

千元级显卡运行,这在希望尽快利用大模型降本增效的企业面前,非常有吸引力。ulC致力于为用户收集丰富的生活经验知识

傅盛的大模型,只做百亿级,这是为啥ulC致力于为用户收集丰富的生活经验知识

傅盛希望自己的业务先用起来,在机器人业务做得比较好的日韩市场,有了大模型的改造,要把人机对话“智障”的痛点给补上。从发布的评测结果来看,日文为JNLI等8项评测集平均得分;韩文为COPA等4项评测集平均得分;中文英文为OpenCompass对应语言评测集平均得分。ulC致力于为用户收集丰富的生活经验知识

这还不够,傅盛除了证明百亿级“能用”,还需要证明“好用”。ulC致力于为用户收集丰富的生活经验知识

他的思路是,打磨两个方向,检索增强生成(RAG)和Agent。ulC致力于为用户收集丰富的生活经验知识

即所有基于大模型搭建好的应用,想要获取实时数据,都需要建立在检索增强生成(RAG)技术之上,RAG能力微调模型 (Orion-14B-RAG)使企业能够快速整合自身知识库,构建定制化的应用。ulC致力于为用户收集丰富的生活经验知识

换句话说,猎户星空通过针对知识边界控制、问答对生成、幻觉控制、结构化数据提取等能力进行专项微调,要使之成为最适合开发RAG应用的底座模型。ulC致力于为用户收集丰富的生活经验知识

除了RAG,大模型应用可能拓宽的另一条重要路径,便是Agent。傅盛说,猎户星空大模型的Agent应用所需的五项能力包括意图识别、首轮抽参、多轮抽参、缺槽反问、插件调用,都已经接近了GPT-4的水平。ulC致力于为用户收集丰富的生活经验知识

大模型创造了人类历史的第三个科学奇迹年ulC致力于为用户收集丰富的生活经验知识

产品之外,傅盛讲述了他的思考过程。ulC致力于为用户收集丰富的生活经验知识

傅盛讲道,2023是人类历史的第三个科学奇迹年,第一次是1666年,牛顿开辟光学,创立微积分推导出引力公式,第二次是1905年,爱因斯坦发表狭义相对论、质能方程等四篇论文,第三次就是现在,2023年,GPT引领AI浪潮,技术的底层范式发生了重大变化。ulC致力于为用户收集丰富的生活经验知识

“底层范式正在改变,智能和技术“涌现”,新的创新机遇开启”,傅盛提到,AI将带来整合社会的底层重构,只靠勤奋,没有办法让自己NB起来,同质化的勤奋只会更卷,不同的道路才可能胜出。ulC致力于为用户收集丰富的生活经验知识

“卷的思维模式是Think Better,创新的思维是 Think Different”,他认为,Think Different是创新的不二法门。ulC致力于为用户收集丰富的生活经验知识

傅盛对ChatCPT出现的时刻记忆犹新,那天是2022年11月30日,他当时正在美国,ChatCPT横空出世,震惊世界,AI进入2.0时代,彻底开启生产力革命。ulC致力于为用户收集丰富的生活经验知识

当这一切发生,傅盛不停思考,什么才是属于自己的Think Different,在千家万户都做大模型的时候,他就在想,训练千亿大模型是必须的吗?训练千亿大模型本质上是资本的投入,一次训练,上千万美金,数月周期,是不是值得?ulC致力于为用户收集丰富的生活经验知识

他没有听团队的劝说,最关心的点依旧放在了如何做场景落地。ulC致力于为用户收集丰富的生活经验知识

超越OpenAI的机会来自大模型应用公司ulC致力于为用户收集丰富的生活经验知识

傅盛和金沙江创投董事总经理朱啸虎曾有过一个争论,争论的核心在于,大模型到底是不是创业者的机会。ulC致力于为用户收集丰富的生活经验知识

傅盛坚定的认为,硅谷已经有了人工智能应用一条街,这是属于应用的时代,属于创业者的机会,每个人都应该乘势而上。ulC致力于为用户收集丰富的生活经验知识

他还给出路径,把企业用AI总结成三个段位:ulC致力于为用户收集丰富的生活经验知识

第一,青铜,大家都要用。考察每个人用大模型的问句时长,每天用多少句话不达标,但发现这个更适合做文案的公司。ulC致力于为用户收集丰富的生活经验知识

第二, 黄金,例如公司有一个行政文档,员工守则、请假条例,把它灌到大模型里,问它来公司一年,想请三天假是否可以,或者明天要出差去太原,根据公司的差旅标准,可以报销多少钱的住宿,这一类就是今天被行业内广泛提的“数字员工”。ulC致力于为用户收集丰富的生活经验知识

第三,王者,企业全过程的经营数据由AI参与,使得AI可以直接给你提经营决策,比如今天该不该发布一个产品,哪些费用可以被减少,哪一个地方的工作需要加强。企业最大的成本不是用工成本,而是经营错误的成本,所以企业要想真正用好AI,应该是全流程、全数据化,完成“数字老板”,这件事情必须做到真正的流程重构。ulC致力于为用户收集丰富的生活经验知识

傅盛的结论斩钉截铁,超越OpenAI的机会一定来自应用创业者!ulC致力于为用户收集丰富的生活经验知识


ulC致力于为用户收集丰富的生活经验知识

ulC致力于为用户收集丰富的生活经验知识

本文系网易科技原创报道,更多新闻资讯和深度解析,关注我们。ulC致力于为用户收集丰富的生活经验知识

ulC致力于为用户收集丰富的生活经验知识

ulC致力于为用户收集丰富的生活经验知识

也许你还喜欢

24年最新发布:抖音小号购买批发_抖

最新发布:抖音小号购买批发_抖音白号购买

全新3D平台游戏《佩妮大逃脱》PG试

Evening Star开发并由Private Division发行的全新3D动作游戏《佩妮大逃脱》于今年2月

Windows 10市场占有率创新高!电子需

尽管微软即将于明年10月全面停止支持Windows 10,但用户们似乎并不愿意升级!最新的市场份

微信分付怎么套出来,这三个方法轻

微信分付是腾讯推出来的新功能,和支付宝的花呗十分相似,可以先付款后期再还款

2024德国慕尼黑食品展

展会展馆:德国慕尼黑新国际博览中心

Nimonic 86 高温合金 抗氧化性

高温合金概述; 高温合金是指由铬、钼、钴、镍、钛、钨、硼、铈、锆等元素组成,具有

金属修补剂修补后可以耐强酸碱吗?可

金属修补剂修复后可以耐强酸碱吗?可以耐多高的浓度的酸碱?长时间浸泡会不会脱落?那

关注 | 科创品牌持续擦亮!新中集团

科创品牌持续擦亮!近日,曾连续6年在国家级、省级科创大赛中荣获一等奖的新安中学(

山西发布《智能杆塔建设技术标准》

(来源:山西省人民政府)

Meta 的 AI 商业化,从放弃蛋白质折

机器之心PRO · 会员通讯 Week 32 ---- 本周为您解读⑭个值得细品