近来,马斯克的xAI发布了万众等待的Grok 3,20万卡的集群fully run了几个月的时刻,怼出来了现在pretraining模型的SOTA,在各种榜单上都排到了榜首。在功用方面,Grok 3在数学推理、科学逻辑推理和代码编写等范畴表现出色,在多项基准测验中逾越或比美Gemini、DeepSeek和ChatGPT等对手。除了base model外,xAI还推出了功用更强壮的Grok 3 Thinking推理形式,在benchmark上超越了o3 miniAndrej Karpathy大神表明,实操层面,Grok 3大约是o1 pro的水平,或许略超越o1 pro。
从全球AI的视点来看,xAI证明了有强壮的算力就能够更快地追逐头部模型,缩短和世界榜首的距离。马斯克也表明,将逐渐提高算力,构建几十万卡乃至百万卡的GB200集群。好像咱们之前屡次着重的,下一步的多模态、组成数据、self-play RL都需求海量算力验证能否“大力出奇观”。
可是看完xAI的发布会,咱们反而关于国内的AI开展或许愈加达观了。xAI用20万张H100,做到了超越o1和o3 mini的水平,而DeepSeek用几千张H800,就能做到o1的水平。o1和o3 mini,大约也便是差了几个月的时刻。也便是说,DeepSeek用xAI百分之二至三的算力,就能紧跟现在reasoning model全球最前沿的水平。
这不由让人想到了在制药范畴,立异药和仿制药的比照。立异药的特色便是海量的研制资源投入,经过不断试错,找到最合适的药物组成。但是,仿制药能够用十分低的本钱,完成对立异药的复现;假如做得好,作用也能够挨近立异原研药。假如说北美头部AI公司是在做立异药,那么留给我国AI公司的时机便是做最好的仿制药。仿制药相同有着十分大的商场空间,假如质量过硬,相同能发明巨大的社会和经济价值。比如在《我不是药神》这一部优异的电影里,印度的仿制药,就能够解救很多白血病患者的生命。更重要的是,立异药有知识产权维护,而现在看起来,学习、追逐大模型,暂时没有有用的相似的手法来约束追逐。
期望DeepSeek能坚持这样的功率,期望大厂们能够慢一点挖DeepSeek的人才,让我国能够有这样一片大模型研制的净土,不断给咱们我们带来更多的惊喜。