每经记者 赵雯琪 每经编辑 刘雪梅
距离宣布亲自下场大模型创业“不仅仅要做中文ChatGPT”仅仅8个月,亲自李开复和他的下场需多AI公司迎来实质性进展 。
11月6日,个月38坊国际信誉【Aurl:www.8233066.com】送888元李开复带队创办的李开AI 2.0公司零一万物正式开源发布首款预训练大模型Yi-34B ,同时宣布启动下一个千亿参数模型的复收训练。目前该AI大模型已开放商用申请 ,独第梯队还并在阿里云魔搭社区ModelScope首发 。角兽进军久
《每日经济新闻》记者同时获悉,世界零一万物已完成由阿里云领投的亲自10亿美元融资 。目前,下场需多零一万物估值已超10亿美元,个月跻身独角兽行列 。李开这也就意味着 ,复收创业8个月,独第梯队还李开复再收获一家AI独角兽公司 。角兽进军久
今年以来,生成式AI成为资本市场最大的热点和风口 。国内大模型创业赛道中涌现出上百家创业公司,多个科技大厂也亲自下场 。38坊国际信誉【Aurl:www.8233066.com】送888元如今随着越来越多头部企业发布产品并陆续获得融资,国内大模型激战也进入新的阶段 。
浙江大学国际联合商学院数字经济与金融创新研究中心联席主任 、研究员盘和林在接受《每日经济新闻》记者采访时表示 ,大模型如今正呈现百舸争流 、千帆竞渡的景象,实质上大模型的基础算法并不难,难的是通过数据学习和参数积累形成一个通用人工智能 ,并被用户广泛认可 ,现阶段大模型企业要脱颖而出,应该在用户口碑中拔得头筹,大模型企业要抢占先机,推出应用要快,要早 。
据零一万物介绍,此次开源发布的Yi系列模型 ,包含34B和6B两个版本 。在Hugging Face英文测试公开榜单Pretrained预训练开源模型排名中,Yi-34B各项性能以70.72的分数位列全球第一,公开资料显示,Hugging Face是全球最受欢迎的大模型、数据集开源社区,被认为是大模型领域的GitHub,在大模型英文能力测试中具有相当权威性 。
值得一提的是 ,作为国产大模型,Yi-34B更“懂”中文。对比大模型标杆GPT-4,在CMMLU、E-Eval 、Gaokao三个主要的中文指标上,Yi-34B也具有优势 ,能更好地满足国内市场需求 。
各评测集得分 :Yi模型v.s.其他开源模型 图片来源 :零一万物
《每日经济新闻》记者从零一万物了解到 ,此次开源的Yi-34B模型,将发布全球最长、可支持200K超长上下文窗口(context window)版本,可以处理约40万汉字超长文本输入 。相比之下 ,OpenAI的GPT-4上下文窗口只有32K,文字处理量约2.5万字 。
据了解 ,在语言模型中,上下文窗口是大模型综合运算能力的金指标之一 ,对于理解和生成与特定上下文相关的文本至关重要,拥有更长窗口的语言模型可以处理更丰富的知识库信息,生成更连贯 、准确的文本 。
此外 ,在文档摘要 、基于文档的问答等下游任务中 ,长上下文的能力发挥着关键作用,行业应用场景广阔。在法律、财务 、传媒 、档案整理等诸多垂直场景里 ,更准确、更连贯 、速度更快的长文本窗口功能,可以成为人们更可靠的AI助理,让生产力提升 。
然而,受限于计算复杂度、数据完备度等问题,上下文窗口规模扩充从计算 、内存和通信的角度存在各种挑战,因此大多数发布的大型语言模型仅支持几千tokens的上下文长度。为了解决这个限制 ,零一万物技术团队实施了一系列优化,包括:计算通信重叠 、序列并行 、通信压缩等 。通过这些能力增强,实现了在大规模模型训练中近100倍的能力提升 ,也为Yi系列模型上下文规模下一次跃升储备了充足“电力”