当前位置: 首页 > 科技

零一万物回应大模型争议:尊重开源社区的反馈,将更新代码

21世纪经济报道记者白杨 北京报道

11月14日,针对开源社区Hugging Face提出的“除了两个张量被重命名外,大模型Yi完全使用了 Llama 的架构”一事,零一万物向21世纪经济报道记者回应称,“在大量训练实验过程中,由于实验执行的需要对代码做了更名,我们尊重开源社区的反馈,将代码进行更新,也更好的融入Transformer生态。”

11月初,由创新工场董事长兼CEO李开复创办的AI公司“零一万物”正式发布了开源大模型“Yi”。当时,对于为何选择做开源大模型,李开复表示,“零一万物的发展受益于此前开源社区的一些集体智慧,这也让我们有义务去做一些贡献”。

在回应中,零一万物也表示,GPT是一个业内公认的成熟架构,Llama在GPT上做了总结。零一万物研发大模型的结构设计基于GPT成熟结构,借鉴了行业顶尖水平的公开成果,由于大模型技术发展还在非常初期,与行业主流保持一致的结构,更有利于整体的适配与未来的迭代。同时基于零一万物团队对模型和训练的理解做了大量工作,也在持续探索模型结构层面本质上的突破。

其同时强调,模型结构仅是模型训练其中一部分。Yi 开源模型在其他方面的精力,比如数据工程、训练方法、baby sitting(训练过程监测)的技巧、hyperparameter设置、评估方法以及对评估指标的本质理解深度、对模型泛化能力的原理的研究深度、行业顶尖的 AI infra 能力等,投入了大量研发和打底工作,这些工作往往比起基本结构能起到更大的作用跟价值,这些也是零一万物在大模型预训练阶段的核心技术护城河。

据记者了解,Yi团队开源总监也在Hugging Face社区中表达了歉意,称“这个命名问题是工作疏忽。在大量的训练实验中,团队对代码进行了重命名以满足实验要求,但是在发布版本之前没有将它们切换回来。对此很抱歉。”

(作者:白杨 编辑:张伟贤)

开源社区 新浪众测 新浪众测 新浪科技公众号 新浪科技公众号

“掌”握科技鲜闻 (微信搜索techsina或扫描左侧二维码关注)

相关新闻
本文来源于网络,不代表陕西法制网立场,转载请注明出处
转发到:
拓展阅读
  • 11 月 28 日消息,上周,特斯拉 Model Y 长续航版涨价 2000 元,至 30.44 万元。今天,特斯拉中国官网显示,Model Y 长续航版再次涨价 2000 元,现已升至 30.64 万元。11 月以来,特斯拉已经进行过四轮[全文]
    2023-11-29 03:10
  • 11月16日,不少用户反应近期在抖音上刷到付费的短视频。而在当天,#抖音测试付费短视频#快速冲上热搜。抖音此次测试付费短视频,即用户在观看创作者的内容时,部分内容需要付费解锁才能全部观看,涉及范围不仅包括短剧领域,还拓展至知识、娱乐等几乎全[全文]
    2023-11-18 03:05
  • 上汽大众从过去的高高在上,到现在将身段放到了尘埃里,让外界看到了这家老牌合资公司自我变革的诚意。21世纪经济报道记者 何芳 郑植文 实习生 刘宁宇 肖宇轩 王庆伟 北京、上海报道“想干总会有办法,不想干总会有理由。”今年2月,在贾健旭掌舵上[全文]
    2023-11-16 03:10
  • 腾讯控股发布2023年第三季度财报,显示其在本季度取得了显著的财务成绩。根据财报数据,在增值服务收入方面,国际市场游戏收入增长14%,达到133亿元人民币;本土市场游戏收入增长5%,达到327亿元人民币;社交网络收入为297亿元人民币。在广[全文]
    2023-11-16 03:05
  • 今天(15日)上午,浙江省宁波市慈善总会收到了一封厚厚的挂号信。信封上署名“顺然”,落款地址是不存在的宁波市人民路1号。“顺其自然”又来了!信封里是一叠厚厚的汇款收据,共110张,其中108张9999元,1张55元,一张53元,累计108万[全文]
    2023-11-16 03:04
  • 21世纪经济报道记者白杨 北京报道11月14日,针对开源社区Hugging Face提出的“除了两个张量被重命名外,大模型Yi完全使用了 Llama 的架构”一事,零一万物向21世纪经济报道记者回应称,“在大量训练实验过程中,由于实验执行的[全文]
    2023-11-15 03:04
阿里云服务器
腾讯云秒杀
Copyright 2003-2023 by 陕西法制网 shx.dcxinwen.cn All Right Reserved.   版权所有