首页 > 科技快讯 > 昆仑万维日前正式宣布开源其创新的Skywork-MoE 2千亿稀疏大模型

昆仑万维日前正式宣布开源其创新的Skywork-MoE 2千亿稀疏大模型

#昆仑万维宣布开源2千亿稀疏大模型Skywork-MoE#

昆仑万维日前正式宣布开源其创新的Skywork-MoE 2千亿稀疏大模型。

资料显示,Skywork-MoE模型是基于昆仑万维此前开源的Skywork-13B模型进行扩展和优化的,它成功地将MoE Upcycling技术应用于实际,成为首个完整实现该技术的开源千亿MoE大模型。

值得一提的是,Skywork-MoE还支持在单台4090服务器上进行高效推理,这降低了AI应用的部署成本。

作为天工3.0研发模型系列中的中档大小模型,Skywork-MoE拥有高达146B的总参数量和22B的激活参数量。通过采用16个Expert的设计,每个Expert大小为13B,并在每次推理中仅激活2个Expert,Skywork-MoE在保持卓越性能的同时,实现了高效的资源利用和成本控制。

昆仑万维官方表示,此次开源Skywork-MoE模型及相关技术报告和实验结果,旨在与全球开源社区共享更多的MoE训练经验和Know-how。“希望通过这种方式,推动AI行业在更低成本下实现更大规模的模型训练,为AI技术的进一步发展注入新的活力。”

发布于:北京

相关推荐

昆仑万维日前正式宣布开源其创新的Skywork-MoE 2千亿稀疏大模型
昆仑万维发布“天工2.0”MoE大模型:支持超15万个汉字上下文窗口
昆仑万维:Opera成为全球首个接入端侧AI大模型的主流浏览器
全面拥抱大模型!腾讯正式开放全自研通用大模型:参数规模超千亿、预训练语料超 2 万亿 tokens
左手倒右手引争议,昆仑万维陷投资败局?
昆仑万维宣布出售同性交友软件Grindr,4年获利32亿
昆仑万维创始人前妻减持计划带崩股价,两个交易日跌30%
周亚辉告别昆仑万维
该让大模型走出对话框了
2700亿元游戏赛道红火,昆仑万维为何执意转型?

网址: 昆仑万维日前正式宣布开源其创新的Skywork-MoE 2千亿稀疏大模型 http://m.xishuta.com/newsview120184.html

所属分类:行业热点