会员登录 - 用户注册 - 设为首页 - 加入收藏 - 网站地图 AI 公司 MosaicML 推出 300 亿参数模子 MPT!

AI 公司 MosaicML 推出 300 亿参数模子 MPT

时间:2024-11-01 01:47:30 来源:幽花余妍网 作者:百科 阅读:546次

IT之家 6 月 25 日新闻 ,公司AI 守业公司 MosaicML 克日宣告了其语言模子 MPT-30B ,推出该模子具备 300 亿参数 ,亿参磨炼老本“仅有其余同类竞品模子的数模零头” ,有望匆匆妨碍业逐渐飞腾此类模子磨炼老本 ,公司扩展 AI 模子在更普遍规模的推出运用 。

MosaicML 公司的亿参首席实施官兼散漫独创人 Naveen Rao 展现 ,MPT-30B 的数模磨炼老本为 70 万美元(约 502.44 万元国夷易近币) ,远低于 GPT-3 划一类产物所需的公司数万万美元磨炼老本 。此外,推出由于 MPT-30B 的亿参老本较低 ,体积较小,数模它也可能更快捷地被磨炼 ,公司而且更适宜部署在当地硬件上。推出

据悉,亿参MosaicML 运用了 Alibi 以及 FlashAttention 技术来优化模子,可能实现更长的文本长度以及对于 GPU 合计的更高运用率 。MosaicML 也是少数多少个可能运用 Nvidia H100 GPU 的试验室,比照以往下场,当下每一块 GPU 的吞吐量削减了 2.4 倍以上,可带来更快的实现光阴。

除了让 AI 技术更易取患上之外,MosaicML 还专一于后退数据品质并后退模子功能。他们当初正在开拓一款工具,可能辅助用户在预磨炼历程中分层退出特定规模的数据 ,以确保磨炼中歇业实现多样化以及高品质的数据组合。

MosaicML 公司展现  ,将模子扩展到 300 亿参数只是第一步 ,接下来他们将以飞腾老本为条件 ,推出体积更大、品质更高的模子 。

IT之家留意到,当初开拓者可能从 Hugging Face 下载并运用开源的 MPT-30B 根基模子 ,开拓者还可能在当地硬件上运用自己的数据 ,对于模子妨碍微调  。

(责任编辑:时尚)

推荐内容
  • 国米大胜重返榜首,AC米兰客场落败
  • 【对话】巴黎前高管:姆巴佩最迟明年走?未必张子枫未修生图流出,被网友公开批评:她的胸碍了谁的“意淫梦”?
  • 网易严选人体工学椅型号那么多,(小蛮腰、开拓者、女神椅、探索者、工程师、领航员)等该如何选择?天安门上毛主席像已挂73年,还要挂多久?早在1980年邓公便已解答
  • 【NBA】保罗交换比尔?太阳与奇才即将达成重磅交易
  • 国内首次!可复用火箭复用飞行成功财联社2023-12-11 11:58财联社2023-12-11 11:58
  • 重磅!奇才送比尔至太阳 患上到保罗+沙梅特+次轮签