2
AI 公司 MosaicML 推出 70 亿参数模型 MPT-7B-8K，号称“一次处理 8000 字长文本、可商...
source link: https://www.8btc.com/article/6827372
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
2023-07-25 08:05
AI 公司 MosaicML 推出 70 亿参数模型 MPT-7B-8K，号称“一次处理 8000 字长文本、可商用”
据 IT 之家 7 月 25 日消息，AI 创业公司 MosaicML 近日发布了其 70 亿参数模型 MPT-7B-8K。据悉，该模型一次可以处理 8000 字文本，相当擅长处理长文重点摘要和问答，还能在 MosaicML 平台上根据特定任务，进一步微调相关配置。
据悉，系列模型采用了 150 万个 Token，并以 256 块 H100 GPU 花 3 天完成模型训练而成。MosaicML 本次发布了 3 个版本模型，包括 MPT-7B-8k、MPT-7B-8k-Instruct 和 MPT-7B-8k-Chat。
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK