元象大模型开源30款量化版本 可更低成本部署
source link: https://www.chinaz.com/2024/0328/1606564.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
元象大模型开源30款量化版本 可更低成本部署
2024-03-28 14:08 · 稿源：站长之家
站长之家(ChinaZ.com) 3月28日 消息:元象大模型开源了30款量化版本，支持 vLLM 和 llama.cpp 等主流框架的量化推理，无条件免费商用。
对量化前后的模型能力、推理性能进行评估，以 XVERSE-13B-GPTQ-Int4量化版本为例，量化后模型权重压缩了72%，总吞吐提高了1.5倍，同时保留了95% 的能力。
开发者可以根据技能、软硬件配置和具体需求选择不同推理框架和数据精度的模型。如果本地资源有限，可以直接调用元象大模型的 API 服务（chat.xverse.cn）。
总体来说，元象大模型的开源量化版本提供了方便快捷的部署方式，可以根据需求选择不同的框架和精度模型进行部署和推理。
元象大模型下载：
Hugging Face:https://huggingface.co/xverse
ModelScope魔搭:https://modelscope.cn/organization/xverse
Github:https://github.com/xverse-ai
AiBase副业搞钱交流群
欢迎大家加入AiBase交流群， 扫码进入，畅谈AI赚钱心得，共享最新行业动态，发现潜在合作伙伴，迎接未来的赚钱机遇！。
（举报）
AI正版系统源码推荐：小狐狸GPT-AI付费创作系统+开源可二开+私有知识库+聚合15家主流AI接口
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK