360智脑7B参数大模型正式开源 最长支持约50万字输入
source link: https://www.chinaz.com/2024/0415/1610137.shtml
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
360智脑7B参数大模型正式开源 最长支持约50万字输入
2024-04-15 09:03 · 稿源：站长之家
站长之家（ChinaZ.com）4月15日 消息:360公司自主研发的7B参数大模型——360智脑，现已正式上线开源社区，并提供了基础模型以及4K、32K、360K三种不同文本长度的版本。
这一大模型在支持文本长度方面表现出色，最长可处理360K长文本，相当于约50万字的输入内容。令人惊叹的是，仅需3秒钟，它便能读完整部《三体》。
目前，在开源模型领域，360智脑7B无疑是支持文本长度最长的大模型之一。
为了方便开发者使用，360智脑7B大模型不仅提供了全套的微调训练代码和推理代码工具集，而且实现了开箱即用。这一举措极大地简化了开发流程，让行业无需再为处理长文本而犯愁。
在性能评估方面，360智脑7B大模型同样表现出色。通过OpenCompass与国内外同参数模型进行对比，其综合能力排名前三。在C-Eval、MMLU、HellaSwag、LAMBADA等多项能力测试中，360智脑7B均获得了第一的成绩，显示出强大的中英文知识和推理理解能力。即便是面对“弱智吧”贴吧的“刁难”，它也能从容不迫地作出清晰应答。
在LongBench评测中，360智脑7B大模型的长文本处理能力同样令人瞩目。在同等参数模型的测评中，它成功拿下最高分。同时，在中英文360K大海捞针效果测试中，也取得了超过98%的高分。这一成绩的背后，得益于360智脑7B采用的无损压缩技术，它摒弃了传统的滑动窗口attention、跳跃attetion等有损压缩路线，实现了超长文本的无损处理
项目地址：https://github.com/Qihoo360/360zhinao
AiBase副业搞钱交流群
欢迎大家加入AiBase交流群， 扫码进入，畅谈AI赚钱心得，共享最新行业动态，发现潜在合作伙伴，迎接未来的赚钱机遇！。
（举报）
AI正版系统源码推荐：小狐狸GPT-AI付费创作系统+开源可二开+私有知识库+聚合15家主流AI接口
Recommend
About Joyk
Aggregate valuable and interesting links.
Joyk means Joy of geeK