6

低显存可跑的本地大语言模型 RWKV 体验

 2 years ago
source link: https://blog.dreamfall.cn/post/RWKV/
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.
neoserver,ios ssh client

低显存可跑的本地大语言模型 RWKV 体验

发表于 2023-07-04|更新于 2023-07-04|资源分享
字数总计:844|阅读时长:2 分钟 | 阅读量:6| 评论数:0

本项目旨在消除大语言模型的使用门槛，全自动为你处理一切，你只需要一个仅仅几 MB 的可执行程序。此外本项目提供了与 OpenAI API 兼容的接口，这意味着一切 ChatGPT 客户端都是 RWKV 客户端。 —— RWKV

项目地址： GtiHub

1.webp
  1. 傻瓜式操作，不需要手动配置环境，直接直接一键安装运行即可。
  2. 最低 2G 显存即可运行，同时支持 CPU 运行
  3. 与 OpenAI API 兼容，可以使用任何 OpenAI API 的客户端

安装过程非常简单，只需要在 Releases 下载对应的可执行文件运行即可。

可在右下角选择不同的启动参数（GPU 和显存大小，CPU 和内存大小）以及模型（参数数量，语言类型）。

选择合适的选项后，点击启动即可。

第一次启动，他会自动下载模型和依赖，下载进度可在下载选项卡查看。

依赖和模型安装完后，点击运行即可。

当模型加载完后，即可在 聊天 选项卡进行聊天。

先列出我的配置：

  • CPU：i7-12700H
  • 内存：16G
  • 显卡：RTX 3060 6G

体验了 GPU-4G-3B-CN 、GPU-4G-7B-CN 、GPU-6G-3B-CN 这三个模型

先说整体的使用体验，这个项目给了我一个非常大的惊喜，整体的体验意外的不错。

运行这三个模型的主要瓶颈是内存，16GB 的内存实在是小，其中运行 GPU-4G-7B-CN 这个模型时，我的内存已提交达到了 36GB，还好 Windows 有他非常强大的分页文件，也是勉强运行成功了。

模型加载完后，内存的占用会明显降低，也就加载的时候比较折磨。

首先，我尝试的是 GPU-4G-7B-CN 这个模型，由于参数过多，AI 的回复速度非常慢，大概一秒 1-2 个字，体验一般，像极了高峰期的 ChatGPT，出字非常慢。但是效果比 3B 的好很多，回复的内容基本都是挺有逻辑的。

GPU-4G-3B-CN 和 GPU-6G-3B-CN 这两个模型，回复速度非常快，基本上是秒回，体验非常好。对于短句的回复基本一样，GPU-6G-3B-CN 对于大段文字的推理速度更快，毕竟吃的显存大。

功能比较完整，基本上类似于 ChatGPT，但由于模型参数小，所以还是会出现逻辑错误。
2G 显存可以运行，要啥自行车。

上下文聊天

基本没问题，也是语言模型最基础的功能了

相对还行，至少不会出现明显的语法错误

还行，但是会出现逻辑错误

能回答问题，语言也挺通顺

调教猫娘（？）

由于本地模型没有语言核查的限制，调教相对还挺成功的（

不得不说，开源社区的力量真的是强大，能将大语言模型的运行门槛下放到这么低，现在这个项目还在不断更新，也许不久后就会推出个人模型训练的功能，到时候就能真正拥有一个自己的赛博猫娘了。


report

Recommend

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK