2

AMD分享新AI大语言测试结果:搭载Ryzen AI的处理器性能优于Core Ultra - 超能网

 1 month ago
source link: https://www.expreview.com/92786.html
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

AMD分享新AI大语言测试结果搭载Ryzen AI的处理器性能优于Core Ultra

Strike发布于 2024-3-15 11:18

本文约 670 字、9 张图表,需 2 分钟阅读

其实对于AI PC来说,AMD其实是要比Intel更早入场的,去年推出采用Phoenix核心的锐龙7040系列处理器就配备了Ryzen AI单元,而今年推出采用Hawk Point核心的锐龙8040系列处理器把AI单元正式改名为NPU,同样采用XDNA架构,但算了从10 TOPS提升到16 TOPS,而在应用方面,AMD这段时间在客户端和本地AI工作的软件优化方面投入了大量工作,在最新发布的官方测试表明配备Ryzen AI的AMD处理器在新的AI测试中超越了Intel的Core Ultra。

RyzenAI_09.jpg

AMD对比了15W的Ryzen 7 7840U和28W的Core Ultra 7 155H,两款对比用的笔记本均搭配了16GB LPDDR5-6400内存,并更新到了最新的驱动。

RyzenAI_01.jpg

测试在本地运行LLM,包括LLama 2、Mistral AI_、code llama和RAG等一系列模型,本地运行人工智能模型在私密性方面会比在云端更有保障,而且可以节省订阅费用。AMD正在进一步进入这一领域,并发布了本地运行大语言模型的指南,详细介绍了如何在本地部署属于自己的AI聊天机器人。

RyzenAI_02.jpg

首先是Mistral Instruct 7B LLM,与Core Ultra 7 155H相比,Ryzen 7 7840U仅用了61%的时间就完成了AI处理。

RyzenAI_03.jpg
RyzenAI_04.jpg

而在Llama 2 7B聊天速度仅用时54秒Ryzen 7 7840U就完成了任务。

RyzenAI_05.jpg
RyzenAI_06.jpg

Ryzen 7 7840U在LLama v2 Chat 7B (Q4 KM)中性能比对手高了14%,在Mistral Instruct 7b (Q4 KM)中性能则高出17%。LLama v2 Chat的首次令牌速度快了79%,在Mistral Instruct 7B LLM中的First token速度快了41%。

RyzenAI_07.jpg
RyzenAI_08.jpg

需要注意的是,Ryzen 7 7840U的功耗限制是要比Core Ultra 7 155H要低的,而且NPU速度也稍慢一些,Ryzen 7 7840U的NPU是10 TOP,而Core Ultra 7 155H则是11 TOP。如此采用同样28W功耗而且NPU提速到16 TOP的锐龙8040处理器的话优势会更明显。

由于AMD的Ryzen AI上市更早,这能让AMD收到更多的市场反馈,能让他们对下一代CPU的AI性能进行优化,下一代采用Zen 5内核的Strix Point系列会把NPU升级到XDNA 2架构,算力会进一步提升,以适应日渐成熟的AI应用。


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK