2

Groq 的速度真的好快啊

 1 month ago
source link: https://www.v2ex.com/t/1034466
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

V2EX  ›  分享发现

Groq 的速度真的好快啊

  coinbase · 11 小时 22 分钟前 · 2418 次点击

这是什么原理

25 条回复
BIND

BIND      11 小时 16 分钟前 via Android

确实快,感觉这个 AI 它上辈子是个哑巴,这辈子急着说话。我问题刚问完,它就库喳一下子答完了。
a1b2c3T

a1b2c3T      10 小时 41 分钟前 via iPhone

刚去试了一下,确实好快啊,不像 gpt 一个字一个字往外蹦…蹲一个大佬解释一下
waynevan

waynevan      10 小时 38 分钟前

用的自研芯片,不是英伟达的
xiaohundun

xiaohundun      10 小时 37 分钟前

你不看看他用的什么模型,lama3-8b
cat9life

cat9life      10 小时 33 分钟前

@xiaohundun #4 所以算力要求很低?
xiaohundun

xiaohundun      10 小时 30 分钟前

@cat9life 8b 很低,不过我看他可以切换模型 70b ,也挺快的,这要看他的使用量,像是 ChatGPT 、Claude.ai 使用量大,慢一点不奇怪,当然也可能是他的 LPU 引擎很牛
tianzi123

tianzi123      10 小时 29 分钟前

我去,速度太快了,有点不适应了
yianing

yianing      10 小时 27 分钟前

@xiaohundun #4 8b 是 800t/s ,70b 是 280b/s ,都挺离谱的
idragonet

idragonet      10 小时 19 分钟前

测试下还是快,不过正式库很老。
ThinkStu

ThinkStu      10 小时 18 分钟前

感觉速度挺快,质量不如 GPT3.5...
492

492      10 小时 18 分钟前

准确率怎么样,我随手测了下速度确实快
rambo92

rambo92      10 小时 16 分钟前

确实快,不过还是没有解决 鲁迅为什么殴打周树人 的问题 哈哈哈
youmilk

youmilk      9 小时 58 分钟前

@rambo92 模型换 70b
securityCoding

securityCoding      9 小时 31 分钟前 via Android

llama3 8b 模型我在 8G 显存开发机上跑,速度快到起飞
WashFreshFresh

WashFreshFresh      9 小时 27 分钟前

为啥 web 登录上去不能发消息...
aduangduang

aduangduang      9 小时 27 分钟前   ❤️ 1

快是真快,傻也是真傻
pkoukk

pkoukk      9 小时 18 分钟前   ❤️ 2

你别问我对不对,我就问你快不快吧
lichuyi

lichuyi      9 小时 6 分钟前

@rambo92
鲁迅为什么殴打周树人
鲁迅( 1881-1936 )和周树人( 1885-1957 )是中国现代文学家和作家,两人都是中国文学界的知名人物。关于鲁迅殴打周树人,实际上是鲁迅在 1927 年的一篇文章《周树人》中提到的事件。

根据鲁迅的描述,1925 年,他和周树人在上海的一家咖啡馆中遇见,周树人在喝咖啡时,鲁迅认为他喝的咖啡太多,鲁迅便殴打周树人。鲁迅在文章中解释说,他殴打周树人是因为周树人喝的咖啡太多,鲁迅认为这是对中国文化的污染。

然而,这个事件的真实性和鲁迅的描述是否准确,仍然是一个争议的问题。一些学者认为,这个事件可能是鲁迅的虚构或夸大,旨在攻击周树人和中国文化。周树人本人也没有留下关于这个事件的记载。

总之,鲁迅殴打周树人事件的真实性和原因仍然是一个争议的问题,需要更多的证据和研究来确定事件的真实性。
ZekeChin

ZekeChin      8 小时 56 分钟前

@rambo92 准不准是模型的问题啊,Groq 单单只负责推理。
当然他有没有对模型做量化是不知道的,如果做的那确实会影响部分结果
LesterZz

LesterZz      4 小时 58 分钟前

@lichuyi 选 Llama3-70b-8192 回答的很正确,也很快
chiu

chiu      3 小时 13 分钟前

Q: 鲁迅为什么殴打周树人

GPT-4-1106-preview: 实际上,鲁迅与周树人是同一个人。鲁迅是周树人的笔名,他是中国现代文学的重要作家、思想家。所以,鲁迅和周树人不存在任何殴打事件,因为不存在两个不同的人。
你可能是对鲁迅的生平或文学作品产生了一些误解。在鲁迅的作品中,他以深刻的社会批判和讽刺知名,但这些都是通过文字表现出来的,而非真实生活中的肢体冲突。
如果有人谈论“鲁迅殴打周树人”,那么这很可能是对他的写作风格的一种比喻性描述,意指他在作品中对自己或者社会某种倾向的无情剖析和自我批判。
elonlo

elonlo      1 小时 0 分钟前

@lichuyi
llama3-70b 回复已经很好了
A famous myth-busting opportunity! 😄

鲁迅 (Lu Xun) did not beat up 周树人 (Zhou Shuren). In fact, 周树人 is actually the pen name of 鲁迅 himself.

鲁迅 (1881-1936) was a renowned Chinese writer, critic, and intellectual, considered one of the most important figures of modern Chinese literature. His real name was 周树人 (Zhou Shuren), and 鲁迅 was his pen name.

So, it's not possible for 鲁迅 to have beaten up 周树人, as they are the same person! 😊
lurui45

lurui45      5 分钟前

哪个模型性能最强

About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK