0

Github 2024-03-21 开源项目日报 Top10

 1 month ago
source link: https://blog.csdn.net/xiaoquqi/article/details/136895413
Go to the source link to view the article. You can view the picture content, updated content and better typesetting reading experience. If the link is broken, please click the button below to view the snapshot at that time.

根据Github Trendings的统计,今日(2024-03-21统计)共有10个项目上榜。根据开发语言中项目的数量,汇总情况如下:

开发语言 项目数量
Python项目 4
非开发语言项目 2
TypeScript项目 1
JavaScript项目 1
Batchfile项目 1
Jupyter Notebook项目 1

Grok-1开放权重模型

  • 创建周期:3 天
  • 开发语言:Python
  • 协议类型:Apache License 2.0
  • Star数量:34982 个
  • Fork数量:5643 次
  • 关注人数:34982 人
  • 贡献人数:6 人
  • Open Issues数量:50 个
  • Github地址:https://github.com/xai-org/grok-1.git

Grok-1存储库包含用于加载和运行Grok-1开放权重模型的JAX示例代码,该模型具有314B参数的大尺寸。该模型设计采用了8个专家的混合(MoE)架构,64个层,48个用于查询的注意头,8个用于键/值,以及其他附加功能,如旋转嵌入(RoPE)和支持激活分片和8位量化。代码和相关的Grok-1权重在此版本中受Apa


About Joyk


Aggregate valuable and interesting links.
Joyk means Joy of geeK