全球主机交流论坛

标题: grok-1 怎么部署到本机啊. [打印本页]

作者: 稀土掘金 时间: 2024-3-18 15:44
标题: grok-1 怎么部署到本机啊.
grok-1 怎么部署到本机啊.

作者: ChrisWilson 时间: 2024-3-18 15:45
你啥显卡就说部署

作者: tdd 时间: 2024-3-18 15:45
可能需要一台拥有 628 GB GPU 内存的机器（每个参数 2 字节）。这么算下来，8xH100（每个 80GB）就可以了。

作者: 稀土掘金 时间: 2024-3-18 15:47

ChrisWilson 发表于 2024-3-18 15:45
你啥显卡就说部署

对不起.冒昧了.

作者: masir 时间: 2024-3-18 15:47
大模型自己部署就不要想了

作者: 稀土掘金 时间: 2024-3-18 15:48

tdd 发表于 2024-3-18 15:45
可能需要一台拥有 628 GB GPU 内存的机器（每个参数 2 字节）。这么算下来，8xH100（每个 80GB）就可以了。 ...

才628GB GPU啊. 算了, 电脑都不值得开机一次.

作者: houzai 时间: 2024-3-18 15:58
个人的话用ollama上谷歌gemma加open webui

作者: func 时间: 2024-3-18 15:58
最低需要几百G的显存。好像下载那个几百G的模型，然后运行目录下的python脚本就可以了？

作者: 巴厘岛火山 时间: 2024-3-18 17:49
收藏一下就好啦，哈哈

作者: 我是老王 时间: 2024-3-18 17:52
要H100 一块就20多万。 MJJ有这个实力的就不多

作者: szkin 时间: 2024-3-18 17:52
遥遥领先有能力运行吗？显卡有没有禁。

作者: peng123 时间: 2024-3-18 20:38
百度：啊哈哈哈老子终于等到你开源啦

欢迎光临全球主机交流论坛 (https://hostloc.9hanju.com/)