首页注册登录

g0147456g 最近的时间轴更新

g0147456g

V2EX 第 665227 号会员，加入于 2023-11-30 19:10:16 +08:00

g0147456g 提问技术话题好玩工作信息交易信息城市相关

g0147456g 最近回复了

183 天前

回复了 leeum 创建的主题 › Local LLM › 使用 llama3:70b 本地化部署， 100 人左右的并发，大概需要多少块 4090 才能满足？

4090 估计是完全不行。4bit 量化下仍然需要 40+GB 的显存，而 4090 不支持 nvlink ，难以多卡并行

» g0147456g 创建的更多回复

关于 · 帮助文档 · 博客 · API · FAQ · 实用小工具 · 2682 人在线 最高记录 6679 ·

Select Language

创意工作者们的社区

World is powered by solitude

VERSION: 3.9.8.5 · 10ms · UTC 14:58 · PVG 22:58 · LAX 06:58 · JFK 09:58
Developed with CodeLauncher
♥ Do have faith in what you're doing.