2024 8 9 12:26 AM 220 次查看
分类:AI 标签:AI
最近在用大模型做多语种的翻译,选择了 2 张 4090 能部署的当前最强模型:Qwen2-72B-Instruct-GPTQ-Int4。
但在使用过程中发现了不少问题,例如:
- 速度太慢,用 vLLM 部署,32 并发时大概 300 tokens/s,每个请求其实不到 10 tokens/s。
- 指令遵循不行,当要求过多时,会随机无视一些指令。
- 喜欢废话,即使要求它只输出翻译,也可能会附带一堆多余信息。目前发现最好的方式是让它输出在一个 XML 标签里(例如 <TRANSLATION></TRANSLATION>),然后用字符串匹配或正则表达式来提取翻译。
那么有没有办法解决呢?
2024 7 14 11:11 PM 246 次查看
分类:AI 标签:AI
最近我一直在折腾大模型的推理、部署和训练,遇到了不少坑,先阶段性地总结一下。
先说下结论吧:
- 个人学习最简单的方案:16 寸 MacBook Pro M3 Max 128 GB 内存,靠谱的低价约 28000+ RMB。最大可进行约 70B Int8 量化模型的推理(如 Qwen2-72B-Instruct-GPTQ-Int8)。
- 个人学习+游戏需求:RTX 4090,不太好买,约 15000+ RMB。最大可进行约 30B Int4 量化模型或 7B 模型的推理。
- 小规模部署:双 RTX 4090。最大可进行约 70B Int4 或 AWQ 量化模型的推理(如 Qwen2-72B-Instruct-GPTQ-Int4)。
- 训练 70B 的模型:租 8 * Tesla A800/A100/H800/H100 80GB 的服务器(越往右性价比越高),每天约 1000~3000 RMB。
- 追求速度:用各个厂商的云服务。
其他不推荐的选项:
- 192 GB 内存的 Mac Studio 或 Mac Pro:型号较老,价格太贵,唯一的优势是可以进行约 70B 模型的推理。
- RTX 3090 等其他游戏显卡:相较于 RTX 4090 的性价比较低。
- Tesla A100 等高端专业显卡:价格太高,如果要进行 70B 模型的推理需要 2 张(约 15 万 RMB),性价比不如 4 张 RTX 4090。如果用于训练和微调,闲置时有点浪费。
- AMD 显卡:性价比较高,但生态不如 NVIDIA,这意味着很多库和工具不支持 AMD 显卡或性能较差,较新的论文和库一般都只有 NVIDIA 版。不适合学习,除非你确定正好能满足你的需求。
- 国产显卡:价格不低,生态较差,很多库无法使用或需要专门安装老版本的魔改版。