2024 8 9 12:26 AM 220 次查看
分类：AI 标签：AI
最近在用大模型做多语种的翻译，选择了 2 张 4090 能部署的当前最强模型：Qwen2-72B-Instruct-GPTQ-Int4。
但在使用过程中发现了不少问题，例如：
- 速度太慢，用 vLLM 部署，32 并发时大概 300 tokens/s，每个请求其实不到 10 tokens/s。
- 指令遵循不行，当要求过多时，会随机无视一些指令。
- 喜欢废话，即使要求它只输出翻译，也可能会附带一堆多余信息。目前发现最好的方式是让它输出在一个 XML 标签里（例如 <TRANSLATION></TRANSLATION>），然后用字符串匹配或正则表达式来提取翻译。
那么有没有办法解决呢？
2024 7 14 11:11 PM 246 次查看
分类：AI 标签：AI
最近我一直在折腾大模型的推理、部署和训练，遇到了不少坑，先阶段性地总结一下。
先说下结论吧：
- 个人学习最简单的方案：16 寸 MacBook Pro M3 Max 128 GB 内存，靠谱的低价约 28000+ RMB。最大可进行约 70B Int8 量化模型的推理（如 Qwen2-72B-Instruct-GPTQ-Int8）。
- 个人学习+游戏需求：RTX 4090，不太好买，约 15000+ RMB。最大可进行约 30B Int4 量化模型或 7B 模型的推理。
- 小规模部署：双 RTX 4090。最大可进行约 70B Int4 或 AWQ 量化模型的推理（如 Qwen2-72B-Instruct-GPTQ-Int4）。
- 训练 70B 的模型：租 8 * Tesla A800/A100/H800/H100 80GB 的服务器（越往右性价比越高），每天约 1000～3000 RMB。
- 追求速度：用各个厂商的云服务。
其他不推荐的选项：
- 192 GB 内存的 Mac Studio 或 Mac Pro：型号较老，价格太贵，唯一的优势是可以进行约 70B 模型的推理。
- RTX 3090 等其他游戏显卡：相较于 RTX 4090 的性价比较低。
- Tesla A100 等高端专业显卡：价格太高，如果要进行 70B 模型的推理需要 2 张（约 15 万 RMB），性价比不如 4 张 RTX 4090。如果用于训练和微调，闲置时有点浪费。
- AMD 显卡：性价比较高，但生态不如 NVIDIA，这意味着很多库和工具不支持 AMD 显卡或性能较差，较新的论文和库一般都只有 NVIDIA 版。不适合学习，除非你确定正好能满足你的需求。
- 国产显卡：价格不低，生态较差，很多库无法使用或需要专门安装老版本的魔改版。
订阅
