keakon的涂鸦馆

• 速度太慢，用 vLLM 部署，32 并发时大概 300 tokens/s，每个请求其实不到 10 tokens/s。
  
• 指令遵循不行，当要求过多时，会随机无视一些指令。
  
• 喜欢废话，即使要求它只输出翻译，也可能会附带一堆多余信息。目前发现最好的方式是让它输出在一个 XML 标签里（例如 <OUTPUT></OUTPUT>），然后用字符串匹配或正则表达式来提取翻译。
  

• 个人学习最简单的方案：16 寸 MacBook Pro M3 Max 128 GB 内存，靠谱的低价约 28000+ RMB。最大可进行约 70B Int8 量化模型的推理（如 Qwen2-72B-Instruct-GPTQ-Int8）。
  
• 个人学习+游戏需求：RTX 4090，不太好买，约 15000+ RMB。最大可进行约 30B Int4 量化模型或 7B 模型的推理。
  
• 小规模部署：双 RTX 4090。最大可进行约 70B Int4 或 AWQ 量化模型的推理（如 Qwen2-72B-Instruct-GPTQ-Int4）。
  
• 训练 70B 的模型：租 8 * Tesla A800/A100/H800/H100 80GB 的服务器（越往右性价比越高），每天约 1000～3000 RMB。
  
• 追求速度：用各个厂商的云服务。
  

• 192 GB 内存的 Mac Studio 或 Mac Pro：型号较老，价格太贵，唯一的优势是可以进行约 70B 模型的推理。
  
• RTX 3090 等其他游戏显卡：相较于 RTX 4090 的性价比较低。
  
• Tesla A100 等高端专业显卡：价格太高，如果要进行 70B 模型的推理需要 2 张（约 15 万 RMB），性价比不如 4 张 RTX 4090。如果用于训练和微调，闲置时有点浪费。
  
• AMD 显卡：性价比较高，但生态不如 NVIDIA，这意味着很多库和工具不支持 AMD 显卡或性能较差，较新的论文和库一般都只有 NVIDIA 版。不适合学习，除非你确定正好能满足你的需求。
  
• 国产显卡：价格不低，生态较差，很多库无法使用或需要专门安装老版本的魔改版。
  

URLTypes = Union["URL", str]
ProxyTypes = Union[URLTypes, "Proxy"]
ProxiesTypes = Union[ProxyTypes, Dict[URLTypes, Union[None, ProxyTypes]]]

from typing import Mapping

a: dict[int, int] = {}
b: dict[int, int | str] = a  # error:
# Expression of type "dict[int, int]" is incompatible with declared type "dict[int, int | str]"
#   "dict[int, int]" is incompatible with "dict[int, int | str]"
#     Type parameter "_VT@dict" is invariant, but "int" is not the same as "int | str"
#     Consider switching from "dict" to "Mapping" which is covariant in the value type
c: Mapping[int, int | str] = a
d: Mapping[int | str, int] = a  # error:
# Expression of type "dict[int, int]" is incompatible with declared type "Mapping[int | str, int]"
#   "dict[int, int]" is incompatible with "Mapping[int | str, int]"
#     Type parameter "_KT@Mapping" is invariant, but "int" is not the same as "int | str"

1. 循环次数：从 100% 用到 0%，或是从 100% 用到 50%，充满后再用到 50% 都算一次循环次数。可以理解为总共使用了多少电量，所以长期插电使用，而不是用电池供电是正确的。
   
2. 温度：充电会导致电池温度上升，而过高（> 35°C）和过低（< 0°C）的温度都会影响电池的性能。一般越接近 25°C 越好。所谓的快充伤电池，其实是快充会导致电池升温更快。
   
3. 充放电深度：过度的充放电（特别是放电）都可能对锂电池造成不可逆的损伤，尽量避免充电至 80% 以上和放电至 20% 以下。例如 100% 的充放电深度，大概 300 次循环次数就会使健康度降到 70%，80% 的充放电深度则可以到 400 次，10% 的充放电深度则可以到 6000 次（但是相当于只使用 10% 电池容量）。
   

• 「过热保护」可以在电池温度过高时停止充电。
  
• 「续航模式」可以避免短暂用电后又充到上限这种微小充电，不过这也没啥危害。
  
• 「控制 MagSafe LED」可以在达到充电上限停止充电时使 MagSafe LED 显示绿色，而不是充电中的橙色。
  
• 「图标样式」可以改成「咬合状态」，用来区分不同的充电状态。
  
• 「硬件电池百分比」可以更精确地显示和控制电量，macOS 为了避免过度充放电，一般会隐藏一小部分电量。（比如充到 95% 就显示充满了，还剩 5% 时显示成没电了。）