订阅AI 帮我重新上架了 Chrome 插件：Copy Unlock
2025 4 17 11:15 AM 0 条评论 141 次查看
分类：Google Chrome 标签：CSS, Google Chrome, JavaScript
这几天交接工作比较清闲，正好又被 CSDN 的复制限制给恶心到，于是准备重做这个插件。
这几天交接工作比较清闲，正好又被 CSDN 的复制限制给恶心到，于是准备重做这个插件。
这几天交接工作比较清闲，正好又被 CSDN 的复制限制给恶心到，于是准备重做这个插件。
Go 的泛型限制真是充满各种枷锁
2025 4 11 05:16 PM 0 条评论 23 次查看
Go 框架中，排第一的是 Fast HTTP，但是文档几乎没有，看了下如果要获取一个 query 参数，大概要这样写：
ctx.QueryArgs().Peek("foo")。紧随其后的是 atreugo，写法也是类似：ctx.UserValue("foo").(string)。都 2025 年了，连 Python 都不干这种硬编码字符串和手动类型转换的事了，没想到 Go 还在做。
对 Cursor 的一些观察和思考
2025 1 26 05:32 PM 0 条评论 66 次查看
AI 自动编程评测：Cline vs GitHub Copilot vs Cursor
2024 12 26 11:13 PM 0 条评论 95 次查看
好奇之下，我准备评测一番各种自动编程的工具，看看谁是目前的王者。
这次的任务背景如下：
公司有一个服务需要调用多种大语言模型的 API，在接入其他模型时，都能通过 HTTP 接口异步调用，唯独 AWS Redrock 提供的 Claude 模型没有。
我花了几天时间去搜索文档和寻找资料，只得到这个结论：AWS Redrock 没有提供 HTTP 的接口文档，官方只提供了同步库（如
boto3）来进行调用，没有异步实现。大约半年前，我曾向 AWS 的工程师请求帮助，得到了一份复杂的代码片段，介绍了如何为 HTTP 接口调用添加签名。我简单尝试了一下，发现签名仍然错误。也许再多花几个小时修改代码，我有可能可以解决这个问题，但当时业务重心偏向 GPT-4o 模型，所以我就将其搁置了。
如今有了 AI 自动编程工具，我决定让它们来解决这个问题。
使用 ProxyChains 让 macOS 应用使用代理访问网络
2024 12 23 05:41 PM 0 条评论 42 次查看
我查看了一下 VCMI 的源码，发现它是用 Qt 的
QNetworkRequest 来创建网络连接的，没有写任何代理相关的代码。由于我是用 SOCKS5/HTTP 代理翻墙，并没有采用 VPN 这种全局代理的方式，因此只能另找方法让它使用代理。微调的上限是由底模决定的
2024 9 30 05:19 PM 0 条评论 122 次查看
当时的数据量只有 400 多条，为了避免过拟合，我一共只训练了 2 轮。为了避免相同的训练顺序对学习造成影响，还将两次训练集的顺序打乱了。
由于数据量很少，初始 loss 更低的 PiSSA 是非常推荐使用的，不然本就稀少的数据被用于降低初期较高的 loss，显得有点浪费。
之前那篇文章我没有说明 PiSSA 的原理，这里简单提一下：
LoRA 的原理是构造 2 个低秩矩阵，其中 A 矩阵是随机值，B 矩阵全是 0，它们相乘后再和原矩阵相加作为参数。
而 PiSSA 则是将原矩阵进行奇异值分解，也就是让分解得到的两个矩阵相乘等于原矩阵。当然，完全相等也没必要，一般会使用快速奇异值分解，让 A * B 近似于原矩阵即可。这样，我们在微调 A、B 矩阵时，初始状态更接近原矩阵（初始 loss 低），微调效果也更接近全参微调（最终 loss 低）。
我选用的验证集约 40 条，Qwen2-7B-Instruct 的 eval loss 大概能降到 0.3。
之后针对验证集中表现不好的例子，我又陆续构造了约 200 条数据。至此，eval loss 大概能降到 0.2。但继续增加数据量，却发现模型会出现教不会的现象。
顺便对比一些在线的模型：gpt-4o 和 gpt-4o-mini 大概到 0.14，glm-4-flash 大概到 0.25。
又到了一年一度换域名的日子
2024 9 4 12:30 AM 3 条评论 744 次查看
分类：无 标签：无
不过这次和墙以及域名注册商跑路无关，纯粹是因为去年低价买的 keakon.uk 续费太贵，加上对 .uk 没啥好感，所以再换个便宜的。
如果有订阅 RSS 的，记得把域名换成 keakon.top，其他情况我就帮不了了。
如何微调一个自用的小模型
2024 8 9 12:26 AM 0 条评论 465 次查看
但在使用过程中发现了不少问题，例如：
- 速度太慢，用 vLLM 部署，32 并发时大概 300 tokens/s，每个请求其实不到 10 tokens/s。
- 指令遵循不行，当要求过多时，会随机无视一些指令。
- 喜欢废话，即使要求它只输出翻译，也可能会附带一堆多余信息。目前发现最好的方式是让它输出在一个 XML 标签里（例如 <OUTPUT></OUTPUT>），然后用字符串匹配或正则表达式来提取翻译。
那么有没有办法解决呢？
AI 时代的显卡选择
2024 7 14 11:11 PM 0 条评论 465 次查看
先说下结论吧：
- 个人学习最简单的方案：16 寸 MacBook Pro M3 Max 128 GB 内存，靠谱的低价约 28000+ RMB。最大可进行约 70B Int8 量化模型的推理（如 Qwen2-72B-Instruct-GPTQ-Int8）。
- 个人学习+游戏需求：RTX 4090，不太好买，约 15000+ RMB。最大可进行约 30B Int4 量化模型或 7B 模型的推理。
- 小规模部署：双 RTX 4090。最大可进行约 70B Int4 或 AWQ 量化模型的推理（如 Qwen2-72B-Instruct-GPTQ-Int4）。
- 训练 70B 的模型：租 8 * Tesla A800/A100/H800/H100 80GB 的服务器（越往右性价比越高），每天约 1000～3000 RMB。
- 追求速度：用各个厂商的云服务。
其他不推荐的选项：
- 192 GB 内存的 Mac Studio 或 Mac Pro：型号较老，价格太贵，唯一的优势是可以进行约 70B 模型的推理。
- RTX 3090 等其他游戏显卡：相较于 RTX 4090 的性价比较低。
- Tesla A100 等高端专业显卡：价格太高，如果要进行 70B 模型的推理需要 2 张（约 15 万 RMB），性价比不如 4 张 RTX 4090。如果用于训练和微调，闲置时有点浪费。
- AMD 显卡：性价比较高，但生态不如 NVIDIA，这意味着很多库和工具不支持 AMD 显卡或性能较差，较新的论文和库一般都只有 NVIDIA 版。不适合学习，除非你确定正好能满足你的需求。
- 国产显卡：价格不低，生态较差，很多库无法使用或需要专门安装老版本的魔改版。
Python 的协变、逆变与不变
2024 5 29 07:45 PM 0 条评论 317 次查看
ProxiesTypes：URLTypes = Union["URL", str]
ProxyTypes = Union[URLTypes, "Proxy"]
ProxiesTypes = Union[ProxyTypes, Dict[URLTypes, Union[None, ProxyTypes]]]dict[str, str] 应该是符合它的参数签名的，然而我传入一个 dict[str, str] 参数后，Pylance 却会报错，这让我大为不解。于是我又尝试简化了一下这个问题：
from typing import Mapping
a: dict[int, int] = {}
b: dict[int, int | str] = a # error:
# Expression of type "dict[int, int]" is incompatible with declared type "dict[int, int | str]"
# "dict[int, int]" is incompatible with "dict[int, int | str]"
# Type parameter "_VT@dict" is invariant, but "int" is not the same as "int | str"
# Consider switching from "dict" to "Mapping" which is covariant in the value type
c: Mapping[int, int | str] = a
d: Mapping[int | str, int] = a # error:
# Expression of type "dict[int, int]" is incompatible with declared type "Mapping[int | str, int]"
# "dict[int, int]" is incompatible with "Mapping[int | str, int]"
# Type parameter "_KT@Mapping" is invariant, but "int" is not the same as "int | str"dict[int, int] 和 dict[int, int | str] 或 Mapping[int | str, int] 都不兼容，而与 Mapping[int, int | str] 兼容？
