从零实现 nanoGPT（七）：融合 QKV，让模型实现向原版靠拢

掘金2026-10-16 13:050 次浏览

从零实现 nanoGPT（七）：融合 QKV，让模型实现向原版靠拢上一篇，我们完善了 GPT 的训练流程，加入验证集评估、学习率调度、梯度累积、梯度裁剪和断点续训。到这里，我们已经实现了一个能够训

11月2日晚，李佳琦直播间迎来双十一新爆款——千问办公Token。开卖仅半小时，就售出10万份千问办公个人会员月卡，累计约2万亿Token。李佳琦曾创下5分钟卖出1.5万支口红的成绩，被称为“口红一哥”。今年，Token也登上了他的带货清

IT之家 11 月 2 日消息，Anthropic PBC 披露，截至 9 月 30 日的第三季度营收接近 170 亿美元（IT之家注：现汇率约合 1,132.35 亿元人民币），同比暴涨 11 倍，市场对这家 AI 实验室有望创下纪录

AI 模型 Grok 将为文本输出添加不可见水印。 Grok 所属的 SpaceXSI 发给用户的电子邮件和其支持页面显示，水印将从 2026 年 11 月 7 日起生效，且仅适用于文本输出，不适用于图像。 SpaceXSI 将 “欧洲

当地时间周一上午，攻击者入侵了比利时 Delhaize 和 Carrefour 超市的冷冻柜和冰箱，并调高了温度。除了 AH 母公司 Delhaize 至少 40 家门店和 Carrefour 的 15 家门店外，比利时的肉店也受到影响。肉

医疗AI正在经历一场“祛魅”。过去两年，大模型在医疗器械赛道掀起过无数场发布会狂欢，但潮水退去后，行业不得不面对一个尖锐的拷问：在容错率极低的刚需场景里，AI究竟怎样才能从“炫技”变成“干活”，真正挤进三甲医院的核心诊疗流程？作为国内第

Apple watch Ultra 4跟Ultra 1外观基本相同，唯一区别是背面的传感器，不过内在提升非常大，全新芯片，屏幕变亮变清晰了，功能变多了，系统更加流畅，有高血压提醒睡眠呼吸暂停等等，心率检测速度更快了，还有恢复心率变异性，手势

相关文章