第四讲 · 为什么需要独立验证：预注册与验证管线

第二章 · 诚实的验证（第一讲）
学习目标：理解"工厂自报成绩"与"独立验证"的制度差异；掌握预注册、DSR、样本外一次性判定等核心概念。
前置：第一章（尤其第二讲的"三个必问"）。

1. 从一个问题开始

第一章末尾留了一个数字：290 个因子，自报超额最高 +26.5%，独立验证零存活。这一讲回答："独立验证"到底独立在哪，凭什么它的结论比工厂的数字更可信？

先看一个对照。工厂回测和独立验证做的是相似的事——都是拿历史数据算因子收益。差别不在算力、不在代码质量，在制度：

一句话：工厂回测回答"如果用它会怎样"，独立验证回答"它是不是真的"。前者是描述，后者是统计判决。

这是全部验证科学的第一性原理，值得慢慢讲透。

设 290 个因子全部是纯噪声（与未来收益零相关）。每个因子在 5% 显著性水平下做检验，期望产出 290 × 0.05 ≈ 14.5 个"显著有效"。这 14.5 个因子在排行榜上与真因子长得一模一样——显著性不会在你脸上写"我是运气"。

人手动做研究时这个问题就存在（学术界管它叫 p-hacking 的温床）；LLM 循环把基数放大了两个数量级，把成本降到了零——于是多重检验从"需要警惕的偏差"升级成"系统的主导性失效模式"。

对付它的唯一制度化手段是预注册（pre-registration）：

预注册的本质不是仪式感，是把研究者的自由度（researcher degrees of freedom）在结果出来之前锁死。你在第二讲见过的"参数可调的叠加因子"是在因子内部消耗自由度；"看完结果再决定用什么基准、什么窗口、什么门槛"是在验证环节消耗自由度——后者更隐蔽，杀伤力更大。

以本课程配套的真实管线为例（AIResearchPlatform，与工厂分仓、独立拉数）：

验证面板不从战役面板拷贝，而是从数据源独立拉取重算。原因直接来自实战：carry 因子 +18% 的双重复权 bug 藏在战役面板的构建代码里——如果验证直接消费这份面板，bug 会被原样继承，纠错永远不会发生。（口径问题的专题在第三章。）

真实战役用到的门槛示例（写入预注册文档后才允许接触 OOS 数据）：

DSR（Deflated Sharpe Ratio）：对 Sharpe 做多重检验校正——你试了 N 个策略，显著性门槛就要相应抬高。N 越大，门槛越高，头名越难过线
主副裁判：主判据之外设一个口径不同的副判据（如价格口径 vs 资金费率口径），两者不一致时不得判"支持"
分年度约束：不允许"全部收益来自某一年"的结构——单年贡献超过上限即否决，防止把一段行情当成了规律
正交化对手：候选必须对已知风格因子（动量、价值、低波、流动性）做正交后仍有残差 alpha；被已有因子解释掉的部分不算新发现

样本外数据是消耗品：每用一次就被污染一次。规范是一段 OOS 窗口只允许做一次判定——

验证报告落盘存档（数据指纹、代码版本、门槛数值），任何人任何时刻可复算。这不仅是科学规范，也是给自己未来的保险——第九讲会讲到，多个重大勘误（包括 +18% 假 carry）正是因为"历史结论可以复算"才被发现和纠正的。

这套制度产出的三种结局，每种都有真实案例，构成接下来两讲的内容：