先提出问题，再固定方法，最后用未参与设计的数据检查结论。 本文将相关概念拆成可以逐步检查的说明，并附上具体例子与独立练习。阅读时请同时保留示例前提，不将固定图形的结论直接扩展到未说明的外部情形。
把研究问题提前写下来
开始分析前，写明你要比较的对象、指标与区间。若一边看数据一边不断修改规则，最后总能挑出一段看似漂亮的模式。提前固定问题不能消除所有偏差，但能让读者知道你原本计划检验什么，以及哪些发现是在观察之后才提出的。
把探索与验证分开
探索阶段可以寻找线索，但线索不等于已经成立的结论。应保留一部分未参与规则设计的数据，或使用后续新增记录验证。若同一批样本既用来挑选最佳方法，又用来报告最终效果，成绩容易过于乐观，这也是历史回测常见的误区。
比较对象应有合理基线
一个方法看起来命中很多次，仍需与简单基线比较，例如按已知类别比例作出的判断。基线与方法必须在相同数据和指标下比较。只挑有利区间、忽略失败成本或随时更改判断标准，会让比较失去意义，即使图表非常精致也无法弥补。
报告不确定性与未成功结果
完整分析应包括失败情况、样本限制与条件变化。结果不显著或没有稳定优势，也属于有价值的信息。删除不成功的实验再展示剩余部分，会让读者误以为方法始终有效。历史数据更适合帮助理解过去和检查假设，不等同于未来的确定承诺。
把知识放回一个具体例子
教学示例
先用前 60 条演示记录提出一个分类规则，再将后 40 条作为未见样本。验证前固定规则与评价指标，完成后报告全部 40 条结果。若效果下降，应如实说明，而不是把后 40 条重新用于挑选一个更好的规则再称为独立验证。
独立练习：检验你是否真正理解
在查看任何数据之前，先写一条待检验规则、一个指标和一个简单基线，并注明允许修改的阶段。把演示序列分为探索和验证两段，探索结束后冻结规则，再处理验证段。即使验证效果不好，也保留原计划与全部结果。最后写出哪些发现只能称为事后线索。这样的完整记录能展示分析过程是否公允，比不断重切区间直到出现好看曲线，更接近一次可评价的实验。
演示数据与分析边界
本栏目中的数字、序列和图表用于解释统计概念，均为教学演示，并非实时游戏结果或业务监测。分析前应明确样本单位、记录方式与机制假设，分析后保留局限与不确定性。历史表现只能描述给定资料，不能自动证明未来具有相同结果，更不构成命中率或收益保证。涉及独立性、均匀分布等性质时，必须同时保留其成立条件，不能从几张截图直接推断。
阅读检查清单
- 提前写问题。
- 探索与验证分开。
- 固定指标。
- 比较基线。
- 保留失败记录。
- 报告条件与限制。