历史测试的谎言
历史测试结果和实际交易结果的差异主要由四大因素造成：
1-交易者效应：如果一种方法在近期赚了很多钱，那么其他交易者很可能会注意到它，开始用类似的方法模仿它，这很容易导致这种方法的效果不像一开始那样好。
说明：交易行为本身有可能改变交易来已成功的潜在市场状态。
如：
当参与者知道突破会引发大量买单，而有意将价格推高过突破位，从而高位卖出的时候。追随趋势突破的投资者将因此而受到损失。突破不再代表着市场行为，而成为了操盘手的盈利收割行为。
2-随机效应：历史测试的结果夸大了系统的内在优势也可能是随机性的现象
3-最优化矛盾：选择特定参数的过程可能降低时候测试的预测价值。
回测的价值基础：
1：回测能够为预测带来价值，因为预测的不是具体的变化曲线，而是大概率的人性行为：这一点是不变的，是有规律的。
2:用最优化参数来进行预测，预测的结果一定差于回测，然而还是要优于未优化参数时的结果。因此，值得使用。而使用未优化参数来进行预测，预测的结果可能优于回测，但基本还是不会优于最优化参数下的结果。
3：要注意，市场上很多策略把利用最优化参数得到的回测结果当做预测真实结果来销售，其实际效果一定远低于回测效果。
4-过度拟合：系统可能泰国复杂，以至于失去了预测价值。由于它与历史数据的吻合度太高，市场行为的一个轻微变化就会造成效果的明显变化
说明：因为知道曲线走势，为了得到更好的结果而调整参数，来使得已知期间的赢利增加。
例子：为了将双重移动均线系统最后6个月的数据调整的好看，增加几条新法则：当衰落达到38%时把头寸减小90%。回报率从41.4%提升到了45.7%。 最大衰落从56%下降到了39.2%，MAR比率从0.74上升到了1.17.
但是如果看回到更长时间的曲线，会发现 衰落限制只下调了1%，系统每年盈利从47%变成了00.4%。因为下调衰落限制后，这个法则将在1996年8月生效，导致我们把头寸规模大减，以至于后期盈利太少，没能从衰落中回复元气。
由此可见，这条法则没有那么好。
参数值的微小变化却引发了交易结果的剧烈变化，这种现象被称为cliff, 峭壁。
峭壁现象也是我们认为参数最优化有益的原因：通过最优化程序，你可以发现峭壁，在开始交易之前就修正这个问题。
测试的统计学基础：
通过样本特征推断整体特征是统计学的一个领域，也是历史检验结果的未来预测价值的理论基础。
样本分析受两大因素影响：
一，样本的规模
二，样本对总体的代表性
1）不够稳健的现有指标
如果对数据稍作修改并不会显著影响一个统计指标，我们就说这个指标是稳健的。
2）稳健指标
MAR，CAGR和夏普比率是常用的衡量指标，但这些指标并不稳健，容易随参数的变化而变化。
如果改为线性回归，则变化会小很多。
稳健指标的好处，是可以部分剔除短时间，小样本，运气等带来的表现错估的问题。
3）R立方：一个新的风险回报比指标
分子：RAR
分母：长度调整平均最大衰落，包含 平均最大衰落（5次最大衰落的平均值）和长度调整( 将这5个衰落期的平均天数除以365天，然后用这个结果乘以平均最大衰落）
如果RAR 是 50%，平均最大衰落是25%，平均衰落长度是1年，则R立方=2.0 = 50%/(25%*365/365)
R立方从时间和幅度两个方面考虑了问题，对起止时间敏感度不大。
4）稳健夏普比率
稳健夏普比率就是RAR除以年华的月度回报标准差。
5）代表性样本
我们的样本交易和检验结果对未来有多大的代表性由两大因素决定：
市场数量：我们所测试的市场越多，我们就越有可能将市场的各种不同状态包含在内。
测试时间：时间跨度较长的测试会涵盖更多的市场状态，而且更有可能将具有未来代表性的历史时期包含在内。
6）幸运的系统
如果一个系统近期表现特别出众，很有可能是运气问题。一般来说，这种系统在好时期过后特别容易转入苦难时期。
7）滚动最优化
随便选择8-10年前的一天，用着一天之前的所有数据进行优化。然后用优化后的系统，测试之后的数据。
在每一个滚动期中，实际表现都与测试值大相近庭
8）蒙特卡洛检验
随机数实验。
9）别样景象
防卫系统
任何稳健的系统都有两个特点：分散化，简化。
市场分散化：
选择多个不同（关联度低）的市场是提高交易稳健性最有效的方法之一。市场越多，你就越有可能在至少某一个市场中碰到有利于你的状态。
选择市场：
1)流动性很重要：所以当时里奇决定不进入咖啡市场。
市场类型：
1） 基本面市场：比如外汇市场和利率产品市场。在这样的市场中，价格变动的主要动力并不是交易行为，而是更高层面上的宏观经济事件和影响。
2） 投机者市场：比如股票市场，咖啡，黄金，白银，原有这类期货市场
3）综合衍生市场：在这类市场中，投机行为是市场的主要动力，但投机程度有所缓和。
无论对于哪一类市场而言，同类别中的所有市场都是相同的。你只需要根据市场的类型和流动性做出决策。同一类别的市场都大同小异。偶然的差异是存在的，但长期来看你会发现，这些差异只不过源自于交易者记忆效应以及大趋势根本动因的相对含碱性和随机性。
交易者记忆效应：由于投机者对于1978年那次的黄金大趋势记忆犹新，每次金价出现上涨趋势都会引发大量抢购，导致市场变得波动很大，不适合趋势投资。
系统分散化：除了通过市场分散化，你还可以通过系统分散化来加强稳健性。
市场分散化和系统分散化都有一个要求，是资金量。大资金量才可能进入多个市场，使用多个系统。
成熟的稳健策略总是通过大资金量，在多个不同的市场中使用多个不同的系统。
