麦教授|与其追求精确的错误,不如寻找大约的正确

麦教授|与其追求精确的错误,不如寻找大约的正确
2021年06月24日 09:04 香港奇点财经

奇点财经推送于6月24日

It's better to be approximately right rather than precisely wrong.

与其追求精确的错误,不如寻找大约的正确。

——诺贝尔奖经济学家凯恩斯(John Maynard Keynes)

一个好的投资组合不仅仅是一长串的好股票和债券。它是一个平衡的整体,为投资者提供保护和机会,以应对各种可能遇到的情况。

——诺贝尔奖经济学家哈利·马可维兹(Harry Markowitz)

在做预测时,“误差小”和“方差小”这两个目标有时不可兼得。这时就要考虑统计和机器学习里一个重要的问题:误差-方差均衡问题(bias-variance tradeoff)。

误差可以定义为我们模型的预期预测均值和我们试图预测的正确值之间的差异。高误差会导致我们的模型对变量之间的关系描述不准确,因此导致未来做预测时出错。这也就是所谓的拟合不足(underfitting)。

方差是指模型对给定数据点预测的精确度。当存在高方差时,会导致随机噪声被引入到模型中,这时即便预测的均值是准确的,但是由于预测值太分散,并不能很好的提供判断依据。模型出现过度拟合(overfitting)时,会出现方差变大的问题,导致预测结果不可信。

「误差-方差均衡问题」

上图中,目标的中心(靶心)代表一个具有完全准确预测的模型,当预测点远离靶心时,预测准确性越来越差。

误差-方差均衡问题有四种情况:

左下角的情况是高误差低方差,有理论支持的经济和金融模型或线性的机器学习模型(如线性回归和逻辑回归)通常会有这样的特点,得到的模型比较容易拟合不足。

右上角的情况是低误差高方差,一些非参数或非线性机器学习算法(如深度学习)有这个特点,得到的模型比较容易过度拟合。我们的目标是创建左上角那样的低误差低方差的模型。

在机器学习的监督学习(supervised learning)中,当一个模型无法捕捉数据的底层规律时,就会发生拟合不足,这些模型通常具有高误差和低方差。这种情况发生常常是因为我们想用非常少的数据量来训练模型,或者当我们试图建立一个线性模型来描述非线性数据时。

在监督学习中,当我们的模型在捕捉数据底层规律时把噪声也当做信号学习了的时候,就会发生过拟合。当我们在有噪声的数据集上用复杂的模型做大量训练时就会发生这种情况。这些模型通常具有低误差和高方差的特性。

「拟合的各种情况」

我们可以通过观察最佳拟合线来识别拟合不足和拟合过度。在上面左边图中,拟合线(红线)几乎跟随了每一个数据点(蓝点),甚至可能是噪声或离群值的数据点,用了这样的模型在做预测时就会出现高方差的问题,在样本内完美预测,但是样本外会有非常大的偏离。

在上面中间图中我们可以看到,这条拟合线很简单,并没有跟随许多数据点,因此在样本内外模型都会显示出高误差。我们的目标是在这两个极端之间找到一个平衡点,以便用适当的误差和偏离度来解释大多数数据点。

「模型复杂度与模型总偏离」

我们的目的是让模型能够对样本外的数据做很好的分析,这个目标也叫模型的泛化(generalization)。上图显示,我们可以通过建立一个更复杂的模型来降低方差,但这样一来,模型预测时就会有更大的误差。反之,如果我们选择一个复杂度较低的模型,这时误差可能较低,但我们就有可能要面对更高的方差。蓝线表示的误差随着模型复杂度降低,绿线表示的方差随着模型复杂度上升,我们要衡量二者的关系,对总偏离做优化,得到总偏离的最小值,也就是图中黑色虚线表示的最优模型复杂度。

如何防止过度拟合和拟合不足呢?

对于拟合不足:需要确保有足够的训练数据,使误差/成本函数(如“均方误差MSE”或“和方差SSE”)充分最小化。

对于过度拟合:

限制模型中变量或可调整参数的数量。随着变量数量的增加,模型的复杂性也会增加,从而产生更高的过拟合几率。

缩短训练时间,使模型不会对训练数据进行“过度学习”。

在误差/成本函数中加入某种形式的正则化项(regularization),以鼓励更平滑的模型预测结果,有兴趣的读者可以参考Ridge回归或Lasso回归。所谓“正则化”听着很复杂,其实就是降低方差的意思。

交叉验证(cross validation)以最小化均方误差。

在金融模型中,马可维兹的现代资产组合理论(Modern Portfolio Theory,MPT)的基本思路就是在抬高收益率的同时寻求最小的风险,所以这个理论也叫做均值-方差资产组合理论(Mean Variance Portfolio Theory)。

「马可维兹(Harry Markowitz)」

马可维兹1952年发表了他对经济学和金融学领域贡献巨大的开创性论文《投资组合选择》(Portfolio Selection),最终在1990年因此获得了诺贝尔经济学奖。

这个理论有一些非常重要的假设,很多时候人们只看到了理论的结果而忘掉了要检查假设是否成立(很多对这个理论的批评其实也是由于批评者没有仔细看这些假设而想当然的认为这个理论应该放之四海而皆准)。

现代资产组合理论的假设:

投资者是理性的,会尽可能的规避风险

投资者以追求投资收益最大化为目标

所有的投资者都有一个共同的目标,那就是使他们的预期收益最大化

不考虑市场的佣金和税收

所有投资者都能获得相同来源和相同水平的,所有必要的投资决策信息

投资者可以无限制地以无风险利率借贷资金

像牛顿假设摩擦力不存在一样,这些假设只是为了不受其它因素的影响而让讨论更加有意义。

现代投资组合理论讨论的是风险厌恶的投资者如何构建投资组合,在给定的风险水平下实现预期收益最大化的。这个理论的突破性见解是:不需要孤立地分析各种投资的风险和收益特征,而可以看这些投资如何影响投资组合的表现。这个理论强调:投资者只有在有可能获得更高的预期收益时才会承担额外的风险,所以“高风险、高回报”。

很多人对“高风险、高回报”的理解是:只要承担了高风险就可以获得高回报。这样的理解是错误的。这两句话的关系不是“只要...就一定”,而是“只有...才可能”。也就是说,“高风险”不是“高回报”的充分条件,而是必要条件。

这个理论的基本原理是投资者可以构建一套有效的投资组合,也叫“有效前沿”(efficient frontier),在给定的风险水平下提供最大的预期收益,同理也可以在给定收益期望的前提下承担最低的风险。投资者对风险的承受能力决定了他们选择的“有效投资组合”的类型。

不同的投资组合会产生不同的预期收益,马可维兹证明了通过分散投资可以找到最优的投资组合配置。由于投资组合的收益受资产的性质及其在投资组合中的权重的影响,投资者只需要构建不同的投资组合,就可以在风险偏好下获得最大的预期收益,而这一切只要对投资做线性组合就可以完成了。

当然这么美好的事是有前提条件的,前面我们讨论了这个理论的假设,很明显这些假设在现实中很难成立。

很多金融机构和投资者都把波动率作为重要的风险指标。这其实是不得已而为之,因为这个度量很容易计算,很容易理解。

巴菲特认为波动率并不是衡量风险的标准,他把风险定义为“受到伤害的可能性”。在巴菲特看来,有40%回报率的投资并不一定比5%回报率的投资风险更大。这在金融学研究里也是一个非常多人在争论的话题。

巴菲特说,虽然他是个风险厌恶者,但我们会惊讶于他可能会在七比五的翻转上投入多少钱。"我们去概率好的地方。"

芒格总结道:"我们表现得好像从来没有听说过现代金融理论一样,这只能用恶心来形容。"(本文编辑:王晓梅)

财经自媒体联盟更多自媒体作者

新浪首页 语音播报 相关新闻 返回顶部