机器学习和统计之间的区别是什么？

在2010年图灵讲座中, Christopher Bishop 谈到机器学习正在经历一场革命,因为统计学被应用于机器学习算法......

但是它像所有的机器学习算法都是统计算法.两者之间真正的区别是什么？为什么他们在大多数大学分开课程？

统计数据基于概率模型.典型的分析首先假设您的数据是来自具有某种分布的随机变量的样本,然后对分布的参数进行推断.

机器学习可以使用概率模型,当它出现时,它与统计学重叠.但机器学习并非如此致力于概率.它也愿意使用其他不基于概率的问题解决方法.

两者之间没有太大的区别,而且主要是文化差异.机器学习来自计算机科学的根源而统计学则更具数学性.有一篇很棒的博文,名为"统计与机器学习,战斗!" 由Brendan O'Connor谈论这一点.

至于机器学习的非统计方法,有几种基于规则的方法(决策树,规则归纳,ILP),还有一些方法,如控制问题的强化学习.那些对我来说感觉不太统计,但是你可以声称他们是......如果你愿意的话,你可能会声称所有生命都属于统计决策理论(事实上,Marcus Hutter确实如此).