由于最近在写一篇关于大数据分类的论文(吐槽一下:导师天天催),所以在图书馆借了几本有关大数据的书籍。今天看《New Internet 大数据挖掘》(感兴趣的可以看一下)中提到垃圾邮件过滤,让我联想到昨天在1280社区看到一道名企面试题,“在游戏实时交流中,怎么过滤那些广告?”。当时想到的是关键词过滤,也没细想。
其实垃圾邮件过滤跟广告过滤是一种,使用最多的是朴素贝叶斯算法。
贝叶斯定理是关于随机事件A和B的条件概率(或边缘概率)的一则定理。
(参见维基百科http://zh.wikipedia.org/wiki/%E8%B4%9D%E5%8F%B6%E6%96%AF%E5%AE%9A%E7%90%86)
通过对大量已经判定的垃圾邮件和正常邮件进行学习,根据两种邮件中相同词语出现的概率对比来确定垃圾邮件的可能性。优点是准确率高,缺点是需要大量的历史数据。