常见反垃圾邮件技术
随着互联网应用的深入，越来也越多的企业和组织对IT系统的依赖也达到了前所未有的程度，而邮件系统则是最成熟、最关键、最常用的IT应用之一，已经成为人们进行“正式”网络沟通、进行工作协调的最主要的工具。在这种情况下，全球日益泛滥的垃圾邮件对企业的业务造成了巨大的影响，人们对垃圾邮件也失去了以往的忍耐，着手采取各种措施来应对。
目前常见的反垃圾方案包括：
＋采用简单的客户端反垃圾邮件方案。这类方案一般是指启用FOXMAIL、OUTLOOK等邮件客户端的反垃圾邮件功能，他们具备最简单的黑白名单功能，成为最原始、最经济的反垃圾邮件需求。
＋采用专业反垃圾邮件企业和组织提供的专业反垃圾邮件网关型产品。这类产品专业、高效，能在邮件到达邮件服务器之前就进行有关“判定、处置”，可以有效的防范垃圾邮件和病毒邮件的危害，是目前为止最为专业的反垃圾邮件措施。这些专业产品包括：Cloudmark、青莲、美讯智、梭子鱼等。
＋采用由专业反垃圾邮件企业和组织提供的ASP反垃圾邮件服务，在邮件达到公司前，在第三方反垃圾邮件中心先进行过滤。提供专业反垃圾邮件服务的公司，国外主要有赛门铁克，国内主要由青莲提供的“青莲净邮”服务等。
对于企业级用户，一般选择采用专业反垃圾邮件网关设备是最好的选择。
但，反垃圾邮件相对于传统安全来讲，是一个暂新的领域，其应用的技术和手段复杂而繁多，并且同杀病毒技术一样，它一直在不断的创新和提升。所以，如何选择一款优秀的反垃圾邮件网关系统，对网管员和企业的采购决策者来讲是一个严峻的挑战。
与所有的网关型产品的选型考核思路一样，我们从以下几个方面来考量反垃圾邮件网关：
技术先进，功能适用、性能卓越、服务周到，网管无忧
1.技术
我们购买任何产品，首先要关注的就是其产品的技术先进性和功能情况。 反垃圾邮件的技术发展到现在已经到“百花齐放”的阶段，大概的来说，有这么几个流派：
（1）内容过滤及经验规则为主的。
这个技术流派，典型的包括内容过滤技术的关键字过滤、贝叶斯统计分析、URL过滤、邮件指纹过滤等等技术。这些都是比较基础、比较成熟的反垃圾邮件技术。其中关键字过滤和贝叶斯是反垃圾邮件技术中，被证明为最成熟和有效的技术之一，为各种反垃圾邮件产品所广泛采用。而指纹检查技术，是典型的经验规则技术，就是将收到的电子邮件特征与已经掌握的垃圾邮件特征知识库比较，如果一样或者相似程度非常高，就判定为垃圾邮件，这一技术也是反垃圾邮件产品中的基本技术和常见技术。
内容过滤技术和经验规则基本上都是在内容层进行“包”数据分析，然后进行比对、判断。
一般来说，应用这类技术的反垃圾邮件引擎对系统要求比较高，因为内容层的分析数据处理量比较大，如果数据结构、产品架构、设计语言、存储技术、引擎结构等等有缺陷的话，会大大降低反垃圾邮件的能力。
（2）协议分析（就是部分公司宣传时所提到的“行为分析”）
其实协议分析技术，在反垃圾邮件产品中就一直存在，只是到最近一两年才被大家广泛的说起，也是因为近年来通过非法的群发垃圾邮件的行为甚为猖獗而仅仅依靠“内容检测和经验规则”技术难以保证处理性能和效果的情况下，其效能才被放大。虽然“协议分析技术”近年来确实发展非常快，对于遏止垃圾邮件，特别是大批量群发的垃圾邮件有着很强的收效，但却远不是某些公司宣传的那样，是“第三代反垃圾邮件技术”，能够“完全根治垃圾邮件”。
协议分析，说得简单一点，就是在协议层对TCP/IP连接、SMTP等进行合规性检查。比如，是否符合RFC
821标准？是否符合正常发件人的各种连接频率数量？等等。一般是通过对正常邮件发送者TCP/IP连接频率、邮件同时发送数量、频率等特征进行一个合理的建模，对于超出正常值的部分则被认为是异常或者群发行为；对于隐藏发件人真实地址、伪造发件人域名、邮件格式错误、认证信息不准等等都是针对邮件本身的标准合规性检查。这是基于“小偷理论”来做的所谓的“行为分析”。一般来说，只有发垃圾邮件的人，才会隐藏各种信息、或者利用别人的邮件系统（计算机服务器）来发垃圾邮件，所以，如果在对邮件本身的格式标准检查、来源检查、认证检查，就能够找出这些“小偷”，从而判定其是否为垃圾邮件。
协议分析技术，对于明显的群发垃圾邮件行为有很好的阻挡作用；但对于小批量的、小范围的垃圾邮件发送却无能为力，而且在中国还不能执行严格的邮件合规性检查，比如DNS反向解析技术是一个典型的行为分析技术，我们可以通过这个技术发现“伪造发件地址”的群发，但中国大部分邮件系统没有开启反向DNS解析功能，那么在反垃圾邮件系统中采用这种技术，会造成太多的“误杀”。
（3）智能混合型反垃圾技术（内容过滤与经验规则+行为分析）
智能混合型反垃圾技术，简单的说就是综合了以上内容过滤与行为分析的反垃圾邮件技术。一般采用这类技术的产品，均需要有强大的过程化处理平台技术。过程化处理，也是近一年来反垃圾邮件领域一个非常先进的技术。它通过先进的、智能的过程化处置机制，将各种反垃圾邮件技术，按照先后顺序、有秩序、有侧重点的对邮件进行合规性检查、内容检查和路由处置。典型的过程化处理平台和混合型反垃圾邮件技术，以下图为例：
图1：过程化处理平台
过程化处理平台技术，在保证反垃圾邮件的识别率和降低误报率方面有独特的优势：
它采用的每一种反垃圾邮件技术在判定“垃圾”时，标准都比较宽松，以降低误报率；同时采用的技术手段比较多，交叉判定，能够保证垃圾邮件的识别率。
这种过程化的处理平台，在处理邮件的前期，利用协议分析解决60%的明显的垃圾邮件，对于余下的那些“疑难杂症”则交给“内容检测技术处理”，因此可以大大降低内容检测对系统资源的占用，大幅度的提高系统的整体性能。
（4）其他新技术。
由于垃圾邮件的泛滥，最近又出现了许多新技术，我们也做个简单的介绍：
SPF：SPF是微软公司推出的一种基于“信任模型”的反垃圾邮件技术。理论上来讲，这种技术对解决垃圾邮件问题，很有效果；不过，可惜的是，目前全球99.99%的邮件系统不支持这一技术。想利用它去解决垃圾邮件问题，需要全面推广和实施，否则正常的收发邮件都成问题，也就是说，以目前这种状况，SPF技术“不可能”帮助我们去反垃圾邮件。所以，许多反垃圾邮件公司说“支持SPF”，但实际上，这对于反垃圾邮件来说，它无用武之地，完全可以不考虑。
OCR图片扫描技术：由于近年来图片垃圾的猖獗，有公司就号称在其系统中应用了OCR技术，先不说这些公司能否在产品中应用OCR技术，就是OCR技术本身对图片垃圾甚至可以说是无能为力的。简单的举个例子，我们只要在图片的头部增加光栅点，OCR技术就不能处理。现在对于图形垃圾，有效的、科学的方法是“鸡尾酒”疗法。青莲反垃圾邮件网关的多维广告图片识别技术，就是一个典型。（鸡尾法疗法及针对图片垃圾的技术，另附文专门介绍。）
信任网络：信任网络是指利用信任的协作网络对垃圾邮件的判定结果，来确定这一封垃圾邮件是否应该被广泛判定为垃圾邮件，如被判定为垃圾邮件，那么系统就将这一邮件的特征信息，传播到所有的邮件用户。实际上是一种规模宏大的“经验规则”技术，或者说一种“策略型反垃圾技术”。它的前提是要有“相当大规模的用户群，并且在用户群中有相当多的信任用户为他人做贡献”。
小结：
技术的先进性是我们选购产品时最重要的一个参考因素之一，一个公司采用什么样的技术决定着他们的产品现在和将来的水平，然而，我们在购买产品时，不仅仅要购买现在，也要购买一年以后。
对于以上的技术，我的建议是：尽量采用混合型技术的产品，因为内容过滤技术与经验规则技术一定要有，仅仅行为分析是不能够提供高的垃圾邮件识别率的；但混合型反垃圾邮件技术（主要是过程化处理平台技术）只有少数公司掌握，所以求其次的是内容过滤与经验规则技术路线。对于新技术，如图片垃圾领域，我们需要密切关注，这是反垃圾的难点，也是将来的重点；而SPF技术，暂时不需考虑；信任网络技术，要看他的信任用户群，如果他是国际超级大公司，例如，它已经拥有1亿以上的用户群，可以考虑。
网友评论