反垃圾邮件网关的选型标准考量录

常见反垃圾邮件技术

随着互联网应用的深入，越来也越多的企业和组织对IT系统的依赖也达到了前所未有的程度，而邮件系统则是最成熟、最关键、最常用的IT应用之一，已经成为人们进行“正式”网络沟通、进行工作协调的最主要的工具。在这种情况下，全球日益泛滥的垃圾邮件对企业的业务造成了巨大的影响，人们对垃圾邮件也失去了以往的忍耐，着手采取各种措施来应对。

　　目前常见的反垃圾方案包括：

　　 ＋采用简单的客户端反垃圾邮件方案。这类方案一般是指启用FOXMAIL、OUTLOOK等邮件客户端的反垃圾邮件功能，他们具备最简单的黑白名单功能，成为最原始、最经济的反垃圾邮件需求。
 　 ＋采用专业反垃圾邮件企业和组织提供的专业反垃圾邮件网关型产品。这类产品专业、高效，能在邮件到达邮件服务器之前就进行有关“判定、处置”，可以有效的防范垃圾邮件和病毒邮件的危害，是目前为止最为专业的反垃圾邮件措施。这些专业产品包括：Cloudmark、青莲、美讯智、梭子鱼等。
　　 ＋采用由专业反垃圾邮件企业和组织提供的ASP反垃圾邮件服务，在邮件达到公司前，在第三方反垃圾邮件中心先进行过滤。提供专业反垃圾邮件服务的公司，国外主要有赛门铁克，国内主要由青莲提供的“青莲净邮”服务等。
　　对于企业级用户，一般选择采用专业反垃圾邮件网关设备是最好的选择。 但，反垃圾邮件相对于传统安全来讲，是一个暂新的领域，其应用的技术和手段复杂而繁多，并且同杀病毒技术一样，它一直在不断的创新和提升。所以，如何选择一款优秀的反垃圾邮件网关系统，对网管员和企业的采购决策者来讲是一个严峻的挑战。
　　与所有的网关型产品的选型考核思路一样，我们从以下几个方面来考量反垃圾邮件网关：
　　 技术先进，功能适用、性能卓越、服务周到，网管无忧

1.技术

　　我们购买任何产品，首先要关注的就是其产品的技术先进性和功能情况。 反垃圾邮件的技术发展到现在已经到“百花齐放”的阶段，大概的来说，有这么几个流派：

（1）内容过滤及经验规则为主的。
　　这个技术流派，典型的包括内容过滤技术的关键字过滤、贝叶斯统计分析、URL过滤、邮件指纹过滤等等技术。这些都是比较基础、比较成熟的反垃圾邮件技术。其中关键字过滤和贝叶斯是反垃圾邮件技术中，被证明为最成熟和有效的技术之一，为各种反垃圾邮件产品所广泛采用。而指纹检查技术，是典型的经验规则技术，就是将收到的电子邮件特征与已经掌握的垃圾邮件特征知识库比较，如果一样或者相似程度非常高，就判定为垃圾邮件，这一技术也是反垃圾邮件产品中的基本技术和常见技术。
　　内容过滤技术和经验规则基本上都是在内容层进行“包”数据分析，然后进行比对、判断。 一般来说，应用这类技术的反垃圾邮件引擎对系统要求比较高，因为内容层的分析数据处理量比较大，如果数据结构、产品架构、设计语言、存储技术、引擎结构等等有缺陷的话，会大大降低反垃圾邮件的能力。

（2）协议分析（就是部分公司宣传时所提到的“行为分析”）
　　其实协议分析技术，在反垃圾邮件产品中就一直存在，只是到最近一两年才被大家广泛的说起，也是因为近年来通过非法的群发垃圾邮件的行为甚为猖獗而仅仅依靠“内容检测和经验规则”技术难以保证处理性能和效果的情况下，其效能才被放大。虽然“协议分析技术”近年来确实发展非常快，对于遏止垃圾邮件，特别是大批量群发的垃圾邮件有着很强的收效，但却远不是某些公司宣传的那样，是“第三代反垃圾邮件技术”，能够“完全根治垃圾邮件”。
　　协议分析，说得简单一点，就是在协议层对TCP/IP连接、SMTP等进行合规性检查。比如，是否符合RFC 821标准？是否符合正常发件人的各种连接频率数量？等等。一般是通过对正常邮件发送者TCP/IP连接频率、邮件同时发送数量、频率等特征进行一个合理的建模，对于超出正常值的部分则被认为是异常或者群发行为；对于隐藏发件人真实地址、伪造发件人域名、邮件格式错误、认证信息不准等等都是针对邮件本身的标准合规性检查。这是基于“小偷理论”来做的所谓的“行为分析”。一般来说，只有发垃圾邮件的人，才会隐藏各种信息、或者利用别人的邮件系统（计算机服务器）来发垃圾邮件，所以，如果在对邮件本身的格式标准检查、来源检查、认证检查，就能够找出这些“小偷”，从而判定其是否为垃圾邮件。
　　协议分析技术，对于明显的群发垃圾邮件行为有很好的阻挡作用；但对于小批量的、小范围的垃圾邮件发送却无能为力，而且在中国还不能执行严格的邮件合规性检查，比如DNS反向解析技术是一个典型的行为分析技术，我们可以通过这个技术发现“伪造发件地址”的群发，但中国大部分邮件系统没有开启反向DNS解析功能，那么在反垃圾邮件系统中采用这种技术，会造成太多的“误杀”。

（3）智能混合型反垃圾技术（内容过滤与经验规则+行为分析）
　　智能混合型反垃圾技术，简单的说就是综合了以上内容过滤与行为分析的反垃圾邮件技术。一般采用这类技术的产品，均需要有强大的过程化处理平台技术。过程化处理，也是近一年来反垃圾邮件领域一个非常先进的技术。它通过先进的、智能的过程化处置机制，将各种反垃圾邮件技术，按照先后顺序、有秩序、有侧重点的对邮件进行合规性检查、内容检查和路由处置。典型的过程化处理平台和混合型反垃圾邮件技术，以下图为例：

图1：过程化处理平台

　　过程化处理平台技术，在保证反垃圾邮件的识别率和降低误报率方面有独特的优势： 它采用的每一种反垃圾邮件技术在判定“垃圾”时，标准都比较宽松，以降低误报率；同时采用的技术手段比较多，交叉判定，能够保证垃圾邮件的识别率。
　　这种过程化的处理平台，在处理邮件的前期，利用协议分析解决60%的明显的垃圾邮件，对于余下的那些“疑难杂症”则交给“内容检测技术处理”，因此可以大大降低内容检测对系统资源的占用，大幅度的提高系统的整体性能。

（4）其他新技术。
　　由于垃圾邮件的泛滥，最近又出现了许多新技术，我们也做个简单的介绍：
　　SPF：SPF是微软公司推出的一种基于“信任模型”的反垃圾邮件技术。理论上来讲，这种技术对解决垃圾邮件问题，很有效果；不过，可惜的是，目前全球99.99%的邮件系统不支持这一技术。想利用它去解决垃圾邮件问题，需要全面推广和实施，否则正常的收发邮件都成问题，也就是说，以目前这种状况，SPF技术“不可能”帮助我们去反垃圾邮件。所以，许多反垃圾邮件公司说“支持SPF”，但实际上，这对于反垃圾邮件来说，它无用武之地，完全可以不考虑。
　　OCR图片扫描技术：由于近年来图片垃圾的猖獗，有公司就号称在其系统中应用了OCR技术，先不说这些公司能否在产品中应用OCR技术，就是OCR技术本身对图片垃圾甚至可以说是无能为力的。简单的举个例子，我们只要在图片的头部增加光栅点，OCR技术就不能处理。现在对于图形垃圾，有效的、科学的方法是“鸡尾酒”疗法。青莲反垃圾邮件网关的多维广告图片识别技术，就是一个典型。（鸡尾法疗法及针对图片垃圾的技术，另附文专门介绍。）
　　信任网络：信任网络是指利用信任的协作网络对垃圾邮件的判定结果，来确定这一封垃圾邮件是否应该被广泛判定为垃圾邮件，如被判定为垃圾邮件，那么系统就将这一邮件的特征信息，传播到所有的邮件用户。实际上是一种规模宏大的“经验规则”技术，或者说一种“策略型反垃圾技术”。它的前提是要有“相当大规模的用户群，并且在用户群中有相当多的信任用户为他人做贡献”。

小结：
　　技术的先进性是我们选购产品时最重要的一个参考因素之一，一个公司采用什么样的技术决定着他们的产品现在和将来的水平，然而，我们在购买产品时，不仅仅要购买现在，也要购买一年以后。
　　对于以上的技术，我的建议是：尽量采用混合型技术的产品，因为内容过滤技术与经验规则技术一定要有，仅仅行为分析是不能够提供高的垃圾邮件识别率的；但混合型反垃圾邮件技术（主要是过程化处理平台技术）只有少数公司掌握，所以求其次的是内容过滤与经验规则技术路线。对于新技术，如图片垃圾领域，我们需要密切关注，这是反垃圾的难点，也是将来的重点；而SPF技术，暂时不需考虑；信任网络技术，要看他的信任用户群，如果他是国际超级大公司，例如，它已经拥有1亿以上的用户群，可以考虑。

反垃圾邮件的功能

2．功能
　　在选择产品时，技术是一方面，然而优秀的技术，未必就是优秀的产品。作为购买者来说，最重要是解决问题，所以，功能是否满足需求，是衡量反垃圾邮件产品的一个重要指标。反垃圾邮件产品，功能比较清晰，我们需要关注的有：

（1）反垃圾邮件功能
　　反垃圾邮件产品，当然要有反垃圾邮件功能。但，这句话不是废话。衡量反垃圾邮件功能，需要综合的、同时的考虑两个指标：垃圾邮件识别率和垃圾邮件误报率——识别率要高，误报率要低。专业的反垃圾邮件公司提供的网关型产品，应该都能够达到90%以上。但在这里，需要补充一句，这个识别率是要在误报率在1/5000—1/10000之间才有参考意义。举个例子，如果识别率是99%，然而误报率在20%，这样的产品，还能信任吗？以牺牲误报率来提高识别率，或者以牺牲识别率来缩小误报率，这样的数据，没有任何参考的价值。因此，我们说仅仅提识别率或者仅仅提误报率，毫无意义。这两个指标是“兄弟”，要高都高，要低都低。
　　反垃圾邮件的功能，我们还需要关注“反”各种类型垃圾的能力。
　　图片垃圾：尤其是最近大幅度飙升的‘图片型’垃圾，其中图片型垃圾又分为附件图片、正文图片、图文混合等等。
　　附件垃圾：对于附件的检查能力是考验反垃圾邮件能力的一个重要指标。
　　恶意或者广告的URL：这也是最近比较难以防止的一种垃圾邮件，普通的内容过滤与贝叶斯很难判断，因为其内容完全正常，没有一个广告或者其他的非法内容，只是URL后面的网站有问题，所以URL检查很重要。
　　其他基本的文本型垃圾过滤：这个是最基本的反垃圾能力。

　　需要强调的是：当一封邮件被网关判定为垃圾邮件或者正常的邮件时，我们在日志中一定要能够清楚的知道原因，不能做个糊涂的使用者。特别是对于垃圾邮件，我们要清楚：是谁给我发了垃圾邮件，用的是什么IP和邮箱账号，是什么原因将这封邮件判定为垃圾，等等。要做到“知其然”，也要“知其所以然”。透明化的日志，是我们判定一个产品是否专业的很重要的要素。特别是看不到日志具体内容的“阻断型”垃圾，我们需要清楚它的来源，以避免有误杀，并且能够采取措施进行补救。

（2）杀病毒邮件能力。
　　有资料显示，现在40%的病毒是通过电子邮件传播的。最普通的病毒就是采用邮件附件的方式传播，现在更出现了一些病毒或者恶意代码，直接潜入到信体中，是专门针对邮件系统写的。
　　针对这种情况，我们需要考虑的是，这个反垃圾邮件网关采用什么样的反病毒系统，一般专业些的产品，都会采用多层杀毒系统。

（3）管理简单、维护简单
　　对于管理和维护，很少被网管员或者采购者所关注。最普遍的想法是：功能设置越复杂，就越“高级”。这是一个很大的思想误区！！！殊不知，少就是多，简单才不简单。好的产品，应该是把大部分的功能放在后台，要做到“解放网管”，而尽量的把配置简单化、智能化，以减少网管的工作量；界面要尽量的简洁明了、信息要明确有效，这才是一款对网管来说的好产品。
　　后期维护就更需要注意了。在反垃圾邮件领域里，如果没有自学习能力，就需要占用网管人员的大量时间，后期维护量非常大。所以，在选择反垃圾邮件产品时，一定要考查它是否具有智能自学习功能，是否能够越来越精确，是否可以“解放网管”。

（4）良好的自身安全性。
　　作为一款安全产品，自身安全性是非常重要的。因此，我们要考查反垃圾邮件系统是软件的还是硬件的，是专用操作系统还是通用操作系统，是否有防DOS攻击的机制等等。

（5）其他一些辅助功能。
＋日志分析：
　　日志分析对反垃圾邮件产品有一定的作用，但用处不大。我认为的，反垃圾邮件产品只要有日志查询、统计管理功能就行了，而所谓的饼状图、条状图等都没有什么用；如果一定要，也不建议放在反垃圾邮件网关上（因为大量的图形和统计分析会占用系统资源，影响系统性能和稳定性），而是单独提供一个日志分析软件，把日志导出到管理员的电脑中来分析统计。

＋负载均衡：
　　负载均衡的功能，对于反垃圾邮件系统基本没用。如果需要两台反垃圾邮件设备负载均衡，倒不如买个高型号、高性能的产品。因为，负载均衡本身就占用了大量的系统资源，两台设备一堆叠，对整体性能提高不大。所以，如果一定要堆叠，那么，我建议还是额外买一台专业的负载均衡设备。

＋双机热备：
　　双机热备的功能对于一般的企业也没有什么用。反垃圾邮件系统不是日志系统，而且，购买两台设备也是资源的浪费。

＋邮件挽回和补救措施：
　　反垃圾过程中不可避免的会产生误判和漏判，那么就需要反垃圾邮件系统提供完备的挽回机制以及科学有效的补救（或叫修正）措施。常见的有：A.分用户维护和管理能力。可以让用户自己设置自己的个性化反垃圾策略，同时自己可以纠正、找回错判的邮件。B.反垃圾反向修正功能。比如针对RBL的RWL功能等。

小结：
　　对于产品功能，正确的做法是“抓大放小，抓住核心兼顾辅助”。选购反垃圾邮件产品，我们首先要关注的是反垃圾邮件和病毒邮件的功能。其他的都是虚的。我们需要擦亮眼睛，不要被厂商说的什么负载均衡、日志分析能力，什么其他的这个那个的花花功能所迷惑，我们要抓住本质，就是“反垃圾能力如何”！！！
　　对于反垃圾邮件能力，我们一定还要全面的仔细的考查其对各种类型垃圾邮件的识别能力。如果一款产品，它只关注文本垃圾，不关注图形垃圾，只关注垃圾邮件本身，病毒功能非常差，那它肯定不是一款好产品。

反垃圾邮件产品的性能

3．性能
　　反垃圾邮件产品的性能很重要，但也往往很难去判定甄别，因为在测试时，性能测试环境和过程都不好控制。看一款反垃圾邮件产品的性能如何，一般从一下几个方面去考察：

（1）产品设计语言
 　　这个从一般公司的技术白皮书里就可以看出来。 现在反垃圾邮件产品，有用C开发的、也有用JAVA的，还有用PEAL的等等。做IT的人都知道，C语言对于系统性能方面，有先天的优势，但界面可能不够美观；而JAVA与PEAL等语言开发的产品，尽管在界面上可能会好看些，但牺牲了系统性能和数据处理能力。

（2）产品设计结构。
　　反垃圾邮件网关，有大量的数据包分析过程，这其中需要对数据进行存储、读取、修改、对各种系统文件的调用等等。 我们在选型时，看看各产品设计结构的“复杂程度”，一般来说，如果反垃圾邮件引擎本身在数据存储、文件管理等方面还需要外挂一个数据库或者文件目录管理软件的话，会大大降低系统的整体性能：从一个系统调用另一个系统的数据，并进行存储等操作，接口是一个大大影响系统性能和稳定的瓶颈。有些反垃圾邮件系统本身自带数据库或者说本身就是数据库化设计，直接存储、调用底层数据，而不需要额外的外挂数据库，这可以大幅度提高系统的处理数据。 建议重点考虑的是，那种数据库化设计、一体化设计或者外挂程序和系统少的反垃圾邮件系统。

（3）反垃圾邮件引擎技术的特征。
     不同的反垃圾邮件引擎对系统的影响是不一样的。
　　一般来说，内容检测和经验规则类技术会对系统系统占用比较大，所以这类技术的产品，比较适合中小型应用环境，但是他们的反垃圾邮件的精度比较好，技术比较成熟。
　　协议分析技术，对系统资源的占用最少，他们在邮件到达网关之前就处理了，所以基本上不会在网关上处理数据，但这类技术对垃圾邮件识别率比较差，属于粗放型产品。
　　拥有过程化处理平台的混合型反垃圾邮件引擎，结合了协议分析和内容检测的优点，同时也规避了一些风险。在性能上，这类产品的性能介于前二两者之间。由于应用了过程化处理平台，在前期用协议分析处理了大量的垃圾邮件，使得后面的内容检测压力就非常小。既能保证反垃圾邮件的能力，又一定程度上保证了系统的整体性能。

（4）路由处理机制。
　　一般的反垃圾邮件网关在对邮件系统进行判定检测后，需要把正常邮件转发出去，这里就要求反垃圾邮件系统有非常好的邮件加速技术或者路由技术；否则会造成大量邮件队列或者积压。
　　一般路由处理机制，还需要同时考虑应对各种恶意的垃圾邮件功能；对明显的攻击行为路由需要做一定限制，否则再强的系统性能也是不行的。

（5）硬件配置。
　　反垃圾邮件网关的硬件配置，在初级低型号产品，大家基本上都采取了PC架构或者工控架构；但需要注意的是，其硬件性能是否满足需要。专业的优秀的反垃圾邮件网关会有一个界面实时的显示CPU系统占用、存储空间占用、进程数量等等，一般使用情况下，对于硬件的系统占用，我们要保证在10%以下，如果超过了，就说明硬件配置有点低。

（6）产品开发风格。
　　产品开发风格也会影响系统性能。有些反垃圾邮件产品为了提高“界面美观”程度，大量的应用了图片、图形等等；这些会大大占用系统资源。另外，对于日志查询、分用户能力的开放程度也会影响系统性能。

4．服务
　　服务是选型产品必须考虑的一个重要方面，针对反垃圾邮件产品，需要考虑的因素包括：
（1）知识库升级是否及时、准确。
　　反垃圾邮件系统同杀病毒系统一样，其面对的新挑战日新月异，所以对于知识库和软件系统本身的升级就格外重要，如果知识库升级不及时，反垃圾的能力就会日益下降。专业的公司产品，一般知识库每天都升级的，包括垃圾邮件知识库和病毒库；对于反垃圾邮件系统软件的升级也需要考查，软件本身的升级，体现了一个公司的技术方向和技术实力。
　　一般的升级都以自动升级为好，减少网管的设置工作量。
（2）特殊问题服务。
　　特殊问题服务，一般是指在遇到麻烦时需要的技术支持服务。这类服务的好坏，往往与“保有量”成反比：保有量大的公司，服务的态度、及时性都会很差。
响应时间，需要我们在测试时就要考察，而不是在购买后通过合同来规范。（在中国，人们总是有理由推迟服务的）
（3）服务来源。
　　服务的来源很重要。服务的团队是在中国，还是在英国、美国。没有本土化的服务，何谈服务保障？遇到问题要找英国、美国工程师，也是很可笑的。另外，像前一段时间，海底光缆问题造成许多设备不能及时升级，这也一定程度上说明，选购产品，最好是选择那些在中国有本土的升级服务器和服务团队。

　　目前，反垃圾邮件产品种类繁多，产品水平也参差不齐，这就需要采购者能够慧眼识金，选择真正适用于自己的产品。能够坚持“技术先进，功能适用、性能卓越、服务周到，网管无忧”的原则，我相信，一定能够找到合适的产品解决垃圾邮件问题。