快客電郵反垃圾郵件技術(shù)白皮書北京××科技有限公司一、反垃圾郵件技術(shù)1.1反垃圾郵件技術(shù)已經(jīng)存在的和在被提及的反垃圾郵件方法試圖來減少垃圾郵件問題和處理安全需求。通過正確的識(shí)別垃圾郵件，郵件病毒或者郵件攻擊程序等都會(huì)減少。這些解決方法采取多種安全途徑來努力阻止垃圾郵件。Dr.NealKrawetz在Anti-SpamSolutionsandSecurity[ref1]文中將反垃圾郵件技術(shù)作了非常好的分類。當(dāng)前的反垃圾郵件技術(shù)可以分為4大類：過濾器（Filter）、反向查詢(Reverselookup)、挑戰(zhàn)(challenges)和密碼術(shù)(cryptography),這些解決辦法都可以減少垃圾郵件問題，但是都有它們的局限性。本文將在下面的內(nèi)容討論這些技術(shù)以及一些主要技術(shù)的實(shí)現(xiàn)。過濾（Filter）是一種相對(duì)來說最簡(jiǎn)單卻很直接的處理垃圾郵件技術(shù)。這種技術(shù)主要用于接收系統(tǒng)（MUA，如OUTLOOK或者M(jìn)TA，如sendmail）來辨別和處理垃圾郵件。從應(yīng)用情況來看，這種技術(shù)也是使用最廣泛的，比如很多郵件服務(wù)器上的反垃圾郵件插件、反垃圾郵件網(wǎng)關(guān)、客戶端上的反垃圾郵件功能等，都是采用的過濾技術(shù)。關(guān)鍵詞過濾技術(shù)通常創(chuàng)建一些簡(jiǎn)單或復(fù)雜的與垃圾郵件關(guān)聯(lián)的單詞表來識(shí)別和處理垃圾郵件。比如某些關(guān)鍵詞大量出現(xiàn)在垃圾郵件中，如一些病毒的郵件標(biāo)題，比如：test。這種方式比較類似反病毒軟件利用的病毒特征一樣?？梢哉f這是一種簡(jiǎn)單的內(nèi)容過濾方式來處理垃圾郵件，它的基礎(chǔ)是必須創(chuàng)建一個(gè)龐大的過濾關(guān)鍵詞列表。這種技術(shù)缺陷很明顯，過濾的能力同關(guān)鍵詞有明顯聯(lián)系，關(guān)鍵詞列表也會(huì)造成錯(cuò)報(bào)可能比較大，當(dāng)然系統(tǒng)采用這種技術(shù)來處理郵件的時(shí)候消耗的系統(tǒng)資源會(huì)比較多。并且，一般躲避關(guān)鍵詞的技術(shù)比如拆詞，組詞就很容易繞過過濾。黑名單（BlackList）和白名單（WhiteList）。分別是已知的垃圾郵件發(fā)送者或可信任的發(fā)送者IP地址或者郵件地址?，F(xiàn)在有很多組織都在做*bl（blocklist），將那些經(jīng)常發(fā)送垃圾郵件的IP地址（甚至IP地址范圍）收集在一起，做成blocklist，比如spamhaus的SBL（SpamhausBlockList），一個(gè)BL，可以在很大范圍內(nèi)共享。許多ISP正在采用一些組織的BL來阻止接收垃圾郵件。白名單則與黑名單相反，對(duì)于那些信任的郵件地址或者IP就完全接受了。目前很多郵件接收端都采用了黑白名單的方式來處理垃圾郵件，包括MUA和MTA，然在MTA中使用得更廣泛，這樣可以有效地減少服務(wù)器的負(fù)擔(dān)。BL技術(shù)也有明顯的缺陷，因?yàn)椴荒茉赽locklist中包含所有的（即便是大量）的IP地址，而且垃圾郵件發(fā)送者很容易通過不同的IP地址來制造垃圾。HASH技術(shù)是郵件系統(tǒng)通過創(chuàng)建HASH來描述郵件內(nèi)容，比如將郵件的內(nèi)容、發(fā)件人等作為參數(shù)，最后計(jì)算得出這個(gè)郵件的HASH來描述這個(gè)郵件。如果HASH相同，那么說明郵件內(nèi)容、發(fā)件人等相同。這在一些ISP上在采用，如果出現(xiàn)重復(fù)的HASH值，那么就可以懷疑是大批量發(fā)送郵件了?；谝?guī)則的過濾。這種過濾根據(jù)某些特征（比如單詞、詞組、位置、大小、附件等）來形成規(guī)則，通過這些規(guī)則來描述垃圾郵件，就好比IDS中描述一條入侵事件一樣。要使得過濾器有效，就意味著管理人員要維護(hù)一個(gè)龐大的規(guī)則庫(kù)。智能和概率系統(tǒng)。廣泛使用的就是貝葉斯(Bayesian)算法，可以學(xué)習(xí)單詞的頻率和模式，這樣可以同垃圾郵件和正常郵件關(guān)聯(lián)起來進(jìn)行判斷。這是一種相對(duì)于關(guān)鍵字來說，更復(fù)雜和更智能化的內(nèi)容過濾技術(shù)。我將在下面詳細(xì)描述這種在客戶端和服務(wù)器中使用最廣泛的技術(shù)。1.2垃圾郵件算法一般的過濾器盡管實(shí)現(xiàn)了自動(dòng)識(shí)別垃圾郵件的功能，但是依然存在一些問題：特征元素列表通過垃圾郵件或者正常郵件獲得。因此，要提高識(shí)別垃圾郵件的效果，就要從數(shù)百郵件中來學(xué)習(xí)，這降低了過濾器效率，因?yàn)閷?duì)于不同人來說，正常郵件的特征元素是不一樣的。獲得特征元素分析的郵件數(shù)量多少是一個(gè)關(guān)鍵。如果垃圾郵件發(fā)送者也適應(yīng)了這些特征，就可能讓垃圾郵件更象正常郵件。這樣的話，過濾特征就要更改了。每個(gè)詞計(jì)算的分?jǐn)?shù)應(yīng)該基于一種很好的評(píng)價(jià)，但是還是有隨意性。比如，特征就可能不會(huì)適應(yīng)垃圾郵件的單詞變化，也不會(huì)適應(yīng)某個(gè)用戶的需要。貝葉斯理論現(xiàn)在在計(jì)算機(jī)行業(yè)中應(yīng)用相當(dāng)廣泛，這是一種對(duì)事物的不確定性描述，比如google計(jì)算中就采用了貝葉斯理論。貝葉斯算法的過濾器就是計(jì)算郵件內(nèi)容中成為垃圾郵件的概率，它要首先從許多垃圾郵件和正常郵件中進(jìn)行學(xué)習(xí)，因此，效果將比普通的內(nèi)容過濾器更優(yōu)秀，錯(cuò)報(bào)就會(huì)更少。貝葉斯過濾器也是一種基于評(píng)分的過濾器。但不僅僅是一種簡(jiǎn)單的計(jì)算分?jǐn)?shù)，而更從根本上來識(shí)別。它采用自動(dòng)建立特征表的方式，原理上，首先分析大量的垃圾郵件和大量的正常郵件，算法分析郵件中多種特征出現(xiàn)概率。貝葉斯算法計(jì)算特征的來源通常是：郵件正文中的單詞郵件頭（發(fā)送者、傳遞路徑等）其他表現(xiàn)，比如HTML編碼（如顏色等）詞組、短語meta信息，比如特殊短語出現(xiàn)位置等比如，正常郵件中經(jīng)常出現(xiàn)單詞AAA，但是基本不在垃圾郵件中出現(xiàn)，那么，AAA標(biāo)示垃圾郵件的概率就接近0，反之則然1.3QuarkMail垃圾郵件技術(shù)電子郵件（E-mail）已成為互聯(lián)網(wǎng)上應(yīng)用最廣泛的服務(wù)之一。但是，伴隨著電子郵件服務(wù)的普及、電子郵件用戶的迅速膨脹，郵件系統(tǒng)的安全隱患也日益暴露出來。一方面，電子郵件為用戶帶來了更加方便、快捷、高效、經(jīng)濟(jì)的通信方式；但是另一方面，互聯(lián)網(wǎng)的開放性和計(jì)算機(jī)信息易于擴(kuò)散的特性，為垃圾郵件的傳播和泛濫提供了可乘之機(jī)，大量的垃圾郵件使用戶受到極大的困擾。電子郵件的普及、垃圾郵件的泛濫，給電子郵件系統(tǒng)帶來了更進(jìn)一步的考驗(yàn)，也對(duì)電子郵件系統(tǒng)的體系結(jié)構(gòu)和系統(tǒng)功能提出了更高的要求。面對(duì)現(xiàn)代電子郵件系統(tǒng)變化的需求，北京××科技有限公司對(duì)垃圾郵件防范進(jìn)行了詳細(xì)調(diào)查和分析，并根據(jù)自身在多年觀察和實(shí)際開發(fā)維護(hù)經(jīng)驗(yàn)，推出了自主開發(fā)的垃圾郵件防范系統(tǒng).1.3.1反垃圾系統(tǒng)技術(shù)特征采用自主別名技術(shù)，有效防止垃圾郵件的產(chǎn)生。全面的反垃圾體系，綜合了RPL、RBL、快客郵件系統(tǒng)主動(dòng)黑名單技術(shù)、Spam模型和貝葉斯算法，從多個(gè)層次上建立主動(dòng)的反垃圾策略。核心級(jí)的反垃圾技術(shù)?？炜袜]件系統(tǒng)在核心一級(jí)解碼后進(jìn)行Spam分析，實(shí)現(xiàn)了高效率和高準(zhǔn)確度的統(tǒng)一。郵件數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的結(jié)晶快客郵件系統(tǒng)是將統(tǒng)計(jì)學(xué)應(yīng)用于海量垃圾郵件的行為特征分析基礎(chǔ)上，建立多組數(shù)學(xué)模型，應(yīng)用人工智能技術(shù)，從而設(shè)計(jì)和開發(fā)出具有領(lǐng)先技術(shù)的垃圾郵件防御系統(tǒng)。分級(jí)學(xué)習(xí)能力具備相似性分析能力，系統(tǒng)針對(duì)系統(tǒng)管理員、域管理員和用戶級(jí)建立智能反饋系統(tǒng)，能夠在垃圾處理中具備更大主動(dòng)性，針對(duì)不同用戶形成高度適應(yīng)性的反郵件規(guī)則，具備更高智能性。基于自適應(yīng)的系統(tǒng)策略快客郵件系統(tǒng)可以利用組合的智能技術(shù)采集垃圾電子郵件特征，如發(fā)信頻率、主機(jī)IP、主題、發(fā)件人、收件人、抄送人、信頭、信體、附件、IP、郵件內(nèi)容等實(shí)時(shí)組織和構(gòu)造垃圾郵件的判別規(guī)則，抑制垃圾郵件的發(fā)送強(qiáng)度，全方位對(duì)郵件的發(fā)送、投遞、轉(zhuǎn)發(fā)等過程進(jìn)行監(jiān)控，識(shí)別其中的垃圾郵件并予以剔除；主動(dòng)地實(shí)時(shí)發(fā)現(xiàn)垃圾郵件；支持各種垃圾郵件處理方式?？炜袜]件系統(tǒng)提供基于文本、特殊文件等高速掃描算法，通過一次性掃描，提高效率；掃描速度與規(guī)則總數(shù)關(guān)聯(lián)度低，整個(gè)系統(tǒng)高效率，低消耗?？炜袜]件系統(tǒng)提供正則表達(dá)式，規(guī)則設(shè)定靈活，同時(shí)采取漢語分詞技術(shù)，命中率高。廣泛的適應(yīng)性對(duì)HTML郵件有效。能夠更廣泛的適應(yīng)各類過濾和封堵各種垃圾郵件的需求，包括：反動(dòng)、色情、廣告、病毒、郵件攻擊等，真正貼近用戶。適用于郵件服務(wù)單位、集中上網(wǎng)單位、大型郵件運(yùn)營(yíng)商等，應(yīng)用軟件模塊化，適用于多種開放性硬件平臺(tái)。能夠適應(yīng)大吞吐量需求；全分布式設(shè)計(jì)，可實(shí)現(xiàn)動(dòng)態(tài)負(fù)載均衡，確保應(yīng)用系統(tǒng)最大吞吐量。應(yīng)用系統(tǒng)具有故障后自動(dòng)恢復(fù)功能。該網(wǎng)關(guān)的應(yīng)用一般不會(huì)影響郵件系統(tǒng)效率。設(shè)計(jì)、開發(fā)和測(cè)試嚴(yán)格遵照電信設(shè)備標(biāo)準(zhǔn)。完備的記錄和統(tǒng)計(jì)信息：詳細(xì)記錄日志；匹配記錄及圖表；分析圖表方便管理；通過基于SSL的Web模式進(jìn)行任務(wù)和日志管理。1.3.2反垃圾系統(tǒng)產(chǎn)品優(yōu)勢(shì)SMTP實(shí)時(shí)攔截：能夠高效地運(yùn)行在郵件系統(tǒng)MTA，對(duì)所有進(jìn)入郵件系統(tǒng)的郵件及其附件文件和由郵件系統(tǒng)的發(fā)出的郵件及其附件文件進(jìn)行實(shí)時(shí)反垃圾監(jiān)測(cè)。支持基于頻率、流量和內(nèi)容的垃圾郵件防范，有效制止垃圾郵件的傳播，防止郵件系統(tǒng)及其客戶受到垃圾郵件的騷擾。支持多種攔截方式：支持多種格式的文件附件檢測(cè)，對(duì)于包含在.doc文件，.txt文件，.zip文件或.eml文件中的垃圾信息，也可以一一檢測(cè)，卓越可靠的性能：具有快速處理并發(fā)操作的能力，保證能夠同時(shí)處理多個(gè)掃描用戶郵件的請(qǐng)求，并且不會(huì)明顯遲滯郵件服務(wù)器的網(wǎng)絡(luò)以及磁盤操作，也不會(huì)對(duì)用戶收發(fā)郵件造成不便。此外，采用了多進(jìn)程/多線程結(jié)構(gòu)設(shè)計(jì)，可以根據(jù)系統(tǒng)硬件資源和工作負(fù)載實(shí)現(xiàn)分布式配置，提高系統(tǒng)效率。動(dòng)態(tài)升級(jí)垃圾郵件特征庫(kù)：快客電郵系統(tǒng)每日自動(dòng)升級(jí)最新的垃圾郵件特征庫(kù)，對(duì)過期的垃圾郵件特征自動(dòng)刪除Web管理界面：管理界面實(shí)現(xiàn)了數(shù)據(jù)統(tǒng)計(jì)和Spam規(guī)則管理兩大功能。既能夠?yàn)楣芾韱T提供必要的統(tǒng)計(jì)信息，幫助管理員做出相應(yīng)的管理決策；又能夠幫助管理員根據(jù)實(shí)際的運(yùn)行情況，詳細(xì)的Spam規(guī)則，應(yīng)付日益更新的垃圾郵件攻擊。1.4反垃圾系統(tǒng)限制規(guī)則1、郵件發(fā)送限制SMTP認(rèn)證：本系統(tǒng)用戶發(fā)信時(shí)需要先驗(yàn)證密碼，以防止出現(xiàn)冒用本系統(tǒng)賬號(hào)發(fā)送垃圾郵件的情況限制第三方轉(zhuǎn)發(fā)(relay)信件：即發(fā)件人和收件人均不是本系統(tǒng)用戶的信件收信人不能同時(shí)包括發(fā)信人是否禁止采用暗送的傳送信件方式2、連接數(shù)、頻率限制用戶默認(rèn)連接數(shù)限制用戶默認(rèn)連接頻率限制用戶默認(rèn)RCPT頻率限制IP默認(rèn)連接數(shù)限制IP默認(rèn)連接頻率限制IP默認(rèn)RCPT頻率限制3、流量限制每個(gè)連接允許發(fā)送信件的最大值默認(rèn)RCPT數(shù)限制用戶默認(rèn)流量限制用戶默認(rèn)信件最大字節(jié)數(shù)限制IP默認(rèn)流量限制IP默認(rèn)信件最大字節(jié)數(shù)限制4、出錯(cuò)頻率、比率限制用戶SMTP認(rèn)證出錯(cuò)頻率用戶RCPT出錯(cuò)頻率閥值用戶RCPT出錯(cuò)比率閥值用戶信件被攔截的頻率閥值用戶信件被攔截的比率閥值同一IP的SMTP認(rèn)證出錯(cuò)頻率同一IP的RCPT出錯(cuò)頻率閥值同一IP的RCPT出錯(cuò)比率閥值同一IP的信件被攔截的頻率閥值同一IP的信件被攔截的比率閥值5、基于IP的過濾方法IP黑名單/白名單(禁止訪問/允許訪問)指定允許連接的IP范圍來自指定IP的客戶端在smtpproxy服務(wù)器上的最大同時(shí)連接總數(shù)來自指定IP的客戶端的最大連接頻率來自指定IP的客戶端的一次連接中執(zhí)行RCPT命令的頻率來自指定IP的客戶端一封信中執(zhí)行RCPT命令的總數(shù)來自指定IP的客戶端的一次連接中最大的流量大小來自指定IP的客戶端的信件的最大字節(jié)數(shù)限制6、基于特定郵件用戶的過濾方法設(shè)定郵件用戶的黑名單來自指定郵件賬號(hào)的客戶端的最大連接頻率來自指定郵件賬號(hào)的客戶端一封信中執(zhí)行RCPT命令的總數(shù)來自指定郵件賬號(hào)的客戶端的一次連接中最大的流量大小來自指定郵件賬號(hào)的客戶端的一次連接中執(zhí)行RCPT命令的頻率來自指定郵件賬號(hào)的客戶端的信件的最大字節(jié)數(shù)限制7、基于信件內(nèi)容的過濾方法對(duì)郵件主題包含一定關(guān)鍵字的郵件的限制對(duì)發(fā)件人字段包含一定關(guān)鍵字的郵件的限制對(duì)收信人（或抄送人）字段包含一定關(guān)鍵字的郵件的限制對(duì)全文（包括信頭和信體）包含一定關(guān)鍵字的郵件的限制對(duì)信體包含一定關(guān)鍵字的郵件的限制對(duì)信頭包含一定關(guān)鍵字的郵件的限制對(duì)郵件全文字節(jié)數(shù)的限制對(duì)郵件信頭字節(jié)數(shù)的限制對(duì)郵件信體字節(jié)數(shù)的限制對(duì)郵件的附件類型的限制對(duì)郵件附件大小的限制對(duì)發(fā)送郵件的客戶端的IP地址范圍的限制對(duì)郵件所經(jīng)過的服務(wù)器的IP地址范圍的限制

1.5垃圾郵件管理方法1、SMTP過濾信件處理PASS：通過，繼續(xù)下一條規(guī)則的檢查REJECT：拒收信件，返回出錯(cuò)信息，不斷開連接DISCONNECT：斷開連接，不返回任何信息DISCARD：返回成功接收信息，實(shí)際丟棄信件DEFER：返回出錯(cuò)信息記錄信頭增加特殊信頭標(biāo)記轉(zhuǎn)發(fā)到指定的郵件賬號(hào)2、垃圾郵件統(tǒng)計(jì)信息一定時(shí)間內(nèi)IP的RCPT訪問次數(shù)、流量一定時(shí)間內(nèi)用戶的RCPT訪問次數(shù)、流量一定時(shí)間內(nèi)觸發(fā)規(guī)則的action的次數(shù)一定時(shí)間內(nèi)每條規(guī)則的觸發(fā)次數(shù)3、Quarkmail垃圾郵件過濾算法用戶投票由用戶對(duì)自己郵箱中的垃圾郵件做投票。系統(tǒng)將Sender,From,Subject字段加入特征庫(kù)，用戶每投訴一次，分值加1。特征串長(zhǎng)度必須大于8，以防止用戶惡意投票。每個(gè)用戶對(duì)同一封郵件只能投票一次。系統(tǒng)快速過濾對(duì)一封郵件做快速字段匹配，對(duì)sender和from字段做完全匹配，subject字段做子串匹配，對(duì)各個(gè)字段的匹配分值乘上每個(gè)字段的權(quán)重后的總和大于閾值（可以由系統(tǒng)管理員調(diào)整,或者由用戶自行設(shè)定）的郵件判定為垃圾郵件，轉(zhuǎn)移到用戶的垃圾郵件箱中。新郵件分值=sender字段匹配分值X權(quán)重1+from字段匹配分值X權(quán)重2+subject字段匹配分值X權(quán)重3定時(shí)整理特征庫(kù)系統(tǒng)將定時(shí)減小特征庫(kù)記錄的分值（每周，每條記錄分值減1，分值到0時(shí)刪除），以使舊的垃圾郵件特征從系統(tǒng)中清除出去，以保證特征庫(kù)數(shù)據(jù)是針對(duì)最新的垃圾郵件。當(dāng)特征庫(kù)大于100萬條記錄后，系統(tǒng)清除分值較小的特征庫(kù)記錄，以保證系統(tǒng)的高速運(yùn)行。4、反向域名解析過濾垃圾郵件規(guī)則說明通過身份認(rèn)證的連接，信任主機(jī)，轉(zhuǎn)發(fā)許可主機(jī)不作下面的檢查，只有外部服務(wù)器發(fā)到本地系統(tǒng)的郵件作下面的檢查。正向解析IP地址或域名在白名單/quark/etc/resolv_mailfrom.whitelist的通過。對(duì)發(fā)件人域名解析得到IP列表，和發(fā)起連接的源地址匹配，C類地址段匹配即為通過，否則進(jìn)入下一步檢查。反向解析對(duì)連接源地址做反向解析，得到FQDN，F(xiàn)QDN不為空拒絕，分析FQDN識(shí)別出動(dòng)態(tài)IP地址，如果不是動(dòng)態(tài)IP，則通過。識(shí)別動(dòng)態(tài)IP的規(guī)則:對(duì)FQDN和IP地址四部分字段比較，如果包含3個(gè)或以上在FQDN中數(shù)字總個(gè)數(shù)大于10連續(xù)出現(xiàn)的數(shù)字大于6對(duì)FQDN按照"._-"分段，段的個(gè)數(shù)大于8對(duì)FQDN按照"._-"分段，包含數(shù)字的段大于3對(duì)FQDN按照"._-"分段，包含數(shù)字的段大于2并且數(shù)字的總個(gè)數(shù)大于4對(duì)FQDN按照"._-"分段，包含數(shù)字的段大于1并且數(shù)字總個(gè)數(shù)大于6以下列字段開頭(大小寫無關(guān))，并且后面包括數(shù)字個(gè)數(shù)大于2并且FQDN段數(shù)大于4adslcableclientcustcustomerdhcpdialdialupdsldynamicpoolppprevuser1.6QUARKMAIL其它規(guī)則規(guī)則是整個(gè)QUARKMAIL的核心，它由描述垃圾郵件特征的各種條件以及基本動(dòng)作組成。所謂基本動(dòng)作，就是當(dāng)確定某個(gè)連接或某封郵件與規(guī)則的條件符合（匹配）后，所采取的行動(dòng)。規(guī)則分為兩類：IP規(guī)則和郵件內(nèi)容掃描規(guī)則。1.6.1IP規(guī)則IP規(guī)則用來對(duì)郵件系統(tǒng)的SMTP連接作限制。它的主要屬性有<IP范圍>和<限制方式>。<限制方式>包含以下三種：拒絕連接無條件允許連接同一客戶端IP在一段時(shí)間內(nèi)的連接次數(shù)不得超過N次如果某個(gè)連接的客戶端IP被包含在規(guī)則的<IP范圍>內(nèi)，則認(rèn)為這個(gè)連接匹配了該條IP規(guī)則，那么該連接將會(huì)被按照<限制方式>中描述的內(nèi)容進(jìn)行限制。1.6.2郵件內(nèi)容掃描規(guī)則郵件內(nèi)容掃描規(guī)則通常按照郵件內(nèi)容來判別垃圾郵件。它的主要屬性有<判別條件>和<動(dòng)作>。如果某封郵件符合<判別條件>的內(nèi)容（匹配），則認(rèn)為規(guī)則被命中，同時(shí)，該郵件將被施加<動(dòng)作>中描述的動(dòng)作。內(nèi)容掃描規(guī)則的條件可以是以下簡(jiǎn)單條件之一：主題包含設(shè)定關(guān)鍵字發(fā)件人字段包含設(shè)定關(guān)鍵字收件人字段