防御利器 | 如何有效抵御惡意爬蟲危害

案例1：

6月9日，網絡安全圈內傳出一則消息，國內頂級互聯網公司被攻陷，十億余條個人信息外泄。

據中國裁判文書網發布的《逯某、黎某侵犯公民個人信息一審刑事判決書》顯示，2020年8月14日，某互聯網公司報警稱，在2020年7月6日到2020年7月13日期間，有黑產通過某寶業務接口開發的爬蟲軟件批量爬取數據，爬取數據數量巨大。

經調查，上述作案時段平均每天爬取數量500萬，爬取內容包括買家用戶昵稱，用戶評價內容，昵稱等敏感字段。經司法鑒定，被告人逯某通過網絡爬蟲軟件爬取客戶信息共計1180738048條，將其爬取信息中的客戶手機號碼通過微信文件的形式發送給被告人黎某使用共計19712611條。

被告人黎某開設的瀏陽市泰創網絡科技有限公司利用客戶手機號加對方微信好友進行推廣商品，讓用戶領取優惠券，對方使用優惠券成功購買商品，該公司獲得返利。自2019年8月份至2020年7月份該公司非法獲利3952559.59元。

案例2：

2021年4月一個黑客論壇上出現了大約5.33億條Facebook用戶個人資料信息，包括用戶的電話號碼、Facebook ID、全名、出生日期、性別和地理位置。而且，泄漏數據相當完整，幾乎每個用戶記錄都包含了上述泄露信息。根據研究人員對泄露數據的分析，在此次受數據泄露事件影響的用戶中，美國地區就有3230萬受影響用戶，而英國也有1150萬。

研究人員還在報告中提到，他們檢查泄露數據的樣本真實性已經得到了Facebook方面的驗證。Facebook方面表示，此次數據泄露事件是由網絡爬蟲所引起，攻擊者使用了網絡爬蟲來爬取用戶個人資料相關的信息。

Facebook在公告中提到：“這種情況屬于科技公司與網絡犯罪分子之間的敵對博弈，攻擊者會故意使用各種手段來破壞我們社交媒體平臺的安全政策，并從互聯網服務中提取他們想要的信息。”

這兩起針對國內以及全世界頂級互聯網公司的網絡攻擊行為，黑客主要“作案工具”均是網絡爬蟲技術，通過爬蟲技術惡意竊取幾億乃至十幾億條數據信息。

網絡爬蟲又稱網絡蜘蛛、網絡螞蟻、網絡機器人等，可以自動化瀏覽網絡中的信息，當瀏覽信息時需要按照制定的規則進行，這些規則我們稱之為網絡爬蟲算法。網絡爬蟲原本只是一項技術，是互聯網搜索引擎家族中不可或缺的角色，但隨著網絡發展和黑產的誕生，如果網絡爬蟲技術被惡意使用就會對網絡環境造成危害，變成惡意的爬蟲攻擊。

惡意爬蟲會根據特定策略盡可能多地爬取網站中的高價值信息、占用服務器帶寬、增加服務器負載。惡意用戶利用網絡爬蟲對Web服務發動DoS攻擊，可使Web服務資源耗盡而不能提供正常服務。還可利用網絡爬蟲抓取各種敏感信息，造成網站核心數據被竊取，損害企業經濟利益。爬蟲非法獲取的數據，為下游形形色色的網絡犯罪提供了無限可能，可以說是孕育和滋生網絡犯罪的上游源頭。

依法打擊基于網絡爬蟲技術的黑產，不僅需要監管部門、平臺和商家的協作，更需要技術手段和防御產品的介入。通付盾機器人防火墻是一款能夠自動化實現惡意爬蟲防護的創新產品，是防范惡意爬蟲危害的防御利器。

爬蟲防護往往與業務自身特性有很強的關聯性，需要配備專業的安全團隊來配置相應的安全策略，而通付盾機器人防火墻可實現自動化爬蟲防護，避免網絡資源消耗和隱私數據泄露，并且可免去高度復雜的規則設置，一鍵開啟爬蟲防護，降低用戶使用門檻，操作簡單、易于維護，減輕運維壓力。

通付盾機器人防火墻為新一代動態Web應用防火墻產品，基于通付盾多年在安全領域的攻防經驗，積累海量欺詐及攻擊風險威脅特征庫、大數據異常監測模型打磨而成的人工智能決策引擎，能夠進行快速的全域站點流量實時監測分析和預警，及時阻斷風險訪問。面對未知威脅攻擊場景，通付盾機器人防火墻能夠不依賴傳統靜態特征與規則的匹配機制，通過人工智能決策引擎精準定位，發現網絡攻擊行為，并對攻擊行為進行阻斷。同時，通付盾機器人防火墻還集成了動態防御功能，通過動態加密、動態混淆、動態變換等技術方式加強網站防護能力，讓站點防御更加堅固、威脅判斷更加全面，風險阻斷更加智能。

智能決策防護

智能決策引擎，策略實時生效，人機對抗，分秒必爭。支持豐富的防護種類，包含：HTTP過濾、Web服務器漏洞攻擊防護、Web主流腳本語言漏洞防護、SQL注入攻擊防護、XSS攻擊防護、盜鏈防護、Web應用掃描防護、爬蟲防護、CSRF防護、命令注入防護攻擊、非法上傳防護、非法下載防護、HTTP Flood防護、其他Web攻擊防護。

提供語義化規則編輯器，輔以規則內容示例，所見即所得，簡單靈活的防護配置。

自研流計算引擎基于滑動時間窗口進行復雜指標的極速運算，采用分布式緩存提升數據處理時效性，計算性能優越。

豐富的知識庫

依托于通付盾安全實驗室長久以來的技術研究與積累,能夠全面覆蓋OWASP Top 10風險攻擊,并且能夠針對變異攻擊,及時提供規則集更新,實時保護客戶業務系統免受攻擊。

安全威脅情報

基于攻擊的風險特征，建立基于UA、Cookie、IP等異常特征庫，并維護多維風險特征，形成動態威脅情報，實時更新，讓機器人馬甲無處藏身。

防護效果全面

防信息泄露

防止惡意爬蟲Bot程序爬取站點接口數據或對外發布的內容數據，避免通過采集利用對外發布數據等手段引起的信息泄露。

防業務風險

防止站點內容被抓取、轉載、刷票、薅羊毛、短信接口濫刷等手段帶來的業務運營風險。

防自動化攻擊

防止黑客利用惡意Bot程序進行自動化撞庫攻擊、漏洞嗅探、CC攻擊等惡意攻擊行為。

通付盾機器人防火墻的自動化惡意爬蟲防護功能，能夠幫助客戶避免惡意爬蟲帶來無法估量的威脅和損失。此外，通付盾機器人防火墻還具備硬件、軟件和云端三種產品形態，能夠輕松滿足客戶實現未知威脅攻擊防御時的不同部署需求。

關于通付盾

通付盾創立于2011年，是一家以數字身份識別為核心的新一代數字化技術服務商，為政府、軍工、能源、金融、運營商、教育、醫療、傳媒、交通、互聯網等行業用戶，提供基于無邊界、零信任、自適應的“云、端、信”一體化數字技術產品與服務。公司全資控股子公司有北京通付盾人工智能技術有限公司、江蘇通付盾區塊鏈科技有限公司、江蘇通付盾信息安全技術有限公司、江蘇通付盾信創技術有限公司、深圳市前海通付盾科技有限公司。通付盾為國家 高新技術企業、雙軟認證企業、AAA級信用企業、并通過ISO27001、ISO9001、ISO20000、CMMI、ITSS等系列認證。

免責聲明：市場有風險，選擇需謹慎！此文僅供參考，不作買賣依據。