場景描述
受巨大的商業(yè)利益驅動，爬蟲現象普遍存在于各行各業(yè)，如高科技與金融、旅游與酒店、數字媒體、電子商務、社交媒體等。其中，電商領域的爬蟲現象顯著高于其他行業(yè)。
善意的爬蟲如搜索引擎，它們?yōu)樾畔⒘魍ㄅc檢索提供了便利，有助于提升企業(yè)的網絡可見度和營收；中性的爬蟲則涉及了許多提供“爬蟲即服務”的公司，如Web scraping bots、BrightData等，它們旨在幫助用戶進行信息收集與聚合，從事市場調研、競品分析等非惡意活動，但這類工具也許會被不當使用與濫用；有害的爬蟲也就是“壞爬蟲”，可能從事撞庫攻擊、庫存抓取等惡意行為，不僅威脅到用戶的賬戶安全，也會嚴重損害企業(yè)利益與安全。
撞庫攻擊：利用從暗網等非法渠道獲取的龐大用戶名和密碼列表，通過自動化程序嘗試登錄其他網站，以尋找可復用的憑證。一旦用戶賬戶被非法入侵，企業(yè)信譽和資產都可能受到波及。
“庫存抓取”機器人：專門緊盯新品或限量版商品，一旦發(fā)現便迅速搶購一空，再轉而在自己的平臺上高價銷售，不僅擾亂了市場秩序，也嚴重損害了企業(yè)的合法權益和利潤，更是對電商生態(tài)產生潛在威脅。
那么，在實際應用中，不法分子是如何利用爬蟲技術從電商領域獲利的呢？鈦媒體App了解到，爬蟲玩轉了“全網最低價”策略，首先是廣泛搜集各銷售網站數據，包括產品價格、庫存等關鍵信息；通過對比分析，找出價格最優(yōu)、優(yōu)惠力度最大的電商平臺�；谶@些信息，轉而在另一個平臺上開設自己的店鋪，以準新或全新未開封的產品進行轉售，利用價格優(yōu)勢實現盈利。甚至還可能利用腳本搶占庫存、購買促銷商品后轉售牟利，給電商生態(tài)帶來潛在威脅。
值得注意的是，隨著技術的進步，融入了AI和機器學習技術的爬蟲服務也日益智能化，它們能自動從多個數據源抓取內容，通過預設的邏輯進行數據抽取與分析，這種一站式解決方案無疑是把雙刃劍。尤其對電商網站的所有者來說，爬蟲技術演進后，其隱蔽性越來越強，特別是采用“無頭瀏覽器”等技術的爬蟲已經能模擬人類訪問行為，使得傳統(tǒng)安全手段難以有效識別與攔截。此外，不斷泛濫的爬蟲還會不斷變化，一次防御過后，下一次還可能會出現變種，這對企業(yè)構成了巨大的挑戰(zhàn)。
解決方案
點擊報名參與創(chuàng)新場景50的評選
Akamai北亞區(qū)技術總監(jiān)劉燁告訴鈦媒體App，面對日趨復雜的網絡爬蟲，企業(yè)的應對策略應分而治之，以確保好的爬蟲能夠正常訪問，而對壞的爬蟲進行處理。這就要求，首先要能夠識別爬蟲，其次，針對不同類型的爬蟲再采取相應的應對措施。
識別的核心，即如何分析行為并利用數據庫查看特征。具體來看有兩種方法：第一種方法是通過觀察足夠多的請求，建立一個大型數據庫，用于記錄并分析請求的特征。如果請求來自惡意爬蟲，則需要識別其來源和特征。第二種方法是判斷數據庫之外的請求是人還是爬蟲，需要分析其行為，以確定是否可能影響企業(yè)敏感信息或對電商網站造成不利影響。
針對識別出的壞爬蟲，下一步則是考慮采取什么樣的應對方法。劉燁表示：“通常我們提到的應對措施是針對其它產品，如應用防火墻（WAF），其主要模式是‘報警’和‘阻止’。然而處理爬蟲時，通常不是簡單地阻攔或禁止，而是管理它們。一旦識別出爬蟲，即使是惡意爬蟲，也應該采取不同的處理方式。”
處理爬蟲的方法可以有多種不同選擇。例如，可以選擇不禁止它，但不做任何響應，讓它誤以為連接仍在進行；或者是給它提供虛假信息，例如在它抓取價格時返回給它一個虛假的價格；當然也可以選擇直接禁止它。以上措施一般是根據實際情況進行動態(tài)調整。
具體到Akamai的做法，其提出了雙重應對策略。首先，在邊緣網絡層面，利用預定義的訪問異常特征和協議指紋來快速識別并限制惡意爬蟲。其次，通過深入分析訪問行為（如鼠標移動軌跡、鍵盤敲擊模式）和設備指紋，結合機器學習模型，進一步細化識別精度，確保對潛在威脅的精準打擊。
同時，面對AI加持下不斷變化的爬蟲，企業(yè)和安全廠商也應采取更多自動化策略。當出現新的攻擊類型時，不需要人為干預，策略引擎能夠自動部署新的策略，有針對性地阻止這些新攻擊。這是應對快速變化的攻擊類型和產品演進的重要措施。
成效
關于電商場景中可能遇到的爬蟲問題，包含三個具體例子，分別針對爬蟲識別、被動成本、“撞庫”威脅。
第一個例子是對電商網站高風險爬蟲的識別管理。通過一周的監(jiān)測，Akamai判斷出某客戶電商網站的人類訪問、高風險爬蟲、中風險爬蟲、善意爬蟲類型，識別出使用高級腳本的惡意爬蟲比例高達97%，進行爬蟲管理后，這一比例降至不到1/3，有效禁掉了大部分高風險爬蟲。
第二個案例是針對爬蟲帶來的被動成本威脅。當企業(yè)短信接口被爬蟲觸發(fā)時，頻繁的短信發(fā)送導致了成本損失。通過爬蟲管理平臺能夠識別并處理這類爬蟲，從而降低費用損失。
「關于創(chuàng)新場景50」
場景不是案例，它更加精準、也更加抽象。數字化就是創(chuàng)新場景的不斷疊加和迭代。
在此背景下，鈦媒體重磅推出「創(chuàng)新場景50」評選，每年遴選并解讀50個全行業(yè)與業(yè)務深度融合的創(chuàng)新性場景及其解決方案，并在鈦媒體年度ITValue Summit 數字價值年會上隆重頒獎、深度交流。
