"蜘蛛"（Spider）是Internet上一種很有用的程序，搜索引擎利用蜘蛛程序將Web頁面收集到數據庫，企業利用蜘蛛程序監視競爭對手的網站並跟蹤變動，個人用戶用蜘蛛程序下載Web頁面以便脫機使用，開發者利用蜘蛛程序掃瞄自己的Web檢查無效的鏈接……對於不同的用戶，蜘蛛程序有不同的用途。那麼，蜘蛛程序到底是怎樣工作的呢？ 本文介紹如何用C#語言構造一個蜘蛛程序，它能夠把整個網站的內容下載到某個指定的目錄，程序的運行界面如圖一。你可以方便地利用本文提供的幾個核心類構造出自己的蜘蛛程序。 -