خزنده وب
خزندهٔ وب، (انگلیسی: Web Crawler)[1] یک برنامه رایانه‌ای است که توانایی مرور و ثبت اطلاعات را از وب‌سایت‌ها به صورت خودکار دارد. «خزندهٔ وب» به چندین شکل مختلف تعریف می‌شود که برخی از آنان:
- عنکبوت‌های وب (انگلیسی: Web Spider)
- فهرست سازان خودکار (انگلیسی: Automatic Indexers)
- ربات‌های نرم‌افزاری خودکار (انگلیسی: Web Robots)
- نرم‌افزارهای FOAF.[2]
- ...
را شامل می‌شود.
دلایل استفاده
به عنوان مثال موتورهای جستجوگر با بهره‌گیری از این گونه نرم‌افزارها به صورت خودکار صفحات مختلف وب سایت‌ها را ثبت، آنالیز و رده‌بندی می‌کند.
نمونه‌ها
- Googlebot
- FAST Crawler: یک خزندهٔ توزیع‌شده.
- GM Crawl: یک خزندهٔ بسیار مقیاس‌پذیر که به شیوهٔ نرم‌افزار اجاره‌ای قابل استفاده است.
- Bingbot: نام خزندهٔ مربوط به موتور جستجوی بینگ متعلق به شرکت مایکروسافت. جایگزین Msnbot.
- PolyBot
- RBSE
- Swiftbot
- WebCrawler
- WebRACE
- WebFountain
- World Wide Web Worm
- Yahoo! Slurp
منابع
- http://en.wikipedia.org/wiki/Web_crawler Wikipedia
- http://en.wikipedia.org/wiki/FOAF_(software) Wikipedia
This article is issued from Wikipedia. The text is licensed under Creative Commons - Attribution - Sharealike. Additional terms may apply for the media files.