HTTrack

HTTrack是一个自由、开源的网络爬虫以及离线浏览器。它的作者是泽维尔·罗奇（Xavier Roche），在GNU通用公共授權條款（GPL）下发布。 使用者可以通过HTTrack把互联网上的网站页面下载到本地计算机上。在默认设置下，HTTrack对网站页面的下载结果是按照原始站点相对链接的结构来组织的。用网页浏览器打开这个被下载下来的网站（也称作镜像）的页面，就可以离线浏览了。 HTTrack也能对已经镜像过的站点进行更新。或者是对中断了的工作断点续传。可以通过选项和过滤器（include/exclude）配置HTTrack的方方面面。它还整合有帮助系统。它有一个基本的命令行版本和两个GUI（为Windows设计的WinHTTrack和为Unix-like系统设计的WebHTTrack）；命令行版本可以和Shell脚本（Shell script）以及cron联用。 HTTrack使用网络爬虫下载网站。对于有robots.txt的网站，如果不在程序运行时取消限制，默认设置下的程序不会把网站完全镜像。HTTrack能跟随基本的JavaScript，或者Applet、Flash中的链接，但是对于复杂的链接（使用函数和表达式创建的链接）或者服务器端的则无能为力。