HTTrack

HTTrack is een gratis en open source webcrawler en offline browser, die is ontwikkeld door en vrijgegeven is onder de GNU General Public License. Met de crawler kan men websites van het Internet op de lokale computer downloaden. Standaard rangschikt HTTrack de site die is gedownload op grond van de relatieve linkstructuur van de website. Deze site die is gedownload kan vervolgens met een web browser lokaal worden geopend en bekeken. HTTrack is ook in staat om een bestaande mirrorsite te updaten en om downloads die tussentijds zijn afgebroken voort te zetten. HTTrack kan volledig geconfigureerd worden met opties en include of exclude filters, en heeft een geïntegreerd hulpsysteem. De crawler heeft een eenvoudige versie die op de commandoregel werkt, alsmede twee versies met een grafische interface, te weten WinHTTrack en WebHTTrack. WinHTTrack kan ook aangeroepen worden in scripts en cronjobs. HTTrack gebruikt de webcrawler om een website te downloaden. Mogelijk kan niet een gehele site worden gedownload vanwege restricties die de ontwikkelaar van een website heeft ingesteld, zoals met robots.txt. Eenvoudige links die door Javascript, Applets en Flash worden gegenereerd kunnen door de applicatie worden verwerkt, maar voor complexere links, bijvoorbeeld die door subroutines, functies, en server side image maps worden gegenereerd geldt dit niet.