Categories
Internet, Unix en security

Wget kan ook vriendelijk zijn

Wget is een handig om bestanden over te halen en is voorzien van vele opties om datatransfers soepeler te laten verlopen. Zo bv ook om recursieve transfers te doen met detectie van wijzigingen op basis van timestamps. Hoewel dit voor de client veel verlichting brengt kan dit voor de server een probleem gaan vormen, want vele bestanden aflopen voor de requesten van de client is IO-intensief. Om servers te ontlasten bestaan de opties –wait en –random-wait om zo requesten wat minder intensief op een site af te vuren en ook wat minder voorspelbaar. Nadeel hiervan is wel dat het wget langer met zijn taak bezig is, maar server eigenaren zullen wel blijer zijn en minder snel geneigd zijn om IP-adressen te gaan blokken.

By Hans Spaans

Unix & security consultant with a passion for Linux, Solaris, PostgreSQL, Perl and network services, but also a strong believer in open and free source, standards and content.