Crawlen einer XML Sitemap mit wget

Snippet zum Crawlen einer XML Sitemap über die Linux-Konsole mit wget. Hilfreich z.B. um den Cache von EXT:indexed_search komplett neu aufzubauen.

Donnerstag, 24.05.2018

Mit dem folgenden Befehl wird die gesamte angegebene Sitemap gecrawlt, jeder enthaltene Link also aufgerufen. Das kann hilfreich sein um den TYPO3 Cache neu aufzubauen oder den Cache von EXT:indexed_search. Idealerweise enthält die Sitemap auch Links zu jeglichen Extension Datensätzen (sollte sie sowieso).

wget --quiet https://www.domain.tld/sitemap.xml --output-document - | egrep -o "https?://[^<]+" | wget -i -

wget --quiet https://www.domain.tld/sitemap.xml --output-document - | egrep -o "https?://[^<]+" | wget -O /dev/null -i -



Kommentare