Web "Filesystem" Mirror - Tool?

Niels Dettenbach linux at eichsfeld.net
Mi Okt 10 12:09:34 CEST 2007


Hallo Liste,


suche immer mal wieder - so auch aktuell - ein Tool oder passende Konfig für 
eines, mit dem ich Dateien und Ordner aus einem Webserver (nur http!) 
spiegeln kann. Ähnlich einer FTP-Spiegelung möchte ich "nur" das Filesystem - 
also Dateien und Ordner - abbilden.

Die betr. Ordner präsentieren sich mir per Index View (ähnlich FTP) und so 
möchte ich die auch lokal haben. Einen FTP-Zugang gibt es dann jeweils nicht.

Das hört sich recht simpel an - ev. habe ich auch nur Kartoffeln auf den 
Augen - doch mir ist es bisher (habe aber auch nicht lange herumgespielt) 
gelungen, eines der mir bekanntes Tools wie:
	- wget
	- fmirror
	- emirror
	- w3mir
zu o.g. Aufgabe zu überreden.

Hole ich z.B. eine Ordnerstruktur unter http://w.x.y.z/DocRoot/ zu mir, laufen 
die Tools alle brav alle Links auf der Index Ansicht des Webservers über 
Dateien und Ordner ab - besuchen und holen dabei (meist ja zuerst) die Links 
zur Steuerung der Index Ansicht 
	z.B. http://w.x.y.z/Doc/Root/?C=N;O=D 
oder Icons
	z.B. icons/image2.gif

nun gut - sicher könnte ich für einen bestimmten Server annehmen, das z.B. 
alle Ikonen unter /icons/ liegen und alles mit "?" in der URL nicht gebraucht 
wird. 

So simpel scheint die Sache aber doch nicht. Zum einen kann ja jeder Webserver 
bzw. -admin selbst seine Ansichten definieren - ebenso auch Pfade zu den 
Ikonen usw. Einige Webserver bzw. deren Index Views beinhalte recht exotische 
URLs, bei denen ein Filtern nach "?" oder CGIs wenig hilft.

Das Tool sollte daher wenn mögl. mit allen o. "den üblichen" Webservern bzw. 
deren Inizies Sichten zurechtkommen - mir allein die Filesystemstruktur (a la 
FTP mirroring) abbilden.

Falls es kein Tool gibt bzw. bekannt ist - mit welchen Optionen o.g. Tools 
habt Ihr bisher die besten Erfolge gefahren?

Beste Grüße,

Niels.

-- 
  Niels Dettenbach
  ---
  Eichsfelder Linux/UNIX Stammtisch (EICLUSt)
  http://linux.eichsfeld.net
  ---
  business: Syndicat IT&Internet - http://www.syndicat.com
  Heilbad Heiligenstadt / Erbil / Cape Town
  ---
  Kryptoinfo - GPG/PGP public key: 651CA20D
  https://syndicat.com/pub_key.asc
  ---