[linux-l] News und CNFS

Christoph Biedl cbiedl at gmx.de
Mi Nov 22 11:42:55 CET 2006


Peter Ross wrote...

> ich ueberlege, ob wir News 'missbrauchen' koennen, um viele Files 
> redundant uebers Internet zu verbreiten, und las etwas ueber CNFS (Cyclic 
> News File System).

Moment, das sind zwei Baustellen:
* Redundate Ausbreitung. Dafür liefert NNTP in der Tat ein sehr hübsches
  Konzept.
* Speicherung auf einem Knoten im Netz ("server"). Hier hat die
  bekannteste Implementation "INN" unter anderen ein auf große
  Geschwindigkeit optimiertes "Dateisystem"(*) CNFS.

> Hat jemand damit Erfahrungen? Wie "zeitnah" kann man damit Kopien von 
> Filehierarchien verbreiten? Mit was fuer Datenmengen kommt es zurande?

Ausbreitungsgeschwindigkeit ist sehr hoch, Datenmengen sicher kein
Problem für Dich - schon ein Newsserver ohne Binaries verarbeitet
mehrere hundert Megabytes pro Tag, ohne irgendwie groß belastet zu sein.
Erst wenn allerdings dann noch gleichzeitig mehrere hundert Nutzer
bedient werden sollen, reicht der AMD-500 nicht mehr aus.

> Hintergrund ist ein File Storage, bei dem Files stets nur geschrieben und 
> nie geloescht oder veraendert werden. Wir moechten diese Daten, derzeit an 
> wenigen Punkten zentral gespeichert, naeher beim Kunden in einem Proxy 
> halten (wichtig bei Projekten, bei denen Beteiligte z.B. in Australien, 
> Japan und Frankreich sitzen, die Downloadzeiten koennen schon 
> frustrieren).

Du mußt immer noch etwas basteln, was die Newsartikel in ein Dateisystem
abbildet. Ich würde dafür ein Skript schreiben, das die die Artikel in
einen Dateibaum schreibt, nachdem der Dateiname aus einem X-Header
rekonstruiert und die leider unvermeidliche Transportkodierung (base64,
Achtung, _viel_ overhead) ausgepackt wurde; der Baum wird dann per
nfs/smbfs freigegeben. CNFS brauchst Du dann nur noch für die
Weiterverbreitung (was ein gutes Konzept dafür ist). Aufräumen muß dann
ein cronjob. Das ist nicht einmal wirklich viel Aufwand und die
Systemanforderungen sind für heutige Verhältnisse lächerlich klein.

Wenn Du das spielen willst, frag ruhig nach. Ich habe zufällig etwas
mehr Übung mit INN.

Aber: Du erwähnst eben "Proxy" als Dein eigentliches Ziel. NNTP ist
anders, das verteilt immer alles überall hin. Kein Problem, wenn
Bandbreite und Traffic kein Problem sind. Klingt aber trotzdem nicht
nach dem besten Ansatz.

> Hat jemand ganz andere Ideen?

Gibt es so etwas wie "file server proxies"? Wenn nicht, dann würde ich
das eher mit einem transfer per http und eine squid realisieren. Dann
ist allerdings derjenige gebissen, der den ersten Transfer macht.

    Christoph

(*) Man sollte es eigentlich nicht so nennen. Wer noch UCSD-Pascal
    gekannt hat: Dessen System war im Vergleich ein Ausbund an Luxus und
    Features.
-------------- nächster Teil --------------
Ein Dateianhang mit Binärdaten wurde abgetrennt...
Dateiname   : signature.asc
Dateityp    : application/pgp-signature
Dateigröße  : 189 bytes
Beschreibung: Digital signature
URL         : <https://mlists.in-berlin.de/pipermail/linux-l-mlists.in-berlin.de/attachments/20061122/574b33fa/attachment.sig>


Mehr Informationen über die Mailingliste linux-l