[linux-l] News und CNFS

[Peter Ross]

On Wed, 22 Nov 2006, Christoph Biedl wrote:

> Ausbreitungsgeschwindigkeit ist sehr hoch, Datenmengen sicher kein
> Problem für Dich - schon ein Newsserver ohne Binaries verarbeitet
> mehrere hundert Megabytes pro Tag, ohne irgendwie groß belastet zu sein.

Im Moment sind es in unserer groesten Instanz ca. 30GByte pro Tag, wobei 
nur Teile zum Uebertragen ausgewaehlt werden.

> 
> Du mußt immer noch etwas basteln, was die Newsartikel in ein Dateisystem
> abbildet. Ich würde dafür ein Skript schreiben, das die die Artikel in
> einen Dateibaum schreibt, nachdem der Dateiname aus einem X-Header
> rekonstruiert und die leider unvermeidliche Transportkodierung (base64,
> Achtung, _viel_ overhead) ausgepackt wurde; der Baum wird dann per
> nfs/smbfs freigegeben. CNFS brauchst Du dann nur noch für die
> Weiterverbreitung (was ein gutes Konzept dafür ist). Aufräumen muß dann
> ein cronjob. Das ist nicht einmal wirklich viel Aufwand und die
> Systemanforderungen sind für heutige Verhältnisse lächerlich klein.
> 
> Wenn Du das spielen willst, frag ruhig nach. Ich habe zufällig etwas
> mehr Übung mit INN.
> 
> Aber: Du erwähnst eben "Proxy" als Dein eigentliches Ziel. NNTP ist
> anders, das verteilt immer alles überall hin. Kein Problem, wenn
> Bandbreite und Traffic kein Problem sind. Klingt aber trotzdem nicht
> nach dem besten Ansatz.

Die oben genannte Auswahl findet in der Datenbank statt, die Dukumente 
Projekten und Organisationen zuordnet.

Aber darueber hinaus soll alles uebertrsgen werden (wuenschenswert), oder 
aber es findet ein Abgleich mit der Zentrale statt (Proxy-Prinzip).

Die Sache ist die, das neue Dokumente in der Regel in ihrer ersten Zeit 
nach der Entstehung schnell nachgefragt werden (neuer Bauplan vom 
Architekten - hundert Leute wollen's gleich sehen).

Daher ist entweder automatische "Schnellverbreitung" wuenschenswert, oder 
aber ein Proxy.

Gruss
Peter