[linux-l] Wohin mit den alten Mails? die RAM grenze

[Sven Guckes]

* Oliver Bandel <oliver at first.in-berlin.de> [2007-02-16 10:50]:
> On Fri, Feb 16, 2007 at 04:40:35AM +0100, olafBuddenhagen at gmx.net wrote:
> > On Thu, Feb 15, 2007 at 03:27:16PM +0100, Sven Guckes wrote:
> > > aber solnage ihr nur ein paar tausend mails habt, koennt ihr
> > > die im zweifelsfall in einen folder packen, mutt darauf
> > > starten und dann nach ein paar stichworten suchen.
> > "ein paar tausend mails"? Ich habe in meinem Ordner
> > 56208 Mails bei 586681430 Byte, ließ: etwa 550 MB.
> > Mutt braucht lokal 25 Sekunden um das zu öffnen.
>
> Naja, irgendwann kommt man auch an die Grenzen der Hardware.

stimmt.  irgenwann kommt man an die grenzen.
auf der antilope sind momentan bei 2GB RAM -
da dauert es ein bischen bis man daran stoesst.

auf antilope traue ich mich auch mal einen mail folder
mit 80MB und knapp 18,000 nachrichten zu oeffnen.
das geht in ca 10 sekunden. ist gar kein problem.
und ist der folder noch im cache, dann dauert es
keine drei sekunden. :)

noch ein beispiel:
die aussortierten  spams seit 14.12.
umfassen nun dinen folder mit 1.8GB.
auch den mache ich dann mit mutt auf.

hab's gerade mal ausprobiert:

  $ date; mutt -f ~/Mail.SPAM/SPAM; date
  Fri Feb 16 10:59:28 CET 2007
  Fri Feb 16 11:01:07 CET 2007

die zeit zwischen start und direkter
beendigung nach dem einlesen
lag also unter 100 sekunden.

die last bei antilope lag dabei
zwischen 1.25 und 1.81.

das ist fuer 206224 mails
eigentlich ganz brauchbar.

und die RAM grenze scheint
noch etwas weiter weg zu sein..

> Entweder muss man alles in den Ram lesen oder man legt sich
> ne Datenstruktur an, die die Positionen in der mbox erst mal
> heraus findet. Beim ersten Weg hat man viel Zeugs in den RAM
> zu lesen und braucht die Ressourcen auch dauerhaft, selbst
> wenn man die garnicht braucht (man liest ja eh immer nur ein
> subset aller Mails).  Im zweiten Falle: na, auch wenn man
> die Datei nur parst, dann muss man aber dennoch die ganze
> Datei absuchen und um die Disk I/O kommt man nicht herum.

mann - du hast ja soooo recht!

aber nun sag doch mal - an welcher stelle
haette ich jetzt wesentlich sparen koennen?
und was genau braucht es dazu? vorschlaege?

ich gebe dir gerne leserecht auf
diesem spam folder.  machst du
dann mal einen index dafuer mit
der datenbank deiner wahl und
zeigst uns dann wieviel schneller
das ganze dann geht?  please?

deine vorschlaege zur jaehrlichen
abspeicherung bzw zum teilweise
oder ganzem loeschen der daten
ueberzeugen mich nicht wirklich.

> Ein spezielles Tool könnte dann ja auf mehrere
> mboxes losgelassen werden, aber bei mutt geht es
> nicht, den mit "mutt -f folder" zu betreiben,
> um ihn nacheinander alle mboxes zu öffnen.

stimmt.  darum ja auch mein workaround mit einem
temporaeren folder, der mehrere folder beinhaltet.
das ist nicht optimal, aber es geht.
und welchen workaround benutzt *du*?

> Und scripten? mutt gescriptet?

stimmt - mutt hat keine interne sprache.
das ist immer wieder bedauerlich, weil eine
solche sprache sehr einfach loesungen boete.
es gab allerdings mal bestrebungen es mit
bestehenden sprachen zu verbinden, zB lua.
zum verlinken mit einer solchen sprache
muesste man mutt allerdings mal aufraeumen..

Sven