[linux-l] Wohin mit den alten Mails? die RAM grenze

[Oliver Bandel]

Moin,

On Fri, Feb 16, 2007 at 11:20:12AM +0100, Sven Guckes wrote:
> * Oliver Bandel <oliver at first.in-berlin.de> [2007-02-16 10:50]:
> > On Fri, Feb 16, 2007 at 04:40:35AM +0100, olafBuddenhagen at gmx.net wrote:
> > > On Thu, Feb 15, 2007 at 03:27:16PM +0100, Sven Guckes wrote:
> > > > aber solnage ihr nur ein paar tausend mails habt, koennt ihr
> > > > die im zweifelsfall in einen folder packen, mutt darauf
> > > > starten und dann nach ein paar stichworten suchen.
> > > "ein paar tausend mails"? Ich habe in meinem Ordner
> > > 56208 Mails bei 586681430 Byte, ließ: etwa 550 MB.
> > > Mutt braucht lokal 25 Sekunden um das zu öffnen.
> >
> > Naja, irgendwann kommt man auch an die Grenzen der Hardware.
> 
> stimmt.  irgenwann kommt man an die grenzen.
> auf der antilope sind momentan bei 2GB RAM -
> da dauert es ein bischen bis man daran stoesst.
> 
> auf antilope traue ich mich auch mal einen mail folder
> mit 80MB und knapp 18,000 nachrichten zu oeffnen.
> das geht in ca 10 sekunden. ist gar kein problem.
> und ist der folder noch im cache, dann dauert es
> keine drei sekunden. :)

Machst Du es auch mit 500 MB großen Foldern?

Und ein paar solcher Aktionen parallel?

Happy Swapping ;-)



> 
> noch ein beispiel:
> die aussortierten  spams seit 14.12.
> umfassen nun dinen folder mit 1.8GB.
> auch den mache ich dann mit mutt auf.

Wozu?
Macht es Dir Spaß, ab und zu Spam zu lesen?
Muss man sowas wirklich aufheben?

Den einzigen Grund für soetwas sähe ich darin,
daß man damit Spamfilter füttern kann.

Ansosnten eine ziemlich unsinnige Aktion, oder?


> 
> hab's gerade mal ausprobiert:
> 
>   $ date; mutt -f ~/Mail.SPAM/SPAM; date
>   Fri Feb 16 10:59:28 CET 2007
>   Fri Feb 16 11:01:07 CET 2007
> 
> die zeit zwischen start und direkter
> beendigung nach dem einlesen
> lag also unter 100 sekunden.
[...]

Und, hast Du da was interessantes gefunden?
Lies uns doch mal was vor.


> 
> die last bei antilope lag dabei
> zwischen 1.25 und 1.81.
> 
> das ist fuer 206224 mails
> eigentlich ganz brauchbar.
> 

Ja und sinnvoll, sich Spamfolder anzuschauen.
Echt klasse. Muss ja echt Spaß machen, sollte
ich vielleicht auch mal ausprobieren; ich Dussel
schmeisse den Kram immer weg; dabei wäre das sicherlich
so manches mal amüsanter, als die linux-l zu lesen...
...obwohl, im Moment seh' ich das genau anders rum ;-)


> und die RAM grenze scheint
> noch etwas weiter weg zu sein..

Ja, wenn man alleiniger Nutzer auf dem System ist,
mag das alles wunderbar gehen so.
Und wenn es mehrere machen.... (hallo Admin, wie war das
mit den Limits... oder darf ein einzelner User
unendlich viel RAM saugen...?!).





> 
> > Entweder muss man alles in den Ram lesen oder man legt sich
> > ne Datenstruktur an, die die Positionen in der mbox erst mal
> > heraus findet. Beim ersten Weg hat man viel Zeugs in den RAM
> > zu lesen und braucht die Ressourcen auch dauerhaft, selbst
> > wenn man die garnicht braucht (man liest ja eh immer nur ein
> > subset aller Mails).  Im zweiten Falle: na, auch wenn man
> > die Datei nur parst, dann muss man aber dennoch die ganze
> > Datei absuchen und um die Disk I/O kommt man nicht herum.
> 
> mann - du hast ja soooo recht!
> 
> aber nun sag doch mal - an welcher stelle
> haette ich jetzt wesentlich sparen koennen?
> und was genau braucht es dazu? vorschlaege?
[...]

$ rm ~/Mail.SPAM/SPAM


> 
> ich gebe dir gerne leserecht auf
> diesem spam folder.

Nett, danke.

> machst du
> dann mal einen index dafuer mit
> der datenbank deiner

wozu?

> wahl und
> zeigst uns dann wieviel schneller
> das ganze dann geht?  please?

Soll das ein Jobangebot werden?


> 
> deine vorschlaege zur jaehrlichen
> abspeicherung bzw zum teilweise
> oder ganzem loeschen der daten
> ueberzeugen mich nicht wirklich.

Folder immens groß werden zu lassen
und nicht mal einen Index zu haben,
das überzeugt mich nicht wirklich.


> 
> > Ein spezielles Tool könnte dann ja auf mehrere
> > mboxes losgelassen werden, aber bei mutt geht es
> > nicht, den mit "mutt -f folder" zu betreiben,
> > um ihn nacheinander alle mboxes zu öffnen.
> 
> stimmt.  darum ja auch mein workaround mit einem
> temporaeren folder, der mehrere folder beinhaltet.
> das ist nicht optimal, aber es geht.
> und welchen workaround benutzt *du*?

Apropos "*du*": du sollte man bei Deiner Lösung
auch mal machen. Wenn die Platte volläuft ist das
auch nicht so toll.




> 
> > Und scripten? mutt gescriptet?
> 
> stimmt - mutt hat keine interne sprache.
> das ist immer wieder bedauerlich, weil eine
> solche sprache sehr einfach loesungen boete.

Wenn man die Folder hinein pipen könnte,
wäre das auch nett. Dann muss man keine
fetten Files bauen und auch noch die Platte
vollmüllen (auch, wenn nur temporär).
Aber mutt ist eben nicht als Filter sondern als MUA
programmiert worden...


> es gab allerdings mal bestrebungen es mit
> bestehenden sprachen zu verbinden, zB lua.
> zum verlinken mit einer solchen sprache
> muesste man mutt allerdings mal aufraeumen..

...mach doch mal; und wenn Du das geschafft hast,
machst Du dann einen Vortrag bei der BeLUG?

... ja, genau, mach mal. Räum mal mutt auf. Und dann mach den Vortrag.
      Und danach schmeiss Deine Spam-Folder weg und stelle fest,
        Du brauchst das alles garnicht....

Gruß,
   Oliver