[linux-l] Wohin mit den alten Mails? die RAM grenze

Di Mär 20 03:35:30 CET 2007

On Mon, Mar 19, 2007 at 09:48:34AM +0100, Volker Grabsch wrote:
> On Fri, Feb 16, 2007 at 12:04:17PM +0100, Oliver Bandel wrote:
> > > auf antilope traue ich mich auch mal einen mail folder
> > > mit 80MB und knapp 18,000 nachrichten zu oeffnen.
> > > das geht in ca 10 sekunden. ist gar kein problem.
> > > und ist der folder noch im cache, dann dauert es
> > > keine drei sekunden. :)
> > 
> > Machst Du es auch mit 500 MB großen Foldern?
> > Und ein paar solcher Aktionen parallel?
> > Happy Swapping ;-)
> 
> Bitte kein Halbwissen verbreiten. Ein 500MB-Mailfolder
> belegt keine 500MB RAM im Mutt, sondern viel weniger.
> Stichwort Headercaching, wurde aber schon 100x gesagt.

Es ging um Volltextsuche.
OK, dafür muss man auch nicht alles in den RAM
saugen; für einfache Suchen kann man das auch direkt
aus dem File lesen; aber für komplexere Analysen
macht es ggf. durchaus Sinn, im RAM zu arbeiten.

Aber wenn mutt das so schlank macht, auch bei Volltextsuche,
dann scheint der ja doch recht gut gebaut zu sein.

> 
> Wäre schön, wenn du die Sachen praktisch ausprobieren
> würdest, bevor du mit solch waghalsigen Behauptungen
> kommst.
> 

Ich merke schon, diesmal bist DU es, der genervt ist.
Kann ja nicht immer nur ich sein, der in Pöbel-Laune ist ;-)

> Ich finde es eher eine Schande, dass es Mailclients
> gibt, bei denen ein 500MB großer Mailordner *wirklich*
> 500MB RAM braucht.

Sachen in den RAM zu lesen finde ich nicht grundsätzlich problematisch.
Wenn es auch ohne geht, ist das natürlich eleganter.
Aber wenn man zig mal im File hin und her springen muss
und durch Filesystem-Operationen ausgebremst wird, könnte
man das ebenso kritisieren und pro RAM argumentieren.

Aber im konkreten Falle mutt und dem, was das Teil
macht (ist wohl recht schnell), mag es gut sein, wie es
ist.

> 
> Ist eigentlich Thunderbird dahingegend "ordentlich"?
> 

Keine Ahnung.

> > > noch ein beispiel:
> > > die aussortierten  spams seit 14.12.
> > > umfassen nun dinen folder mit 1.8GB.
> > > auch den mache ich dann mit mutt auf.
> > 
> > Wozu?
> > Macht es Dir Spaß, ab und zu Spam zu lesen?
> > Muss man sowas wirklich aufheben?
> 
> Solche Ordner sind sehr praktisch, wenn man im Nachhinein
> nochmal gezielte Statistiken drüberjagen will, an die man
> vorher noch gar nicht gedacht hat. Den "Feind" muss man
> kennen, bevor man ihn bekämpfen kann. Oder ist Spamabwehr
> in deinen Augen ebenfalls sinnlos? "just hit delete"?

Sowas wollte ich früher auch mal machen.
Da ich damals noch per Modem angeschlossen war und vor ein
par Jahren ein drastischer Anstieg bei Spam zu verzeichnen
war, bin ich dann auf serverseitiges blocken umgestiegen.

Und wenn man dann nur noch das, was der auf dem Server
laufende Filter durch lässt, statistisch untersucht, dann
hat man ein verzerrtes Bild.

Deswegen halte ich es im Prinzip für sinnvoll,
solche Daten zu sammeln, aber unter manchen Bedingungen
halte ich es auch für Unsinn.

> 
> > Den einzigen Grund für soetwas sähe ich darin,
> > daß man damit Spamfilter füttern kann.
> > 
> > Ansosnten eine ziemlich unsinnige Aktion, oder?
> 
> Du nennst gerade ein sinnvolles Anwendungsbeispiel
> und nennst es dann eine unsinnige Aktion?

Ich hatte da andere Voraussetzungen im Hinterkopf.
Wenn das serverseitig geblockt wird und ich eh nur
eine Auswahl bekomme, dann habe ich statistisch ein verzerrtes Bild.
Und wenn ich eh nicht den Spamfilter implementiere,
dann bin ich ganz zufrieden, wenn ich mir den Spam
nicht noch auf Halde legen muß.

Aber die Geschmäcker sind da verschieden.
Sammelt von mir aus Spam; ich lösche ihn jedenfalls,
wenn ich ihn eh nicht ungefiltert bekomme und ich
meine Zeit damit nicht verplempern brauche.

Vielleicht ändere ich dazu meine Meinung mal wieder,
wenn ich meine, doch noch einen Filter bauen zu müssen;
eine Zeit lang hatte ich auch gedacht, das tun zu müssen,
aber die Zeiten ändern sich ;-)

Im Moment schaue ich mir den Trash-Folder
ab und zu mal mit mutt an und meistens
halte ich dann die Taste "d" gedrückt.

> 
> Eine weitere Anwendung hat dir Sven übrigens präsentiert:
> Performance-Tests von Mailprogrammen bzw. Index-Tools.
> Aber das ist dir offenbar entgangen.

Ja, OK, dafür kann man sowas benutzen.
Andererseits könnte man sich testdaten ggf. auch selber
erzeugen, entweder pur generiert, oder indem man seine
Nutzdaten-mboxes (Ham statt Spam) zum Testen nimmt.
Dann muss man sich den Spam nicht auch noch auf de Platte legen.

Da ich auf meinem Rechner zu wenig Plattenplatz habe,
habe ich da halt einen anderen Blickwinkel.

> 
> Statt diese Chance zu nutzen, auf einer starken Maschine
> mit einem großen Mailfolder deine Idee auszutesten,
> diskreditierst du sein Angebot zur Unterstützung.

Welche starke Maschine?

Ich hatte das Angebot, auf den Spamfolder zuzugreifen
per Mail angenommen, aber keine Antwort mehr erhalten.

Wenn mir ein Angebot gemacht wird und ich, wenn ich es annehme,
dann keine Antwort mehr bekomme, dann rutscht mir halt den Puckel runter.

> So
> kann man nicht miteinander umgehen!

Bleib doch ma locker, ey ;-)

S.o. habe ich auf Nachfragen bzgl.der Leseberechtigung auf den Spam-Folder
keine Antort mehr bekommen.

BTW: Damals wollte ich beim IN auch Spam sammeln, und es wurde immer
abgeblockt. Dann hatte ich auch keine Böcke mehr mich drum zu kümmern,
jedenfalls macht es keinen Sinn, daß ich meinen Privatrechner damit zumülle
(wie gesagt hatte ich damals noch Modem).

Wenn Du meinst mein Umgang wäre nicht der richtige, ist das eben Deine Meinung.
Aber vielleicht kennst Du ja auch nicht alle Hintergründe
und die Gründe, wieso ich in gewisser Weise genervt reagiere.

> 
> Zu allem überfluss beschwerst du dich dann, dass sich
> niemand findet, der deine Idee (mit) umsetzen möchte. 

Weil ich Böcke drauf hatte, bei BeLUG was mit Leuten zusammen zu machen.

Wenn ich das eh alleine mache, und dann alleine Vortrage,
wozu brauche ich dann die BeLUG?
Dann kann ich den Vortrag auch zu Hause vor'm Spiegel halten :->

> Du bist nicht bereit, *selbst* auch nur 2 Stunden in
> deine Idee zu investieren (1,5 Stunden: Proof of Concept,
> 0,5 Stunden: Vortrag darüber halten bzw. kleinen Bericht
> schreiben).

Ich hatte das mal angefangen bin aber wieder von abgekommen.

Wenn man jede Idee, die hier diskutiert implementiert,
kommt man zu nix anderem mehr.

> Aber andere sollen sich sofort dafür begeistern?

Muss keiner.

Aber das ist die BeLUG: ist eh alles scheissegal.
Machen eh alle ihr eigenes Ding oder eben nichts.

Wenn man es eh alleine im Kämmerlein programmiert,
nix Programmier-Party oder so, dann kann man sich auch
alleine im Kämmerlein über die Ergebnisse freuen.

> 
> Und wenn sich dann mal jemand (hier: Sven) findet, der dir
> 1. Unterstützung zum Proof-of-Concept anbietet
>     (mit einem sehr guten Testfall auf ner schnellen Maschine)

Das Angebot kam, dann habe ich ihm per mail mitgeteilt,
er solle das mal freischalten (readable) und dann kam von ihm
NICHTS mehr.

Das ist genau DAS, was mir hier seit jahren auf den Sender geht.

Das Angebot war demnach eine Luftblase.

Auf solche Scheisse habe ich keine Lust.

> 2. Interesse an einem Bericht/Vortrag von dir zeigt
> dann wird er angepöbelt? Was soll das?!

War das Interesse ernst gemeint?
Sorry, dann habe ich das falsch aufgeschnappt.
Ich hatte es als Anmache empfunden.

> 
> -----------------------------------------------------------
> 
> Ich verrate dir einen Zaubertrick: Mach einen Anfang.

Ja, der Anfang ist gemacht und er heisst Ende.

Den Spruch, der eigentlich scheisse ist: "Regel Nummer Eins, jeder macht seins"
ist offensichtlich der, der weiter führt.
Vielleicht ist der ja doch brauchbar.

Ich bin jedenfalls von der BeLUG auch rechnermässig weg und nun
dort zu finden:
                 http://me.in-berlin.de/~first/

Der Anfang ist gemacht.

> Du
> hast die Idee mit dbm gehabt, du hast Interesse daran, du
> bist fähiger Programmierer (unterstelle ich mal), also
> erfüllst du die besten Voraussetzungen dafür. Dann berichte
> anderen davon. Das Ergebis? Lass dich überraschen. Probier's
> einfach mal aus.

Mache ich vielleich auch. Aber nicht heute und nicht morgen.
ich brauche erst mal nen freien Kopp.
ich habe nämlich so viele Sachen mal angefangen, und jedesmal neue,
daß nix zuende geführt wurde.
Und auch damit ist nun Schluß. Nur, daß ich nicht, nur weil ihr es gerne so hättet,
nun ausgerechnet mit dem mbox-Indizierer anfange.

Vielleicht kommt der auch mal irgendwann dran; vielleicht, wenn ich meine
Backups mal aufräume/Indizieren möchte.

> 
> Oder hast du etwa kein Interesse daran?

Doch.
Aber ich ahbe Interesse an ZU vielen Dingen.

Die Kunst besteht offensichtlich in der Kunst der Beschränkung.
Und diesmal fällt leider das mbox-Indexing-Tool hinten runter ;-)

> Worüber regst du
> dich dann auf? Wenn's keiner will, und keiner macht, ist
> es doch okay. Besser, als wenn's keiner will und trotzdem
> gemacht wird (siehe 1. WK).

Wieso wird eigentlich dieser Thread, nachdem er schon wochenlang
nicht mehr weiter lief, nun nochmal aufgekocht?
zweiter Aufguss?
Dritter Aufguss?

Allmählich schmeckt der Tee aber ziemlich dünn.

Oder hattest Du heute einen Scheisstag und willst auch mal Dampf
ablassen?

> 
> > > deine vorschlaege zur jaehrlichen
> > > abspeicherung bzw zum teilweise
> > > oder ganzem loeschen der daten
> > > ueberzeugen mich nicht wirklich.
> > 
> > Folder immens groß werden zu lassen
> > und nicht mal einen Index zu haben,
> > das überzeugt mich nicht wirklich.
> 
> Seine Zahlen waren aber recht überzeugend.
> 

Man muss auch schauen, auf welcher Maschine sowas getsetst wird.
Wenn ich das auf meinem Notebook mit der arschlahmen Platte
laufen lasse sind die Ergebnisse sicherlich andere,
als wenn es auf einem krassen Server mit flinken Platten
gemacht wird.

[...]
> > > stimmt.  darum ja auch mein workaround mit einem
> > > temporaeren folder, der mehrere folder beinhaltet.
> > > das ist nicht optimal, aber es geht.
> > > und welchen workaround benutzt *du*?
> > 
> > Apropos "*du*": du sollte man bei Deiner Lösung
> > auch mal machen. Wenn die Platte volläuft ist das
> > auch nicht so toll.
> 
> Du lenkst ab. Also, welchen Workaround benutzt *du*?

*du* => man du

Ich meinte, daß man mit du auch mal schauen sollte,
ob die fetten Foler nicht die Platte zumüllen.
Das sagte ich mit dem Hintergrund, daß ich hier
mit ca. 10 GB Plattenplatz und OS-X mit Developer Tools
echt wenig Platz übrig habe.

Auf nem Server mit was weiss ich wieviel hunderten von GBs
kann man sich natürlich auch den Luxus gönnen, sich fette
Spam-Folder anzulegen. Daß das alles auf dem Server liegt
und da auf manchen Platten noch so viel Platz ist,
hatte ich nicht gewusst.

> Dein Index ist heiße Luft, den verwendest du offenbar
> nicht, und willst das auch nicht ausprobieren.

Warum willst Du mir denn ans bein pinkeln?
Was hast Du davon?

> Bleibt
> also die Frage: Was machst *du*, momentan, in der
> Wirklichkeit, um diesem Problem zu entgehen?

Ich habe da kein Problem; hätte ich da eines,
hätte ich das Tool schon gebaut.

Ich habe aber so wenig Plattenplatz hier,
daß ich ab und zu meinen Mail-Krams auf einer
extrenen Platte ablege (die via FireWire übrigens
wesentlich schneller ist, als die alte Platte im Notebook).

Ich weiss nicht, wie sinnvoll es überhaupt ist, das alles ewig aufzuheben.

Die Unterlagen für's Finanzamt soll man ja 10 jahre lang aufbewahren;
aber das Gelaber auf linux-l? :->

> 
> (Eine so einfache Frage, wieso zierst du dich so sehr
> mit der Antwort?)

Warum muss ich etwas implementieren, nur weil ihr das gerne wollt?
Wenn ihr das wollt, ich aber das nicht in meiner Freizeit
vor habe, bleibt ja noch die Möglichkeit, sowas als Job zu machen ;-)

Ich mache das jedenfalls nicht, nur weil ihr das Ergebnis gerne
wissen wollt. Wenn ihr es wollt, naja, ich dachte ja immer,
sowas kann spassig sein, wenn man sowas in kleiner Runde
am Wochendne mal implmentiert.
Aber das geht ja bei BelUG nicht. Und für mich alleine ist's
eben derzeit nicht wichtig genug.

Wenn Du willst, kannst Du Dich darüber wieder aufregen.
Aber das ist für mich dennoch kein Grund, das doch noch zu bauen.

Ich werde das dann machen, wenn ich denke, daß es an der Zeit ist,
und nicht, wenn ihr wollt, daß ich das mache.

Ciao,
   Oliver