linux-l: Lehmanns Distri Test

Matthias Kranz mskranz at zedat.fu-berlin.de
Fr Jun 4 16:26:08 CEST 1999


On Mon, May 31, 1999 at 09:33:10AM +0200, Polet & SEIBERTZ wrote:
> Matthias Kranz schrieb:
> > ...
> > Sorry, aber jetzt kommen wir vom Thema ab. Ich finde, wir sollten die Sache
> > nicht unnoetig uebertreiben ...
> Ich sag' ja: Zielbestimmung, schreib doch mal was Du wirklich willst!!

Ich weiss, man sollte nicht kritisieren, ohne bessere Vorschlaege zu machen,
aber die Zeit ist knapp ...

> > Wenn das ganze zu einer pseudowissenschaftlichen Studie herhalten soll, steige ich aus.
> Wenn ich mich recht erinnere, wollte Frank daraus ein etwas längeres 
> Projekt machen, das auch in der Zukunft immer Neuerscheinung weiter 
> testet. Ich halte es nicht für pseudowissenschaftlich sich bevor man
> agitiert irgendetwas macht, Gedanken darüber zu machen welchen Sinn und
> Wert das zukünftige Tun haben sollte.

Es ist in meinen Augen einfach so, dass diese Tests, wie wir sie durchfuehren
werden, eben schwerpunktmaessig die subjektive Bewertung des Testers enhalten
werden. Wir haben ja kein Labor, in dem ueber einen langen Zeitraum hinweg die
verschiedenen Distributionen in unterschiedlichen Versionen unter den gleichen
Bedingungen von denselben Leuten getestet werden. 5-6 Distributionen, 20-25
Tester mit voellig unterschiedlichem Background und auf voellig
unterschiedlichen Systemen testend - da denke ich, bekommt man eben keine
Ergebnisse, die man irgendwie statistisch auswerten koennte. Auch wenn man
zwei oder Tests pro Jahr durchfuehrt. Ich glaube eher, dass uns dann auf
bestimmte Fragen und Probleme konzentrieren sollten, um dann z.B.
festzustellen ob ein Distributor seine Probleme mit der Zeit in den Griff
bekommt oder ob z.B. die Austattung einer Distribution sich veraendert oder
nicht. Das sind eben vielfach keine diskreten Werte, die man da ermitteln
koennte ...

> Dazu gehört auch sich sein Handwerkszeug zu überlegen. Wenn so etwa 20
> Tester aus der BeLUG kommen, zwei Dutzend von Johannes und 
> vielleicht noch mehr, dann zähle ich zumindest nicht an den Fingern
> die Ergebnisse zusammen. Insbesondere dann nicht wenn jeder Tester ein
> Sack voller Ergebnisse mitbringt. Das wäre dann für mich ein Grund 
> diesen Test mehr unter dem Gesichtspunkt einer kostengünstigen Software-
> beschaffung zu sehen.

Ja, ist natuerlich teilweise richtig. Aber schau' Dich doch 'mal um. Wieviele
Zeitschriften haben bislang einen richtigen Ueberblick ueber die vorhandenen
Distributionen gegeben? Welche Zeitschrift kann auf ein solches Potential von
erfahrenen Linuxern zaehlen? Wir koennen urteilen, glaube ich.

> Ähnliches gilt für den Inhalt, wenn Du Dir nicht überlegst was alles
> interessant für den Leser der Untersuchung sein könnte, wirst Du eben
> seine Fragen nicht hinreichend beantworten können. (Tut mir Leid, daß 
> ich mich wiederhole.) Das endet dann als bloße Meinungsäußerung, die dem
> Rezipienten gefallen kann oder auch nicht - ist doch sowieso egal!

Nein. Ein Distributionstest (und nun wiederhole ich mich) kann nie objektiv
sein. Weil man eben keine objektiven Kritierien festlegen kann. Es gibt eben
Leute, die finden es unzumutbar, ohne Fenster in hochaufloesender Grafik
entscheiden zu muessen, welche Pakete sie installiern wollen und andere, die
wiederum eine solide ncurses-basierte Umgebung vorziehen.

> > Ich moechte am Ende eines jeden Tests eine einfache Bewertung, von
>                       ^^^^^^^^^^^^^^^^^^ Fünf Dutzend Einzeltest, unter-
>                       schiedliche Kriterien und Ausgangsbedingungen =
>                       keinerlei Übersicht, viel getan und nichts 
>                       gewonnen

Ich schreibe doch, dass ich mir das am Ende eines jeden Tests wuensche. Ich
habe doch auch weiter oben geschrieben, dass ich mir andere Fragen vorstelle,
die man eben nur schematisch (Kaestchen zum Draufklicken) formuliert.

> > mir aus mit Skalen von 1 bis 10 und ein handfest begruendetes Fazit.
>                                                    ^^ ???
>               ^^^^^^ Wer macht die Skalen, wieviel, welchen Inhalts?

Die muessten, genauso wie die Fragen, erst noch ausgedacht werden. Es ist doch
so. Vergleiche es mit Buchrezensionen ;). Schau Dir 'mal Amazon.de oder
Amazon.com an. Da wirst Du Buecher finden, die werden eben von einem Leser mit
5 Sternen und von einem anderen Leser mit nur einem Stern bewertet. Das erregt
dann meine Aufmerksamkeit und ich lese mir den Kommentar der jeweiligen
Rezensenten durch. In aller Regel merkst Du dann ganz schnell, warum die
Bewertungen so differieren.

> Im übrigen glaube ich, daß Du wie jeder andere funktionierst und wenn
> Du keine Lust zu einer Arbeit hast, machst Du sie eben nicht. Das heißt
> aber keineswegs, daß Du Dich als Tester verabschieden mußt, sondern
> eben nur an Teilbereichen nicht teilnimmst, oder? Wobei ich glaube, daß
> Du nicht zufrieden sein wirst, wenn Deine spezifischen Anliegen an so
> einen Test nicht berücksichtigt werden, weil Du Deine Gedanken/Fragen
> nicht eingebracht haben wirst!

Keine Angst, so schnell ziehe ich mich nicht zurueck. Ich habe allerdings
meine Prinzipien und wenn ich eben der Meinung bin, dass ich gegen diese
verstosse, wenn ich mich fuer eine Sache engagiere, dann lasse ich es eben.
Das ist alles.

> PS: Es bleibt die Frage, wo wir eine Fragensammlung (die jeder 
> ergänzen kann) ablegen!

Das waere eine Moeglichkeit. Eine andere waere, sich an einem freien Samstag
Nachmittag beim IN zu treffen und einen Fragenkatalog, oder eben zumindestens
ein Grundgeruest, festzulegen. Da kann man auch gleich noch ein paar
Spielregeln festmachen.

Gruss,
Matthias 
-- 
Matthias Kranz    kranz at math.fu-berlin.de
   http://www.math.fu-berlin.de/~kranz



Mehr Informationen über die Mailingliste linux-l