[linux-l] Schlechte Fileserver Performance

[Stephan A. Schier]

Jan-Benedict Glaw schrieb:
> On Fri, 2005-01-21 20:03:00 +0100, Stephan A. Schier <Stephan.Schier at dai-labor.de>
> wrote in message <41F151E4.2070600 at dai-labor.de>:
> 
>>ich betreibe einen Fileserver unter Linux (Debian Sarge). Die Hardware 
>>sollte eigentlich für die Aufgabe mehr als ausreichend sein (2x Xeon 
>>3.0GHz, 4GB RAM, daran hängt eine SCSI-U320 RAID Array). Es werden 
>>Windows, Linux und UNIX Clients bedient, per Samba und NFS.
>>Nun hab ich das Problem das der Rechner beim druchklicken durch die 
>>Verzeichnisse des öfteren einige Sekunden benötigt bis er das Verzeichnis 
>>anzeigt (tritt bei NFS und Samba auf). Meine Vermutung ist das er immer 
>>erst wieder etwas RAM freischauffelt, da das System den kompletten freien 
>>Speicher für den Cache verwendet (kann man das abschalten???) und dabei 
>>sogar die Programme teilweise in den Swap auslagert.
>>
>>Hat irgentwer Vorschläge oder Tips wo man mit der Optimierung anfangen 
>>könnte? Mir fällt langsam nichts mehr ein.
> 
> 
> Fang' doch erstmal mit den offensichtlichen Dingen an. Bevor Du Fragen
> zu Lösungen stellst, solltest Du erstmal sagen, was denn so *wirklich*
> am Laufen ist:

Okay, ich wusste erstmal nicht welche Parameter wirklich relevat/interessant sind.

> 
> - Kernel-Version. (Debian-Kernel oder selbstgebaut? 4GB-Unterstützung
>   auch wirklich vorhanden?)
> 
derzeit noch ein 2.4.26 mit acl-Patches, bigmem ist an, es werden auch die 4GB 
erkannt.


> - Was für Netzwerkkarten? Exakter Typ und benutzter Treiber wären
>   interessant... Wie werden die betrieben? Interrupt-Betrieb oder NAPI?

Intel E1000, Interrupt, mit Gigabit Link (hängt an einem Cisco 3750).

> 
> - Wie ist das U320 RAID Array angebunden? Was für ein SCSI-Controller?
>   Welcher Treiber?

Adaptec AIC-7902 U320 (onboard auf der Sun V65x)
Treiber: aic79xx

> 
> - Was für ein Dateisystem wird auf den Partitionen des Arrays benutzt?
>   Welche Optionen wurden gegeben, falls denn?

ext3 (mit ACL)

> 
> - Wie groß sind die Dateisysteme (in MB, inodes, Anzahl Dateien und
>   Verteilung der Größe der Dateien)?

Partition1 187739MB, 24428544 inodes
Partition2 375487MB, 48840704 inodes
Partition3 191995MB, 24969216 inodes

wie bekommt man die Anzahl der Dateien ohne grossen aufwand raus? Und die 
Verteilung der Größe?

> 
> - Was für ein NFS-Server findet Verwendung?

nfs-kernel-server 1.0.6-3.1 (standard Debian Package)

> 
> - Wie ist der Workload, wenn's so langsam wird? Sind in den
>   Verzeichnissen tausende von Dateien?

Die Verzögerung beim Anzeigen der Dateien ist unabhängig von der Anzahl der 
Dateien, kommt auch bei leeren Verzeichen vor.

load average: 0.04, 0.04, 0.01

> - Sind eventuell irgendwelche Logging- oder Debug-Optionen
>   eingeschaltet, sodaß selbst beim Lesen die Schreib-Performance (für
>   die Log-Daten) das Nadelöhr ist?

Maximal das ext3 Journal, Logfiles sind schon sehr weit runtergedreht.

> - Bei Samba: sind socket options gesetzt?

socket options = TCP_NODELAY IPTOS_LOWDELAY SO_KEEPALIVE SO_RCVBUF=16192 
SO_SNDBUF=1619

> Oh ja, zum Tunen gibt's tausende Möglichkeiten :)

Und so wusste ich auch nicht wo man am besten anfängt. ;-)

Ach ja die Verzögerung bei anzeigen des Verzeichnisinhalt hab ich auch auf der 
Maschine direkt (da blos nicht so häufig). Deshalb gehe ich auch von einem 
lokalen (und nicht Netzwerk) Problem aus.
Nach einem Reboot der Maschine ist auch alles wieder schön flott, bis der 
Speicher wieder mit der Cache voll ist, dann wirds wieder langsam.


Gruß,
Stephan