Hardware hautnah: Eine Reise durch mein Homelab!

Weltweit erleben Clouds einen regelrechten Boom. Vollständig virtualisierte Umgebungen gehören mittlerweile zum Standardrepertoire. Dennoch stehen in den Homelabs dieser Ära nach wie vor stattliche Hardware-Stapel herum. Viele unter uns meiden die hohen Kosten der Clouds und erkunden lieber in ihren eigenen Gefilden neue Tools und entwickeln dabei beeindruckende Serverlandschaften.

Auch mein Homelab gleicht einem Hardware-Schlachtfeld. Ein 15 Höheneinheiten großes Rack ist randvoll mit modernster Technik bestückt. Während ich früher auf betagte Enterprise-Hardware setzte, rattert heute Desktop-Hardware emsig vor sich hin. Lass uns gemeinsam hinter die blinkenden LEDs und das Gewirr von Kabeln blicken, um der eingesetzten Hardware auf den Grund zu gehen.

Vorweg sei gesagt: Nicht alle meine Services laufen auf eigener Hardware. Auch ein paar Cloud-Server kommen bei mir zum Einsatz. Dieser Beitrag gewährt dir also einen exklusiven Blick in mein heimisches Serverrack. Dort wirst du Mini-PCs, Server, China-Barebones und etwas Netzwerk-Technik finden. Aber genug geplaudert, lass uns endlich starten!

Wieso betreibe ich ein Homelab?

Um dir ein besseres Verständnis dafür zu vermitteln, warum ich bestimmte Hardware in meinem Homelab einsetze, möchte ich kurz einige Punkte zur Motivation hinter meinem Setup teilen. Mein Homelab dient fast ausschließlich zum Experimentieren. Es gibt nur wenige produktive Dienste, und der Großteil von ihnen befindet sich auf Cloud-Instanzen.

In diesem Sinne fungiert mein Homelab als Sandbox, in der man nach Belieben herumtüfteln kann. Das war aber nicht immer so. Zu Beginn habe ich fast nur produktive Services betrieben. Irgendwann war ich dann in der Situation, in der Experimentieren kaum mehr möglich war. Momentan verwende ich mein Lab hauptsächlich, um das Automatisieren von administrativen Tasks zu üben.

Ich investiere daher viel Zeit in Ansible und Bash Scripting. Zudem habe ich eine besondere Vorliebe für containerisierte Workloads, insbesondere für den Betrieb mit Docker. Parallel dazu erstelle ich auf der Hardware zusätzliche Backups meiner Cloud-Instanzen. Darüber hinaus benötige ich diese Ressourcen natürlich, um meine Website mit hochwertigen Inhalten zu versorgen.

Zusammengefasst ergeben sich folgende Anforderungen:

• Flexibilität: Das Homelab sollte agil genug sein, um verschiedene Technologien, Plattformen und Anwendungen zu unterstützen.
• Skalierbarkeit: Es sollte die Möglichkeit bieten, Ressourcen bei Bedarf zu erweitern, um mit wachsenden Anforderungen umgehen zu können.
• Leistungsstärke: Je nach den geplanten Aufgaben sollte das Homelab über ausreichende Rechenleistung und Speicherkapazität verfügen.

Je nach Perspektive können Flexibilität, Skalierbarkeit und Leistungsstärke vielfältige Interpretationen zulassen. In meinem speziellen Fall sollten die Hardwarekomponenten die folgenden Punkte erfüllen:

• Hypervisor: Ideal wären etwa 20 Cores / 20 Threads in puncto CPU, begleitet von rund 100 GB Arbeitsspeicher. Für optimale Leistung sollten mehrere schnelle Festplatten-Pools mit SSDs und NVMEs integriert werden. Ein spezifischer ZPool wird an den Proxmox Backup-Server durchgeschleust.
• Storage: Zur Sicherung der Client-Daten wird eine simple und zuverlässige NAS benötigt. Bedarf für eine spezielle Backup-Software ist nicht vorhanden.
• Netzwerk: Um eine effektive Segmentierung zu gewährleisten, sind mehrere VLANs erforderlich. Besonders wichtig ist hierbei eine hohe Geschwindigkeit beim Routing. Eine dedizierte Hardware-Firewall ist für mich unverzichtbar.

Eine unterbrechungsfreie Stromversorgung (USV) stellt für mich eine essenzielle Komponente dar. Sie gewährleistet die Integrität der Hardware sowie die Stabilität des Dateisystems. Die fortlaufende Stromversorgung während kurzzeitiger Stromausfälle oder Spannungsschwankungen verhindert sehr effektiv unerwartete Systemausfälle. Eine rackmontierbare USV ist für mich also ein Must-have.

Welche Hardware ist im Einsatz?

Homelabs unterliegen oft Umbauten, bei denen Hardware hinzugefügt oder ausgetauscht wird. Inzwischen hat ich jedoch eine zuverlässige und besonders energieeffiziente Grundlage gebildet. Zu gegenwärtigem Zeitpunkt verfüge ich über eine universelle Basis. Damit es mir möglich alle Übungsprojekte umzusetzen, dir für meine Tätigkeit als Linux System Engineer sinnvoll sind.

Der Betrieb von mehreren Kubernetes-Clustern stellt dank dieser Infrastruktur keinerlei Herausforderung dar. In der Zeit, als Kubernetes einen bedeutenden Teil meiner täglichen Arbeit ausmachte, konnte ich hier viele neue Dinge testen. Dank meines selbst entwickelten Autodeployments können sogar herkömmliche Linux-Cluster zügig eingerichtet werden.

Virtualisierung – Ohne geht es nicht:

Als Serveradministrator lege ich in meinem Homelab besonders großen Wert auf eine potente Virtualisierung. Eine ausreichende Ressourcenausstattung ist für mich also unerlässlich, weshalb ich sogar 2 Hypervisor aktiv nutze. Viele meiner VM-Setups sind dank Keepalived mit primären und sekundären Instanzen aufgebaut. Mein Ziel ist es, hier so praxisnah wie möglich zu agieren.

Ich kann so auf meinem Proxmox-Server für Wartungszwecke problemlos alle VMs herunterfahren oder nach Hypervisor-Updates den Server direkt neu starten, ohne dass mein Heimnetzwerk davon beeinträchtigt wird. Zwar ist dies in meinem Fall alles andere als erforderlich, aber ich freue mich jedes Mal wie ein Schneekönig über diese Handlungsoption.

Minisforum EliteMini HM90:

Der Einstieg in die Ära der Abkehr von Enterprise-Servern wurde von diesem No-Name Mini-PC eingeleitet. Dieser kleine Würfel läuft absolut zuverlässig und das bereits seit über einem Jahr. Das Gerät ist äußerst leistungsfähig, verfügt über 32 GB RAM und 16 Threads. Im Inneren befindet sich zudem eine NVME-Festplatte, die lange Zeit als Backup-Speicher diente.

Das Betriebssystem Proxmox VE sowie die meisten VMs laufen auf einem ZFS-Mirror, der aus 2 SATA-SSDs besteht. Der asiatische Mini-PC markierte für mich einen Wendepunkt. Als mir bewusst wurde, wie leistungsfähig und kostengünstig kleine Hardware sein kann, begann ich mit der Neugestaltung meines Homelabs. Mein Ziel war es, mich von stromhungrigen Enterprise-Servern zu verabschieden.

Stattdessen wollte ich fortan leistungsstarke, energieeffiziente und vor allem platzsparende Systeme nutzen. Lange Zeit hatte ich vor, mehrere dieser kleinen Würfel in einem Proxmox-Cluster zu betreiben. Die Leistung war vorhanden, es gab mehrere Netzwerkschnittstellen, und mit 3 Festplattenanschlüssen wäre sogar die Realisierung eines Ceph-Clusters möglich gewesen. Doch es kam anders.

Maßgeschneideter Eigenbau-Server:

Über mehrere Jahre hinweg war ich als Field-Service-Techniker tätig und reparierte während dieser Zeit Notebooks, PCs und Server. Irgendwann verschob sich meine berufliche Ausrichtung hin zu reinem Administration von Server-Systemen. Daher war irgendwann der Punkt gekommen, wo es mir in den Fingern juckte. Ich wollte einen eigenen Server aus Desktop-Hardware erschaffen.

Nach etwas Recherche-Arbeit und einer zweistündigen Bau-Phase war das Schmuckstück auch schon fertig. Herausgekommen ist ein energieeffizientes, leises und dennoch leistungsstarkes System. Ich setze als Hypervisor Proxmox VE ein. Der Server verfügt über mehrere Netzwerkkarten und ZFS-Pools. Genutzt werden dabei sowohl Intel Datacenter SSDs als auch handelsübliche NVMEs.

Dank der zahlreichen Steckplätze habe ich sogar die Möglichkeit, Hardware an dedizierte VMS durchzureichen. Daher ist mein Proxmox-Backup-Server mittlerweile keine physische Einheit mehr, sondern eine virtuelle Instanz mit Festplatten-Passthrough. Dies hat nicht nur meine Stromrechnung weiter reduziert, sondern auch Platz im Rack für weitere spannende Hardware geschaffen.

Storage – Obligatorisch, aber günstig:

Meine private Speicher-Infrastruktur ist ziemlich einfach gehalten ist. Ich nutze eine NAS, um darauf Backups meiner Client-Systeme zu speichern. Außerdem nutze ich sie noch als sicheren Hafen für verschiedene Anwendungsbackups. Gemeint sind damit WordPress-, Firewall- oder Switch-Sicherungen. Mein gesamtes Netzwerk operiert aus Kostengründen nach wie vor mit 1 Gbit/s.

Aufgrund dieser Begrenzung habe ich mich bei meinen beiden Hypervisoren gegen die Nutzung eines Shared Storage entschieden. Hier werden also mehrere lokale ZPools genutzt, die aus Datacenter-SSDs oder Consumer-NVMEs bestehen. Auf diese Weise erreiche ich schnelle Datentransferraten und kann mehrere geclusterte virtuelle Maschinen ohne Leistungseinbußen verwenden.

TerraMaster F2-210:

Ich nutze mein NAS-System ausschließlich als Datenspeicher, weshalb ich weder hohe Anforderungen an die Software noch an die Hardware stelle. Mein Hauptziel war, die Lösung so kostengünstig wie möglich umzusetzen. Daher entschied ich mich für ein 2-Bay-NAS von TerraMaster. Das Gerät erfüllt voll und ganz seinen Zweck ohne jegliche Ausfälle oder anderweitige Probleme.

Das NAS-System bietet Platz für 2,5-Zoll- als auch 3,5-Zoll-SATA-Festplatten, wobei keine Disk größer als 20 TB sein sollte. Der verbaute ARM-Prozessor verfügt über 4 Kerne und eine Taktfrequenz von 1,4 GHz, was eine solide Verarbeitung der 1-Gigabit-Netzwerkstreams ermöglicht. Wer eine breit gefächert Weboberfläche mit vielen Apps sucht, wird hier allerdings nicht glücklich werden.

Stattdessen erhält man hier eine energieeffiziente NAS, die mit grundlegenden Funktionen überzeugt. Die integrierte Software wird nur sporadisch aktualisiert. Aufgrund des verbauten 1 GB RAM können nur ein oder zwei Container betrieben werden. Das OS ist auf einem im Inneren des Gehäuses befindlichen USB-Stick installiert. Dieser ist schnell getauscht – Bastler werden sich darüber freuen.

Netzwerk – Das Rückgrat meines Labs:

Für mich ist entscheidend, dass das Netzwerk zuverlässig funktioniert. Obendrein benötigte ich nur einen Durchsatz von 1 Gbit/s. Dabei ist mir allerdings wichtig, dass diese Geschwindigkeit konstant geroutet werden kann. Da ich mich selten am Switch oder der Firewall einloggen muss, sollten beide eine intuitiv bedienbare Weboberfläche besitzen.

Zyxel GS 1900 Switch:

Ein absolut geräuschloser Betrieb war vor ein paar Jahren das Hauptkriterium beim Kauf. Rückblickend betrachtet wäre dies jedoch vernachlässigbar gewesen, da die Lüfter meines selbstgebauten Servers konstant mit einem Geräuschpegel von 30 Dezibel vor sich hindrehen. Damals wollte ich zudem nicht allzu viel Geld ausgeben, daher waren die Anforderungen recht überschaubar:

Ein Layer-2-Managed-Modell mit Webinterface sollte es sein, idealerweise mit 24 Ports und einem im Lieferumfang enthaltenen Rackmontage-Kit. Schließlich wollte ich für die Zukunft gewappnet sein. Leider hat mein damiliges Budget nicht für Power-over-Ethernt gereicht und so musste ich Jahre später meinen Wireless-Acces-Point via Netzteil in Betrieb nehmen.

Insgesamt betrachtet war der Kauf des Zyxel Switches eine gute Entscheidung. Er ist äußerst zuverlässig, unterstützt sogar LACP Link Aggregation, und der administrative Zugang kann in ein VLAN nach Wahl verschoben werden. Zudem gestaltet sich die Konfiguration intuitiv und recht zügig. Und zu guter Letzt sei noch erwähnt, dass das Gerät überraschend energieeffizeint konzipiert ist.

China-Barebone als Firewall:

Open-Source-Software bietet zahlreiche Vorteile. Besonders schätze ich die Transparenz und die vielen Community-Mitglieder, die ständig interessante Funktionen an den Start bringen. Daher wird es dich sicherlich nicht überraschen, dass ich mich anstelle einer vorgefertigten Firewall-Appliance für die quelloffene Lösung pfSense entschieden habe.

Diese läuft auf einem passiv gekühlten Barebone, den ich direkt aus China importiert habe. pfSense begleitet mich seit mehreren Jahren und hat mich bisher nie enttäuscht. Besonders schätze ich das allumfassende Paketmanagement. Dank diesem konnte ich APCUPSD installieren, wodurch meine Firewall bei einem Stromausfall automatisch heruntergefahren wird.

In Bezug auf die Hardware gibt es nicht allzu viel zu berichten. Positiv ist jedoch, dass zwei Festplattenanschlüsse vorhanden sind. Somit besteht die Möglichkeit, bei der pfSense-Installation einen ZFS-Mirror einzurichten. Außerdem verfügt das Gerät über eine Vielzahl wichtiger Schnittstellen: 2 x USB 3.2, 2 x USB 2.0, 1 x COM-Port, 1 x USB Typ-C, 1 x Reset-Taste sowie einen Power-Knopf.

DrayTek Vigor 2765AC Modem:

Mittlerweile verwende ich die DrayTek Appliance lediglich als reines Modem. Dennoch hat sie als preisgünstige Firewall über ein Jahr lang hervorragende Arbeit geleistet. In diesem Modus werden bis zu 4 VLANs unterstützt, es besteht die Möglichkeit, optionale WLAN-Antennen hinzuzufügen, und die Software bietet zahlreiche Funktionen.

Dazu gehören die Filterung von Webinhalten, Bandbreitenbegrenzung, QoS, SNMP und umfangreiche VPN-Optionen. Besonders interessant für Selbsthoster dürfte der hausinterne und kostenlose DrayDDNS-Dienst sein. Ein weiteres nettes Feature ist das zentrale AP-Management für die hauseigenen VigorAPs. Und wer Dual-WAN benötigt, kann ein USB LTE Dongle nutzen.

USV – Optional, aber empfehlenswert:

Meine Infrastruktur umfasst nicht nur mehrere Server, diverse Netzwerkgeräte und eine NAS, sondern auch eine gebraucht gekaufte USV von APC. Im Homelab mag es zunächst übertrieben erscheinen, doch genauso wie in puncto Backups sollte man auch hier nicht sparen. Zudem sind managebare USVs bereits für kleines Geld im einschlägigen Onlinehandel erhältlich.

Aber selbst ich habe mich lange gegen den Erwerb einer unterbrechungsfreien Stromversorgung gesträubt. Irgendwann musste ich mir aber eingestehen, dass ich elementare Backups auf meiner Infrasktruktur liegen habe, die bei einem Stromausfall korrupt werden könnten. Außerdem federt die USV noch Spannungsschwankungen ab und schützt damit meine Hardware.

APC Smart-UPS 750VA:

Ich entschied mich erst vor wenigen Wochen dazu, eine rackmontierbare USV vom renommierten Hersteller APC zu erwerben. Obwohl dies eine kostspielige Entscheidung war, ist die Ausfallsicherheit meiner zahlreichen Dienste nun um ein Vielfaches höher. Und als netten Nebeneffekt kann ich jederzeit den Stromverbrauch meiner Systeme am integrierten Display ablesen.

Um sicherzustellen, dass meine Server auch bei einem Stromausfall ordnungsgemäß heruntergefahren werden, habe ich eine Management-Karte verbaut. Diese ermöglicht es mir obendrein noch wertvolle Informationen und spannende Statistiken anzuzeigen. Den Zustand der verbauten Batterie überwache ich aber nicht im Backend, sondern via SNMP-Abfragen im CheckMK-Server.

Welche Hardware war ein Fehlkauf?

Mein aktuelles Setup erfüllt all meine Anforderungen, und ich bin äußerst zufrieden damit. Dies war jedoch nicht immer der Fall. Über die Jahre hinweg habe ich eine beträchtliche Menge an Hardware erworben, die binnen kürzester zeit aussortiert wurde. Dabei handelt es sich nicht nur um zahlreiche laute und energiehungrige Enterprise-Server.

Auch alte PCs, die Kompatibilitätsprobleme mit neueren Kernels hatten, landen auf dieser Fehlkauf-Liste. Zudem habe ich mich lange Zeit gegen den Kauf vernünftiger Hardware gesträubt, was regelmäßig zu Problemen führte. Und davon möchte ich in den folgenden Zeilen berichten. Den Anfang macht dabei mein mit Abstand größter Fehlkauf.

Die Rede ist von einem Dell R815 Server. Das System war zwar äußerst gut ausgestattet und bot viel Leistung zu einem günstigen Preis, aber viele Komponenten bereiteten fortlaufend Probleme. Ich war regelmäßig damit beschäftigt, Treiber nachzuinstallieren oder zu aktualisieren. Gelegentlich versagte die Netzwerkschnittstelle, und es traten Probleme bei der Bildausgabe auf.

Auch gebrauchte Server-Festplatten haben mich einiges an Nerven gekostet. Die besagten Disks waren zwar unschlagbar günstig, hatten aber mehr als 7 Jahre Dauerbetrieb auf dem Buckel. Regelmäßig gab es Ausfälle und bei jedem Rebuild blieb die Frage offen, ob die restlichen Platten den Vorgang heil überstehen würden. Manchmal sollte man also etwas mehr Geld für Hardware ausegben.