Berichten met de tag ‘failover’

High Available DirectAdmin: It is possible!

15 maart 2011 door Niels te Grotenhuis

At Shock Media we have been using DirectAdmin for some time now and, because of the great support and ease of use, alot of our customers are using it. Our System Administrators like to stay ahead of the demands of our customers and were one of the first to incorporate IPv6 into DirectAdmin and now we are starting with High Available DirectAdmin.

The idea is to have two servers with the same DirectAdmin installation sharing a virtual ip-address that can be used by one of the two servers. This way we can create a redundant DirectAdmin. The Master runs DirectAdmin just like a normal DirectAdmin installation would, the difference is that the Master shares all the data with his Slave buddy. In case the Master server crashes or becomes unavailable, the Slave server will have all the settings and data of the Master. The Slave will take over the virtual ip-address and will start DirectAdmin and all the services like the Apache2 webserver, Dovecot mailserver and Mysql server and will start serving websites with only a couple seconds of delay.

We are using a combination of Heartbeat, DRBD and some of our own custom made scripts to have all DirectAdmin-related data redundant on two servers in case the Slave server needs to take over and Heartbeat keeps track of the Master and does a fail-over when the server disappears and gives the option to migrate DirectAdmin between the two servers.

I made a screen-capture while I shutdown the Master Server and you can see what happens.

In the background you can see Firefox running and it opens the website http://dad.shockmedia.nl. The website shows the current date and time and the hostname of the server the website is running on. The website refreshes every ten seconds.

Master Server da1.shockmedia.nl is the one serving http://dad.shockmedia.nl, after the server is shutdown, Heartbeat notices the server going down and switches all resources for http://dad.shockmedia.nl from da1.shockmedia.nl to da2.shockmedia.nl. Even with a 10 second refresh, Firefox doesnt even notice the server went down and keeps receiving the website without problem, but now its receiving the website from server da2.shockmedia.nl.

Of course there are still some things that will take some time to improve upon, for example identical ssh-keys.

Another thing we really want to accomplish is upgrading servers without downtime. Migrate Master to Slave, upgrade all packages, then migrate DirectAdmin and all the services back to the Master and then upgrade the slave,  so upgrading Apache / PHP5 won’t give any downtime anymore.

We will keep working on it :)

High Availability betaalbaar: dure SAN overbodig

30 november 2010 door Dick Tump

Bij veel oplossingen voor high available virtualisatie, is het nog steeds nodig om een shared storage te hebben. Dat is heel mooi als het budget er ook naar is, maar voor een bedrijf dat gewoon een cluster wil hebben van misschien twee of drie kleine nodes, is dat eigenlijk overbodig. Want om het 100% betrouwbaar te hebben, moet je shared storage natuurlijk ook enige redundantie te hebben.

Alternatief binnen de virtualisatiepakketten is natuurlijk het opslaan van de virtuele instanties op de schijven van nodes zelf. Bij een aantal pakketten is het wel mogelijk om de data te verplaatsen, soms zelfs live. Maar dat maakt het cluster weer niet high available, omdat je bij uitval van die node, de data van die instantie nergens anders hebt staan.

Netwerk RAID 1: onze oplossing voor betaalbare high available virtualisatieOnze oplossing daarbij is eigenlijk simpel, maar doeltreffend: het gebruik van RAID 1 (mirroring), maar dan over het netwerk. Voor elke virtuele instantie kies je een primaire node en een secundaire node. Op de primaire node gaat de instantie draaien en de secundaire node bevat een exacte kopie van de data. Als de virtuele instantie data wegschrijft, wordt dat tegelijkertijd naar beide nodes weggeschreven. Mocht de primaire node uitvallen, dan kan de virtuele instantie direct worden opgestart op de secundaire node. En in geval van bijvoorbeeld onderhoud aan de primaire node, kan van te voren een live migration worden gedaan, waardoor er niet eens downtime is.

Er is dus geen dure SAN meer nodig en daarmee is deze oplossing perfect voor bedrijven die een betaalbaar cluster nodig hebben. Uitbreiding is altijd mogelijk, want er is geen limiet aan het aantal nodes. In theorie is het dus mogelijk om een cluster van 100 nodes hiermee te voorzien. En het is geen probleem om later alsnog een SAN toe te voegen aan het cluster, mocht het cluster toch groeien. Gecombineerd gebruik van de netwerk RAID 1 functionaliteiten en een SAN is daarbij geen probleem, dus zowel de SAN als de schijven van de nodes zelf kunnen dan efficient worden gebruikt.

Een kort overzicht van de belangrijkste mogelijkheden:

  • Gecombineerd cluster, dus tegelijkertijd gebruik van SAN en netwerk RAID 1 (mirroring) voor optimaal gebruik van beschikbare resources
  • Live migration (verplaatsen zonder downtime) van instanties naar de secundaire node
  • Zonder downtime een andere secundaire node kiezen voor een instantie
  • (Automatische) Failover naar de secundaire node, bijvoorbeeld bij uitval van de primaire node
  • Schaalbaar: starten met minimaal twee nodes en onbeperkt uitbreidbaar

De software is al beschikbaar voor iedereen die een clusteroplossing bij ons afneemt. Dus heeft u interesse, neem dan gerust contact met ons op om de mogelijkheden door te spreken. Overigens komt de software waarschijnlijk ook beschikbaar als los pakket, dus houd onze weblog in de gaten.

Betrouwbare storage met Open-E

22 juli 2009 door Dick Tump

Het is natuurlijk niet voor niks dat wij gecertificeerd Open-E partner zijn geworden. Wij beschouwen Open-E als een van de betere storage solutions op dit moment, zeker als shared storage binnen een virtualisatiecluster met Xen of VMware. Toch een gedurfde uitspraak, binnen een wereld waarbij veelal wordt gekozen voor prijzige oplossingen van merken als Equallogic.

iSCSI failover: uitval van een SAN is geen uitval van de storage
Een van de interessantere mogelijkheden van Open-E is wel iSCSI failover, waardoor uitval van een van de SANs niet een uitval van de storage betekent. Open-E weet binnen een seconde over te schakelen op het andere systeem, waardoor een hapering eigenlijk niet eens merkbaar is. Alle virtuele instances die op de storage hun data opslaan, blijven dus gewoon zonder problemen werken.

Betaalbaarder, maar ook beter
Een Open-E oplossing is een zeer goed betaalbare oplossing. Zo betaalbaar zelfs, dat licenties en hardware meegerekend, je in plaats van (de gebruikelijke oplossing) één enkele prijzige SAN, twee op Open-E gebaseerde SANs neer kunt zetten. Alle hardware kan altijd kapot, welk merk dan ook, maar het belangrijkst is om bij uitval toch zo min mogelijk problemen te hebben. Daarvoor kan wel een SLA worden afgesloten waarbij binnen 4 uur de SAN weer gerepareerd is door de leverancier, maar dan liggen wel alle servers er 4 uur lang uit. En een dergelijke SLA is vaak ook nog eens een behoorlijke periodieke kostenpost, naast dat 4 uur downtime natuurlijk niet is te verkopen aan klanten.

Ook de door Open-E geleverde performance is zeer goed. Door gebruik te maken van meerdere gigabit uplinks, is een zeer hoge data throughput haalbaar. In de server zelf wordt dan een goede hardware RAID controller geplaatst met zeer snelle schijven. Zo is met een SATA RAID 5 bestaande uit 4 schijven een snelheid van boven de 300 megabyte per seconde prima haalbaar. En voor de I/O intensieve applicaties is een SAS RAID 5 tegenwoordig ook goed betaalbaar.

Onze oplossing: high availability op maar 4 servers
Wij kunnen klanten dankzij Open-E en VMware of Citrix XenServer al een high availability oplossing bieden vanaf 4 ‘gewone’ dedicated servers. Op 2 servers draait de SAN met iSCSI failover en op 2 andere servers draait VMware of Citrix XenServer met automatische failover. Naast dat we hiermee een zeer stabiele oplossing bieden, is uitbreiding in de toekomst ook eenvoudig mogelijk, door bijvoorbeeld een extra fysieke server te plaatsen waar weer VMware of Xen instances op komen te draaien. En het mooie is, deze clusters ondersteunen zonder problemen zowel Windows als Linux. Of zelfs een combinatie van deze twee!

Twee dedicated servers inclusief Open-E met iSCSI failover, is al leverbaar vanaf 300 euro per maand.