IPv6 in DirectAdmin: het werkt!

14 juli 2010 door Dick Tump

Dat het belangrijk is om IPv6 te implementeren hoeven we niet meer te vertellen. Maar jammer genoeg is het vaak toch nog onmogelijk. Binnen de hostingwereld is een belangrijke oorzaak het gebrek aan control panels met ondersteuning voor IPv6.

In Nederland lopen we eigenlijk flink voor op IPv6 vergeleken met veel andere landen. Half het hostende Nederland is dus ook aan de ontwikkelaars van DirectAdmin om IPv6 gaan vragen. Dit heeft gelukkig zijn vruchten afgeworpen, want een flinke tijd terug was er al basis IPv6 ondersteuning in DirectAdmin. Dit stelde jammer genoeg niet heel veel voor, gezien het nog niet goed mogelijk was om IPv6 adressen aan een website te koppelen. Dus praktisch gezien kon je er niks mee, maar de eerste stap was gezet.

Toen werd Multi IP ondersteuning aangekondigd door de ontwikkelaars, waarmee je dus meerdere IP adressen aan een site kon koppelen. Dit konden meerdere IPv4 adressen zijn, maar ook IPv6 naast IPv4 adressen. Hiermee zou IPv6 eindelijk bruikbaar worden. Het was lang wachten op de release, maar na enkele maanden was het zover en kwam versie 1.36.0 uit, met IPv6 en met Multi IP ondersteuning.

Het was bijna een anticlimax te noemen, toen we erachter kwamen hoe het toevoegen van IPv6 aan een DirectAdmin server in z’n werk gaat. Hieronder een overzicht/korte handleiding van de te doorlopen stappen, voor een eenvoudige DirectAdmin IPv6 setup.

Server voorbereiden

  1. Voeg een IPv6 adres toe aan de netwerkconfiguratie van de server (/etc/network/interfaces in Debian en Ubuntu).
  2. Voeg het IPv6 adres toe als administrator bij IP Management onder Admin Level. Let op: je kunt de standaard IPv4 netmask gewoon laten staan. DirectAdmin zal er niks mee doen in geval van een IPv6 adres.
  3. Na het toevoegen onder IP Management, moet in datzelfde scherm het IP worden geselecteerd en aan een reseller worden gekoppeld door middel van het knopje ‘Assign to’.
  4. Log nu in als deze reseller, of ga naar Reseller Level als je het IP aan jezelf als administrator hebt gekoppeld. Ga ook hier weer naar IP Management. Dit is dus een andere pagina dan de IP Management in Admin Level. Selecteer weer het IP adres en klik op ‘Share Selected’. Dit IP is nu een gedeeld IP, om te gebruiken voor de gebruikers onder deze reseller.

Een gebruiker/website voorzien van IPv6

  1. Log in als reseller waar een IPv6 adres aan gekoppeld is en ga naar de gebruiker welke via IPv6 bereikbaar moet worden. Dit kan bijvoorbeeld via List Users. Klik hierna op ‘Modify User <gebruikersnaam>’.
  2. Kies bij ‘Add Additional IP’ het IPv6 adres en klik op ‘Add’.
  3. Log nu in als de betreffende gebruiker en ga naar Domain Administration (of Domain Setup).
  4. Kies een domeinnaam welke via IPv6 bereikbaar moet worden.
  5. Onderaan bij ‘Add Another IP to <domeinnaam>’ kan nu het IPv6 adres worden toegevoegd.
  6. Herhaal stap 3 tot en met 5 voor alle domeinnamen van deze gebruiker.

Al met al vrij veel werk dus. Ook vervelend hierbij is dat je niet meteen een IPv6 adres aan een nieuwe gebruiker kunt toevoegen. Het is wel eenvoudig mogelijk om de gebruiker alleen op IPv6 te draaien, door bij het aanmaken het IPv6 adres te kiezen. Maar gezien 99% van de mensen nog steeds alleen IPv4 heeft, zal dat weinig nut hebben. Dus na het aanmaken van een gebruiker zal het IPv6 adres moeten worden toegevoegd.

Ergens mogen we natuurlijk blij zijn dat er überhaupt enige vorm van IPv6 ondersteuning is en dat het goed werkt. Maar het zou wel fijn zijn, als het iets simpeler zou gaan dan dit. Eenmalig een IPv6 adres toevoegen aan de server is nog wel acceptabel, maar elke gebruiker met de hand moeten wijzigen (zelfs nieuwe gebruikers!) en los alle domeinnamen, is gewoon te veel werk. Een lichtpuntje is wel dat het met dit systeem alsnog weer vrij eenvoudig gaat werken, als iedereen IPv6 heeft. Want dan hoef je er geen IPv4 adres meer bij te gebruiken.

Tags: , , , , ,

Virtuele servers ongekend populair

10 mei 2010 door Alain Gotz

De virtualisatie-techniek, waarbij er meerdere besturingsystemen worden geinstalleerd op een fysieke server, is de laatste jaren flink in opkomst. De grote voordelen waaronder schaalbaarheid, makkelijker beheer en de grote besparing van kosten die virtualisatie kan betekenen, zorgen ervoor dat steeds meer bedrijven kiezen voor virtualisatie. Onze server-dienstverlening hebben wij enkele jaren geleden ook uitgebreid door naast dedicated servers (dit zijn losse fysieke servers) ook virtuele servers aan te bieden.Groei serverpark Shock Media B.V. Na een recente analyse van ons serverpark blijkt dat we sinds vorig jaar zelfs (ruim) over het punt heen gegaan zijn dat we meer virtuele servers aanbieden dan fysieke of eigenlijk dedicated servers. Op de grafiek hiernaast is de afname van al onze fysieke dedicated servers tegen al onze virtuele servers afgezet, zoals ze worden afgenomen door onze klanten bij ons in het datacenter of bij klanten zelf op locatie. Servers die in zijn geheel worden gehuurd door klanten, maar deze zelf voor virtualisatie gebruiken, is in deze grafiek weergegeven als een dedicated server. In werkelijkheid is dus te stellen dat het verschil zelfs nog wat groter is dan zichtbaar op deze grafiek.

Dat virtuele servers anno 2010 duidelijk meer populariteit kennen dan dedicated servers is een feit te noemen, dit zal overigens niet betekenen dat dedicated servers volledig gaan verdwijnen in de nabije toekomst. Wanneer er veel performance nodig is of men zelf een cluster van dedicated servers met daarop weer virtuele servers wil, blijven dedicated servers op dit moment toch wel heel interessant.

Tags: ,

Wederom tijd voor een feestje…

24 februari 2010 door Alain Gotz

Toen definitieve cijfers van afgelopen jaar bekend werden, is er direct besloten weer een feestje te geven! Iedereen heeft keihard zijn best gedaan en daar mag best wat tegenover staan.

Afgelopen zaterdag 20 februari j.l. hebben we in het sfeervolle Club Nielz in Almelo dit feestje gehouden. Onder een genot van een zeer goed verzorgd buffet, lekker drinken en het beste gezelschap is de avond een groot succes geworden. Een kleine indruk van onze avond is hieronder te vinden.

Tags: ,

Virtualisatie: nu in een nieuwe verpakking

17 februari 2010 door Dick Tump

Stilstand is achteruitgang. Onder dat motto blijven we altijd weer ontwikkelen. Soms betekent dat vervanging van apparatuur, zoals de overstap naar Cisco apparatuur, maar soms is er ook op software niveau verbetering mogelijk. Zoals in dit geval het opnieuw uitvinden van virtualisatie.

We zijn enkele jaren geleden begonnen met virtualisatie op basis van Xen. Uiteraard hebben wij dit uitvoerig getest en we hebben de clusters op basis van Xen dan ook al een flinke tijd stabiel draaien. Waar klanten (gelukkig) niks van merken, is de beheerkant. Voor dit beheer zijn we momenteel deels afhankelijk van third-party tools. Na een tijdje kom je dan toch altijd kleine dingen tegen. Het betreft open source software, dus het is zelf aan te passen. Maar dat is weer lastiger met updates van de ontwikkelaars van de software. Je kunt ook losse dingen eromheen schrijven, maar dat komt het functioneren vaak ook niet ten goede.

Eind vorig jaar besloten we dat het tijd werd om alles opnieuw te bekijken. Na veel testen, is de keus gevallen op de virtualisatietechniek KVM en het ontwikkelen van eigen clustersoftware. Eigen software is makkelijker te combineren met bijvoorbeeld onze eigen beheer- & administratie-software en krijgen we daarnaast nog meer diepgaande invloed op onze clusters, wat weer handig is bij eventuele storingen.

Maar waarom geen Xen meer? Hiervoor waren eigenlijk meerdere redenen. Belangrijk was vooral dat Xen voornamelijk voor de, inmiddels verouderde, 2.6.18 kernel wordt ontwikkeld. Hierdoor missen vaak kernel modules voor de wat nieuwere hardware. De ontwikkeling van KVM lijkt wat actiever te zijn en meerdere Linux distributies hebben Xen ook de deur uitgedaan en vervangen door KVM. In Linux Debian Lenny zit wel een Xen kernel op basis van 2.6.26, maar we hebben tijdens onze testen deze niet volledig stabiel gekregen.

Verder hebben we met Xen ook andere kleine probleempjes. Zo gaat bijvoorbeeld een live migration (dus zonder downtime een virtueel systeem naar een ander fysiek systeem verplaatsen) niet altijd helemaal goed. KVM is op dit punt toch wel heel wat beter. Ook blijkt KVM iets betere performance te leveren dan onze huidige Xen opstelling.

Het grootste deel van deze ‘problemen’ is overigens niet aanwezig bij Citrix XenServer. Hierbij hebben we bijvoorbeeld zeer positieve ervaringen met live migration, op voorwaarde dat de software voor gastsystemen van Citrix geïnstalleerd is. Citrix XenServer heeft alleen weer als nadeel dat het wat minder open is en hierdoor veel meer afhankelijk bent van Citrix. Als oplossing voor onze klanten die zelf virtualisatie willen, is dat vaak geen probleem.

Het ontwikkelen van ons nieuwe cluster en bijbehorende clustersoftware heel wat manuren gekost.  Zo zijn onder andere het beheer van instellingen, toevoegen van virtuele systemen, ervoor zorgen dat er geen dubbele MAC adressen ontstaan in het netwerk, virtuele servers live migreren, de harddisks van een systeem kunnen vergroten en regelmatige automatische controles of alles nog wel correct draait,  enkele van de vele belangrijke beheer functies die onze clustersoftware moesten komen.  Ook klanten moesten meer controle krijgen over hun virtuele server, waaronder bijvoorbeeld het zelfstandig kunnen herstarten of via de console overnemen van een virtuele server zijn onderdelen die binnen ons klantensysteem ‘my.shockmedia.nl’ beschikbaar moesten komen.

Na veel ontwikkeling en testen is dan inmiddels ons nieuwe cluster, op basis van KVM en onze eigen clustersoftware, live gegaan. Nieuwe Virtuele Servers leveren wij dan ook per direct op vanuit ons nieuwe cluster.

Tags: , , , , , ,

Even de netwerk-capaciteit verdrievoudigen…

12 februari 2010 door Erik Jan Hofstede

Afgelopen jaren is er veel veranderd in de internet wereld. Bijna iedereen heeft een breedband internetverbinding, waarbij snelheden over 20 Mbit geen uitzonderingen zijn. Door deze contante groei, samen met de forse groei van Shock Media als service provider, is het nodig eens in de zoveel tijd de netwerk-infrastructuur goed onder de loep te nemen. Afgelopen maanden was het weer eens zover, waarbij we op de volgende punten gekomen zijn, die aan verbetering toe zijn:

  • Meer capaciteit
  • Meer controle over wat er op het netwerk gebeurt
  • Verbeterde redundantie
  • Verhoogde stabiliteit
  • Een beter te schalen netwerk, om later fysieke groei nog makkelijker te kunnen realiseren

CiscoMet dit pakket van eisen zijn we afgelopen maanden aan het testen geslagen met verschillende merken en types van apparatuur en we hebben een winnaar! We hebben besloten om onze core- en edge-apparatuur, wat op het moment van schrijven nog grotendeels bestaat uit 3Com apparatuur, te gaan vervangen door Cisco apparatuur. Dit gaat ons de mogelijkheid bieden om het netwerk op veel meer lagen te beheren en fors door te groeien. Onze netwerk-capaciteit wordt hiermee ook nog eventjes verdrievoudigd! Dit alles maakt het redelijk afschrikwekkende prijskaartje van Cisco ruimschoots goed.

Komende maanden zal deze conversie fysiek worden toegepast en alle core- & edge-apparatuur worden vervangen. Voor grootverbruikers is het vanaf volgende maand standaard mogelijk om een Gbit verbinding af te nemen op ons netwerk!

Tags: , , , , ,

Op jacht naar meer performance

29 januari 2010 door Dick Tump

Een belangrijke bezigheid binnen Shock Media is de eeuwige jacht naar meer performance. Dit kan worden gerealiseerd door optimalisatie, maar soms bestaat er ook gewoon betere hardware. Een goede verbetering is bijvoorbeeld de Intel Nehalem processorarchitectuur met DDR3 geheugen. Maar dit keer gaat het om een nieuwe serie harde schijven, welke Samsung recent op de markt heeft gebracht. Hierbij geven ze de ongeloofwaardige claim dat ze 30% sneller zijn dan de vorige serie. Deze nieuwe serie, de Samsung F3 harddisks, zijn te krijgen in 500 GB en 1 TB formaat, twee formaten die veel worden gebruikt op dit moment.

Doordat de SATA schijven steeds sneller worden, zijn ze tegenwoordig ook voor de wat zwaarder belaste servers vrij interessant. Alhoewel SAS voorlopig voorlopig nog wel even de grote winnaar blijft, zeker omdat er geen SATA 15.000 rpm schijven zijn, is juist die combinatie van veel opslagcapaciteit, goede performance en de prijs bij veel situaties interessant.

Reden genoeg dus om deze schijven maar eens aan een aantal testjes te onderwerpen. Eerst sluiten we ze in RAID 1 aan op een Areca ARC-1200 controller, in een Windows server uitgerust met Xeon X3330 processor. Hierop draaien we ATTO Disk Benchmark:

Samsung F3 Benchmark

Samsung F3 Benchmark

Als je bedenkt dat er met de vorige serie schijven met erg veel moeite maar 130 MB/s uit te persen was, is een piek van ruim 180 MB/s wel een erg goede score.

Ook met tests onder Linux zien we mooie waarden terug. We hebben een Nehalem systeem uitgerust met software RAID 10. Linux MD RAID ondersteunt meerdere ‘layouts’, waaronder ‘far’, welke de data op verschillende ‘fysieke’ plekken van de disks op gaat slaan. Hierdoor zijn iets betere access tijden mogelijk en liggen de snelheden bij sequentieel lezen ook iets hoger. Als filesystem gebruiken we Ext4, want uit eerdere tests bij ons bleek al dat Ext4 net wat sneller is dan XFS en veel sneller dan Ext3. We limiteren het systeem op 1 GB RAM, om veel caching te voorkomen.

We doen een reboot, om te voorkomen dat er data in de cache staat en voeren een simpele leestest uit:

8589934592 bytes (8.6 GB) copied, 20.523 s, 419 MB/s

Dit zijn toch wel zeer hoge snelheden, zeker voor een vrij goedkope oplossing, omdat het alleen vier SATA schijven met software RAID betreft. Ook een test met bonnie++ geeft mooie waarden terug:

Version 1.03c       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
test1            8G 95563  99 206199  27 74990  13 75902  91 357054  25 218.00

Eigenlijk kunnen we alleen maar concluderen dat voor SATA systemen de nieuwe Samsung schijven de beste keus zijn, althans op dit moment. Want andere fabrikanten zitten natuurlijk ook niet stil. Alleen voor de echte high performance servers, zoals zware database systemen, zullen we toch SAS moeten blijven gebruiken.

Version 1.03c       ——Sequential Output—— –Sequential Input- –Random-
-Per Chr- –Block– -Rewrite- -Per Chr- –Block– –Seeks–
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
test1            8G 95563  99 206199  27 74990  13 75902  91 357054  25 218.00
——Sequential Create—— ——–Random Create——–
-Create– –Read— -Delete– -Create– –Read— -Delete–
files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
test1,8G,95563,99,206199,27,74990,13,75902,91,357054,25,218.0,0,16,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++

Tags: , , , , , , , , , ,

IPv6 Awards 2009

18 november 2009 door Erik Jan Hofstede

ipv6award_logoWe zijn genomineerd! Samen met een drietal collega Internet Service Providers: BIT, Signet en Prolocation zijn wij door de IPv6 Taskforce (in het leven geroepen door Ministerie van Economische zaken) verkozen tot het bedrijf met een van de meest succesvolle implementaties van het ‘nieuwe’ IPv6-protocol! Bij deze nominatie werd er gelet op motivatie, relevantie, toewijding, implementatie en impact. Wij voelen ons zeer vereerd om op al deze punten uit te blinken.

Hoewel wij als bedrijf altijd ons best doen innovatief te zijn en te blijven, is IPv6 niet alleen een punt om op uit te blinken in de kudde ISP’s in Nederland, het is ook pure noodzaak; ik hoef hopelijk niet meer uit te leggen dat het aantal beschikbare IPv4 adressen fors aan het krimpen is. De motivatie voor ons voor het ‘vroeg’ in gebruik nemen van IPv6, was niet alleen proberen weer eens de beste leerling van de klas te zijn, ook bood dit ons een hele mooie kans om alles goed te testen omdat het nog geen noodzaak is. Alle complicaties (zover die er echt zijn geweest) zijn allemaal zeer beperkt gebleven.

Graag wil ik alle genomineerden, ongeacht wat de uitkomst wordt van de uitreiking op donderdag 26 november, willen bedanken voor de belangrijke bijdrage die zij geleverd hebben aan de ontwikkeling van het internet. In mijn ogen is deze bijdrage stukken belangrijker dan het winnen van de prijs zelf (uiteraard is de prijs wel meer dan welkom!).

Tags: , , ,

Updates voorkomen hacks

23 oktober 2009 door Dick Tump

KluisDe laatste twee maanden horen we regelmatig weer over gehackte servers. Ook enkele van onze eigen klanten, die nog ergens een server hebben die niet bij ons in beheer is,  is dit overkomen. De oorzaak? Een ernstige kernel bug in Linux uit begin augustus 2009, waarbij lokale gebruikers van het systeem root toegang kunnen verkrijgen.

Maar dit is meestal niet de enige oorzaak, want eerst moet een hacker natuurlijk al toegang hebben als lokale gebruiker op het systeem. Toch is dit maar al te vaak simpel te verkrijgen, namelijk via onveilige scripts waar beveiligingslekken in zitten, zoals weblog, forum en andere scripts die niet up-2-date zijn, meestal geschreven in PHP. Bij diverse beveiligingslekken krijgen hackers de mogelijkheid om commando’s en programma’s uit te voeren op de server, dus ook een exploit om root toegang te krijgen op een server.

Vaak gebeurt dit doordat er geen tijd wordt vrijgemaakt voor het updaten van de software op de server of dat er niet voldoende kennis is om de software up-2-date te houden. Veel servers draaien bijvoorbeeld nog op een verouderde Debian (Sarge) of Fedora versie, waarvoor geen updates meer worden vrijgegeven. Een bug, zoals de eerder genoemde kernel bug, wordt hierdoor dus ook niet opgelost op zo’n server. Als dan ook niet goed wordt gelet op de beveiliging van bijvoorbeeld de PHP scripts, kan dit dus heel makkelijk tot een hack leiden. En uiteindelijk kost het dan meer tijd, expertise, moeite en dus ook geld om de gevolgen op te lossen, dan wanneer de updates netjes waren bijgehouden.

Veel van de servers onder ons beheer draaien op Linux Debian. Een aanzienlijk deel draait nog op Debian Etch, waarvoor momenteel nog wel security updates worden gemaakt maar in februari 2010 de updates voor stoppen. Daarom zijn wij al geruime tijd druk bezig met het updaten van alle servers onder ons beheer naar de nieuwe Debian Lenny. Dit wordt gedaan voor elke klant met een Service Level Agreement. Omdat een dergelijke update enkele minuten downtijd inhoud, nemen we dan ook met elke klant even persoonlijk contact op om te bespreken wanneer zo’n update het beste uitkomt.

Een gehackte server kan natuurlijk veel vervelende gevolgen hebben. De data kan op straat komen te liggen, data kan worden verwijderd of de server kan worden misbruikt voor bijvoorbeeld het versturen van spam of voor andere illegale activiteiten zoals het stelen van creditcard gegevens. Saillant detail hierbij is dat de eigenaar van de server in beginsel ook verantwoordelijk is voor deze illegale activiteiten met alle gevolgen weer van dien. Het is hoe dan ook altijd zeer vervelend en daarnaast zeer kostbaar om de situatie (als mogelijk) te herstellen. Ons advies als u uw software zelf beheerd: hou uw software nauwgezet up-2-date!

Tags: , , , , , , , ,

Feestje 10 jaar Shock Media!

2 oktober 2009 door Alain Gotz

Ook wij houden van een feestje en ons 10 jarige bestaan van 14 september j.l. gaf een mooie aanleiding om op 2 oktober j.l. met (oud) personeel en aanhang wat te organiseren. Voor deze gelegenheid hadden wij ons magazijn omgetoverd tot feestruimte waarbij er lekker kon worden gegeten en gedronken. Hieronder een kleine indruk van de zeer geslaagde avond!

Tags: , ,

Shock Media: a history of success

14 september 2009 door Alain Gotz

Precies 10 jaar geleden, 14 september 1999, is Shock Media B.V. opgericht en is uitgegroeid van een kleine onderneming met een handjevol klanten tot een succesvol ICT bedrijf met duizenden klanten. In 2001 knapte de internet zeepbel maar wist Shock Media zonder problemen te overleven. Ook de huidige economische crisis vormt geen probleem, op 1 september j.l. was Shock Media al weer 40% gegroeid ten opzichte van vorig jaar! Wij waren dit jaar zelfs genoodzaakt te verhuizen naar een groter pand om onze groei aan te kunnen.

Het succes van Shock Media is waarschijnlijk te danken aan het feit dat Shock Media al jaren lang een eigen koers vaart en zich weinig heeft aangetrokken van de nieuwkomers op de markt, die met ongelooflijk lage marges dezelfde dienstverlening zeggen te kunnen bieden. Dit type bedrijven komen en gaan aan de lopende band. De ‘concurrenten’ die wij de afgelopen 10 jaar hebben zien komen en gaan lopen letterlijk in de honderden, zo niet duizenden bedrijven.

Maar niet geheel onbelangrijk zijn de trouwe klanten en natuurlijk de dagelijkse inzet van de Shock Media medewerkers. Deze werken met de regelmaat van de klok naast de reguliere kantooruren, dag en nacht om te zorgen voor een snelle en stabiele dienstverlening.

Om ons 10 jarig bestaan te vieren hebben we een unieke actie in het leven geroepen: 1 jaar gratis hosting en een gratis domeinnaam! Geen addertjes zoals een 2 jarig contract of verborgen kosten. Deze actie is alleen geldig vanaf vandaag tot en met 18 september 2009.

Tags: , ,

Betrouwbare storage met Open-E

22 juli 2009 door Dick Tump

Het is natuurlijk niet voor niks dat wij gecertificeerd Open-E partner zijn geworden. Wij beschouwen Open-E als een van de betere storage solutions op dit moment, zeker als shared storage binnen een virtualisatiecluster met Xen of VMware. Toch een gedurfde uitspraak, binnen een wereld waarbij veelal wordt gekozen voor prijzige oplossingen van merken als Equallogic.

iSCSI failover: uitval van een SAN is geen uitval van de storage
Een van de interessantere mogelijkheden van Open-E is wel iSCSI failover, waardoor uitval van een van de SANs niet een uitval van de storage betekent. Open-E weet binnen een seconde over te schakelen op het andere systeem, waardoor een hapering eigenlijk niet eens merkbaar is. Alle virtuele instances die op de storage hun data opslaan, blijven dus gewoon zonder problemen werken.

Betaalbaarder, maar ook beter
Een Open-E oplossing is een zeer goed betaalbare oplossing. Zo betaalbaar zelfs, dat licenties en hardware meegerekend, je in plaats van (de gebruikelijke oplossing) één enkele prijzige SAN, twee op Open-E gebaseerde SANs neer kunt zetten. Alle hardware kan altijd kapot, welk merk dan ook, maar het belangrijkst is om bij uitval toch zo min mogelijk problemen te hebben. Daarvoor kan wel een SLA worden afgesloten waarbij binnen 4 uur de SAN weer gerepareerd is door de leverancier, maar dan liggen wel alle servers er 4 uur lang uit. En een dergelijke SLA is vaak ook nog eens een behoorlijke periodieke kostenpost, naast dat 4 uur downtime natuurlijk niet is te verkopen aan klanten.

Ook de door Open-E geleverde performance is zeer goed. Door gebruik te maken van meerdere gigabit uplinks, is een zeer hoge data throughput haalbaar. In de server zelf wordt dan een goede hardware RAID controller geplaatst met zeer snelle schijven. Zo is met een SATA RAID 5 bestaande uit 4 schijven een snelheid van boven de 300 megabyte per seconde prima haalbaar. En voor de I/O intensieve applicaties is een SAS RAID 5 tegenwoordig ook goed betaalbaar.

Onze oplossing: high availability op maar 4 servers
Wij kunnen klanten dankzij Open-E en VMware of Citrix XenServer al een high availability oplossing bieden vanaf 4 ‘gewone’ dedicated servers. Op 2 servers draait de SAN met iSCSI failover en op 2 andere servers draait VMware of Citrix XenServer met automatische failover. Naast dat we hiermee een zeer stabiele oplossing bieden, is uitbreiding in de toekomst ook eenvoudig mogelijk, door bijvoorbeeld een extra fysieke server te plaatsen waar weer VMware of Xen instances op komen te draaien. En het mooie is, deze clusters ondersteunen zonder problemen zowel Windows als Linux. Of zelfs een combinatie van deze twee!

Twee dedicated servers inclusief Open-E met iSCSI failover, is al leverbaar vanaf 300 euro per maand.

Tags: , , , , , , , , , , , ,

Backups tot de macht drie

24 juni 2009 door Erik Jan Hofstede

Hoewel Murphy (zie de Wet van Murphy of eigenlijk de Wet van Bedrog) al een geruime tijd geleden bij ons bedrijf ontslagen is, komt deze hardnekkige en vooral niet echt populaire ex-collega toch zo nu en dan - onaangekondigd – langs om eens flink wat roet in het spreekwoordelijke eten te gooien.

Omdat wij alle systemen waarvan wij het beheer onder onze hoede nemen, proactief monitoren, trendgrafieken maken en regelmatig onderwerpen aan een grondige ‘checkup’, detecteren en verhelpen we vrijwel alle potentiële problemen voordat het problemen worden. Toch zullen er altijd problemen blijven ontstaan, die niet vooraf te voorkomen waren. Enkele voorbeelden van problemen die niet vaak proactief op te lossen zijn:

  • Spontane filesystem corruption (door software of hardware) waardoor data in extreme gevallen corrupt kan raken.
  • Zero-day exploits in gebruikte software waardoor hackers in extreme gevallen data zouden kunnen verwijderen.
  • Mensenlijke fouten waardoor data perongeluk word verwijderd.
  • Rampen en terrorisme.

De vraag die wij onszelf daarom regelmatig stellen is niet of een incident gaat plaatsvinden, maar altijd wanneer en hoe we op dat moment zo’n incident kunnen ondervangen. Deze conclusie heeft er tot geleid dat wij bijna paranoïde zijn geworden op het maken van goede backups en het redundant opslaan van data. Er zijn nooit teveel backups!

Backups en dataopslag bij Shock Media B.V.

Backups en dataopslag bij Shock Media B.V.

Hiernaast staat een illustratie over hoe wij data in ons Xen-cluster opslaan en hier backups van maken. Om het voor minder technisch onderlegde mensen begrijpbaar te houden, zijn een aantal zaken versimpeld weergegeven. Data van onze klanten wordt op de fysieke server redundant opgeslagen d.m.v. hardware RAID, hiernaast word ook alle data realtime gerepliceerd naar een andere fysieke server, die als secundairy dient en eveneens met hardware RAID is uitgerust. Wanneer een fysieke server uitvalt, kunnen de virtuele systemen (die de data bevatten) eenvoudig op een ander fysiek systeem weer gestart worden. Hierdoor is de data van bijvoorbeeld een website, e-mail, database of applicatie al op 4 verschillende mediadragers realtime opgeslagen in het cluster.

Ook worden er dagelijks meermaals een mirror gemaakt van alle data naar een fysiek andere backup-server buiten het cluster die ook weer is uitgevoerd met hardware RAID. Deze data is hooguit enkele uren oud, maar niet realtime. Dit heeft als voordeel dat bij dataverlies door een menselijke fout of door een hacker, deze weer snel kan worden gerestored.

Deze data staat allemaal nog wel in hetzelfde datacentrum. Hoewel dit datacentrum zwaar beveiligd is tegen brand, braak, water en andere soorten rampen, is wanneer bijvoorbeeld een vliegtuig land op het datacentrum een potentieel probleem voor verlies van data. Hierom maken wij ook offsite backups naar een backup-server in een fysiek ander – geografisch gescheiden – datacentrum. Wederom is deze server uitgevoerd met hardware RAID.

Als laatste maken wij periodiek complete backups naar backuptapes die weer op een geografisch gescheiden locatie worden opgeslagen. Deze data is niet via een netwerk verbonden maar is volledig offline. Dit zorgt ervoor dat de data extreem veilig staat, echter niet makkelijk toegankelijk om te gebruiken voor recovery van data. Dit is dan ook alleen in extreme situaties een extra uitwijk mogelijkheid.

Alle data van onder andere onze shared hosting, virtuele servers maar ook diverse dedicated servers en dedicated clusters worden door het gebruik van hardware RAID, netwerk-replicate, onsite backups, offsite backups en offline backups in totaal 9 keer opgeslagen.

Tags: , , , , , ,

Verhuizing Shock Media

12 juni 2009 door Alain Gotz
Nieuwe pand Shock Media

Nieuwe pand Shock Media

Groei in economisch slechte tijden is een prestatie waar wij trots op mogen zijn, hetgeen als resultaat heeft gehad dat wij per 18 mei j.l. onze nieuwe  kantoorruimte op industrieterrein Noordbroek  in Almelo in gebruik hebben genomen. Deze ruimte biedt meer mogelijkheden om verder te groeien en ons team verder uit te breiden.

Bij de verhuizing van een bedrijf komt meer kijken dan bij een normale verhuizing, zo moet alles in feite in 1x gebeuren, je kunt bijvoorbeeld niet de bureaus al verhuizen terwijl de medewerkers nog op de oude locatie moeten werken. Het was dus een heel geplan om alles geregeld te krijgen en de fysieke verhuizing heeft dan ook in 1 weekend plaatsgevonden. Gelukkig heeft iedereen mee geholpen en was het behalve een zwaar en lang weekend, ook heel gezellig! Een foto collage is onderaan dit bericht te vinden.

Behalve dat wij nu veel meer ruimte hebben voor uitbreiding van ons team, hebben wij nu ook de kans benut een logischere indeling te kunnen maken. Zo zitten de support medewerkers bij elkaar in dezelfde ruimte wat de communicatie makkelijker maakt. Voor het testen, assambleren, installeren en configureren van nieuwe servers, clusters en projecten hebben wij een aparte afgeschermde technische ruimte ingericht. Voorheen werd dit in de ruimte gedaan waar men ook continu werkte wat veelal zorgde voor overlast van lawaai. Het zelfde geld voor de vergaderruimte en kantine die nu ook volledig afgeschermd zijn om in alle rust met elkaar te communiceren.

Het resultaat mag er wezen. Shock Media is klaar voor verdere groei!

De verhuizing samengevat

De verhuizing samengevat

Tags: , ,

Spambestrijding

18 mei 2009 door Dick Tump
Ham en Spam server Sara

Voor en na onze wijzigingen op een van de servers

In de constante strijd tegen spammers, zijn wij opnieuw gaan kijken naar onze spamfiltering. In het hele proces, dat we in stappen hebben uitgevoerd, kwamen we in onze logs en statistieken een aantal opvallende zaken tegen, die we hieronder op een rijtje hebben gezet.

Spammers gebruiken oude DNS records
Ooit, ongeveer 3 jaar terug, hadden wij een los systeem in gebruik dat spam filterde. Later hebben we besloten deze load te verdelen over de servers op ons shared hosting platform, maar nu we druk bezig zijn met virtualisatie, is dat minder interessant geworden.

De server (of eigenlijk virtuele server) die nu weer spamfiltering gaat doen, hebben we op hetzelfde IP adres gezet als de server van 3 jaar terug. Tot onze verbazing zagen we zelfs nog tijdens de installatie al spam aangeleverd worden op de nieuwe installatie. Dit terwijl de DNS al 3 jaar niet meer naar die server verwijst en het IP adres al die tijd niet in gebruik is geweest.

Na enig zoekwerk op Google zagen we dat meer mensen hier last van hebben. Dit is wel belangrijk om in de gaten te houden, zeker als je MX records toevoegt van losse systemen die filtering doen.

Spammers kijken niet naar MX priority
Inmiddels beginnen spammers door te krijgen dat MX records met een hogere prioriteit (dus een lager getal), vaak spamfilters zijn. Spammers kiezen nu dus heel vaak juist het MX record met de laagste prioriteit (hoger getal), of kiezen willekeurig een MX record uit.

Als er dus een apart spamfilter wordt geinstalleerd die de mail doorstuurt naar de volgende server, dan kan het dus slim zijn om de spamfilter het MX record te geven met zowel de laagste als de hoogste prioriteit. Maar dan nog krijg je vaak direct mail binnen op de server.

Spammers kijken uberhaupt niet naar MX
Het komt ook vaak voor dat spammers mailen naar de A record van een domeinnaam, in plaats van naar de MX records te kijken. Dit betekent dat op shared hosting systemen waarbij de email en website op een enkel systeem draait, de mail daar direct naartoe gaat. Hierbij kijken spammers niet naar de MX records waarin wordt verwezen naar de aparte spamfilters.

Wel of niet filteren aan de hand van blacklists?
De echt consequente spammers komen op blacklists terecht. Maar de vraag is, wil je aan de hand van blacklists wel direct filteren of zelfs de verbinding weigeren? Het gebeurt wel eens dat legitieme verzenders ook in blacklists terecht komen, zoals bijvoorbeeld een keer met Gmail is gebeurd, welke ineens in SpamCop stond.

Je kunt besluiten om wel direct te filteren aan de hand van blacklists, waarmee je heel veel spam direct zult tegenhouden. Onze mening is dat de spamfiltering er in elk geval niet voor moet zorgen dat normale email verloren gaat. Wij werken daarom gewoon met een Spamassassin score systeem, waarbij email dus pas gefilterd gaat worden op het moment dat de afzender op meerdere blacklists staat. Naar ons idee is dat veiliger.

Onze oplossing
Ons doel is voornamelijk om de load op de shared hosting servers omlaag te krijgen, dus niet direct om de spamfiltering helemaal los te hebben. De oplossing die wij nu hebben geimplementeerd binnen onze shared hosting is als volgt:

  • De server die filtert, staat als eerste en laatste MX record opgegeven. De shared hosting server waar de klant op draait als middelste MX.
  • De shared hosting servers zelf hebben ook een spamfilter draaien, maar de bedoeling dat deze zo min mogelijk doet, omdat die mogelijk de performance van de shared hosting omlaag brengt.
  • De filterende server heeft zelf ook een database met alle mailgebruikers, zodat mail naar een niet-bestaande gebruiker direct afgewezen kan worden.
  • Wordt email wel direct naar de shared hosting gestuurd,  dan wordt deze gecontroleerd aan de hand van twee blacklists en direct afgewezen als de afzender op een blacklist staat. Deze mensen kunnen dus alleen email versturen als dit langs de filterende server gaat, die werkt met een scoresysteem.

Tags: , , , ,

Shock Media medewerkers starten weblog

1 mei 2009 door Alain Gotz

Openheid en transparantie zijn kernwaarden van Shock Media. Wij hopen met een weblog meer informatie te geven over de gang van zaken binnen Shock Media, de continue ontwikkeling, groei van onze dienstverlening en de ins & outs van onze branche. Met enige (on)regelmaat plaatsen wij berichten op dit weblog.

Tags: ,