Wederom tijd voor een feestje…

24 februari 2010 door Alain Gotz

Toen definitieve cijfers van afgelopen jaar bekend werden, is er direct besloten weer een feestje te geven! Iedereen heeft keihard zijn best gedaan en daar mag best wat tegenover staan.

Afgelopen zaterdag 20 februari j.l. hebben we in het sfeervolle Club Nielz in Almelo dit feestje gehouden. Onder een genot van een zeer goed verzorgd buffet, lekker drinken en het beste gezelschap is de avond een groot succes geworden. Een kleine indruk van onze avond is hieronder te vinden.

Virtualisatie: nu in een nieuwe verpakking

17 februari 2010 door Dick Tump

Stilstand is achteruitgang. Onder dat motto blijven we altijd weer ontwikkelen. Soms betekent dat vervanging van apparatuur, zoals de overstap naar Cisco apparatuur, maar soms is er ook op software niveau verbetering mogelijk. Zoals in dit geval het opnieuw uitvinden van virtualisatie.

We zijn enkele jaren geleden begonnen met virtualisatie op basis van Xen. Uiteraard hebben wij dit uitvoerig getest en we hebben de clusters op basis van Xen dan ook al een flinke tijd stabiel draaien. Waar klanten (gelukkig) niks van merken, is de beheerkant. Voor dit beheer zijn we momenteel deels afhankelijk van third-party tools. Na een tijdje kom je dan toch altijd kleine dingen tegen. Het betreft open source software, dus het is zelf aan te passen. Maar dat is weer lastiger met updates van de ontwikkelaars van de software. Je kunt ook losse dingen eromheen schrijven, maar dat komt het functioneren vaak ook niet ten goede.

Eind vorig jaar besloten we dat het tijd werd om alles opnieuw te bekijken. Na veel testen, is de keus gevallen op de virtualisatietechniek KVM en het ontwikkelen van eigen clustersoftware. Eigen software is makkelijker te combineren met bijvoorbeeld onze eigen beheer- & administratie-software en krijgen we daarnaast nog meer diepgaande invloed op onze clusters, wat weer handig is bij eventuele storingen.

Maar waarom geen Xen meer? Hiervoor waren eigenlijk meerdere redenen. Belangrijk was vooral dat Xen voornamelijk voor de, inmiddels verouderde, 2.6.18 kernel wordt ontwikkeld. Hierdoor missen vaak kernel modules voor de wat nieuwere hardware. De ontwikkeling van KVM lijkt wat actiever te zijn en meerdere Linux distributies hebben Xen ook de deur uitgedaan en vervangen door KVM. In Linux Debian Lenny zit wel een Xen kernel op basis van 2.6.26, maar we hebben tijdens onze testen deze niet volledig stabiel gekregen.

Verder hebben we met Xen ook andere kleine probleempjes. Zo gaat bijvoorbeeld een live migration (dus zonder downtime een virtueel systeem naar een ander fysiek systeem verplaatsen) niet altijd helemaal goed. KVM is op dit punt toch wel heel wat beter. Ook blijkt KVM iets betere performance te leveren dan onze huidige Xen opstelling.

Het grootste deel van deze ‘problemen’ is overigens niet aanwezig bij Citrix XenServer. Hierbij hebben we bijvoorbeeld zeer positieve ervaringen met live migration, op voorwaarde dat de software voor gastsystemen van Citrix geïnstalleerd is. Citrix XenServer heeft alleen weer als nadeel dat het wat minder open is en hierdoor veel meer afhankelijk bent van Citrix. Als oplossing voor onze klanten die zelf virtualisatie willen, is dat vaak geen probleem.

Het ontwikkelen van ons nieuwe cluster en bijbehorende clustersoftware heel wat manuren gekost.  Zo zijn onder andere het beheer van instellingen, toevoegen van virtuele systemen, ervoor zorgen dat er geen dubbele MAC adressen ontstaan in het netwerk, virtuele servers live migreren, de harddisks van een systeem kunnen vergroten en regelmatige automatische controles of alles nog wel correct draait,  enkele van de vele belangrijke beheer functies die onze clustersoftware moesten komen.  Ook klanten moesten meer controle krijgen over hun virtuele server, waaronder bijvoorbeeld het zelfstandig kunnen herstarten of via de console overnemen van een virtuele server zijn onderdelen die binnen ons klantensysteem ‘my.shockmedia.nl’ beschikbaar moesten komen.

Na veel ontwikkeling en testen is dan inmiddels ons nieuwe cluster, op basis van KVM en onze eigen clustersoftware, live gegaan. Nieuwe Virtuele Servers leveren wij dan ook per direct op vanuit ons nieuwe cluster.

Even de netwerk-capaciteit verdrievoudigen…

12 februari 2010 door Erik Jan Hofstede

Afgelopen jaren is er veel veranderd in de internet wereld. Bijna iedereen heeft een breedband internetverbinding, waarbij snelheden over 20 Mbit geen uitzonderingen zijn. Door deze contante groei, samen met de forse groei van Shock Media als service provider, is het nodig eens in de zoveel tijd de netwerk-infrastructuur goed onder de loep te nemen. Afgelopen maanden was het weer eens zover, waarbij we op de volgende punten gekomen zijn, die aan verbetering toe zijn:

  • Meer capaciteit
  • Meer controle over wat er op het netwerk gebeurt
  • Verbeterde redundantie
  • Verhoogde stabiliteit
  • Een beter te schalen netwerk, om later fysieke groei nog makkelijker te kunnen realiseren

CiscoMet dit pakket van eisen zijn we afgelopen maanden aan het testen geslagen met verschillende merken en types van apparatuur en we hebben een winnaar! We hebben besloten om onze core- en edge-apparatuur, wat op het moment van schrijven nog grotendeels bestaat uit 3Com apparatuur, te gaan vervangen door Cisco apparatuur. Dit gaat ons de mogelijkheid bieden om het netwerk op veel meer lagen te beheren en fors door te groeien. Onze netwerk-capaciteit wordt hiermee ook nog eventjes verdrievoudigd! Dit alles maakt het redelijk afschrikwekkende prijskaartje van Cisco ruimschoots goed.

Komende maanden zal deze conversie fysiek worden toegepast en alle core- & edge-apparatuur worden vervangen. Voor grootverbruikers is het vanaf volgende maand standaard mogelijk om een Gbit verbinding af te nemen op ons netwerk!

Op jacht naar meer performance

29 januari 2010 door Dick Tump

Een belangrijke bezigheid binnen Shock Media is de eeuwige jacht naar meer performance. Dit kan worden gerealiseerd door optimalisatie, maar soms bestaat er ook gewoon betere hardware. Een goede verbetering is bijvoorbeeld de Intel Nehalem processorarchitectuur met DDR3 geheugen. Maar dit keer gaat het om een nieuwe serie harde schijven, welke Samsung recent op de markt heeft gebracht. Hierbij geven ze de ongeloofwaardige claim dat ze 30% sneller zijn dan de vorige serie. Deze nieuwe serie, de Samsung F3 harddisks, zijn te krijgen in 500 GB en 1 TB formaat, twee formaten die veel worden gebruikt op dit moment.

Doordat de SATA schijven steeds sneller worden, zijn ze tegenwoordig ook voor de wat zwaarder belaste servers vrij interessant. Alhoewel SAS voorlopig voorlopig nog wel even de grote winnaar blijft, zeker omdat er geen SATA 15.000 rpm schijven zijn, is juist die combinatie van veel opslagcapaciteit, goede performance en de prijs bij veel situaties interessant.

Reden genoeg dus om deze schijven maar eens aan een aantal testjes te onderwerpen. Eerst sluiten we ze in RAID 1 aan op een Areca ARC-1200 controller, in een Windows server uitgerust met Xeon X3330 processor. Hierop draaien we ATTO Disk Benchmark:

Samsung F3 Benchmark

Samsung F3 Benchmark

Als je bedenkt dat er met de vorige serie schijven met erg veel moeite maar 130 MB/s uit te persen was, is een piek van ruim 180 MB/s wel een erg goede score.

Ook met tests onder Linux zien we mooie waarden terug. We hebben een Nehalem systeem uitgerust met software RAID 10. Linux MD RAID ondersteunt meerdere ‘layouts’, waaronder ‘far’, welke de data op verschillende ‘fysieke’ plekken van de disks op gaat slaan. Hierdoor zijn iets betere access tijden mogelijk en liggen de snelheden bij sequentieel lezen ook iets hoger. Als filesystem gebruiken we Ext4, want uit eerdere tests bij ons bleek al dat Ext4 net wat sneller is dan XFS en veel sneller dan Ext3. We limiteren het systeem op 1 GB RAM, om veel caching te voorkomen.

We doen een reboot, om te voorkomen dat er data in de cache staat en voeren een simpele leestest uit:

8589934592 bytes (8.6 GB) copied, 20.523 s, 419 MB/s

Dit zijn toch wel zeer hoge snelheden, zeker voor een vrij goedkope oplossing, omdat het alleen vier SATA schijven met software RAID betreft. Ook een test met bonnie++ geeft mooie waarden terug:

Version 1.03c       ------Sequential Output------ --Sequential Input- --Random-
                    -Per Chr- --Block-- -Rewrite- -Per Chr- --Block-- --Seeks--
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
test1            8G 95563  99 206199  27 74990  13 75902  91 357054  25 218.00

Eigenlijk kunnen we alleen maar concluderen dat voor SATA systemen de nieuwe Samsung schijven de beste keus zijn, althans op dit moment. Want andere fabrikanten zitten natuurlijk ook niet stil. Alleen voor de echte high performance servers, zoals zware database systemen, zullen we toch SAS moeten blijven gebruiken.

Version 1.03c       ——Sequential Output—— –Sequential Input- –Random-
-Per Chr- –Block– -Rewrite- -Per Chr- –Block– –Seeks–
Machine        Size K/sec %CP K/sec %CP K/sec %CP K/sec %CP K/sec %CP  /sec %CP
test1            8G 95563  99 206199  27 74990  13 75902  91 357054  25 218.00
——Sequential Create—— ——–Random Create——–
-Create– –Read— -Delete– -Create– –Read— -Delete–
files  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP  /sec %CP
16 +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++ +++++ +++
test1,8G,95563,99,206199,27,74990,13,75902,91,357054,25,218.0,0,16,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++,+++++,+++

IPv6 Awards 2009

18 november 2009 door Erik Jan Hofstede

ipv6award_logoWe zijn genomineerd! Samen met een drietal collega Internet Service Providers: BIT, Signet en Prolocation zijn wij door de IPv6 Taskforce (in het leven geroepen door Ministerie van Economische zaken) verkozen tot het bedrijf met een van de meest succesvolle implementaties van het ‘nieuwe’ IPv6-protocol! Bij deze nominatie werd er gelet op motivatie, relevantie, toewijding, implementatie en impact. Wij voelen ons zeer vereerd om op al deze punten uit te blinken.

Hoewel wij als bedrijf altijd ons best doen innovatief te zijn en te blijven, is IPv6 niet alleen een punt om op uit te blinken in de kudde ISP’s in Nederland, het is ook pure noodzaak; ik hoef hopelijk niet meer uit te leggen dat het aantal beschikbare IPv4 adressen fors aan het krimpen is. De motivatie voor ons voor het ‘vroeg’ in gebruik nemen van IPv6, was niet alleen proberen weer eens de beste leerling van de klas te zijn, ook bood dit ons een hele mooie kans om alles goed te testen omdat het nog geen noodzaak is. Alle complicaties (zover die er echt zijn geweest) zijn allemaal zeer beperkt gebleven.

Graag wil ik alle genomineerden, ongeacht wat de uitkomst wordt van de uitreiking op donderdag 26 november, willen bedanken voor de belangrijke bijdrage die zij geleverd hebben aan de ontwikkeling van het internet. In mijn ogen is deze bijdrage stukken belangrijker dan het winnen van de prijs zelf (uiteraard is de prijs wel meer dan welkom!).

Updates voorkomen hacks

23 oktober 2009 door Dick Tump

KluisDe laatste twee maanden horen we regelmatig weer over gehackte servers. Ook enkele van onze eigen klanten, die nog ergens een server hebben die niet bij ons in beheer is,  is dit overkomen. De oorzaak? Een ernstige kernel bug in Linux uit begin augustus 2009, waarbij lokale gebruikers van het systeem root toegang kunnen verkrijgen.

Maar dit is meestal niet de enige oorzaak, want eerst moet een hacker natuurlijk al toegang hebben als lokale gebruiker op het systeem. Toch is dit maar al te vaak simpel te verkrijgen, namelijk via onveilige scripts waar beveiligingslekken in zitten, zoals weblog, forum en andere scripts die niet up-2-date zijn, meestal geschreven in PHP. Bij diverse beveiligingslekken krijgen hackers de mogelijkheid om commando’s en programma’s uit te voeren op de server, dus ook een exploit om root toegang te krijgen op een server.

Vaak gebeurt dit doordat er geen tijd wordt vrijgemaakt voor het updaten van de software op de server of dat er niet voldoende kennis is om de software up-2-date te houden. Veel servers draaien bijvoorbeeld nog op een verouderde Debian (Sarge) of Fedora versie, waarvoor geen updates meer worden vrijgegeven. Een bug, zoals de eerder genoemde kernel bug, wordt hierdoor dus ook niet opgelost op zo’n server. Als dan ook niet goed wordt gelet op de beveiliging van bijvoorbeeld de PHP scripts, kan dit dus heel makkelijk tot een hack leiden. En uiteindelijk kost het dan meer tijd, expertise, moeite en dus ook geld om de gevolgen op te lossen, dan wanneer de updates netjes waren bijgehouden.

Veel van de servers onder ons beheer draaien op Linux Debian. Een aanzienlijk deel draait nog op Debian Etch, waarvoor momenteel nog wel security updates worden gemaakt maar in februari 2010 de updates voor stoppen. Daarom zijn wij al geruime tijd druk bezig met het updaten van alle servers onder ons beheer naar de nieuwe Debian Lenny. Dit wordt gedaan voor elke klant met een Service Level Agreement. Omdat een dergelijke update enkele minuten downtijd inhoud, nemen we dan ook met elke klant even persoonlijk contact op om te bespreken wanneer zo’n update het beste uitkomt.

Een gehackte server kan natuurlijk veel vervelende gevolgen hebben. De data kan op straat komen te liggen, data kan worden verwijderd of de server kan worden misbruikt voor bijvoorbeeld het versturen van spam of voor andere illegale activiteiten zoals het stelen van creditcard gegevens. Saillant detail hierbij is dat de eigenaar van de server in beginsel ook verantwoordelijk is voor deze illegale activiteiten met alle gevolgen weer van dien. Het is hoe dan ook altijd zeer vervelend en daarnaast zeer kostbaar om de situatie (als mogelijk) te herstellen. Ons advies als u uw software zelf beheerd: hou uw software nauwgezet up-2-date!

Feestje 10 jaar Shock Media!

2 oktober 2009 door Alain Gotz

Ook wij houden van een feestje en ons 10 jarige bestaan van 14 september j.l. gaf een mooie aanleiding om op 2 oktober j.l. met (oud) personeel en aanhang wat te organiseren. Voor deze gelegenheid hadden wij ons magazijn omgetoverd tot feestruimte waarbij er lekker kon worden gegeten en gedronken. Hieronder een kleine indruk van de zeer geslaagde avond!

Shock Media: a history of success

14 september 2009 door Alain Gotz

Precies 10 jaar geleden, 14 september 1999, is Shock Media B.V. opgericht en is uitgegroeid van een kleine onderneming met een handjevol klanten tot een succesvol ICT bedrijf met duizenden klanten. In 2001 knapte de internet zeepbel maar wist Shock Media zonder problemen te overleven. Ook de huidige economische crisis vormt geen probleem, op 1 september j.l. was Shock Media al weer 40% gegroeid ten opzichte van vorig jaar! Wij waren dit jaar zelfs genoodzaakt te verhuizen naar een groter pand om onze groei aan te kunnen.

Het succes van Shock Media is waarschijnlijk te danken aan het feit dat Shock Media al jaren lang een eigen koers vaart en zich weinig heeft aangetrokken van de nieuwkomers op de markt, die met ongelooflijk lage marges dezelfde dienstverlening zeggen te kunnen bieden. Dit type bedrijven komen en gaan aan de lopende band. De ‘concurrenten’ die wij de afgelopen 10 jaar hebben zien komen en gaan lopen letterlijk in de honderden, zo niet duizenden bedrijven.

Maar niet geheel onbelangrijk zijn de trouwe klanten en natuurlijk de dagelijkse inzet van de Shock Media medewerkers. Deze werken met de regelmaat van de klok naast de reguliere kantooruren, dag en nacht om te zorgen voor een snelle en stabiele dienstverlening.

Om ons 10 jarig bestaan te vieren hebben we een unieke actie in het leven geroepen: 1 jaar gratis hosting en een gratis domeinnaam! Geen addertjes zoals een 2 jarig contract of verborgen kosten. Deze actie is alleen geldig vanaf vandaag tot en met 18 september 2009.

Betrouwbare storage met Open-E

22 juli 2009 door Dick Tump

Het is natuurlijk niet voor niks dat wij gecertificeerd Open-E partner zijn geworden. Wij beschouwen Open-E als een van de betere storage solutions op dit moment, zeker als shared storage binnen een virtualisatiecluster met Xen of VMware. Toch een gedurfde uitspraak, binnen een wereld waarbij veelal wordt gekozen voor prijzige oplossingen van merken als Equallogic.

iSCSI failover: uitval van een SAN is geen uitval van de storage
Een van de interessantere mogelijkheden van Open-E is wel iSCSI failover, waardoor uitval van een van de SANs niet een uitval van de storage betekent. Open-E weet binnen een seconde over te schakelen op het andere systeem, waardoor een hapering eigenlijk niet eens merkbaar is. Alle virtuele instances die op de storage hun data opslaan, blijven dus gewoon zonder problemen werken.

Betaalbaarder, maar ook beter
Een Open-E oplossing is een zeer goed betaalbare oplossing. Zo betaalbaar zelfs, dat licenties en hardware meegerekend, je in plaats van (de gebruikelijke oplossing) één enkele prijzige SAN, twee op Open-E gebaseerde SANs neer kunt zetten. Alle hardware kan altijd kapot, welk merk dan ook, maar het belangrijkst is om bij uitval toch zo min mogelijk problemen te hebben. Daarvoor kan wel een SLA worden afgesloten waarbij binnen 4 uur de SAN weer gerepareerd is door de leverancier, maar dan liggen wel alle servers er 4 uur lang uit. En een dergelijke SLA is vaak ook nog eens een behoorlijke periodieke kostenpost, naast dat 4 uur downtime natuurlijk niet is te verkopen aan klanten.

Ook de door Open-E geleverde performance is zeer goed. Door gebruik te maken van meerdere gigabit uplinks, is een zeer hoge data throughput haalbaar. In de server zelf wordt dan een goede hardware RAID controller geplaatst met zeer snelle schijven. Zo is met een SATA RAID 5 bestaande uit 4 schijven een snelheid van boven de 300 megabyte per seconde prima haalbaar. En voor de I/O intensieve applicaties is een SAS RAID 5 tegenwoordig ook goed betaalbaar.

Onze oplossing: high availability op maar 4 servers
Wij kunnen klanten dankzij Open-E en VMware of Citrix XenServer al een high availability oplossing bieden vanaf 4 ‘gewone’ dedicated servers. Op 2 servers draait de SAN met iSCSI failover en op 2 andere servers draait VMware of Citrix XenServer met automatische failover. Naast dat we hiermee een zeer stabiele oplossing bieden, is uitbreiding in de toekomst ook eenvoudig mogelijk, door bijvoorbeeld een extra fysieke server te plaatsen waar weer VMware of Xen instances op komen te draaien. En het mooie is, deze clusters ondersteunen zonder problemen zowel Windows als Linux. Of zelfs een combinatie van deze twee!

Twee dedicated servers inclusief Open-E met iSCSI failover, is al leverbaar vanaf 300 euro per maand.

Backups tot de macht drie

24 juni 2009 door Erik Jan Hofstede

Hoewel Murphy (zie de Wet van Murphy of eigenlijk de Wet van Bedrog) al een geruime tijd geleden bij ons bedrijf ontslagen is, komt deze hardnekkige en vooral niet echt populaire ex-collega toch zo nu en dan - onaangekondigd – langs om eens flink wat roet in het spreekwoordelijke eten te gooien.

Omdat wij alle systemen waarvan wij het beheer onder onze hoede nemen, proactief monitoren, trendgrafieken maken en regelmatig onderwerpen aan een grondige ‘checkup’, detecteren en verhelpen we vrijwel alle potentiële problemen voordat het problemen worden. Toch zullen er altijd problemen blijven ontstaan, die niet vooraf te voorkomen waren. Enkele voorbeelden van problemen die niet vaak proactief op te lossen zijn:

  • Spontane filesystem corruption (door software of hardware) waardoor data in extreme gevallen corrupt kan raken.
  • Zero-day exploits in gebruikte software waardoor hackers in extreme gevallen data zouden kunnen verwijderen.
  • Mensenlijke fouten waardoor data perongeluk word verwijderd.
  • Rampen en terrorisme.

De vraag die wij onszelf daarom regelmatig stellen is niet of een incident gaat plaatsvinden, maar altijd wanneer en hoe we op dat moment zo’n incident kunnen ondervangen. Deze conclusie heeft er tot geleid dat wij bijna paranoïde zijn geworden op het maken van goede backups en het redundant opslaan van data. Er zijn nooit teveel backups!

Backups en dataopslag bij Shock Media B.V.

Backups en dataopslag bij Shock Media B.V.

Hiernaast staat een illustratie over hoe wij data in ons Xen-cluster opslaan en hier backups van maken. Om het voor minder technisch onderlegde mensen begrijpbaar te houden, zijn een aantal zaken versimpeld weergegeven. Data van onze klanten wordt op de fysieke server redundant opgeslagen d.m.v. hardware RAID, hiernaast word ook alle data realtime gerepliceerd naar een andere fysieke server, die als secundairy dient en eveneens met hardware RAID is uitgerust. Wanneer een fysieke server uitvalt, kunnen de virtuele systemen (die de data bevatten) eenvoudig op een ander fysiek systeem weer gestart worden. Hierdoor is de data van bijvoorbeeld een website, e-mail, database of applicatie al op 4 verschillende mediadragers realtime opgeslagen in het cluster.

Ook worden er dagelijks meermaals een mirror gemaakt van alle data naar een fysiek andere backup-server buiten het cluster die ook weer is uitgevoerd met hardware RAID. Deze data is hooguit enkele uren oud, maar niet realtime. Dit heeft als voordeel dat bij dataverlies door een menselijke fout of door een hacker, deze weer snel kan worden gerestored.

Deze data staat allemaal nog wel in hetzelfde datacentrum. Hoewel dit datacentrum zwaar beveiligd is tegen brand, braak, water en andere soorten rampen, is wanneer bijvoorbeeld een vliegtuig land op het datacentrum een potentieel probleem voor verlies van data. Hierom maken wij ook offsite backups naar een backup-server in een fysiek ander – geografisch gescheiden – datacentrum. Wederom is deze server uitgevoerd met hardware RAID.

Als laatste maken wij periodiek complete backups naar backuptapes die weer op een geografisch gescheiden locatie worden opgeslagen. Deze data is niet via een netwerk verbonden maar is volledig offline. Dit zorgt ervoor dat de data extreem veilig staat, echter niet makkelijk toegankelijk om te gebruiken voor recovery van data. Dit is dan ook alleen in extreme situaties een extra uitwijk mogelijkheid.

Alle data van onder andere onze shared hosting, virtuele servers maar ook diverse dedicated servers en dedicated clusters worden door het gebruik van hardware RAID, netwerk-replicate, onsite backups, offsite backups en offline backups in totaal 9 keer opgeslagen.

Verhuizing Shock Media

12 juni 2009 door Alain Gotz
Nieuwe pand Shock Media

Nieuwe pand Shock Media

Groei in economisch slechte tijden is een prestatie waar wij trots op mogen zijn, hetgeen als resultaat heeft gehad dat wij per 18 mei j.l. onze nieuwe  kantoorruimte op industrieterrein Noordbroek  in Almelo in gebruik hebben genomen. Deze ruimte biedt meer mogelijkheden om verder te groeien en ons team verder uit te breiden.

Bij de verhuizing van een bedrijf komt meer kijken dan bij een normale verhuizing, zo moet alles in feite in 1x gebeuren, je kunt bijvoorbeeld niet de bureaus al verhuizen terwijl de medewerkers nog op de oude locatie moeten werken. Het was dus een heel geplan om alles geregeld te krijgen en de fysieke verhuizing heeft dan ook in 1 weekend plaatsgevonden. Gelukkig heeft iedereen mee geholpen en was het behalve een zwaar en lang weekend, ook heel gezellig! Een foto collage is onderaan dit bericht te vinden.

Behalve dat wij nu veel meer ruimte hebben voor uitbreiding van ons team, hebben wij nu ook de kans benut een logischere indeling te kunnen maken. Zo zitten de support medewerkers bij elkaar in dezelfde ruimte wat de communicatie makkelijker maakt. Voor het testen, assambleren, installeren en configureren van nieuwe servers, clusters en projecten hebben wij een aparte afgeschermde technische ruimte ingericht. Voorheen werd dit in de ruimte gedaan waar men ook continu werkte wat veelal zorgde voor overlast van lawaai. Het zelfde geld voor de vergaderruimte en kantine die nu ook volledig afgeschermd zijn om in alle rust met elkaar te communiceren.

Het resultaat mag er wezen. Shock Media is klaar voor verdere groei!

De verhuizing samengevat

De verhuizing samengevat

Spambestrijding

18 mei 2009 door Dick Tump
Ham en Spam server Sara

Voor en na onze wijzigingen op een van de servers

In de constante strijd tegen spammers, zijn wij opnieuw gaan kijken naar onze spamfiltering. In het hele proces, dat we in stappen hebben uitgevoerd, kwamen we in onze logs en statistieken een aantal opvallende zaken tegen, die we hieronder op een rijtje hebben gezet.

Spammers gebruiken oude DNS records
Ooit, ongeveer 3 jaar terug, hadden wij een los systeem in gebruik dat spam filterde. Later hebben we besloten deze load te verdelen over de servers op ons shared hosting platform, maar nu we druk bezig zijn met virtualisatie, is dat minder interessant geworden.

De server (of eigenlijk virtuele server) die nu weer spamfiltering gaat doen, hebben we op hetzelfde IP adres gezet als de server van 3 jaar terug. Tot onze verbazing zagen we zelfs nog tijdens de installatie al spam aangeleverd worden op de nieuwe installatie. Dit terwijl de DNS al 3 jaar niet meer naar die server verwijst en het IP adres al die tijd niet in gebruik is geweest.

Na enig zoekwerk op Google zagen we dat meer mensen hier last van hebben. Dit is wel belangrijk om in de gaten te houden, zeker als je MX records toevoegt van losse systemen die filtering doen.

Spammers kijken niet naar MX priority
Inmiddels beginnen spammers door te krijgen dat MX records met een hogere prioriteit (dus een lager getal), vaak spamfilters zijn. Spammers kiezen nu dus heel vaak juist het MX record met de laagste prioriteit (hoger getal), of kiezen willekeurig een MX record uit.

Als er dus een apart spamfilter wordt geinstalleerd die de mail doorstuurt naar de volgende server, dan kan het dus slim zijn om de spamfilter het MX record te geven met zowel de laagste als de hoogste prioriteit. Maar dan nog krijg je vaak direct mail binnen op de server.

Spammers kijken uberhaupt niet naar MX
Het komt ook vaak voor dat spammers mailen naar de A record van een domeinnaam, in plaats van naar de MX records te kijken. Dit betekent dat op shared hosting systemen waarbij de email en website op een enkel systeem draait, de mail daar direct naartoe gaat. Hierbij kijken spammers niet naar de MX records waarin wordt verwezen naar de aparte spamfilters.

Wel of niet filteren aan de hand van blacklists?
De echt consequente spammers komen op blacklists terecht. Maar de vraag is, wil je aan de hand van blacklists wel direct filteren of zelfs de verbinding weigeren? Het gebeurt wel eens dat legitieme verzenders ook in blacklists terecht komen, zoals bijvoorbeeld een keer met Gmail is gebeurd, welke ineens in SpamCop stond.

Je kunt besluiten om wel direct te filteren aan de hand van blacklists, waarmee je heel veel spam direct zult tegenhouden. Onze mening is dat de spamfiltering er in elk geval niet voor moet zorgen dat normale email verloren gaat. Wij werken daarom gewoon met een Spamassassin score systeem, waarbij email dus pas gefilterd gaat worden op het moment dat de afzender op meerdere blacklists staat. Naar ons idee is dat veiliger.

Onze oplossing
Ons doel is voornamelijk om de load op de shared hosting servers omlaag te krijgen, dus niet direct om de spamfiltering helemaal los te hebben. De oplossing die wij nu hebben geimplementeerd binnen onze shared hosting is als volgt:

  • De server die filtert, staat als eerste en laatste MX record opgegeven. De shared hosting server waar de klant op draait als middelste MX.
  • De shared hosting servers zelf hebben ook een spamfilter draaien, maar de bedoeling dat deze zo min mogelijk doet, omdat die mogelijk de performance van de shared hosting omlaag brengt.
  • De filterende server heeft zelf ook een database met alle mailgebruikers, zodat mail naar een niet-bestaande gebruiker direct afgewezen kan worden.
  • Wordt email wel direct naar de shared hosting gestuurd,  dan wordt deze gecontroleerd aan de hand van twee blacklists en direct afgewezen als de afzender op een blacklist staat. Deze mensen kunnen dus alleen email versturen als dit langs de filterende server gaat, die werkt met een scoresysteem.

Shock Media medewerkers starten weblog

1 mei 2009 door Alain Gotz

Openheid en transparantie zijn kernwaarden van Shock Media. Wij hopen met een weblog meer informatie te geven over de gang van zaken binnen Shock Media, de continue ontwikkeling, groei van onze dienstverlening en de ins & outs van onze branche. Met enige (on)regelmaat plaatsen wij berichten op dit weblog.