Benchmark tussen Hetzner, DigitalOcean, Linode, Vultr, OVH en UpCloud (januari 2023)

De verschillende types cloud providers

In ons artikel van juni 2022 gingen we dieper in op de drie verschillende types cloud providers. Hieronder verstaan we hyperscalers zoals Amazon AWS, Google Cloud en Microsoft Azure. Daarnaast staat het middensegment providers waarin we spelers terugvinden zoals DigitalOcean, Linode, Vultr, UpCloud en Hetzner. De laatste groep cloud providers worden vertegenwoordigt door lokale spelers zoals Combell, Snel.com, TransIP en Versio.

Hyperscalers bouwen en onderhouden hun eigen datacenters van waaruit ze hun diensten aanbieden. In hun datacenters bouwen ze hun eigen netwerken uit en plaatsen ze hun servers, die ze vaak ook zelf ontwerpen.

De spelers uit het middensegment maken meestal gebruik van bestaande datacenters (Equinix, Interxion, TelecityGroup, enzovoort). Zij huren in deze datacenters ruimte (colocatie) en bouwen daar hun eigen netwerk uit, met hun eigen servers. Hetzner is hier een vreemd eend in de bijt, want zij hebben wel 3 eigen datacenters (twee in Duitsland en een in Finland) van eigen hand. Daarnaast huurt Hetzner ook nog ruimte op andere locaties.

De lokale providers maken ook gebruik van bestaande datacenters, maar gebruiken vaak kleinere datacenters die dicht bij hun gebruikers staan. Zij gebruiken ook hun eigen servers en bouwen ook hun eigen netwerk uit, maar op een kleinere schaal dan deze uit het middensegment.

In deze benchmark vergelijken we een aantal aanbieders uit het middensegment. Deze vergelijking is gemaakt in januari 2023. Nieuwkomer in deze benchmark is UpCloud.

Wat we vergelijken

We maken in deze blogpost een puur technische vergelijking op basis van benchmarks. Is dat een complete vergelijking? Neen, zeker niet. Bij de keuze van een cloud provider komt veel meer kijken dan alleen maar de technische prestaties van een virtuele machine. Veel hangt ook af van je noden: Heb je enkel nood aan virtuele machines en block storage? Of wil je ook Kubernetes nodes draaien? Misschien wil je ook wel managed databases op basis van MongoDB, MySQL of PostgreSQL? Sommige providers bieden slechts enkele producten aan, anderen bieden meerdere producten aan. Wil je alles op een locatie hosten, of wil je datacenters over heel de wereld gebruiken? En niet onbelangrijk om mee op te nemen: de maandelijkse prijs.

In deze vergelijking focussen we ons dus enkel en alleen op benchmark resultaten van een vergelijkbare virtuele machine en de maandelijkse prijs daarvan. We maken verder geen vergelijking tussen andere producten die zij aanbieden, de bereikbaarheid en kwaliteit van hun servicedesk, de mogelijkheid van SLA's, hun betrouwbaarheid, de geografische aanwezigheid, enzovoort. Dat laten we aan jou over.

We vergelijken onderstaande providers (met tussen haakjes het pakket) en het land van de hoofdzetel. Allemaal de virtuele machines (VM's) hebben 2 vCPU's en 4 GB ram. Als we de keuze konden maken, dan kozen we voor een Intel CPU. We selecteerden telkens een VM met een 'gedeelde CPU' en lokale opslagruimte.

• Hetzner (CX21), Duitsland
• DigitalOcean (s-2vcpu-4gb), Verenigde Staten
• Linode (Linode 4 GB), Verenigde Staten
• Vultr (2 VCPU 4 GB), Verenigde Staten
• OVH (VPS Essential), Frankrijk
• UpCloud (1 vCPU 4GB), Finland

Qua kostprijs betalen we aan Hetzner, OVH en UpCloud in Euro's en aan DigitalOcean, Linode en Vultr in USD. In onderstaande tabel hebben we USD's omgezet naar Euro's. Deze prijzen zijn exclusief btw.

In onderstaande grafiek maken we de vergelijking in de maandelijkse kostprijs per provider ten opzichte van onze benchmark in juni 2022. De kleine variaties van Linode en Vultr kunnen te maken hebben met de wisselkoers USD - EUR.

De virtuele machines hadden deze specificaties (dus telkens 2 vCPU en 4 GB ram):

Hoe we de virtuele machines vergeleken hebben

We voerden de benchmarks uit op een Ubuntu 22.04 LTS installatie. We gebruikten de Ubuntu installatie zoals deze door de provider geïnstalleerd werd. We installeerde alle updates, maar voerde verder geen aanpassingen uit.

Voor de benchmarks gebruikten we Phoronix Test Suite v10.8.4. Phoronix voerde iedere test telkens drie keer uit. Wanneer er tussen de testen een standaardafwijking (deviation) groter dan 2,5% geconstateerd werd, dan werd er een bijkomende test gedaan totdat de standaarddeviatie onder de 2,5% daalde, met een maximaal van 40 tests. Als resultaat werd telkens de gemiddelde waarde genoteerd.

We voerde onderstaande benchmarks uit, met een focus op het systeem, een single en multi core CPU, het ram-geheugen, de opslagruimte en het netwerk.

• pts/apache (focus op het systeem). Dit is een test van de Apache HTTPD-webserver. Dit benchmark-testprofiel voor de Apache HTTPD-webserver maakt gebruik van het Golang "Bombardier"-programma voor het faciliteren van HTTP-verzoeken gedurende een vaste periode met een configureerbaar aantal gelijktijdige clients.
• pts/hint (focus op single core CPU). Deze test voert de Energy's Ames Laboratory Hierarchical INTegration (HINT)van het Amerikaanse ministerie van Energie uit.
• pts/compress-7zip (focues op multi core CPU). Dit is een test van 7-Zip compressie/decompressie met zijn geïntegreerde benchmarkfunctie.
• pts/stream (focus op het geheugen). Dit is een benchmark van Stream, de populaire benchmark voor systeemgeheugen (RAM).
• pts/postmark (focus op de opslagruimte). Dit is een test van de PostMark-benchmark van NetApp, die is ontworpen om het testen van kleine bestanden te simuleren, vergelijkbaar met de taken die worden uitgevoerd door web- en mailservers. Dit testprofiel stelt PostMark in staat om 25.000 transacties met 500 bestanden tegelijkertijd uit te voeren met een bestandsgrootte tussen 5 en 512 kilobytes.
• pts/speedtest-cli (focus op het netwerk). Dit testprofiel gebruikt de open-source speedtest-cli-client om de upload-/downloadprestaties en latency van de internetverbinding te vergelijken met de speedtest.net-servers. We maakten geen manuele selectie van de speedtest.net-servers.

Resultaten

Benchmark: pts/apache

Focus op het systeem. Een hogere score is beter.

Benchmark: pts/hint

Focus op single core CPU. Een hogere score is beter.

Benchmark: pts/compression-7zip

Focus op multi core CPU. Een hogere score is beter.

Benchmark: pts/stream

Focus op het ramgeheugen. Een hogere score is beter.

Benchmark: pts/postmark

Focus op de opslagruimte. Een hogere score is beter. Iedere VM gebruikte ext4 als bestandssysteem.

Benchmark: pts/speedtest

Focus op de netwerksnelheid. Download & upload: een hogere score is beter. Latency: een lagere score is beter.

Conclusie

Het is niet onze bedoeling om "de beste" en "de slechtste" provider aan te duiden op basis van deze testen.

Van iedere testscore hebben we een procentuele vergelijking gemaakt. Van al die scores hebben we een totale procentuele verdeling gemaakt om zo te komen tot een eindvergelijking. Die zie je in onderstaande grafiek.

We zien dat Linode, Vultr en UpCloud boven het gemiddelde scoren en dat Hetzner en OVH onder de gemiddelde maandelijkse kostprijs vallen.

We zien dat Hetzner, DigitalOcean en OVH gelijkaardige scores hebben, maar dat de prijzen zeer sterk verschillen. Linode, Vultr en UpCloud zijn in deze technische benchmark de sterkste, waarvan UpCloud de duurste is.

Vereist je workload vooral CPU kracht? Dan zal je tevreden zijn met UpCloud. Linode laat zijn sterke kant zien als het gaat om geheugenkracht en snelheid van zijn opslagruimte. Vultr laat zich opvallen door zijn goede bandbreedte. Hetzner, DigitalOcean en OVH zijn op vele vlakken aan elkaar gewaagd, maar OVH voorziet de minste bandbreedte en Hetzner geeft een klapper van 20 TB dataverkeer.

Prijs-kwaliteit gezien maakt Hetzner een zeer goede zet.

Zelf proberen?

Wil je een van deze cloud providers proberen? Met onderstaande (affiliate) links krijg je alvast een startbudget.

• Hetzner - €20
• DigitalOcean - $200, te gebruiken binnen de 60 dagen
• Vultr - $100, te gebruiken binnen de 14 dagen
• UpCloud - €25