Porovnání výkonu virtuálních serverů WEDOS a FORPSI

Začnu ale od samotného začátku. Od partnera jsem se někdy na začátku září minulého roku dozvěděl o virtuálních serverech FORPSI (INTERNET CZ, a.s.) za 25 Kč bez DPH měsíčně. První moje reakce byla ze všeho nejvíce pobavená. Ptal jsem se, jestli ten server vůbec funguje, kolik má operační paměti jestli alespoň 128 MB, a vůbec jsem kladl spoustu podobně rýpavých otázek.

Dostal jsem ale odpověď typu: „Ne, server má 1 GB operační paměti, a je použitelný.“

Rozhodl jsem se tedy, že tento server objednám a vyzkouším. Nějakou dobu jsem se ale věnoval úplně jiným úkolům, a skoro jsem na celou věc zapomněl. Až na začátku letošního února jsem potřeboval servery pro testování nového projektu. A proto, místo abych hned objednal nové servery u WEDOSu, jsem začal tuto nabídku od FORPSI hledat. Našel jsem na https://www.forpsicloud.cz/cloud-computing/cenik.aspx a objednal jsem VPS Smart, variantu Small. Za legračních 25 Kč bez DPH měsíčně.

Příprava testů

Pro jeho jednoduché otestování v prostředí Linuxu jsem se rozhodl pro sysbench. Bylo mi jasné, že aby výsledek bylo s čím porovnávat, musím mít alespoň dva testované servery, případně více. Připravil jsem proto několik jednoduchých playbooků v Ansible, které na testovaných serverech instalují potřebný software, a připraví prostředí pro produktivní testování. Playbook main.yml poté instaluje sysbench, nakopíruje skript s vlastními testy, provede je a nazpět zkopíruje záznamy s výsledky testů. Jednoduché.

Jako cílové virtuální servery jsem nejprve nastavil dva servery, nový forpsi01 a už roky používaný wedos01. Tento server mi slouží jako záložní, a testovací server pro preprodukci. První výsledky byly ale natolik překvapivé, že jsem test rozšířil o další server, wedos02.

Testování jsem poté prováděl s třemi virtuálními servery, jejichž základní parametry najdete v následující tabulce:

K objednávce dalšího serveru wedos02  mě přiměly zejména následující důvody:

• První výsledky serveru wedos01 byly i o stovky procent horší, než serveru forpsi01
• Wedos01 provozuji už od roku 2014. Hardware je snad někdy z dubna roku 2013. Není ještě vybaven SSD disky a paměti zřejmě také nepatří ke špičce
• Wedos02 je z řady VPS SSD, která byla uvedena cca v polovině roku 2014. Běží tedy na modernějším hardware, a měl by být více než rovnocenným soupeřem
• Wedos01 je preprodukční server, na kterém běží MySQL, Bind a Apache. Při prvním testu jsem to neřešil, ale v  době běhu zaznamenaných a zde publikovaných testů jsem tyto služby musel zastavovat z důvodu maximální objektivity měření

Výsledky testů

Testování jsem prováděl na těchto serverech 4-krát. Snažil jsem se, aby čas, kdy jsem test spouštěl, byl pokud možno různý. Testy byly spouštěny na serverech najednou pomocí playbooku pro Ansible, jak jsem už uvedl. Už v průběhu testů tedy bylo z pořadí, jak servery končily a doby, jakou jim testy zabraly, patrný jednoznačný vítěz testů.

V následující tabulce si prohlédněte výsledek hned prvního testu z 22.4.2017, prováděného v cca 02:30 hod.

Výsledky dalších testů jsou obdobné. Výsledky všech čtyř testů najdete zpracované v následujících souborech – ve formátu ODS (Calc) a XLS (Excel).

Kdo mě chcete zkontrolovat, stáhněte si výstupy testů programu sysbench. Ty najdete zde. Pokud budete mít někdo zájem o playbooky, a samotný testovací skript pro spouštění testů, pošlu na vyžádání odkaz.

Zhodnocení testů

Výsledky pro mě byly velkým překvapením, a musím také napsat – zklamáním. Server forpsi01 za 25 Kč bez DPH měsíčně zcela jednoznačně zvítězil nad servery znatelně dražšími.

Pouze v jednom měření, při testu sekvenčního čtení, byl server wedos02 nejrychlejší. To je ale velice slabý výsledek. Kromě tohoto jediného případu bylo vítězství forpsi01 naprosto jednoznačné.

Výkon procesoru

Tyto testy server forpsi01 končil za cca 60 % času serverů WEDOS. Mezi servery wedos01 a wedos02 jsou rozdíly ve výkonu procesorů prakticky zanedbatelné. Modernější server wedos02 má ale většinou výsledky dokonce o trochu slabší.

To pro mě bylo dalším zklamáním, protože jsem předpokládal, že v novější řadě serverů WEDOS zákazníkům poskytuje přece jen lepší procesorový výkon, než na staré serverové řadě.

Testy vstupu/výstupu

U těchto testů zvítězil server forpsi01 o desítky až stovky procent, podle typu testu. Pouze v testu sekvenčního čtení byl server wedos02 relativně rovnocenný. Dokonce byl i jednou lepší.

Na těchto testech je viditelná velká diverzita mezi výsledky testů wedos02. U testů sekvenčního zápisu a sekvenčního čtení a zápisu byl rozdíl mezi výsledky testů téměř 300 %. Důvod pro takovéto rozdíly je otázkou. Jde o vadný hardware nebo se mi povedlo trefit se do chvíle, kdy byl fyzický server, případně diskové pole extrémně zatíženy? Nebyl to však jediný extrém, ze 4 byly takto slabé 2 testy.

Ostatní servery takovou míry diverzity nikdy nevykazovaly. Maximální rozdíly byly do cca 20 %.

Testy paměti

V testech paměti opět jednoznačně zvítězil server forpsi01. Oproti nejslabšímu serveru v testech paměti wedos01 byl rozdíl ve stovkách procent. Oproti modernějšímu serveru wedos02 byl rozdíl v rychlosti mezi 30 a 60 %.

Shrnutí výsledků testů

Jednoznačné vítězství serveru forpsi01 mě přimělo pokusit se se o zjištění důvodů, které k tomu vedly.

Nezanedbatelný vliv má zřejmě i špičkový hardware použitý FORPSI, viz. https://www.forpsicloud.cz/proc-zvolit-forpsi.aspx#hardware, body 4 a 5. Jsou to informace, které považuji obvykle za čistě marketingové.

Vždyť kdo věří prohlášení poskytovatele cloudových služeb, že využívají nejlepší hardware a mají nejlepší výsledky výkonnostních testů? Já moc ne. Zde jsem ale nucen uznat, že na tom asi něco bude.

Zejména u testů vstupu/výstupu má použitý hardware rozhodující vliv.

Samozřejmě, procesorový výkon je naopak spíše záležitostí nastavení provozovatele. Toho, jak nastaví alokaci fyzická jádra (nebo HT vlákna) : virtuální procesory. Podle informací od obou poskytovatelů by tento poměr měl být zhruba 1 : 4.

Porovnání výkonu fyzických procesorů (upraveno

6.6.2017)

Na základě připomínek čtenářů jsem poslal dotaz oběma poskytovatelům. Zajímaly mě typy použitých procesorů ve fyzických serverech (hypervizorech).

U serverů WEDOS jsou to

jsou procesory Intel XEON E5-2650L. U serverů FORPSI potom procesory Intel XEON E5-2650L v4.

Odstup tří generací procesoru je opravdu hodně znát. Při našem syntetickém testu, výpočtu prvočísel, byl poměr výkonu virtuálních procesorů zhruba 1 : 1,6.

A jak vidíte v následující tabulce, výkon novějšího procesoru při operacích s pevnou řádovou čárkou je více, než dvojnásobný. Při operacích s plovoucí řádovou čárkou je téměř dvojnásobný.

Výrazně slabší výpočetní výkon VPS a VPS SSD WEDOSu je důsledkem použití staršího procesoru. Tím je zodpovězena i otázka, jestli slabý výpočetní výkon VPS WEDOSu je způsoben přetěžováním hypervizorů. Není.

A vzhledem k tabulkovým hodnotám výkonu procesorů si myslím, že ve výpočetním testu mohly VPS WEDOSu dopadnout i hůř.

Závěrem

WEDOS aktuálně testuje novou platformu pro plnohodnotné cloudové služby. Snad se tato nová generace u WEDOSu posune k příznivějšímu poměru cena/výkon.

Autor textu: Leoš Houser