PC-IQE - Počítač pro záchranu lidských životů - Kapitola 2

Seznam kapitol

1. Život IQE a jeho činnosti v oblasti DC 2. Sbírka na PC-IQE, popis a uvedení do provozu 3. Fotogalerie - zrození PC-IQE v obrazech 4. Projekty, ve kterých je PC-IQE aktivní 5. IQE vs. Cimrman = nVidia vs. ATI 6. ….a jak tento příběh bude pokračovat dál?

Dnešní příběh začal již před více než 20 lety a je směsicí smutku, odhodlání, lidské spolupráce a samozřejmě počítačového výkonu. Pojednává o člověku, který celý svůj život bojoval s krutou nemocí a který se i v době, kdy byl zcela odkázán na pomoc druhých, neuzavřel do sebe, ale naopak se snažil pomoci, kde mohl.

Reklama

Zpráva o Michalově úmrtí na fóru hodně zasáhla do života celého Czech National Teamu. Myšlenka sestrojení týmového počítače na Michalovu počest vznikla velice spontánně a po počátečních obavách o finance na jeho pořízení nakonec vznikl z příspěvků stroj, který je v DC komunitě opravdu ojedinělý.

Původní plány na sestavení počítače s dvoujádrovým procesorem a deskou se dvěma sloty PCI-E pro postupně přikupované výkonné grafické karty se postupně měnily. Prvním, kdo tyto plány posunul o úroveň výše, byla společnost Intel, která na počítač věnovala zdarma čtyřjádrový procesor (s HT) i7 920, v hodnotě 6.500,- Kč. Tím dokázala, že tento příběh není lhostejný ani firmám s celosvětovou působností. Další posun ve výkonu v plánované sestavě zajistilo rovných 20.000,- Kč, které poslali samotní Michalovi rodiče. Byly to peníze, které měl Michal na svém stavebním spoření, čímž se i on sám nakonec značnou měrou podílel na pořízení samotného počítače. Na základě těchto financí a dalších velkých darů od členů týmu bylo rozhodnuto, že se pořídí základní deska pro celkem 4 dvouslotové grafické karty PCI-E 16x. Celkem členové CNT, Michalova rodina i další lidé z DC komunity věnovali finance a díly v celkové hodnotě téměř 100.000,- Kč. Celý počítač má jeden hlavní úkol - pomáhat v projektech distribuovaných výpočtů se zaměřením na oblast biologie.

Finální konfigurace PC-IQE
Case	rack 19'' Eurocase IPC 4U-500
Základní deska
CPU	Intel i7 920
Zdroj	Enermax Revolution85+ 1250W EVR1250EGT
Grafické karty	3x nV Gigabyte GTX295 (1PCB) 1x nV Asus GTX295 (2PCB)
RAM
HDD
Chladič CPU	Thermaltake CL-P0540 ISGC-400
DVD-ROM	Samsung SH-D163B
Orientační cena včetně DPH: 100 000Kč

PC-IQE - Počítač pro záchranu lidských životů

Finální podoba PC-IQE.

Sestavení tohoto počítače nebylo rozhodně snadné, což je jistě patrné již z výpisů samotných dílů. Jednak na to komukoli chyběla zkušenost a v době sestavení neexistoval ani v celém systému distribuovaných výpočtů BOINC žádný podobný počítač. Pro jeho umístění v serverovně, snadnou údržbu a variabilitu při řešení chlazení jsme zvolili pro sestavení 19'' rack.

Čelní pohled na sestavený PC-IQE.

První problém nastal již při samotném uložení základní desky. Ta sice má rozměry standardní ATX desky, ovšem po osazení všech 4 dvouslotových GPU (tedy obsazení celkem osmi pozic), vycházelo vyústění první karty (nejblíže u CPU) do zadního krytování a jednoho z ventilátorů racku. Naštěstí se forestovi podařilo tento problém menší úpravou vnitřního uspořádání vyřešit. Úvodnímu sestavení se dvěma kartami a prvotním testům tedy nebránilo nic v cestě.

Na fotce je patrné nutné odsazení desky od zadního čela a mírně do boku.

Detail nutné úpravy zadního čela racku, bez které by nebylo možné desku usadit.

Samotné spuštění, instalace i zapojení CPU i dvou GPU (4 GPU jader) do výpočtů proběhlo kupodivu zcela hladce. Dle očekávání ovšem rychle narůstala teplota na všech dílech a tak byly vyměněny všechny základní ventilátory v racku i na CPU za mnohem silnější a problém byl vyřešen.

Detailní pohled na sání do racku. Jako první je 12cm ventilátor, který je před grafikami posílen ještě dvěmi 8cm větráky.

Jelikož byl obrovský aktivní ventilátor na CPU zapojen na molex, byla vypnuta detekce CPU FAN. Následovalo hledání maximálního dostupného taktu CPU, které skončilo na hranici 4GHz. Pro zdravý non-stop provoz nakonec byla zvolena hranice 3,7GHz a PC po důkladném týdenním testování putoval do místa trvalého provozu. CPU je od té doby taktováno na 3,7 GHz při 20x násobiči a 185 BCLK frekvenci, napětí na CPU kupodivu stačí jen 1,16875V (CPU voltage). V BIOSu byly vypnuty všechny šetřící režimy, tedy C1E, Intel Speed Step, A20M (ta dovoluje OS měnit nastavení CPU) a zapnuto HT.

Ve velmi krátké době po spuštění získalo občanské sdružení CNT o.s. dostatek finančních prostředků na pořízení posledních dvou grafických karet, které ihned putovaly do racku. Zde nastal ovšem značný problém. Instalovaný systém Windows Vista Home Premium (32-bit) si nedokázal s obsluhou 4 GPU (celkem 8 grafických jader) poradit. Jakmile se zatížily všechny karty, systém se odporoučel. Následovalo testování systému Windows 7 a nakonec i Windows XP Professional (64-bit). Ani jeden ze systémů ovšem nebyl schopný provozu a to přes instalování všech dostupných ovladačů a všech dodaných kabelových propojek karet. Navíc zde bylo jedno velké zdržení, a to instalací driverů GPU. Vždy trvala okolo 30 minut a monitor při tom několikrát zkolaboval, jelikož se pořád vypínaly a zapínaly výstupy. Řešením nebylo ani vynucené rozšíření plochy na všech 8 monitorů, jelikož bez monitoru to prostě nejelo. A také nepomohla instalace driverů, které nabízí MS (na nich to nejelo vůbec), či vyextrahování samotného INF souboru a ruční instalace bez SW (nV control center). Nepomohlo ani kontaktování podpory společnosti nVidia. Jejich odpověď byla strohá - „podporujeme pouze 3-way SLI“. Na dotaz, zda se v brzké době chystají na podporu 4 GPU se dvěma jádry, pouze odpověděli, že své plány do budoucna neprozrazují.

Jeden z pokusů o zprovoznění pod systémem Windows.

V té době pomohla samotná DC komunita. Během řešení našeho problému se na projektu GPUGRID objevil počítač s 8 jádry 295 GTX (tedy 4 kartami jako měl náš PC-IQE). Po kontaktu vlastníka počítače nám bylo sděleno, že na systému LINUX nemá s provozem takové konfigurace žádný problém. Protože v té době právě vyšla nová verze Ubuntu 9.10, volba padla na ni. Tento systém je naštěstí zcela zdarma, takže ani finančně nic nebránilo to otestovat. Asi po dvou hodinách samotné instalace systému, ovladačů CUDA a systému BOINC výpočty bez problémů naběhly na všech CPU i GPU jádrech, což uvítal celý tým. Hlavně však Mojmír Konečný (Jamoko), který má non-stop provoz PC na starosti, a už to pomalu vzdával. Při finálním provozu DC nejsou potřeba propojky (SLI můstky) dodávané ke grafickým kartám. Systém i BOINC si najdou všech 8 grafických jader a dokáží se o jejich plné vytížení postarat.

Při plném zatížení a dlouhodobém provozu jsme postupně narazili na několik nedostatků:

Grafické karty se i přes všechny přídavné ventilátory poměrně hodně zahřívaly. Hlavním nedostatkem byl centrální ventilátor na každé z karet, který ofukuje chladící blok. Polovinu tepla žene sice ven z case, ale tu druhou směrem dovnitř. Při 4 kartách to je znatelný problém a tak jsme byli nuceni krytování karet částečně odstranit (v mezích zachování záruky) kvůli lepšímu proudění vzduchu rackem. Teploty karet okamžitě klesly o víc jak 10 °C.
Při několikatýdenním provozu se zjistilo, že jedna grafická karta byla od začátku vadná, přesněji řečeno jedno z jejích dvou jader. Tuto kartu jsme tedy v polovině prosince vyreklamovali, ovšem poměrně složitým způsobem. S uplatněním reklamace problém nebyl, ale model 295GTX byl totálně nedostupný po celé Evropě. Raději jsme tedy přistoupili na výměnu za jinou grafickou kartu (ATI Radeon HD5800) a tu jsme použili hned do druhého týmového PC (Cimrmana). Potřebnou čtvrtou 295GTX pro dokončení počítače věnoval jeden ze členů týmu (Honza Kalina) ze svého osobního HW vybavení.
Po čase jsme zjistili, že při původní instalaci Ubuntu prostřednictvím utility WUBI přímo z Windows nelze systém částečně aktualizovat, tedy například kernel. Systém byl tedy nakonec přeinstalován načisto. Po každém update kernelu se musejí zároveň i přeinstalovat drivery ke grafickým kartám, ale to už není takový problém.

Čelní pohled na oba týmové počítače v místě svého non-stop provozu.

Po odstranění těchto tří velkých problémů běží PC-IQE na plný výkon a stal se postupně nejvýkonnějším počítačem na světě v distribuovaných výpočtech systému BOINC osazeným grafickými kartami nVidia. O non-stop provoz počítače je naštěstí prozatím dobře postaráno.

Statistiky PC-IQE, aktuální stav i odváděný výkon na jednotlivých projektech můžete sledovat zde ->>
Na spoustu fotek se můžete podívat přímo v týmové galerii zde ->>

Nemálo čtenářů jistě bude zajímat i spotřeba tohoto počítače:

Plně osazený PC bez vytížení – 180 W
Plně osazený PC s plně zatíženým CPU (8 vláken) – 330 W
Zatížení každé z karet 295 GTX přidalo na spotřebě +/- 200 W, tedy celková spotřeba PC-IQE při svém běžném plně vytíženém provozu v distribuovaných výpočtech je 1130 W.

Na ukázku z provozu a finální spotřeby se můžete podívat zde ->> Omluvte prosím nízkou kvalitu záznamu. Teploty GPU směrem od CPU klesají od 84 – 60 °C. Mezní hodnota, kdy dojde k pádu systému, je přitom
105 °C.

Každý den odvádí PC-IQE do oblasti distribuovaných výpočtů výkon 1.300 GigaFLOP (1,3 TeraFLOPS).

Předchozí