Zrychlení elektromagnetické simulace pomocí klastrových výpočetních systémů / Eurointech – řešení pro výrobu elektroniky

Zrychlení dotazů umožňuje aplikacím a analytickým platformám výrazně optimalizovat zpracování dat extrakcí pouze dat potřebných k provedení dané operace. To snižuje čas a výpočetní výkon potřebné k získání klíčových poznatků z uložených dat.

Recenze

Dochází k akceleraci dotazů predikáty filtrace a projekce sloupů, které umožňují aplikacím filtrovat řádky a sloupce při čtení dat z disku. Aplikaci jsou předávána pouze data, která splňují predikátové podmínky. To snižuje latenci sítě a výpočetní náklady.

V dotazu Query Acceleration můžete použít SQL k určení predikátů filtrů řádků a projekcí sloupců. Dotaz zpracovává pouze jeden soubor. Proto nejsou podporovány pokročilé relační funkce SQL, jako jsou spojení a seskupování podle agregací. Query Acceleration podporuje formátovaná data CSV a JSON jako vstup pro každý dotaz.

Funkce zrychlení dotazů není omezena pouze na úložiště Data Lake (účty úložišť s povoleným hierarchickým jmenným prostorem). Zrychlení dotazů je kompatibilní s objekty blob v účtech úložišť, které mají není v ceně hierarchický jmenný prostor. To znamená, že při zpracování dat, která jsou již uložena v blocích v účtech úložiště, můžete dosáhnout stejného snížení latence sítě a výpočetních nákladů.

Příklad použití akcelerace dotazů v klientské aplikaci najdete v článku Filtrování dat pomocí akcelerace dotazů služby Azure Data Lake Storage.

Datový tok

Následující diagram ukazuje, jak typická aplikace používá akceleraci dotazů ke zpracování dat.

1. Klientská aplikace dotazuje data souborů zadáním predikátů a projekcí sloupců.
2. Akcelerace dotazů analyzuje zadaný SQL dotaz a rozděluje práci na analýzu a filtrování dat.
3. Procesory čtou data z disku, analyzují je pomocí příslušného formátu a poté je filtrují pomocí zadaných predikátů a projekcí sloupců.
4. Zrychlení dotazů kombinuje fragmenty odpovědí pro přenos zpět do klientské aplikace.
5. Klientská aplikace přijímá a analyzuje streamovanou odpověď. Aplikace nemusí filtrovat jiná data ani přímo provádět požadované výpočty nebo transformace.

Zvýšená produktivita za nižší náklady

Zrychlení dotazů optimalizuje výkon snížením množství dat přenášených a zpracovávaných aplikací.

Pro výpočet agregované hodnoty aplikace obvykle načítají vše data ze souboru a poté tato data lokálně zpracovat a filtrovat. Analýza vzorců vstupních a výstupních dat pro analytické úlohy ukazuje, že aplikace obvykle potřebují k provedení jakéhokoli výpočtu pouze 20 % dat, která načtou. Tato statistika platí i po použití technik, jako je prořezávání oddílů. To znamená, že 80 % těchto dat je zbytečně přenášeno po síti, analyzováno a filtrováno aplikacemi. Tento vzorec, navržený k odstranění nepotřebných dat, způsobuje značné výpočetní náklady.

Přestože je síť Azure špičková v oblasti propustnosti a latence, zbytečné přenosy dat po síti stále snižují výkon aplikací. Filtrováním nežádoucích dat během požadavků na úložiště akcelerace dotazů tyto náklady eliminuje.

Navíc zátěž CPU potřebná k analýze a filtrování nepotřebných dat vyžaduje, aby aplikace pro svou práci zřizovala více a větších virtuálních počítačů. Přesunutím této výpočetní zátěže na akceleraci dotazů mohou aplikace výrazně snížit náklady.

Aplikace, které mohou těžit ze zrychlení dotazů

Akcelerace dotazů je určena pro distribuované analytické platformy a aplikace pro zpracování dat.

Distribuované analytické platformy, jako jsou Apache Spark a Apache Hive, zahrnují v rámci platformy vrstvu abstrakce úložiště. Tyto enginy také zahrnují optimalizátory dotazů, které mohou při určování optimálního plánu dotazů uživatelů zahrnout znalosti o základních možnostech I/O služeb. Tyto platformy začínají integrovat akceleraci dotazů. V důsledku toho uživatelé těchto platforem zaznamenávají zlepšenou latenci dotazů a nižší celkové náklady na vlastnictví, aniž by museli měnit dotazy.

Akcelerace dotazů je také zaměřena na aplikace pro zpracování dat. Tyto typy aplikací obvykle provádějí rozsáhlé transformace dat, které nemusí přímo vést k analytickým poznatkům, takže ne vždy používají zavedené distribuované analytické rámce. Tyto aplikace mají často přímější připojení k podkladové úložné službě, takže mohou přímo využívat funkcí, jako je akcelerace dotazů.

Příklad toho, jak může aplikace integrovat akceleraci dotazů, najdete v článku Filtrování dat pomocí akcelerace dotazů služby Azure Data Lake Storage.

Ceny

Vzhledem ke zvýšenému výpočetnímu zatížení v Azure Data Lake Storage se cenový model pro používání Query Acceleration liší od běžného transakčního modelu Azure Data Lake Storage. Query Acceleration účtuje poplatky za množství naskenovaných dat a také za množství dat vrácených volajícímu klientovi. Další informace naleznete v článku o cenách Azure Data Lake Storage.

I když se fakturační model mění, cenový model Query Acceleration je navržen tak, aby snížil celkové náklady na vlastnictví úlohy tím, že zohledňuje snížené náklady na dražší virtuální počítače.

Další kroky

• Filtrování dat pomocí akcelerace dotazů Azure Data Lake Storage
• Referenční příručka jazyka SQL pro zrychlení dotazování

Klastrové výpočetní systémy mohou výrazně zkrátit dobu zpracování dat v elektromagnetickém modelování kombinací výpočetního výkonu několika procesorů v jednom výpočetním systému.

V současné době je počítačové elektromagnetické (EM) modelování výkonným nástrojem pro výpočet vysokofrekvenčních analogových a vysokorychlostních digitálních obvodů a zařízení. Software se neustále vylepšuje, ale i ty nejmodernější počítače s ním jen těžko drží krok, takže moderní systémy EM modelování často vyžadují pro efektivní provoz nestandardní kombinace výpočetních systémů. Společnost Sonnet Software (www.sonnetsoftware.com) nabízí komplexní řešení tohoto problému – výpočetní technologii emCluster. Tato technologie umožňuje sčítat výkon mnoha počítačů, čímž se urychlí analýza a zlepší kvalita výsledků výpočtů, což v konečném důsledku vede ke zkrácení návrhového cyklu a rychlejšímu uvedení produktu na trh.

Systém emCluster lze konfigurovat pro provoz v lokálním clusteru nebo v distribuovaném či federovaném výpočetním prostředí přes rozlehlou síť (WAN) nebo přes internet pomocí připojení k virtuální privátní síti (VPN). Na rozdíl od tradičních clusterů může systém fungovat v heterogenních výpočetních prostředích, a to až po federované počítačové pole (grid computing).

Obr. 1. Činnost výpočetního systému emCluster.

Výpočetní technologie emCluster (obrázek 1) kombinuje různé aspekty clusterových, distribuovaných a gridových výpočtů. Typický výpočetní cluster využívá paralelní provoz několika samostatných identických počítačů v vysokorychlostní lokální síti a lze jej v mnoha ohledech považovat za jeden počítač. V distribuovaném výpočetním prostředí nejsou počítače výhradně určeny pro skupinové úkoly a nejsou tak pevně propojeny jako v clusteru. Správně nakonfigurované počítače v distribuovaném prostředí mohou využívat výpočetní zdroje, které by normálně zůstaly nevyužité. Jinými slovy, distribuované výpočty mohou poskytovat spolehlivé a „vždy zapnuté“ výpočetní zdroje, které by jinak nebyly možné.

Gridové výpočetní systémy představují další vývoj technologie distribuovaného zpracování a využívají velké množství počítačů propojených sítí (často internetem) k provádění velmi velkého množství výpočtů. Gridové výpočetní systémy lze konfigurovat tak, aby využívaly dobu nečinnosti počítačů v různých geografických lokalitách. Taková organizační řešení umožňují zpracovávat velké množství informací, které by jinak vyžadovaly výkon drahých superpočítačů nebo by je nebylo možné zpracovat vůbec.

Tabulka 1. Počítačové architektury používané pro distribuované výpočty.

Gridové systémy jsou často zaměňovány s klastrovými výpočetními systémy, ale mezi nimi existují zřetelné rozdíly. Například na rozdíl od gridů jsou klastry vždy homogenní, tj. skládají se z počítačů stejné třídy se stejnými operačními systémy. Prvky gridového systému mohou být navíc geograficky široce rozmístěny, zatímco klastry se obvykle nacházejí ve stejné místnosti (tabulka 1). Bez ohledu na použitou architekturu se však stále častěji používají různé klastrové a gridové systémy ke zlepšení rychlosti a přesnosti výpočtů, protože představují mnohem nákladově efektivnější řešení (tabulka 2) než samostatné počítače se srovnatelnou rychlostí a spolehlivostí.

Tabulka 2. Přibližná cena počítačů pro clusterové výpočty.

Pomocí řešení emCluster lze analýzu Sonnet provádět N-krát rychleji než na jednom počítači, kde N je počet počítačů v clusteru. V důsledku toho lze u velkých projektů zkrátit dobu výpočtu z několika dnů na několik hodin. Díky tomuto zrychlení výpočtů jsou vývojáři schopni optimalizovat svůj projekt a získat kompaktnější topologii bez obav z nadměrného prodloužení doby EM analýzy.

I s pouhými dvěma počítači (N=2) se doba výpočtu zkrátí na polovinu. Pro analýzu typických projektů v systému Sonnet s využitím algoritmu Adaptive Band Synthesis (ABS) je však nejvhodnější cluster deseti počítačů (N=10), který poskytuje vysokou rychlost výpočtu, dobrou spolehlivost a optimální náklady srovnatelné s cenou deseti let staré pracovní stanice UNIX. Clusterové počítače lze zakoupit jako hotové systémy nebo je sestavit z komerčně dostupných komponent, jinými slovy se může jednat o běžné osobní počítače. Každý počítač v clusteru musí mít licenci na balíček pro správu clusteru LSF od společnosti Platform Computing (www.platform.com) a licenci na Sonnet Suites Professional Release 10.53.

emCluster se přímo propojuje s LSF a umožňuje klientům nacházet se kdekoli na světě, pokud mají síťové připojení ke clusteru přes VPN nebo jiný podobný prostředek. Tradiční EM analýza na samostatném počítači vyžaduje, aby frekvence byly analyzovány postupně, jednu po druhé. Při použití Sonnet emCluster v prostředí clusterových výpočetních systémů je však celá úloha analýzy frekvenčního rozsahu automaticky rozdělena na odpovídající počet jednofrekvenčních výpočetních úloh, které jsou všechny plně připraveny ke zpracování výpočetním jádrem Sonnet. Tyto jednotlivé úlohy jsou emClusterem okamžitě přiřazeny k paralelnímu zpracování na zdrojích dostupných v clusteru. Hlavním kritériem, podle kterého emCluster automaticky rozděluje úlohy ke zpracování mezi počítače (simulační servery), je vhodnost jejich platformy pro konkrétní úlohu (například dostupná RAM). Toto inteligentní rozložení výrazně snižuje celkovou latenci a zajišťuje, že zdroje jsou vždy zapnuté.

Poté, co cluster analyzoval všechny jednofrekvenční úlohy, program emCluster zkombinuje výsledky výpočtů a získá finální charakteristiky zařízení. Uživatel nemusí dělat nic dalšího, vše, co si všimne, je výrazné zkrácení doby analýzy a rychlé a přesné výsledky. I jednoduchý cluster dvou počítačů poskytuje dvojnásobný zisk času. Při použití clusteru deseti počítačů je úspora času desetinásobná, tj. desetihodinový projekt se vypočítá za jednu hodinu.

Technologie emCluster může být také použita ke zlepšení efektivity algoritmu Adaptive Band Synthesis (ABS). Ve skutečnosti se jedná o interpolační metodu, která poskytuje frekvenční odezvy s vysokým rozlišením v širokém rozsahu na základě EM analýzy struktury v malém počtu bodů. Sonnet provádí úplnou EM analýzu v několika jednotlivých bodech a používá výsledná interní nebo mezipaměťová data k syntéze širokopásmových odezvy s vyšším rozlišením. Existují dvě hlavní metody pro spuštění algoritmu ABS pomocí emCluster. První, automatická, umožňuje emClusteru určit, pro které diskrétní body provést úplnou EM analýzu a spustit úlohy s jednou frekvencí pro paralelní výpočet v clusteru. Druhá metoda vyžaduje ruční specifikaci konkrétních frekvenčních bodů nebo frekvenčního kroku v celém rozsahu. Pro přijaté frekvenční body emCluster vygeneruje úlohy pro výpočet v clusteru, spustí analýzu a po jejím dokončení získá interpolovanou frekvenční odezvu pomocí algoritmu ABS.

Obr. 2. Tento hybridní GaAs dělič výkonu byl často používán k testování výkonu výpočetní platformy. Použití systému emCluster zkrátilo dobu výpočtu desetkrát.

Pro demonstraci efektivity programu emCluster uvažujeme jako příklad hybridní dělič výkonu (obr. 2) o rozměrech 0.5 x 0.5 mm. V tomto 3 dB děliči výkonu v souhlasném režimu jsou na substrátu použity dvě spirálové induktory, jejichž analýza musí být provedena pomocí konformních buněk na kovové vrstvě nenulové tloušťky. Takové zakřivené struktury tradičně představují vážnou výzvu pro systémy elektromagnetického modelování, které se snaží zaplnit zakřivenou strukturu velkým počtem malých analytických buněk, což dramaticky zvyšuje dobu analýzy. Technologie konformních buněk použitá v softwaru Sonnet umožňuje analyzovat zakřivené struktury bez nepřiměřeného nárůstu počtu buněk při zachování vysoké přesnosti výsledků.

Analýza 10 frekvenčních bodů na osobním počítači s procesorem 1.8 GHz a 2 GB RAM s výběrem malých buněk (pro zajištění vysoké přesnosti) trvá 9 hodin a 41 minut. Výpočet stejné struktury pomocí programu emCluster, provedený na clusteru sestávajícím z deseti naprosto stejných počítačů, trvá pouhých 59 minut (obr. 3 a 4). Program emCluster automaticky rozdělí celou úlohu na 10 jednofrekvenčních bodů a přiřadí je k dostupným počítačům clusteru k provedení.

Obr. 3. Tyto frekvenční charakteristiky děliče výkonu byly získány pomocí systému emCluster za méně než 1 hodinu.

Obr. 4. Výpočet hustoty povrchového proudu získané pomocí systému emCluster.

Vytvoření hardwarové platformy

Vytvoření hardwarové platformy pro systém emCluster není příliš obtížné, protože výběr hlavních jednotek a periferií je relativně malý. Cluster sestavený v 1U rackových skříních (šířka 19 palců, tloušťka 1,75 palce) bude mít rozměry jen o málo větší než běžný počítač. Protože se ke clusteru přistupuje přes lokální síť, myš, klávesnice, monitor a někdy i pevné disky se stávají zbytečnými, čímž se snižují náklady, objem a spotřeba energie. Síťové přepínače a napájecí kabely jsou obvykle již vestavěny do racků, což zjednodušuje externí připojení.

Hardware clusteru je obvykle navržen tak, aby fungoval bez přerušení. Například chyby paměti jsou minimalizovány použitím modulů s kódem pro opravu chyb (ECC). Problémy s pevnými disky jsou minimalizovány použitím modulů. Data jsou odesílána, kopírována a zapisována na dva pevné disky. Pokud jeden pevný disk selže, funkční disk se nadále používá, dokud není vadný disk vyměněn. Data jsou poté automaticky duplikována na nově instalovaný disk. Poruchy napájení jsou minimalizovány redundancí. Redundantní napájecí systémy se skládají ze dvou samostatných jednotek v jedné skříni, které spolupracují na napájení jedné zátěže. Pokud jedna jednotka selže, zátěž je okamžitě napájena funkční jednotkou bez nutnosti restartu systému.

Shromažďování uživatelských dat je nezbytné pro vývoj požadavků na cluster. Konfigurace clusteru je založena na informacích o počtu uživatelů Sonnet, typických velikostech úloh, obdobích špičkové aktivity, typech počítačů uživatelů a geografickém umístění uživatelů. Dalším krokem je určení externích technických specifikací, jako je elektrický výkon, požadavky na chlazení a omezení hluku. Jakmile je to hotové, lze vybrat dodavatele pomocí informací z oborových publikací, jako je ClusterWorld. Může být užitečné kategorizovat dodavatele podle úrovně služeb, které mohou poskytovat po sestavení clusteru a připojení k síti.

Dále byste měli správně napsat požadavek na potřebné vybavení, včetně specifických požadavků na cluster. Požadavek by měl obsahovat informace jako počet uzlů, typ procesoru, velikost paměti, typ základní desky, typ síťové karty, pevný disk, grafická karta, rozšiřovač systémové sběrnice (pokud je nutný), způsob instalace do racku, napájecí zdroje, požadovaný operační systém, balíček pro správu clusteru, další programy a kompilátory, požadavky na síť a IP adresu, fyzické požadavky na cluster a požadavky na chlazení systému. Náklady, dodací lhůty a záruční povinnosti se budou u jednotlivých dodavatelů lišit, ale typické podmínky jsou: dodací lhůta 5–6 týdnů, dvouletá záruka na vybavení a doživotní technická podpora hardwaru a operačního systému.

Je důležité si uvědomit, že čím vyšší je rychlost procesoru, tím více energie spotřebovává. Například spotřeba energie deseti bloků založených na procesorech s frekvencí 3.2 GHz je asi 3 kW, takže k napájení takového clusteru bude zapotřebí několik zásuvek s proudem 15 nebo dokonce 20 ampérů. U velkých clusterů může být navíc vyžadován nucený odvod tepla a klimatizace.

V některých případech je nákladově efektivnější postavit si malý cluster svépomocí, než svěřit jeho montáž dodavateli. Existují firmy, které mohou dodat všechny potřebné komponenty a poskytnout podporu během instalace clusteru.

Obr. 5. První klastrový výpočetní systém sestavený společností Sonnet.

Hlavní požadavky na první cluster sestavený společností Sonnet byly: nízká spotřeba energie, nízké zahřívání a nízký hluk ventilátoru, což je důležité při předvádění systému na výstavách. Logickým výchozím bodem pro cluster s nízkou spotřebou energie byl procesor notebooku. Cluster Sonnet (obr. 5) je sestaven na procesorech Intel s taktovací frekvencí 1.8 GHz. Navzdory nízké taktovací frekvenci procesory zpracovávají více příkazů za cyklus a mají větší objem vestavěné paměti než běžné procesory Pentium 4. Výsledkem je vyšší výkon systému. V testech provedených specialisty společnosti Sonnet je jeden procesor s frekvencí 1.8 GHz výkonově srovnatelný s procesorem Pentium 4 s frekvencí 3.4 GHz. Po vynásobení 10 získáme seriózní výpočetní výkon: přibližně 40 miliard operací za sekundu. Kromě specifikovaného výkonu procesoru byl každý blok vybaven 2 gigabajty RAM s provozní frekvencí sběrnice 400 MHz. První cluster od Sonnetu používal základní desku i855gme, jeden z pouhých tří typů desek na trhu, které v době sestavení clusteru podporovaly tento procesor.

Tabulka 3. Přibližný výpočet nákladů na cluster Sonnet.

Každý uzel clusteru má vlastní 40GB pevný disk a 3wattový zdroj. Modré LED indikátory byly do systému přidány z estetických důvodů, ale později se ukázalo, že je to velmi pohodlné, protože pomáhá detekovat poruchy napájení. Tabulka 10 ukazuje hrubý odhad nákladů na cluster Sonnet. Je snadné vidět, že cena zařízení je asi 000 1.8 dolarů. Maximální příspěvek k celkové spotřebě energie clusteru mají procesory. Pokud však vezmeme v úvahu, že s taktovací frekvencí 21 GHz spotřebovává pouze 4 wattů a Pentium 3.4 s frekvencí 100 GHz, které spotřebovává 55 wattů, pak dojde k téměř čtyřnásobnému snížení spotřeby energie. Naměřená spotřeba energie jednoho plného výpočetního uzlu na procesoru během provozu je 10 wattů. Cluster 600 uzlů spotřebuje méně než XNUMX wattů, což je v rámci povolených limitů pro standardní síť střídavého proudu. Nižší spotřeba energie samozřejmě znamená také méně tepla, což znamená nižší požadavky na odvod tepla. Šest konvenčních vysokorychlostních ventilátorů bylo nahrazeno dvěma nízkorychlostními, což snížilo hluk generovaný během provozu.

Samozřejmě se jednalo o první cluster postavený na procesorech. Je natolik unikátní, že Intel jeden ze systémů zakoupil k testování.

Vzhledem k tomu, že v současné době neexistuje žádné speciální clusterové vybavení založené na procesorech, použité jednotky ze stolních počítačů vyžadovaly určitou úpravu. Například jelikož byl tento procesor vytvořen speciálně pro mobilní aplikace, chybí zde rozvaděč tepla, který obvykle chrání krystal procesoru před poškozením, ale to šetří hmotnost a objem. Tento procesor je v patici umístěn přibližně o 2 mm níže než obvykle. Absence fyzického kontaktu neumožňuje použití konvenčních chladičů, proto byl použit speciální nízko položený chladič. Vyžadovalo si to ale také úpravu uchycení, protože se nevešel do standardní 1U skříně.

Tabulka 4. Přibližný výpočet nákladů na cluster založený na blade serverech.

Jednodeskové blade servery jsou v současnosti vrcholem designového myšlení v hardwarové části clusterů s nízkou a střední cenovou kategorií. Vysoce optimalizované jednodeskové servery snižují obsazený prostor a spotřebu energie rozdělením zdrojů. Tyto ultratenké jednotky jsou umístěny ve speciální skříni, kde jsou již rozmístěna napájecí, síťová a datová úložná zařízení, a podporují možnost výměny za provozu. Každý takový server potřebuje pouze základní desku, procesor a RAM. Vysoká cena komponent však činí jednodeskové servery ekonomicky opodstatněnými pouze pro množství nad 40 kusů. Tabulka 4 ukazuje přibližný výpočet ceny 16modulového serveru, který zabírá 6U rackového prostoru (šest 1U serverů).

Pro provoz clusteru nejsou vždy nutné speciální clusterové jednotky. V existujících sítích osobních počítačů, které lze použít jako cluster, existuje mnoho možností. I dva samostatné počítače v síti mohou se Sonnetem pracovat dvakrát rychleji. Clusterové výpočty zde tedy nevyžadují dodatečné náklady na vybavení a naopak poskytují zisk díky využití nečinných počítačů. Je však třeba poznamenat, že běžné osobní počítače zapojené do clusteru nelze použít pro jinou práci. Navíc nejpomalejší počítač výrazně omezí rychlost ostatních počítačů v clusteru.

Závěrem je třeba zopakovat, že řešení emCluster od společnosti Sonnet Software poskytuje uživatelům řadu výhod, z nichž nejdůležitější je rychlejší EM analýza a zvýšená spolehlivost výpočetního systému, což v konečném důsledku vede ke zkrácení doby vývoje a rychlejšímu uvedení na trh.

Literatura: