Nový projekt, evokující staré časy Xgridu, propojuje Mac Studios spolu s kabely Thunderbolt a používá je v tandemu pro masivně paralelní výpočetní úlohy.
Před velmi dlouhou dobou jsem se zabýval clusterovými výpočty a pomáhal jsem s několika sestaveními clusterů zaměřených na Mac ve Virginii. Ke konci dostupnosti Xgrid od Applu jsem také postavil Xgrid cluster využívající béžové základní desky G3. Víš, jen proto, že jsem mohl.
Zatímco korporátní a federálně financované Xgridy byly docela dobré, projekty, které si vlastními silami postavili, byly dost ujeté a křehké hacky. Apple Xgrid fungoval velmi dobře za extrémně specifických okolností, ale velmi špatně mimo tyto scénáře.
Cluster Mac Studio skutečně svítí jako velikost problému. Chcete-li využít kombinované GPU, změňte své myšlení: vyberte moudře velikost dávky a rozdělení datové sady (blok vs prokládání). Mám 2x zrychlení tréninku velkého MLP na 2 MS se stejnou přesností @awnihannun @angeloskath pic.twitter.com/P8NpPRt6TG
— Stavros Kassinos (@KassinosS) 15. června 2024
Instalace projektu je poměrně složitá, ale totéž bylo u Xgridu. Nový projekt má jeden hlavní počítač a tolik pracovních počítačů Mac, kolik si lze dovolit připojených přímo k hlavnímu počítači pomocí kabelů Thunderbolt 4. To poskytuje extrémně vysokorychlostní komunikaci mezi hostitelským strojem a pracovníky.
Pracovní stroje mohou být bezhlavé, s vybraným automatickým přihlášením, za předpokladu, že je také povoleno sdílení obrazovky. Síť se konfiguruje ručně.
Je nainstalován výpočetní software pomocí Open-MPI přes HomeBrew. Poté se nainstaluje úložiště projektu MLX. Úplné odstraňování problémů a konfigurace jsou nad rámec tohoto článku, ale toto je přehled toho, co musíte udělat, abyste mohli začít.
Stejně jako u každého masivně paralelního výpočtu není škálování napříč zařízeními zcela lineární. Jeden testovací cluster měl tři uzly pracující na jediném problému 2,9krát rychlejší než jediné Mac Studio.
Moje dny konfigurování masivně paralelních systémů jsou dávno pryč. Jakákoli práce, kterou teď musím udělat, s některými lidmi, kteří mi pomohli s recenzemi špičkového profesionálního hardwaru, které je nyní vyžadují, je na již existující mřížce. Všechny mají parametry a konfigurační záležitosti, o kterých rozhodují jiní.
Moje poslední práce s MPI byla asi před dvěma desetiletími s verzí 2, pokud si dobře vzpomínám. Členové MPI Forum v současné době vyhodnocují verze 4.2 a 5, takže můj čas je dávno pryč.
Většinu výzkumu a provádění tohoto nechávám na čtenáři. Nicméně, skupina Mac Studios může být snadno přepravována, v balení malém jako taška, je energeticky a tepelně účinná a mohla by používat iPad jako obrazovku.
A zdá se docela snadné nakonfigurovat pracovní stroje, které jsou již poblíž na sousedních stolech, a vytvořit tak ad hoc cluster. K hostitelskému počítači M1 Ultra nebo M2 Ultra Mac Studio s Thunderbolt můžete připojit až šest pracovníků Apple Silicon Mac, pokud byste to chtěli.
Je zřejmé, že Mac Studio je pro to nejlepší volbou z hlediska velikosti a výkonu. Jen to možná není nejlepší z rozpočtového hlediska.
Budu tento projekt sledovat. Možná je čas vrátit se do takových věcí.
Zdroj: appleinsider.com