Михаел Карл Гшвинд () је амерички компјутерски научник запослен у компанији Nvidia у Санта Клари, у Калифорнији. Препознат је по својим револуционарним доприносима дизајну и примени програмабилних акцелератора опште намене, као рани заговорник одрживости у дизајну рачунара и као плодан проналазач.
Акцелератори
Гшвинд је предводио развој хардверске и софтверске архитектуре за прве програмабилне акцелераторе опште намене. Широко је признат у области хетерогеног рачунарства као главни архитекта процесора Cell Broadband Engine, који је коришћен у конзоли Sony PlayStation 3,Scarpino, M. (2008). Programming the cell processor: for games, graphics, and computation. Pearson Education. као и у суперрачунару RoadRunner — првом суперрачунару који је постигао стабилан рад на нивоу петафлопса. Као главни архитекта за IBM системску архитектуру, водио је интеграцију Nvidia графичких процесора (GPU) и IBM централних процесора (CPU) ради креирања суперрачунара Summit и Sierra.
Такође је био рани заговорник виртуелизације акцелератора,https://on-demand.gputechconf.com/gtc/2017/presentation/S7320-tim-kaldewey-optimizing-efficiency-of-deep-learning-workloads-through-gpu-virtualization.pdf, https://on-demand.gputechconf.com/gtc/2017/presentation/S7320-tim-kaldewey-optimizing-efficiency-of-deep-learning-workloads-through-gpu-virtualization.pdfOptimizing the efficiency of deep learning through accelerator virtualization, https://ieeexplore.ieee.org/document/8030299 а као главни архитекта IBM система предводио је виртуелизацију улазно-излазних (I/O) система и акцелератора.I/O Vrtualization and System Acceleration in Power9, https://old.hotchips.org/wp-content/uploads/hc_archives/hc27/HC27.24-Monday-Epub/HC27.24.30-HP-Cloud-Comm-Epub/HC27.24.340-IO-Virtualization-POWER8-Gschwind-IBM.pdf
Гшвинд је остварио кључни утицај на развој програмерских модела за акцелераторе кроз развој апликационих програмских интерфејса (API) и најбољих пракси за програмирање акцелератора.Chip Multiprocessing and the Cell Broadband Engine, https://computingfrontiers.org/2006/cf06-gschwind.pdfCBE Programming HandbookCBE Programming Tutorial, https://public.dhe.ibm.com/software/dw/cell/CBE_Programming_Tutorial_v3.1.pdf Аутор је бројних студија о примени за широк спектар рачунарства високих перформанси (HPC) и других апликација,Cell GC: using the cell synergistic processor as a garbage collection coprocessor, ACM Virtual Execution Environments, https://dominoweb.draco.res.ibm.com/reports/rc24520.pdf као и коуредник књигаM. Gschwind, F. Gustavson, J. Prins (eds), High Performance Computing with the Cell Broadband Engine Scientific Programming 2009, https://www.semanticscholar.org/paper/High-Performance-Computing-with-the-Cell-Broadband-Gschwind-Gustavson/c6775765100eb3b9eb7b7bc003a8eba1ca90667f и часописаM. Gschwind, M. Perrone (Eds), Topical Issue On Hybrid Systems IBM Journal of Research and Development 53(5):1-2 September 2009, DOI:10.1147/JRD.2009.5429079 посвећених пракси и искуству у програмирању система заснованих на акцелераторима.
Убрзање вештачке интелигенције (AI acceleration)
Гшвинд је био рани заговорник хардверског убрзања вештачке интелигенције помоћу графичких процесора и програмабилних акцелератора. Као главни инжењер за вештачку интелигенцију у IBM-у, предводио је развој првих IBM-ових AI производа и покренуо пројекат PowerAI, који је на тржиште донео хардвер оптимизован за вештачку интелигенцију (кодно име "Minsky"), као и прве унапред изграђене и хардверски оптимизоване AI оквире (frameworks). Ови оквири су испоручени као први софтверски пакети за вештачку интелигенцију који су се могли слободно инсталирати путем менаџера бинарних пакета, чиме је отворен пут за њихову масовну примену.
Током рада у компанији Facebook (данас Meta), Гшвинд је демонстрирао убрзане велике језичке моделе (LLM) за прву генерацију Facebook-ових ASIC акцелератора и графичких процесора. Ово је довело до првих масовних продукционих имплементација великих језичких модела за анализу садржаја, безбедност платформе и за бројне корисничке интерфејсе као што су Facebook Assistant и FB Marketplace почев од 2020. године. Гшвинд је водио развој и један је од архитеката платформе Multiray, засноване на акцелераторима, која служи за покретање фундаменталних модела и представља први продукциони систем у индустрији који је масовно опслуживао велике језичке моделе, обрађујући преко 800 милијарди упита дневно у 2022. године.MultiRay: An Accelerated Embedding Service for Content Understanding, https://static.sched.com/hosted_files/pytorch2023/60/PyTorch_Conf_2023-Multiray.pdf
Гшвинд је предводио усвајање ASIC технологијеFirst-Generation Inference Accelerator Deployment at Facebook, https://arxiv.org/pdf/2107.04140.pdf на нивоу целе компаније, а након тога и стратешки заокрет Facebook-а ка закључивању на графичким процесорима (GPU Inference) у великим размерама. Овај потез је посебно истакао извршни директор Марк Закерберг током финансијских извештаја. Међу првим моделима за препоруке који су пребачени на GPU закључивање био је модел за препоруку кратких видео-снимака (Reels), што је довело до скока броја корисника од 30% у року од две недеље од имплементације, као и до накнадног раста прихода од Reels-а са 3 милијарде на 10 милијарди долара на годишњем нивоу.
Такође је водио развој подршке за AI акцелераторе унутар софтверског оквира PyTorch, са посебним фокусом на убрзање великих језичких модела (LLM). Предводио је развој пројекта Accelerated Transformers (раније познатог као Better Transformer) и успоставио партнерства са компанијама попут HuggingFace како би покренуо глобално убрзање LLM модела и позиционирао PyTorch 2.0 као стандардни екосистем за велике језичке моделе и генеративну вештачку интелигенцију.
Касније је руководио проширењем убрзања великих језичких модела на AI моделе који се извршавају директно на уређајима (on-device AI) помоћу пројекта ExecuTorch (PyTorch решење за локалне уређаје), чиме је локална генеративна вештачка интелигенција по први пут постала практично изводљива. Ово убрзање (кроз различите платформе укључујући NPU, MPS и Qualcomm акцелераторе) донело је значајна убрзања, омогућавајући покретање немодификованог модела Llama3 на серверима и мобилним уређајима (демонстрирано на системима iOS, Android и Raspberry Pi 5) већ при лансирању, при чему су програмери пријавили убрзања од 5 до 10 пута у поређењу са претходним решењима.
Његови бројни доприноси AI софтверским пакетима, акцелераторима, мобилној/уграђеној вештачкој интелигенцији на уређајима и нумеричким приказима ниске прецизности обједињени су у пројекту torchchat, што представља историјску прекретницу као први интегрисани софтверски пакет у индустрији за сервере и локалне уређаје са подршком за широк скуп серверских и мобилних акцелератора.
Гшвинд је такође пионир и заговорник одрживе вештачке интелигенције (Sustainable AI).Sustainable AI: Environmental Implications, Challenges and Opportunities, https://arxiv.org/pdf/2111.00364.pdf
Дизајн суперрачунара
Гшвинд је био главни архитекта за хардверски дизајн и софтверску архитектуру неколико суперрачунара, укључујући три најбоље рангирана система на свету: Roadrunner (јун 2008 – новембар 2009), Sequoia (јун 2012 – новембар 2012) и Summit (јун 2018 – јун 2020).
Roadrunner је био суперрачунар који је IBM изградио за Националну лабораторију Лос Аламос у Новом Мексику (САД). Пројекат је вредео 100 милиона америчких долара, а рачунар је дизајниран за вршне перформансе од 1,7 петафлопса. Дана 25. маја 2008. године постигао је 1,026 петафлопса, поставши први систем на свету који је премашио стабилну брзину од 1,0 петафлопса на TOP500 LINPACK листи. Такође је био четврти енергетски најефикаснији суперрачунар на свету на листи Supermicro Green500. Sequoia је био суперрачунар на петаскаларном нивоу архитектуре Blue Gene/Q, који је IBM конструисао за Националну управу за нуклеарну безбедност (NNSA). Испоручен је Националној лабораторији Лоренс Ливермор (LLNL) 2011. године, а потпуно је пуштен у рад у јуну 2012. године.NNSA awards IBM contract to build next generation supercomputer , February 3, 2009 Систем је демонтиран 2020. године. Summit је суперрачунар који је IBM развио за потребе Окриџ лидерске рачунарске лабораторије (OLCF) при Националној лабораторији Окриџ. Држао је прво место на светској листи од новембра 2018. до јуна 2020. године, са LINPACK резултатом од 148,6 петафлопса.
Дизајн многојезгарних процесора (Many-core)
Гшвинд је био рани заговорник дизајна многојезгарних процесора како би се превазишла ограничења потрошње енергије и перформанси својствена једнопроцесорским дизајнима. Био је коаутор анализе о ограничењима скалирања фреквенције радног такта, што је у великој мери покренуло транзицију комплетне индустрије ка многојезгарним решењима. Као водећи архитекта учествовао је у развоју неколико многојезгарних дизајна, укључујући први комерцијални многојезгарни процесор Cell са 9 језгара, BlueGene/Q са 18 језгара, као и неколико процесора за пословне системе и мејнфрејм рачунаре (POWER7, POWER8 и POWER9 са до 24 језгра; z10 до z15 са до 12 језгара).
Као главни архитекта чипа и главни микроархитекта, Гшвинд је одиграо кључну улогу у поновном покретању архитектуре POWER након што је модел POWER6 зашао у слепу улицу због високих фреквенција и превелике потрошње енергије. Он је предводио повратак дизајну ван редоследа (out-of-order) у стилу модела POWER5 кроз развој процесора POWER7, где је радио као вођа јединице и главни микроархитекта за јединицу за добављање, декодовање и предвиђање гранања инструкција. У наредним генерацијама предводио је интеграцију VMX SIMD дизајна и FPU-а у VSX, увођење подршке за little-endian формат у POWER8 (што је поставило темеље за PowerLinux), као и интеграцију NVLink технологије за оптимизовану везу између GPU и CPU јединица. Код процесора POWER9 предводио је имплементацију хардверски управљаних табела страница (radix page-tables) у Linux стилу, док је код процесора POWER10 увео релативно адресирање у односу на програмски бројач (PC-relative addressing) и префиксне инструкције како би се превазишла ограничења 32-битних кодирања инструкција код RISC архитектура.
Као вођа архитектуре и међуплатформски главни архитекта, Гшвинд је такође предводио модернизацију мејнфрејм система System z. То укључује увођење ефикасности компајлираног кода (са посебним освртом на C, C++ и Java језике) у IBM z10, извршавање ван редоследа, I/O заснован на PCIe архитектури у моделима z196 i z114, подршку за трансакциону меморију у IBM zEC12, као и увођење хардверског мултитрединга (multithreading) и z/Vector SIMD архитектуре у IBM z13.Common boot sequence for control utility able to be initialized in multiple architectures, US Patent 9,588,774, https://patents.google.com/patent/US9588774B2
Поузданост система
Гшвинд је сковао термин "зид поузданости" (reliability wall) како би описао препреке за непрекидан рад система великих размера. Дао је велики допринос моделовању поузданости на нивоу система, посебно са циљем да омогући стабилан рад суперрачунарских система. Као главни архитекта система BlueGene/Q, водио је развој поузданости на нивоу система и дизајн процесора, поред тога што је био главни архитекта ISA и вођа тима за развој QPU векторске јединице за операције са покретним зарезом.
Предводио је прво моделовање архитектонске рањивости на нивоу процесора и чипа, као и селективно хардверско ојачавање ради постизања циљног средњег времена између кварова (MTBF), што је први пут примењено у систему BlueGene/Q. Да би повећао поузданост система уз избегавање губитака у перформансама и потрошњи који су повезани са ECC дизајном, Гшвинд је предложио и дизајнирао регистарске датотеке и споредне магистрале заштићене паритетом са могућношћу опоравка стања.
Технологије компајлера