A revolução no desempenho das GPU da AMD, particularmente com o lançamento das MI300x e o ajuste de General Matrix Multiplication (GEMM), está gerando um burburinho no mundo da tecnologia. Os recentes benchmarks indicam que esses novos ajustes melhoram significativamente a taxa de transferência e a latência, até 7,2 vezes. Esta evolução não é apenas sobre números; é uma chamada para o despertar de um mercado já dominado pela Nvidia e seu igualmente icônico TensorRT.
Enquanto a Nvidia confia em seu poderoso software CUDA e sua liderança de mercado em AI e aprendizado de máquina, a introdução da MI300x com GEMM tuning pela AMD oferece uma nova perspectiva. Como observado por muitos usuários, o atual boom de AI é construído principalmente sobre bibliotecas de Python, que são agnósticas da plataforma, como PyTorch. Com suporte adequado para AMD em tais bibliotecas, a decisão de compra pode se resumir apenas às especificações de hardware.
User Teaearlgraycold menciona que a Nvidia pode ter uma vantagem com CUDA, mas se as bibliotecas de AI começarem a oferecer suporte igual para GPUs AMD, a escolha entre Nvidia e AMD dependeria mais do desempenho bruto. Isso levanta uma questão importante sobre o futuro das plataformas de AI: até que ponto a fidelidade do software influencia sobre a preferência pelo hardware?
Já Progbits salienta que o TensorRT, amplamente utilizado, não oferece muita flexibilidade entre plataformas, mas se a AMD conseguir desenvolver uma biblioteca compatível com as APIs que ofereça desempenho similar, a migração pode ser mais fluida do que muitos pensam. A viabilidade dessa transição também foi debatida por Qeternity, que observa que vLLM, utilizado para muitos benchmarks recentes, embora menos performático que o TensorRT, é muito mais fácil de configurar e gerir em ambientes de produção.
A conversa continua com KaoruAoiShiho, que argumenta que, em benchmarks de produção, vLLM aparece quase três vezes mais lento em comparação aos padrões de excelência (SOTA). A troca de links para artigos e benchmarks, como [benchmarking-llm-inference-backends](https://bentoml.com/blog/benchmarking-llm-inference-backends), demonstra a validade das comparações e destaca a importância das otimizações específicas nas bibliotecas.
“Mas aonde tudo isso nos leva?” pode-se perguntar. A proliferação de GPUs AMD e sua aceitação no mercado vão além dos benchmarks. Comentários como os de Jpgm vislumbram uma possível inversão de papéis entre Nvidia e AMD no futuro da computação de AI, especialmente considerando as vantagens de custo e rendimento na fabricação de chiplets que a AMD possui.
Por outro lado, Rinzler89 enxerga que a Nvidia está bem avançada, usando interconexões de silicone nos aceleradores de ML do data center bem antes da entrada da AMD no jogo. A compra da Xilinx pela AMD, que proporcionou acesso a interconexões de alta velocidade, pode equilibrar essa disputa, mas ainda há muita incerteza. A dominância dos GPUs da Nvidia é sustentada por anos de inovação contínua e um ecossistema bem estabelecido com o CUDA e ROCm.
Finalmente, a perspectiva de utilização das GPUs no mundo real foi tocada por vários debates sobre benchmarks e desempenho em diferentes condições. Por exemplo, o desempenho do MI300x em testes internos mostrou melhorias significativas quando otimizados, conforme detalhou Qeternity. O acesso às ferramentas de ajuste, como mencionado no [documento ROCm](https://rocm.docs.amd.com/projects/rocBLAS/en/develop/how-to/Programmers_Guide.html#rocblas-gemm-tune), foi um divisor de águas para a obtenção de tais aprimoramentos.
Existe ainda uma certa confusão sobre a verdadeira performance do MI300x comparada ao H100 da Nvidia. Alguns usuários como Fancyfredbot e Lindon4290 questionaram a validade dos benchmarks, dado que os números não parecem sempre compor-se com as especificações de hardware, destacando a necessidade de mais testes públicos e transparentes. No entanto, se o MI300x realmente se provar como uma opção melhor, AMD poderia estar à beira de uma nova era na computação de AI. O tempo dirá se a adoção e superação da Nvidia pelo mercado serão tão rápidas quanto as melhorias técnicas prometidas.
Leave a Reply