#nvidia volta

[hotnew-pt]

Nvidia volta a passar a Apple e se torna empresa mais valiosa #ÚltimasNotícias #tecnologia

Hot News Tudo sobre Maçã A Nvidia se tornou a empresa mais valiosa do mundo nesta terça-feira (5) ao ultrapassar a capitalização de mercado da Apple. A fabricante de chips foi avaliada em US$ 3,43 trilhões (R$ 20,6 trilhões pela cotação atual), superando os US$ 3,38 trilhões (R$ 20,3 trilhões) da big tech, segundo dados divulgados pela Bloomberg. Desde 2022, a Nvidia acumula um crescimento de…

[gazetadoleste]

Nvidia volta a passar a Apple e se torna empresa mais valiosa do mundo

A Nvidia se tornou a empresa mais valiosa do mundo nesta terça-feira (5) ao ultrapassar a capitalização de mercado da Apple. A fabricante de chips foi avaliada em US$ 3,43 trilhões (R$ 20,6 trilhões pela cotação atual), superando os US$ 3,38 trilhões (R$ 20,3 trilhões) da big tech, segundo dados divulgados pela Bloomberg. Desde 2022, a Nvidia acumula um crescimento de 850%, chegando a ocupar a…

[osergiocachoeira]

Chegou a grande semana nos EUA

Essa semana, o mercado financeiro global volta seus olhos para os resultados trimestrais das sete maiores empresas dos Estados Unidos, aguardando com expectativa o que números como lucro, receita e projeções trarão em termos de impacto econômico e de expectativas futuras. São pesos-pesados como Apple, Microsoft, Amazon, Google (Alphabet), Meta, Tesla e Nvidia, que juntos formam um grupo responsável por trilhões em valor de mercado e uma fatia expressiva do índice S&P 500. Mas por que os resultados dessas empresas têm tanta importância para a economia global? 1. Termômetro da Tecnologia: Essas empresas são pilares do setor de tecnologia, impulsionando o mercado americano. Seus resultados indicarão a resiliência do setor em um cenário econômico incerto.

2. Consumo e Demanda: A Apple, por exemplo, reflete o poder de compra do consumidor e das empresas, especialmente com juros altos, mostrando se a demanda por eletrônicos premium permanece forte.

3. Publicidade e Comércio Digital: Google e Meta, com receitas de publicidade digital, revelam o apetite das empresas por investir, um indicador da confiança no crescimento econômico.

4. Serviços em Nuvem: Amazon, Microsoft e Google, líderes em serviços de nuvem, mostram a disposição de empresas em digitalizar, um sinal de otimismo ou cautela em relação a investimentos.

5. Inovação e Futuro: Tesla e Nvidia indicam o avanço em veículos elétricos e IA, essenciais para uma economia mais sustentável e digital. A performance dessas empresas aponta o ritmo de adoção de tecnologias inovadoras.

6. Impacto no S&P 500: Essas gigantes compõem cerca de 20% do índice S&P 500; seus resultados afetam diretamente o índice, atraindo ou afastando investidores globais e aumentando a volatilidade.

7. Influência na Política Monetária: Os resultados também podem influenciar decisões dos bancos centrais, com números sólidos sustentando taxas de juros mais altas e resultados fracos abrindo portas para possíveis cortes.

[cybeout]

Microsoft DirectML ora supporta i PC Copilot+ e WebNN

DirectML è un’API di basso livello che consente agli sviluppatori di eseguire carichi di lavoro di apprendimento automatico su qualsiasi GPU compatibile con DirectX 12 di AMD, Intel e NVIDIA. È stata introdotta per la prima volta in Windows 10, versione 1903. Di recente, Microsoft ha iniziato a supportare le NPU presenti nei moderni SoC in DirectML. Oggi, Microsoft ha annunciato che DirectML ora…

[abraaocostaof]

Bolsas europeias operam majoritariamente em alta à espera de Nvidia, mas commodities pesam em Londres | CNN Brasil

As bolsas da Europa operam majoritariamente em alta nas primeiras horas do pregão desta quarta-feira (28), em meio à expectativa nas mesas de operações globais pelo balanço da Nvidia. Londres, no entanto, é contida pela liquidação de commodities no exterior. Por volta das 06h (de Brasília), o índice Stoxx 600, que reúne as principais ações da região, subia 0,33%, a 520,59 pontos. Investidores, no…

[7ooo-ru]

У Twitter нашёлся заброшенный кластер из когда-то дефицитных NVIDIA V100

Работавший в Twitter во времена продажи социальной сети Илону Маску (Elon Musk) разработчик Тим Заман (Tim Zaman), ныне перешедший в Google DeepMind, рассказал о необычной находке, передаёт Tom’s Hardware. По его словам, через несколько недель после сделки специалисты обнаружили кластер из 700 простаивающих ускорителей NVIDIA V100. Сам Заман охарактеризовал находку как «честную попытку построить кластер в рамках Twitter 1.0». Об этом событии Заману напомнили новости про ИИ-суперкомпьютер xAI из 100 тыс. ускорителей NVIDIA H100. Находка наводит на печальные размышления о том, что Twitter годами имел в распоряжении 700 высокопроизводительных ускорителей на архитектуре NVIDIA Volta, которые были включены, но простаивали без дела. Они были в дефиците на момент выпуска в 2017 году, а Заман обнаружил бездействующий кластер только в 2022 году. Нет ничего удивительного, что приблизительно тогда же было решено закрыть часть дата-центров социальной сети. Примечательно, что в кластере использовались PCIe-карты, а не SXM2-версии V100 с NVLink, которые намного эффективнее в ИИ-задачах.

Подробнее https://7ooo.ru/group/2024/08/01/911-u-twitter-nashelsya-zabroshennyy-klaster-iz-kogda-to-deficitnyh-nvidia-v100-grss-329176358.html

[exeton]

Nvidia HGX vs DGX: Key Differences in AI Supercomputing Solutions

Nvidia HGX vs DGX: What are the differences?

Nvidia is comfortably riding the AI wave. And for at least the next few years, it will likely not be dethroned as the AI hardware market leader. With its extremely popular enterprise solutions powered by the H100 and H200 “Hopper” lineup of GPUs (and now B100 and B200 “Blackwell” GPUs), Nvidia is the go-to manufacturer of high-performance computing (HPC) hardware.

Nvidia DGX is an integrated AI HPC solution targeted toward enterprise customers needing immensely powerful workstation and server solutions for deep learning, generative AI, and data analytics. Nvidia HGX is based on the same underlying GPU technology. However, HGX is a customizable enterprise solution for businesses that want more control and flexibility over their AI HPC systems. But how do these two platforms differ from each other?

Nvidia DGX: The Original Supercomputing Platform

It should surprise no one that Nvidia’s primary focus isn’t on its GeForce lineup of gaming GPUs anymore. Sure, the company enjoys the lion’s share among the best gaming GPUs, but its recent resounding success is driven by enterprise and data center offerings and AI-focused workstation GPUs.

Overview of DGX

The Nvidia DGX platform integrates up to 8 Tensor Core GPUs with Nvidia’s AI software to power accelerated computing and next-gen AI applications. It’s essentially a rack-mount chassis containing 4 or 8 GPUs connected via NVLink, high-end x86 CPUs, and a bunch of Nvidia’s high-speed networking hardware. A single DGX B200 system is capable of 72 petaFLOPS of training and 144 petaFLOPS of inference performance.

Key Features of DGX

AI Software Integration: DGX systems come pre-installed with Nvidia’s AI software stack, making them ready for immediate deployment.

High Performance: With up to 8 Tensor Core GPUs, DGX systems provide top-tier computational power for AI and HPC tasks.

Scalability: Solutions like the DGX SuperPOD integrate multiple DGX systems to form extensive data center configurations.

Current Offerings

The company currently offers both Hopper-based (DGX H100) and Blackwell-based (DGX B200) systems optimized for AI workloads. Customers can go a step further with solutions like the DGX SuperPOD (with DGX GB200 systems) that integrates 36 liquid-cooled Nvidia GB200 Grace Blackwell Superchips, comprised of 36 Nvidia Grace CPUs and 72 Blackwell GPUs. This monstrous setup includes multiple racks connected through Nvidia Quantum InfiniBand, allowing companies to scale thousands of GB200 Superchips.

Legacy and Evolution

Nvidia has been selling DGX systems for quite some time now — from the DGX Server-1 dating back to 2016 to modern DGX B200-based systems. From the Pascal and Volta generations to the Ampere, Hopper, and Blackwell generations, Nvidia’s enterprise HPC business has pioneered numerous innovations and helped in the birth of its customizable platform, Nvidia HGX.

Nvidia HGX: For Businesses That Need More

Build Your Own Supercomputer

For OEMs looking for custom supercomputing solutions, Nvidia HGX offers the same peak performance as its Hopper and Blackwell-based DGX systems but allows OEMs to tweak it as needed. For instance, customers can modify the CPUs, RAM, storage, and networking configuration as they please. Nvidia HGX is actually the baseboard used in the Nvidia DGX system but adheres to Nvidia’s own standard.

Key Features of HGX

Customization: OEMs have the freedom to modify components such as CPUs, RAM, and storage to suit specific requirements.

Flexibility: HGX allows for a modular approach to building AI and HPC solutions, giving enterprises the ability to scale and adapt.

Performance: Nvidia offers HGX in x4 and x8 GPU configurations, with the latest Blackwell-based baseboards only available in the x8 configuration. An HGX B200 system can deliver up to 144 petaFLOPS of performance.

Applications and Use Cases

HGX is designed for enterprises that need high-performance computing solutions but also want the flexibility to customize their systems. It’s ideal for businesses that require scalable AI infrastructure tailored to specific needs, from deep learning and data analytics to large-scale simulations.

Nvidia DGX vs. HGX: Summary

Simplicity vs. Flexibility

While Nvidia DGX represents Nvidia’s line of standardized, unified, and integrated supercomputing solutions, Nvidia HGX unlocks greater customization and flexibility for OEMs to offer more to enterprise customers.

Rapid Deployment vs. Custom Solutions

With Nvidia DGX, the company leans more into cluster solutions that integrate multiple DGX systems into huge and, in the case of the DGX SuperPOD, multi-million-dollar data center solutions. Nvidia HGX, on the other hand, is another way of selling HPC hardware to OEMs at a greater profit margin.

Unified vs. Modular

Nvidia DGX brings rapid deployment and a seamless, hassle-free setup for bigger enterprises. Nvidia HGX provides modular solutions and greater access to the wider industry.

FAQs

What is the primary difference between Nvidia DGX and HGX?

The primary difference lies in customization. DGX offers a standardized, integrated solution ready for deployment, while HGX provides a customizable platform that OEMs can adapt to specific needs.

Which platform is better for rapid deployment?

Nvidia DGX is better suited for rapid deployment as it comes pre-integrated with Nvidia’s AI software stack and requires minimal setup.

Can HGX be used for scalable AI infrastructure?

Yes, Nvidia HGX is designed for scalable AI infrastructure, offering flexibility to customize and expand as per business requirements.

Are DGX and HGX systems compatible with all AI software?

Both DGX and HGX systems are compatible with Nvidia’s AI software stack, which supports a wide range of AI applications and frameworks.

Final Thoughts

Choosing between Nvidia DGX and HGX ultimately depends on your enterprise’s needs. If you require a turnkey solution with rapid deployment, DGX is your go-to. However, if customization and scalability are your top priorities, HGX offers the flexibility to tailor your HPC system to your specific requirements.

Muhammad Hussnain Facebook | Instagram | Twitter | Linkedin | Youtube

[suatatan]

Quote from the book Data Science on AWS

The choice of instance type and instance count depends on your workload and budget. Fortunately AWS offers many different instance types including AI/ML-optimized instances with terabytes of RAM and gigabits of network bandwidth. In the cloud, we can easily scale our training job to tens, hundreds, or even thousands of instances with just one line of code.

Let’s select 3 instances of the powerful p3.2xlarge - each with 8 CPUs, 61GB of CPU RAM, 1 Nvidia Volta V100’s GPU processor, and 16GB of GPU RAM. Empirically, we found this combination to perform well with our specific training script and dataset - and within our budget for this task.

instance_type='ml.p3.2xlarge'

instance_count=3

[universomovie]

Apple volta a valer US$3 trilhões, mas é ultrapassada pela NVIDIA

Hoje é um dia histórico não só para o mundo da tecnologia, mas também para o mercado financeiro em geral. Isso porque, pela primeira vez, três empresas fecharam os pregões do dia (na NASDAQ e na NYSE) valendo mais do que US$3 trilhões: Microsoft, Apple e, vejam só, NVIDIA. Desde que bateu essa marca pela primeira vez em 2022, a Maçã já ficou acima do valor algumas vezes. Com o fechamento do…

[notiziariofinanziario]

Nvidia spinge il Nasdaq

Seduta volatile per le Borse europee, che dopo una serie di oscillazioni, viaggiano all’insegna della cautela. Del resto, gli investitori sono combattuti sulla linea da tenere, dopo i conti stellari pubblicati da Nvidia, con ricavi in volata del 262%, le indicazioni da falco contenute nei verbali dell’ultima riunione del Fomc, il braccio operativo della Fed, nei quali non viene escluso un ulteriore rialzo dei tassi qualora l’inflazione continuasse a rimanere elevata e gli ultimi dati positivi sull’economia Usa che allontanano la prima sforbiciata. Wall Street in ordine sparso, Nvidia spinge il Nasdaq Viaggia in ordine sparso Wall Street, dopo un’apertura in rialzo. Il Nasdaq si muove in territorio positivo grazie alla spinta di Nvidia Corp +8,39% che ha superato per la prima volta i 1.000 dollari per azione. Il gigante tech è reduce da una trimestrale record, con utili e ricavi migliori delle attese e la conferma dei rumor che circolavano su un nuovo split azionario. Nel dettaglio, l’azienda tech ha annunciato un piano di frazionamento azionario di 10 a 1, una guidance positiva e un aumento del 150% delle cedole trimestrali, che saliranno a 10 centesimi per azione, rispetto agli attuali 4 centesimi. Considerando gli effetti del frazionamento azionario, le nuove cedole – che saranno pagate agli azionisti il prossimo 28 giugno – avranno un valore pari a 1 centesimo per azione. Sul fronte macro, negli Usa le nuove richieste di sussidi di disoccupazione sono scese a 215.000, più delle attese. L’attività nazionale ad aprile ha però rallentato il passo, secondo l’indice stilato dalla Federal Reserve di Chicago. L’indice sull’attività manifatturiera è aumentato a maggio a 50,9 punti, più delle attese, segnalando che il settore è in espansione e lo stesso vale per l’indice Pmi servizi, che si attesta a 54,8 punti. Dati positivi sull’economia Usa che potrebbero convincere la Fed ad aspettare ancora a lungo prima di tagliare i tassi d’interesse, visto che l’inflazione resta alta. Migliorano le attività europee della manifattura e del terziario  Nella zona euro l’indice composito Pmi, che misura l’andamento delle attività della manifatura e del terziario, a maggio è migliorato a 52,3 punti, aggiornando un massimo da 12 mesi. Rimanendo però al di sotto della soglia dei 50 punti, la fotografia è quella di un settore della manifattura in contrazione. La Banca centrale europea, inoltre, ha annunciato che le retribuzioni europee oggetto di rinnovo sono salite del 4,7% nel primo trimestre 2024 su base annua. La crescita dei salari è dunque tornata ai livelli del quarto trimestre 2023 quando si era registrato un rialzo del 4,7%. A Piazza Affari ancora in rialzo St, Mps in altalena A Piazza Affari continua la corsa di Stmicroelectronics +1,64%  dopo la buona performance della vigilia, sulla scia del buon andamento del settore tech, al quale ha dato la carica Nvidia. In altalena Banca Monte Paschi Siena -0,15%  , dopo il rialzo della vigilia, in quanto il Mef starebbe preparando l’uscita dal capitale. Il Tesoro potrebbe vendere le azioni sul mercato oppure procedere a una cessione diretta a soggetti terzi, come le Fondazioni. Sullo sfondo rimane la speranza di un matrimonio, che tuttavia per adesso appare di difficile realizzazione, con gli eventuali pretendenti fermi nelle posizioni, da Unicredit +1,05% , a Banco Bpm -0,52%  passando per Bper Banca +0,68% . Tra le big, sono ben impostate le Finecobank +2,46%  e le Prysmian +2,83%  , mentre perdono quota le Saipem -0,38%  le Snam -1,75% e le Diasorin -2,03%  dopo l’ingresso della rivale Roche nel mercato dei test per la tubercolosi. Fuori dal paniere principale, Webuild -9,17% accusa una delle performance peggiori del mercato, dopo collocamento di bond Salini scambiabili con sue azioni per un controvalore di 225 milioni. Vanno male anche le Bioera -3,79% in attesa della decisione del giudice sulla richiesta della Procura per l’istanza di liquidazione giudiziale per la società. Il greggio rimbalza, sale anche il valore del gas Sul valutario, l’euro si attesta attorno a quota 1,085 dollari (1,083 alla vigilia). Torna a salire il petrolio, con il Brent che supera gli 82 dollari al barile e il Wti a oltre 78 dollari. In rialzo anche il gas naturale ad Amsterdam che punta ai 36 euro al MWh. Scende lo spread attorno ai 127 punti base. Read the full article

[hotnew-pt]

NVIDIA volta a superar Apple e se torna a empresa mais valiosa do mundo #ÚltimasNotícias #tecnologia

Hot News Já faz um tempo que Apple e NVIDIA vêm brigando pelo posto de empresa mais valiosa do mundo, com ambas trocando a coroa em diversos momentos ao longo do ano, mas um novo relatório liberado esta semana mostrou que a NVIDIA voltou a ocupar o topo da lista, superando a rival. A NVIDIA atingiu um valor de mercado de US$ 3,53 trilhões esta semana, fazendo com que ela superasse a Apple no…

[codemaster-or-kr]

30.6. CUDA 업데이트

CUDA 업데이트와 관련된 각 단계를 더 구체적으로 살펴보겠습니다. 1. CUDA 업데이트 개요 1.1. CUDA란 무엇인가? CUDA는 NVIDIA가 개발한 병렬 컴퓨팅 플랫폼이자 프로그래밍 모델입니다. 이를 통해 개발자는 GPU를 사용하여 컴퓨팅 작업을 병렬로 수행할 수 있습니다. 이는 특히 과학 계산, 인공지능, 머신러닝, 데이터 분석, 게임 그래픽 등의 분야에서 매우 유용합니다. 2. CUDA 업데이트 절차 2.1. CUDA Toolkit 다운로드 (1) NVIDIA 공식 웹사이트 방문: - (https://developer.nvidia.com/cuda-downloads) 페이지로 이동합니다. (2) 운영체제 및 아키텍처 선택: - Windows, Linux, MacOS 중 사용 중인 운영체제를 선택합니다. - CPU 아키텍처 (예: x86_64, arm64 등)를 선택합니다. (3) CUDA Toolkit 버전 선택: - 사용하려는 CUDA Toolkit 버전을 선택합니다. 최신 버전이 권장되지만, 호환성 문제로 특정 버전을 선택할 수도 있습니다. (4) 설치 파일 다운로드: - 선택한 설정에 맞는 설치 파일을 다운로드합니다. 이 파일은 설치 마법사 또는 패키지 매니저를 통해 설치를 진행할 수 있습니다. 2.2. 설치 (1) 설치 파일 실행: - 다운로드한 설치 파일을 실행합니다. 설치 마법사가 시작되며, 안내에 따라 설치를 진행합니다. (2) CUDA Toolkit 구성 요소 선택: - 기본 설정대로 설치하거나, 설치할 구성 요소 (예: 드라이버, 샘플 코드, 라이브러리 등)를 선택합니다. (3) 드라이버 설치: - 최신 NVIDIA 드라이버가 필요합니다. 설치 과정에서 필요한 드라이버가 포함되어 있지 않은 경우, NVIDIA 드라이버 페이지에서 최신 드라이버를 다운로드하여 설치해야 합니다. 2.3. 환경 변수 설정 (1) 환경 변수 추가 (Linux/MacOS): - CUDA Toolkit의 bin 디렉토리를 PATH 환경 변수에 추가합니다. 예를 들어, `~/.bashrc` 파일에 다음 줄을 추가합니다: export PATH=/usr/local/cuda/bin:$PATH - 라이브러리 경로를 추가합니다: export LD_LIBRARY_PATH=/usr/local/cuda/lib64:$LD_LIBRARY_PATH (2) 환경 변수 추가 (Windows): - 시스템 속성 -> 고급 시스템 설정 -> 환경 변수 -> 시스템 변수에서 `Path`를 선택하고 편집합니다. - 새 항목으로 CUDA bin 디렉토리 (예: `C:Program FilesNVIDIA GPU Computing ToolkitCUDAvX.Xbin`)를 추가합니다. 3. 주요 업데이트 내용 3.1. 새로운 기능 (1) Tensor Cores 지원: - AI 및 딥러닝 작업을 가속화하기 위한 Tensor Cores가 추가됩니다. 이는 행렬 연산을 매우 빠르게 수행할 수 있도록 도와줍니다. (2) CUDA Graphs: - 복잡한 작업 흐름을 최적화하여 성능을 향상시키기 위한 CUDA Graphs 기능이 추가됩니다. 이를 통해 커널 실행 순서 및 동기화를 효율적으로 관리할 수 있습니다. (3) 새로운 라이브러리: - 특정 작업을 최적화하기 위한 새로운 라이브러리가 추가됩니다. 예를 들어, cuSPARSE는 희소 행렬 연산을 가속화하기 위한 라이브러리입니다. 3.2. 성능 향상 (1) 커널 실행 최적화: - 새로운 커널 실행 기술을 통해 GPU 자원을 효율적으로 사용하고, 병렬 실행을 최적화하여 성능을 향상시킵니다. (2) 메모리 관리 개선: - 더 빠른 메모리 할당 및 해제를 통해 메모리 사용의 효율성을 높이고, 전반적인 성능을 개선합니다. 3.3. 버그 수정 (1) 이전 버전의 버그 수정: - 이전 버전에서 발견된 여러 버그가 수정됩니다. 이는 안정성을 높이고, 예기치 않은 오류를 줄이는 데 도움이 됩니다. (2) 안정성 및 호환성 향상: - 새로운 기능 및 기존 기능의 호환성을 개선하여, 다양한 하드웨어 및 소프트웨어 환경에서 더 나은 성능을 제공합니다. 4. 호환성 및 지원 4.1. 하드웨어 호환성 - 최신 CUDA 버전은 최신 NVIDIA GPU를 지원합니다. 특정 GPU 아키텍처 (예: Volta, Turing, Ampere 등)에 대한 최적화가 포함됩니다. - 일부 구형 GPU는 지원되지 않을 수 있으므로, 업데이트 전에 호환성 목록을 확인해야 합니다. 4.2. 소프트웨어 호환성 - 최신 CUDA Toolkit은 최신 운영 체제 버전과 호환됩니다. 이는 주기적으로 운영 체제를 업데이트해야 함을 의미합니다. - 특정 소프트웨어나 라이브러리와의 호환성 문제를 피하기 위해, 개발 환경을 주기적으로 업데이트해야 합니다. 5. 업데이트 시 고려 사항 5.1 백업: - 중요한 데이터나 코드를 업데이트 전에 백업하십시오. 이는 업데이트 중 발생할 수 있는 문제를 예방하기 위함입니다. 5.2 테스트: - 업데이트 후 기존 코드가 정상적으로 작동하는지 테스트하십시오. 새로운 기능을 사용하기 전에 기존 기능의 정상 작동을 확인하는 것이 중요합니다. 5.3 문서 확인: - 새로 추가된 기능이나 변경된 사항에 대해 문서를 꼼꼼히 확인하십시오. (https://docs.nvidia.com/cuda/)를 참고하여 최신 정보와 사용법을 숙지하십시오. 이와 같은 절차를 통해 CUDA 업데이트를 성공적으로 수행할 수 있습니다. 최신 기술과 최적화를 반영한 업데이트를 통해, GPU를 최대한 활용하여 더 나은 성능을 얻을 수 있습니다. Read the full article

[whiteguyswearinoculusrifts]

A receita de GPU “GeForce” para jogos da NVIDIA está de volta ao verdejante, já que a empresa relata um prolongamento de 22% e normalização do mercado. NVIDIA acredita que o mercado de GPUs para jogos se normalizou, GPUs GeForce RTX 40 proporcionam prolongamento de receita com laptops ocupando a maior segmento Para o segundo trimestre do ano fiscal de 24, a NVIDIA registrou uma receita de jogos de US$ 2,49 bilhões, o que representa um prolongamento de 22% em relação ao ano anterior e um prolongamento de 11% em relação ao trimestre anterior. De harmonia com o CFO da NVIDIA. Colette Kress, a empresa acredita que a demanda global por GPUs para jogos se normalizou depois de atingir mínimos no ano anterior. Embora os jogos não tenham tido um aumento tão gigantesco quanto o segmento de data center, ainda é um bom sinal do que está por vir, e o prolongamento foi impulsionado principalmente pelas GPUs GeForce RTX 40 da NVIDIA em laptops e desktops. A NVIDIA também compartilha que a receita de laptops ultrapassou os desktops à medida que a demanda durante a temporada de volta às aulas aumentou e continuará assim nos próximos trimestres devido à temporada de férias. Agora passando para os jogos. A receita de jogos de US$ 2,49 bilhões aumentou 11% sequencialmente e 22% ano a ano. O prolongamento foi impulsionado pelas GPUs GeForce RTX Série 40 para laptops e desktops. A demanda do cliente final foi sólida e consistente com a sazonalidade. Acreditamos que a procura final global regressou ao prolongamento depois a desaceleração do ano pretérito. Temos uma grande oportunidade de atualização pela frente. Unicamente 47% da nossa base instalada atualizou para RTX e muro de 20% da GPU com desempenho RTX 3060 ou superior. Colette Kress, CFO da NVIDIA A NVIDIA também compartilhou que o mercado de jogos tem uma grande oportunidade de negócios com unicamente metade de sua base de usuários (47%) equipada com uma GPU RTX e unicamente 20% desses usuários RTX estão equipados com uma placa gráfica que oferece desempenho RTX 3060 ou superior. Para esse propósito, a NVIDIA lançou suas mais recentes placas da série GeForce RTX 4060, embora as ofertas de desktop não sejam o melhor custo-benefício. Ainda não se sabe se isso mudará nos próximos meses, mas por enquanto, mesmo um cartão RTX 3060 ou 3070 mais velho pode ter um valor melhor, dados os descontos recentes. As GPUs para laptop registraram poderoso prolongamento na principal temporada de volta às aulas, lideradas pelas GPUs RTX 4060. Os laptops com GPU da NVIDIA ganharam popularidade e suas remessas agora estão ultrapassando as GPUs de desktop de várias regiões ao volta do mundo. É provável que isso mude um pouco a veras de nossa receita universal de jogos, com o segundo e o terceiro trimestre sendo os trimestres mais fortes do ano, refletindo a volta às aulas e os cronogramas de construção de feriados para laptops. No desktop, lançamos as GPUs GeForce RTX 4060 e GeForce RTX 4060 TI, reduzindo a arquitetura Ada Lovelace a preços tão baixos quanto US$ 299. O ecossistema de jogos RTX e DLSS continua a se expandir. 35 novos jogos adicionados ao suporte DLSS, incluindo sucessos de bilheteria uma vez que Diablo IV e Baldur’s Gate 3. Existem agora mais de 330 jogos e aplicativos acelerados RTX. Estamos trazendo IA generativa para os jogos. Na COMPUTEX, anunciamos o NVIDIA Avatar Cloud Engine ou ACE para jogos, um serviço personalizado de fundição de modelos de IA. Os desenvolvedores podem usar nascente serviço para trazer lucidez aos personagens não-jogadores. E aproveita uma série de tecnologias NVIDIA Omniverse e IA, incluindo NeMo, Riva e Audio2Face. Colette Kress, CFO da NVIDIA Por último, a NVIDIA destaca seus novos avanços de software para o segmento de jogos, uma vez que DLSS 3.5 e ACE, que podem ser os principais impulsionadores para maiores receitas e adoção das GPUs GeForce RTX 40. Até agora, a empresa oferece mais de 330 jogos e aplicativos RTX que eclipsam tudo o que o resto da concorrência tem a oferecer. Compartilhe esta história Facebook Twitter

[levysoft]

NVIDIA sta dominando il mercato dell'IA, e fin qui non ci sarebbe nulla di male. È appena diventata il primo produttore di chip a raggiungere una capitalizzazione di mercato di 2 trilioni di dollari. E anche qui cosa si può dire (a proposito, sapete cos'è e a cosa serve MSI Afterburner?).

Ma il fatto che più di 4 milioni di sviluppatori in tutto il mondo si affidino alla sua piattaforma software CUDA per creare strumenti AI e altre app, rendendo quasi impossibile la competizione, questo non sta andando giù alle più grandi aziende del settore.

Il dominio di NVIDIA

Il mese scorso, NVIDIA è diventata il primo produttore di chip a raggiungere una capitalizzazione di mercato di 2 trilioni di dollari. Il motivo è una crescita esponenziale grazie ai suoi chip specifici per sviluppare modelli di intelligenza artificiale, come le sue GPU H100 e le prossime GPU H200.

Tutti vogliono questi chip, il che sta creando problemi di approvvigionamento a TSMC. Non solo, ma la loro diffusione ha fatto sì che quattro milioni di sviluppatori (dati di NVIDIA al Computex 2023) sono legati all'ambiente di sviluppo proprietario di NVIDIA CUDA.

Che non è compatibile con altri dispositivi.

L'arma dell'open source contro NVIDIA

Ecco perché Google, Intel, Arm, Qualcomm, Samsung e altre società tecnologiche hanno creato un gruppo, chiamato The Unified Acceleration Foundation (UXL), il cui intento è sviluppare una suite di software open source.

Nelle intenzioni del gruppo, la piattaforma permetterà agli sviluppatori di intelligenza artificiale di non essere bloccati nella tecnologia proprietaria di NVIDIA, consentendo al loro codice di funzionare su qualsiasi macchina e con qualsiasi chip. Anche di NVIDIA.

UXL infatti afferma che il progetto mirerà inizialmente ad aprire opzioni per app di intelligenza artificiale e applicazioni di elaborazione ad alte prestazioni. Ma eventualmente prevede anche di supportare l'hardware e il codice di NVIDIA.

UXL sta cercando aiuto da altri produttori di chip e società di cloud computingcome Microsoft e Amazon per garantire che la soluzione possa essere distribuita su qualsiasi chip o hardware. Si dice che Microsoft, che non è inclusa nella coalizione UXL, abbia collaborato con AMD l'anno scorso per sviluppare chip AI alternativi che potrebbero sfidare il monopolio di Nvidia sul settore.

Quando arriverà UXL e cosa c'entra Linus Torvalds

Dettagli tecnici non sono stati condivisi, ma verranno rilasciati quando entreranno in uno stadio di "maturità". Il che dovrebbe avvenire entro la seconda metà di quest'anno.

Il progetto include lo standard aperto OneAPI di Intel sviluppato per eliminare requisiti come linguaggi, basi di codice e altri strumenti dal legare gli sviluppatori all'utilizzo di un'architettura specifica. Come invece fa la piattaforma CUDA di NVIDIA.

E questo ci porta a Linus Torvalds. Il creatore del kernel linux, frustrato dalla scarsa collaborazione della casa di Santa Clara per i suoi driver grafici sul sistema operativo open source, si lasciò andare a un'esternazione poco elegante nei suoi confronti.

Scherzi a parte, i piani della Fondazione UXL sono uno dei tanti sforzi per eliminare il dominio di NVIDIA sul software che alimenta l'IA. I finanziatori hanno versato più di 4 miliardi di dollari in 93 progetti separati.

Nel 2023 le startup che lavorano a questi progetti hanno bruciato 2 miliardi di dollari rispetto ai 580 milioni di dollari dell'anno precedente, ma non sarà facile: CUDA è lì da 15 anni e tutto il lavoro di tantissimi sviluppatori è costruito su questa piattaforma.

[viperallc]

Exploring the Key Differences: NVIDIA DGX vs NVIDIA HGX Systems

A frequent topic of inquiry we encounter involves understanding the distinctions between the NVIDIA DGX and NVIDIA HGX platforms. Despite the resemblance in their names, these platforms represent distinct approaches NVIDIA employs to market its 8x GPU systems featuring NVLink technology. The shift in NVIDIA’s business strategy was notably evident during the transition from the NVIDIA P100 “Pascal” to the V100 “Volta” generations. This period marked the significant rise in prominence of the HGX model, a trend that has continued through the A100 “Ampere” and H100 “Hopper” generations.

NVIDIA DGX versus NVIDIA HGX What is the Difference

Focusing primarily on the 8x GPU configurations that utilize NVLink, NVIDIA’s product lineup includes the DGX and HGX lines. While there are other models like the 4x GPU Redstone and Redstone Next, the flagship DGX/HGX (Next) series predominantly features 8x GPU platforms with SXM architecture. To understand these systems better, let’s delve into the process of building an 8x GPU system based on the NVIDIA Tesla P100 with SXM2 configuration.

DeepLearning12 Initial Gear Load Out

Each server manufacturer designs and builds a unique baseboard to accommodate GPUs. NVIDIA provides the GPUs in the SXM form factor, which are then integrated into servers by either the server manufacturers themselves or by a third party like STH.

DeepLearning12 Half Heatsinks Installed 800

This task proved to be quite challenging. We encountered an issue with a prominent server manufacturer based in Texas, where they had applied an excessively thick layer of thermal paste on the heatsinks. This resulted in damage to several trays of GPUs, with many experiencing cracks. This experience led us to create one of our initial videos, aptly titled “The Challenges of SXM2 Installation.” The difficulty primarily arose from the stringent torque specifications required during the GPU installation process.

NVIDIA Tesla P100 V V100 Topology

During this development, NVIDIA established a standard for the 8x SXM GPU platform. This standardization incorporated Broadcom PCIe switches, initially for host connectivity, and subsequently expanded to include Infiniband connectivity.

Microsoft HGX 1 Topology

It also added NVSwitch. NVSwitch was a switch for the NVLink fabric that allowed higher performance communication between GPUs. Originally, NVIDIA had the idea that it could take two of these standardized boards and put them together with this larger switch fabric. The impact, though, was that now the NVIDIA GPU-to-GPU communication would occur on NVIDIA NVSwitch silicon and PCIe would have a standardized topology. HGX was born.

NVIDIA HGX 2 Dual GPU Baseboard Layout

Let’s delve into a comparison of the NVIDIA V100 setup in a server from 2020, renowned for its standout color scheme, particularly in the NVIDIA SXM coolers. When contrasting this with the earlier P100 version, an interesting detail emerges. In the Gigabyte server that housed the P100, one could notice that the SXM2 heatsinks were without branding. This marked a significant shift in NVIDIA’s approach. With the advent of the NVSwitch baseboard equipped with SXM3 sockets, NVIDIA upped its game by integrating not just the sockets but also the GPUs and their cooling systems directly. This move represented a notable advancement in their hardware design strategy.

Consequences

The consequences of this development were significant. Server manufacturers now had the option to acquire an 8-GPU module directly from NVIDIA, eliminating the need to apply excessive thermal paste to the GPUs. This change marked the inception of the NVIDIA HGX topology. It allowed server vendors the flexibility to customize the surrounding hardware as they desired. They could select their preferred specifications for RAM, CPUs, storage, and other components, while adhering to the predetermined GPU configuration determined by the NVIDIA HGX baseboard.

Inspur NF5488M5 Nvidia Smi Topology

This was very successful. In the next generation, the NVSwitch heatsinks got larger, the GPUs lost a great paint job, but we got the NVIDIA A100. The codename for this baseboard is “Delta”. Officially, this board was called the NVIDIA HGX.

Inspur NF5488A5 NVIDIA HGX A100 8 GPU Assembly 8x A100 And NVSwitch Heatsinks Side 2

NVIDIA, along with its OEM partners and clients, recognized that increased power could enable the same quantity of GPUs to perform additional tasks. However, this enhancement came with a drawback: higher power consumption led to greater heat generation. This development prompted the introduction of liquid-cooled NVIDIA HGX A100 “Delta” platforms to efficiently manage this heat issue.

Supermicro Liquid Cooling Supermicro

The HGX A100 assembly was initially introduced with its own brand of air cooling systems, distinctively designed by the company.

In the newest “Hopper” series, the cooling systems were upscaled to manage the increased demands of the more powerful GPUs and the enhanced NVSwitch architecture. This upgrade is exemplified in the NVIDIA HGX H100 platform, also known as “Delta Next”.

NVIDIA DGX H100

NVIDIA’s DGX and HGX platforms represent cutting-edge GPU technology, each serving distinct needs in the industry. The DGX series, evolving since the P100 days, integrates HGX baseboards into comprehensive server solutions. Notable examples include the DGX V100 and DGX A100. These systems, crafted by rotating OEMs, offer fixed configurations, ensuring consistent, high-quality performance.

While the DGX H100 sets a high standard, the HGX H100 platform caters to clients seeking customization. It allows OEMs to tailor systems to specific requirements, offering variations in CPU types (including AMD or ARM), Xeon SKU levels, memory, storage, and network interfaces. This flexibility makes HGX ideal for diverse, specialized applications in GPU computing.

Conclusion

NVIDIA’s HGX baseboards streamline the process of integrating 8 GPUs with advanced NVLink and PCIe switched fabric technologies. This innovation allows NVIDIA’s OEM partners to create tailored solutions, giving NVIDIA the flexibility to price HGX boards with higher margins. The HGX platform is primarily focused on providing a robust foundation for custom configurations.

In contrast, NVIDIA’s DGX approach targets the development of high-value AI clusters and their associated ecosystems. The DGX brand, distinct from the DGX Station, represents NVIDIA’s comprehensive systems solution.

Particularly noteworthy are the NVIDIA HGX A100 and HGX H100 models, which have garnered significant attention following their adoption by leading AI initiatives like OpenAI and ChatGPT. These platforms demonstrate the capabilities of the 8x NVIDIA A100 setup in powering advanced AI tools. For those interested in a deeper dive into the various HGX A100 configurations and their role in AI development, exploring the hardware behind ChatGPT offers insightful perspectives on the 8x NVIDIA A100’s power and efficiency.

M.Hussnain Visit us on social media: Facebook | Twitter | LinkedIn | Instagram | YouTube TikTok