Placa de vídeo NVIDIA H100 NVL (94GB, PCIe 5.0) – NVH100NVLTCGPU-KIT

Part Number: H100 NVL / NVH100NVLTCGPU-KIT. Desempenho, escalabilidade e segurança sem precedentes para todos os data centers: A GPU NVIDIA H100 Tensor Core permite um salto de ordem de magnitude para IA e HPC em grande escala com desempenho, escalabilidade e segurança sem precedentes para cada data center e inclui o pacote de software NVIDIA AI Enterprise para agilizar o desenvolvimento e a implantação de IA. O H100 acelera cargas de trabalho em escala exaescala com um Transformer Engine dedicado para modelos de linguagem de trilhões de parâmetros. Para trabalhos pequenos, o H100 pode ser particionado em partições GPU multi-instâncias (MIG) de tamanho adequado. Com o Hopper Confidential Computing, esse poder computacional escalável pode proteger aplicativos confidenciais em infraestrutura de data center compartilhado. A inclusão do NVIDIA AI Enterprise nas compras do H100 PCIe reduz o tempo de desenvolvimento e simplifica a implantação de cargas de trabalho de IA, além de tornar o H100 a mais poderosa plataforma de data center de IA e HPC de ponta a ponta. A arquitetura NVIDIA Hopper oferece desempenho, escalabilidade e segurança sem precedentes para todos os data centers. Hopper se baseia em gerações anteriores, desde novos recursos básicos de computação, como o Transformer Engine, até redes mais rápidas para alimentar o data center com uma ordem de magnitude de aceleração em relação à geração anterior. NVIDIA NVLink oferece suporte a largura de banda ultra-alta e latência extremamente baixa entre duas placas H100 e oferece suporte a pooling de memória e dimensionamento de desempenho (suporte de aplicativo necessário). O MIG de segunda geração particiona com segurança a GPU em instâncias isoladas do tamanho certo para maximizar a QoS (qualidade de serviço) para locatários 7x mais seguros. A inclusão do NVIDIA AI Enterprise (exclusivo para o H100 PCIe), um conjunto de software que otimiza o desenvolvimento e a implantação de fluxos de trabalho acelerados de IA, maximiza o desempenho por meio dessas novas inovações arquitetônicas do H100. Essas inovações tecnológicas alimentam a GPU H100 Tensor Core a GPU mais avançada do mundo já construída. Inferência de modelo de linguagem grande com H100 NVL: Para LLMs de até 70 bilhões de parâmetros (Llama 2 70B), o NVIDIA H100 NVL baseado em PCIe com ponte NVLink utiliza Transformer Engine, NVLink e memória HBM3 de 94GB para fornecer desempenho ideal e fácil dimensionamento em qualquer data center, trazendo LLMs para o mainstream. Servidores equipados com GPUs H100 NVL aumentam o desempenho do modelo Llama 2 70B em até 5X em relação aos sistemas NVIDIA A100, mantendo baixa latência em ambientes de data center com restrição de energia.