NVIDIA日前在其官方博客中表示，与谷歌合作在所有NVIDIA AI平台上为Gemma推出了优化。Gemma是谷歌最先进的新轻量级2B(20亿)和7B(70亿)参数开放语言模型，可以在任何地方运行，降低了成本，加快了特定领域用例的创新工作。

这两家公司的团队密切合作，主要是使用NVIDIA TensorRT LLM加速谷歌Gemma开源模型的性能。开源模型Gemma采用与Gemini模型相同的底层技术构建，而NVIDIA TensorRT LLM是一个开源库，用于在数据中心的NVIDIA GPU、云服务器以及带有NVIDIA RTX GPU的PC上运行时，可以极大优化大型语言模型推理。这也这使得开发人员能够完全利用全球超过1亿台数量的RTX GPU AI PC完成自己的工作。

CUDA 与 TensorRT 部署实战课程：工业视觉检测中的落地技巧

一、前言：RTX 5070又多一个新选择

NVIDIA RTX 5070又多一款新产品，索泰GeForce RTX 5070 XGAMING OC显卡也来了。

选择深度学习显卡时，主要看CUDA核心数、显存（VRAM）、带宽、功耗以及支持的软件生态（如CUDA、cuDNN、TensorRT）。

当前最适合深度学习的显卡：

1. 高端（适合专业深度学习和大模型训练） NVIDIA H100（最强性能，适合数据中心，价格极高） NVIDIA A100 80GB

用TensorRT-LLM加速大模型推理的5个技巧

最近我在公司折腾大模型推理加速，用了NVIDIA新出的TensorRT-LLM框架。这玩意儿真不是盖的，把原来跑得像蜗牛的模型一下子提速了好几倍。不过要玩转它也没那么容易，踩了不少坑才搞明白。

4 月过半，RTX 5060 Ti 系列显卡终于是姗姗来迟，还在用 50、60 后缀老显卡的玩家估计已经在持币观望了。GeForce RTX 5060 Ti 显卡这次首发了 16GB GDDR7 的大显存版本，算是一步到位了。魔法般的 RTX DLSS 4 技术也极大拔高了大家对 RTX 5060 Ti 性能上限的期待。

那么，RTX 5060 Ti 系列显卡的表现究竟如何呢？IT之家将通过这张索泰 GeForce RTX 5060 Ti 16G XGAMING 显卡给你答案。

虽然RTX 5090 D/5080/5070 Ti的热潮已经袭过，但对于骨灰级玩家来说，OC版（即OverClock，超频的意思）显卡才是更值得入手的，毕竟价格没比公版规格贵多少，但能享受更高的核心频率或显存频率（或两者皆提升）。近日，索泰上线了GEFORCE RTX 5090 D 32GB SOLID OC显卡，以卓越的性能、豪华的散热设计以及创新的双BIOS技术，再次成为玩家们关注的焦点。

IT之家 4 月 25 日消息，科技媒体 marktechpost 今天（4 月 25 日）发布博文，报道称英伟达专为数学推理设计，发布 OpenMath-Nemotron-32B 和
OpenMath-Nemotron-14B-Kaggle 两款先进 AI 模型。

数学推理一直是 AI 领域的巨大挑战。传统的语言模型擅长生成流畅文本，却在解决复杂数学问题时显得力不从心，这些问题不仅需要理解抽象概念，还要求多步骤的逻辑推导。

腾讯微信是一款跨平台的通讯工具。支持通过手机网络发送语音、图片、视频和文字等。截至2021年6月，微信在全球拥有超过12亿活跃用户，是国内活跃用户最多的社交软件。

微信识物是一款主打物品识别的 AI 产品，通过相机拍摄物品，更高效、更智能地获取信息。2020 年，微信识物拓展了更多识别场景，上线了微信版的图片搜索。打开微信扫一扫，左滑切换到“识物”功能，对准想要了解的物品正面，可以获取对应的物品信息，包括物品百科、相关资讯、相关商品。

Tensor是一个有助于在NVIDIA图形处理单元（GPU）上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。