IT之家 7 月 24 日消息，英偉達公司昨日（7 月 23 日）發(fā)布新聞稿，正式推出“NVIDIA AI Foundry”代工服務(wù)和“NVIDIA NIM”推理微服務(wù)。
“NVIDIA AI Foundry”代工服務(wù)
英偉達表示客戶可以使用 Meta 的 Llama 3.1 AI 模型，以及英偉達的軟件、計算和專業(yè)知識，為特定領(lǐng)域定制構(gòu)建“超級模型”。
客戶可以利用專有數(shù)據(jù)、由 Llama 3.1 405B 和英偉達 Nemotron Reward 模型生成的合成數(shù)據(jù)來訓(xùn)練這些“超級模型”。
NVIDIA AI Foundry 由 NVIDIA DGX Cloud AI 平臺提供支持，該平臺與世界領(lǐng)先的公共云共同設(shè)計，為企業(yè)提供大量計算資源，并可根據(jù) AI 需求的變化輕松擴展。
NVIDIA AI Foundry 包括 Nemotron 和 Edify 等英偉達創(chuàng)建的 AI 模型、流行的開放式基礎(chǔ)模型、用于定制模型的 NVIDIA NeMo 軟件，以及 NVIDIA DGX Cloud 上的專用容量（由 NVIDIA AI 專家構(gòu)建并提供支持）。
輸出結(jié)果由 NVIDIA NIM（一個推理微服務(wù)，其中包括定制模型、優(yōu)化引擎和標準 API）負責(zé)，可以部署到任何地方。
NVIDIA NIM 推理微服務(wù)
IT之家注：NVIDIA NIM 是一套加速推理微服務(wù)，允許企業(yè)在云計算、數(shù)據(jù)中心、工作站和 PC 等任何地方的 NVIDIA GPU 上運行 AI 模型。
通過使用行業(yè)標準的 API，開發(fā)人員只需幾行代碼就能利用 NIM 部署人工智能模型。NIM 容器無縫集成 Kubernetes（K8s）生態(tài)系統(tǒng)，可以高效地協(xié)調(diào)和管理容器化人工智能應(yīng)用。
參考
