輸出背後的基礎架構：雲端和 HPC 發揮人工智慧的力量

GPT-4 和 Chat-GPT 能夠產生的傑出成果，吸引了頭條和商業領袖的頭條。公司不斷通過人工智能（AI）尋找更好的產品，服務和內部流程，但需要記住，這些技術的使用必須具有不同的最終目標。無論是風隧道模擬、電子設計驗證、客製化聊天機器人、「數位雙胞胎」複雜系統模擬，還是其他使用案例，AI 都激發了跨行業的想像力。然而，雖然輸出目前吸引了最大的關注，但基礎技術（雲端、高效能運算 (HPC)、自動化和機器學習 (ML)）也在激增。

雲端的影響

數十年來，領先的組織利用 HPC 和 AI，使用具有低延遲網路和儲存基礎架構的專業 CPU 和 GPU 型運算叢集。然而，最近，組織已轉向雲端，因為公有雲供應商已進行了基礎架構投資和核心技術進步，以滿足不斷提高的效能需求。

與先前使用者對運算存取由工作排程器和內部部署容量控制的模型不同，雲端架構模型允許幾乎即時「無需等待」存取運算，使用者可以使用精確滿足其應用程式需求的叢集。如高核心計數 CPU、大型記憶體佔用節點和裸機存取等元素，已縮短了雲端和自訂內部部署系統功能之間的差距。

然而，使用 HPC/AI 的雲端成功的關鍵將是存取軟體和與彈性雲資源相關的相關專業知識，這些技術可以將基礎架構從主要公有雲提供商轉換為真正高效能的配置。在雲端架構模型中，每個群組都可以擁有 CPU、GPU、記憶體和儲存裝置的不同組態和組合的叢集，甚至只能在特定公有雲中使用的特殊處理器。

利用最新的雲端創新

隨著新技術在雲端上推出，研究人員和資料科學家將從快速存取效能和功能的最新進展中受益。最終，業務加速就是以更低的成本來實現更好的成果，而基於雲端的 HPC/AI 已成為 CIO 可以用來聚焦 IT，作為發展創新並實現效率的功能。

有了適當的軟體和服務支援，傳統上只有最大的組織提供的功能，現在，各種規模的創新企業都可以快速利用「隨手付費」模式，這些功能可以緊密地將運算投資與實現的投資報酬率密切聯繫起來。

為了達到這些目標，CIO 正在尋求與具有專業知識在公有雲中各種 CPU 和 GPU 執行個體類型的運算基礎架構和使用折扣模型方面的雲服務合作夥伴合作。這就是探索基礎技術可能非常重要的地方，因為與似乎微小的基礎架構變更相關的成本節省可能很大，將「良好」的投資報酬率轉化為「最高」ROI。

例如，其中一家主要的公有雲供應商最近推出了一個高度調整的叢集導向 HPC 配置，基於具有最新的高核心數 CPU、大量記憶體和特殊高速網絡互連的節點，以非常吸引力的價格對執行大規模運算作業的使用者來說。對於正確的工作負載類型，識別和利用這些類型的預先優化組態可能會改變遊戲。

優化基礎架構和部署投資報酬

雖然 AI 的輸出正在改變跨行業的遊戲，但它們是成千上萬處理器的計算結果。最終，AI 的價值只有在訓練數據的廣度和為用戶提供答案的速度 — 以及訓練大型模型所需的資源 — 並隨後產生結果（稱為「推論」）可能會顯著不同。

在啟動 AI 開發過程時，組織應同時考慮其對培訓和推論的需求。通常，訓練是以叢集為導向的基礎進行，許多強大、互連的 GPU 基於的節點共同工作，以建立高度調整的模型。執行推論，並為使用者提供模型的價值，通常是由大型組不強大的推論節點組成，獨立運作來服務個別請求。

雲端部署環境讓使用者能夠根據各種 CPU 和 GPU 輕鬆建立和測試訓練和推論組態，以滿足其特定工作負載。雖然 GPU 通常是執行大規模培訓的最佳選擇，但最新一代的 CPU 包括嵌入式「GPU 類」功能，從效能和成本/ROI 的角度而成為推論工作負載的絕佳選擇。此外，隨著將來推出新一代處理器，雲端的隨需性質使得可以快速評估和轉向新技術，這種方式在專用的內部部署環境中簡單不可能。

下一波創新的基礎

人工智能促進了跨行業的創新，其出色的成果正在聚焦。然而，雲端運算、HPC、自動化和機器學習等基礎技術在這一革命中扮演著關鍵作用。轉移到雲端基礎架構標誌著重要的里程碑，使 AI 更易於訪問和擴展性。隨著領先的組織繼續採用 HPC 和 AI，雲端的技術進步加上改進的資料建模和管理，推動產業邁向無限的 AI 潛力的未來，為下一波創新奠定基礎。

‍

企鵝解決方案可以成為您值得信賴的 AI 和 HPC 解決方案的戰略合作夥伴。我們擁有超過 25 年的 HPC 經驗和 7 年以上的 AI 基礎架構設計和部署，並自 2017 年以來已部署和管理超過 85,000 個 GPU，我們隨時準備提供協助。

聯絡 AI 基礎架構專家 今天在企鵝解決方案討論您的 AI 項目需求。