群聯於交大分享生成式 AI 落地解決方案 學生：獲得啟發性 2024-01-10 15:30 經濟日報 記者李孟珊／台北即時報導 NAND Flash 控制IC廠群聯（8299）日前於國立陽明交通大學舉辦生成式AI的落地解決方案 發表會，參加的同學在會後於網路上分享心得，大讚作為一個處於有在設計語言模型的研究 生來說，得到極具啟發性的資訊。 群聯曾說，在 ChatGPT 等超大型AI模型的興起，帶動AI人工智慧於未來可能輔助企業與個 人的無窮想像空間，也因為AI模型的成長速度極快，導致提供AI服務的硬體建構成本大幅提 升，其主要原因為現行AI模型主要運行於 GPU 與 DRAM 當中，但未來AI模型的成長速度將 遠超過 GPU 與 DRAM 可供給的量。 根據微軟研究報告指出，AI模型的成長速度將會是 GPU 卡中的 DRAM 成長速度的200倍，換 言之，現行的AI運算硬體架構成長速度可能已無法滿足AI應用的需求。 據悉，群聯自主研發的AI人工智慧運算服務「aiDAPTIV+』」，是透過群聯獨創整合 SSD 的 AI運算架構，將大型AI模型做結構性拆分，並將模型參數隨應用時間序列與 SSD 協同運行 ，以達到在有限的 GPU 與 DRAM 資源下，最大化可執行的AI模型，預計能有效降低提供AI 服務所需投入的硬體建構成本。 群聯將相關知識往下扎根，先前在國立陽明交通大學舉辦生成式AI的落地解決方案發表會， 有一名在做語言模型的研究生，於網路上指出，在聽完發表會後，這樣一個解決訓練大型語 言模型受硬體規格限制的創新方案，對他來說，獲得了具啟發性的資訊。 該研究生說明，在過去的實驗中，他經常遭遇到硬體規格不足的限制，使得他難以訓練更大 的語言模型，不過此次群聯的發表會上，提供他許多的思路和解決方案，特別是成本更低、 更有效率的硬體構想，這讓他期待未來能夠以更合理的成本配置硬體，訓練像 LLaMA-13b 這樣的大型語言模型。 換言之，意味著實驗室無需投入高昂的成本購買 A100等硬體，仍能擁有專業且具有成本效 益的配置。 https://money.udn.com/money/story/5612/7698948 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 49.218.94.32 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Gossiping/M.1705124919.A.1A3.html