0.中小企業的 AI 

非常贊成! 很有興趣採用!

潘健成分享群聯從「不跟風」到積極投入 AI 領域的契機，成功開發出以 SSD 加上 DRAM 的創新方案，搭配一般顯卡就能運行大語言模型，讓 AI 伺服器成本大幅降低。
他期望藉此讓 AI 平民化，人人都能使用，且降低在地端設置門檻，也更能保障隱私。

魏贊科技-www.wejun.tw

群聯電子的aiDAPTIV+是一套創新的AI解決方案，旨在降低AI運算成本並促進生成式AI的普及化。以下是aiDAPTIV+的主要特點和優勢：

技術創新

aiDAPTIV+採用了群聯獨特的技術架構：

• 利用SSD作為高頻寬記憶體(HBM)，擴展GPU卡的記憶體容量4

• 將大型AI模型進行結構性拆分，與SSD協同運行4

• 搭配群聯自行開發的中介軟體aiDAPTIVLink4

這種創新架構使得在有限的GPU和DRAM資源下，也能訓練和運行大型AI模型。

主要優勢

1. 降低成本：大幅降低AI基礎建設的硬體成本，使中小企業也能負擔得起AI模型訓練45

2. 提高效能：在相同硬體條件下，可訓練更大規模的AI模型，如Llama 700億參數級的LLM7

3. 資料安全：支援地端訓練，避免將敏感資料上傳至雲端47

4. 節能環保：相較傳統架構，所需的整體電力較少，符合減少能源消耗和碳足跡的趨勢5

5. 易於使用：專為最終用戶設計，降低培訓複雜性和基礎設施需求1

應用場景

aiDAPTIV+適用於多種場景：

• 企業應用：如專利事務所利用AI協助摘要過往專利資料4

• 製造業：提升SMT產品線的AOI系統準確率6

• 教育領域：幫助學校建構AI教室，培育學生的AI實戰能力1014

• 公部門：已有公家機關導入使用13

• 金融機構：支援金融業AI應用13

市場前景

群聯電子對aiDAPTIV+的市場前景充滿信心：

• 預計2024年第三季開始大規模出貨，目標達到上萬套13

• 估計到2026年，aiDAPTIV+相關產品PASCARI的營收占比可能上看40%13

結語

群聯電子的aiDAPTIV+解決方案通過創新技術架構，有效降低了AI運算的門檻，為中小企業和各類組織提供了可負擔的AI模型訓練和應用方案。這不僅推動了AI技術的普及化，也為群聯電子開闢了新的業務增長點。

本集塞掐邀請到群聯電子創辦人潘健成，暢談他如何帶領群聯從五人小團隊，發展為全球快閃記憶體控制晶片領導廠商，研發的 SSD 產品甚至登上 NASA 火星探測器。

潘健成分享群聯從「不跟風」到積極投入 AI 領域的契機，成功開發出以 SSD 加上 DRAM 的創新方案，搭配一般顯卡就能運行大語言模型，讓 AI 伺服器成本大幅降低。他期望藉此讓 AI 平民化，人人都能使用，且降低在地端設置門檻，也更能保障隱私。 

非常贊成! 很有興趣採用!

潘健成分享群聯從「不跟風」到積極投入 AI 領域的契機，成功開發出以 SSD 加上 DRAM 的創新方案，搭配一般顯卡就能運行大語言模型，讓 AI 伺服器成本大幅降低。他期望藉此讓 AI 平民化，人人都能使用，且降低在地端設置門檻，也更能保障隱私。

魏贊科技-www.wejun.tw 

aiDAPTIV+ 產品介紹

aiDAPTIV+ 是群聯電子開發的創新 AI 解決方案,旨在為中小企業提供可負擔的大型語言模型(LLM)訓練能力。

核心技術

aiDAPTIV+ 採用混合軟硬體架構:

1. aiDAPTIVCache AI100 SSD: 高耐久度 SSD,可擴充 GPU 記憶體容量7。

2. aiDAPTIVLink 中介軟體:

   • 將 AI 模型分割

   • 將待處理的模型片段存儲在 SSD 上

   • 在 GPU 和 SSD 之間交換數據46

主要優勢

1. 成本效益: 利用普通工作站硬體即可訓練大型模型,無需昂貴的數據中心設備12。

2. 擴展性: 支援訓練高達 Llama-3 70B 和 Falcon 180B 等大型模型722。

3. 隱私保護: 可在本地進行模型訓練,保護敏感數據12。

4. 易用性: 無需修改現有 AI 應用程序,可輕鬆整合643。

5. 節能環保: 相較傳統 AI 伺服器,可降低能耗和碳排放3。

應用場景

• 工業自動光學檢測(AOI)2145

• 金融服務客戶關係管理43

• 邊緣 AI 計算44

• 學術研究和中小企業的 AI 開發3038

合作夥伴

多家知名科技公司已採用 aiDAPTIV+ 技術,包括華碩、技嘉、MAINGEAR、聯發科、研華和 ASRock 等13637。

aiDAPTIV+ 為中小企業和研究機構提供了一個經濟實惠的解決方案,使其能夠參與大型 AI 模型的開發和應用,推動 AI 技術的普及和創新。