企業級 LLM 叢集部署實戰 (DeepSeek R1 671B)

學員課前注意事項

企業級 LLM 叢集部署實戰 (DeepSeek R1 671B)

課程簡介

您是否也曾有這樣的困擾？明明心中懷抱著無數創新的 AI 想法，卻受限於手邊的 GPU 資源，只能望著那些高階顯卡興嘆？您是否也曾為了訓練一個大型模型，耗費大量的時間與精力，最終卻因為算力不足而功虧一簣？在過去的一年裡，我們看到了量化模型的局限性，也體會到了滿血版全參數模型身為「教師模型」的重要性。然而，要如何駕馭這些強大的工具，卻成為了許多研究人員難以逾越的鴻溝。

我們深知，許多公司沒有足夠的硬體設備，但渴望學習如何建置和調教 H100 叢集。我們也知道，動輒上千萬的設備，很難在企業採購之前就讓資訊人員累積足夠的技術知識，因為連上手的機會都沒有。這不僅僅是一堂課程，更是一次難得的機會，讓您能夠親手體驗企業級 LLM 叢集部署的完整過程，掌握最新的 AI 技術，為台灣在 AI 模型推論與訓練上貢獻一份力量。讓我們一起突破算力的限制，釋放AI的無限潛能！👍

AI 的發展日新月異，但要在企業內部部署真正大規模的 LLM，依然是一個巨大的挑戰。在 AI 快速發展的今日，DeepSeek R1 的出現為產業帶來了重大突破。這個開源的大型語言模型不僅展現出優異的效能，更以其親民的價格與開放的特性，為 AI 領域開創了新的可能。

雖然說是「親民的價格」，但是你知道嗎？我們所熟知的 DeepSeek R1 滿血版(FP8)，其實是一個擁有 6710 億 (671B) 個參數，光是模型的大小就高達 671GB。而要對滿血版的 DeepSeek R1 模型進行推論，更需要高達 1280GB 的 VRAM 才跑得動。由於一台搭載 H100 的伺服器最多只能裝 8 張顯卡，一張 H100 顯卡僅擁有 80GB VRAM，因此單一台主機最多只能提供 640GB 的 VRAM，這意味著要在企業內部部署 DeepSeek R1 671B 模型，至少需要 2 台 8x H100 的伺服器才能運行。重點是，光是一台插滿 8 張 H100 的主機(裸機)，售價超過 1200 萬台幣，企業若要部署這樣的 AI 叢集，光硬體成本就要高達數千萬台幣，這還不包括其他硬體成本與維運成本。因此，要在企業級 GPU 叢集中部署與運行這樣的龐大模型，擁有相當高的資金與技術門檻。

我相信有很多人已經透過 Ollama 在家用 GPU 跑過量化版的 DeepSeek R1，但其實在企業級的 AI 應用中，建置滿血版的全參數模型有其必要性。因為我們可以透過全參數的模型擔任所謂的「教師模型」，協助企業蒸餾出各種中小型的專屬模型，再搭配 R1 或 s1 等技術，訓練出高品質的推理模型，此舉不但能大幅降低日後的企業在內部的推論成本，也能大幅提升推論的品質！

我這幾年在企業擔任顧問的過程中，發現許多高度管制的企業（如金融、保險、半導體業等等），其實都想要將 AI 技術應用在自己的業務上，但礙於資料不能外流，設備必須落地等因素，遲遲無法順利的展開 AI 的導入與應用。尤其是 GPU 的基礎建設成本高昂，相對的人才也極度缺乏，市場上真的有 GPU 叢集架設經驗的人猶如鳳毛麟角，導致許多企業即便有資源，也只能止步不前。

因此，本次的課程，我特別邀請到 APMIC 的共同創辦人暨工程副總 Dave 來為我們分享企業級 LLM 叢集部署實戰，我們會以 DeepSeek R1 671B 為例，詳細講解在企業內部架設模型推論叢集的完整過程。Dave 在 APMIC 擁有豐富的 GPU 叢集架設經驗，這次他將會在課堂上分享他多年來的心得與技巧，以及架設過程中可能遭遇到的問題與解決方法。

這應該是目前市面上唯一能夠深入解析 H100 多節點叢集推論的課程，這裡最難得的，就是能找到在業界擁有實務經驗，能抽出時間分享，還願意出來授課的講師。參加本次課程，還可以加入多奇教育訓練的 Discord 社群頻道，日後還能跟這些業界的 AI 菁英一起交流技術，這將是一個非常難得的學習機會，錯過就不知道要等多久！

課程特色

  • 上午課程將會分享企業級 LLM 部署在實務上最關鍵的知識儲備與實例展示
  • 下午實戰工作坊的每位學員將會有取得兩台插滿 8 張 H100 的 GPU 伺服器，學員可以在 3 個小時內親自體驗安裝 DeepSeek R1 671B 滿血模型的完整過程
  • 課程全程錄影，學員可在課後 3 個月內免費無限次回放，反覆學習不遺漏！
  • 由 Will 保哥 與 Dave 全程線上授課，無地域限制，可即時回應學員任何疑惑
  • 提供學員專屬 Discord 頻道，可在課程結束後繼續討論與交流

報名連結

給學員的話

各位同學大家好：

TODO…

以下文件將說明學員上課前的注意事項，請詳細閱讀並提前準備，有任何疑問都歡迎隨時來信洽詢。

註冊 Discord 帳號

我們最近的課程都已經陸續將課程資訊集中到 Discord 伺服器管理，這是一個非常強大的社群工具，可以讓我們在課程之後也能夠持續交流，請大家先註冊一個 Discord 帳號，並且加入我們的多奇教育訓練 Discord 伺服器。

加入多奇教育訓練 Discord 伺服器

加入 Discord 伺服器之後，進入本次課程專屬頻道的步驟如下：

  1. 請至 規則 頻道仔細閱讀多奇教育訓練 Discord 伺服器的使用規約。

  2. 閱讀完畢後，請移駕到 加入課程 頻道，頻道中有加入課程專屬頻道的啟用說明。

    這個步驟主要是讓你輸入本課程的邀請碼，這組邀請碼我們會連同上課通知一併發出給學員，只要驗證正確即可看見本課程學員專屬的 Discord 頻道，請務必詳細閱讀 Discord 加入課程 頻道的相關說明。

以下是加入 Discord 課程專屬頻道的影片示範：

注意：若加入頻道的驗證次數錯誤超過三次，您的 Discord 帳號將自動被系統鎖定，如有失誤請來信解鎖: training@miniasp.com

上課前注意事項

由於我們上課時會採用 Zoom Workplace 桌面應用程式 軟體進行授課，因此請學員在上課前先安裝好 Zoom Workplace 桌面應用程式 軟體的最新版，並且測試好麥克風與喇叭是否可以正常運作，以免上課時無法順利聽到課程內容。

以下幾點請在上課前確認完畢：

  1. 檢查 Zoom 是否為最新版本

    我這邊目前最新的 Zoom 版本為 6.3.6

    Zoom 版本

  2. 檢查 Zoom 麥克風與喇叭是否正常運作

    你可以透過 Zoom 的測試功能來檢查麥克風與喇叭是否正常運作，如果你的麥克風與喇叭都正常運作，你會看到以下畫面：

    Zoom 麥克風與喇叭測試

上課時的注意事項

🔥 請不要在最後一刻才進入教室 🔥

🔥 請不要在最後一刻才進入教室 🔥

🔥 請不要在最後一刻才進入教室 🔥

  1. 你可以在課程開始前 30 分鐘進入 Zoom 會議室

    我會在讓大家進入會議室時播放背景音樂，請確認可以聽的到聲音。

    若聽不到聲音，可以先檢查 Zoom 麥克風與喇叭的設定是否正確，或是重新退出 Zoom 會議室後再次進入。

    建議大家盡量不要使用「手機」進入 Zoom 會議室，因為手機的螢幕太小，上課體驗會比較差。但如果真的沒辦法，用手機也是可以上課，等日後看重播時用電腦看就好。

  2. 以下是進入會議室的步驟

    開啟 Zoom 軟體，點擊「加入會議」

    開啟 Zoom 軟體，點擊「加入會議」

    輸入我們課前通知的「會議號碼」與「顯示名稱」

    輸入我們課前通知的「會議號碼」與「顯示名稱」

    輸入會議密碼

    輸入會議密碼

    測試喇叭和麥克風

    測試喇叭和麥克風

    請務必測試一下麥克風與喇叭是否正常運作，以免上課時無法順利聽到課程內容。

    請務必測試一下麥克風與喇叭是否正常運作，以免上課時無法順利聽到課程內容。

    進入會議室之後，如果聽的到聲音，就按下「回應」的 ✅ 按鈕。

  3. 多利用「回應」功能給予課程回饋

    過往有許多同學都找不到 Zoom 的「回應」功能，我特別截圖跟大家說明怎樣操作。

    Zoom Reactions

    基本上在 Zoom 最下方的工具列上，會有個「回應」的按鈕，按下去之後會有三排的表情符號可以按：

    第一排：這些表情符號按下之後可以表達你在課堂上的心情，而且 10 秒之後就會自動消失。這些表情非常重要，因為這可以讓講師知道你當下的心情，感覺開心的時候可以選 😂 (大笑)，聽到很厲害的內容時可以按下 👍 (讚)、❤ (愛心)、👏 (拍手)、🎉 (獻花) 等表情，這可以讓課程變的相當活絡有趣！

    第二排：這些符號按下去之後不會自動消失，主要用來回應講師的提問，方便大家回答問題。例如講師問「大家都聽的到我的聲音嗎？」，你可以按下 ✅ (打勾) 來代表「聽的到」，或是按下 ❌ (打叉) 來代表「聽不到」，這樣講師就可以得知你的狀態。

    第三排：只有一顆「舉手」的按鈕，按下去代表你想要開麥克風發言，講師會看到你的舉手，然後依序讓你發言。先按「舉手」的人會排在最上面，講師會更容易看到你的舉手狀態。

    以下有幾個好用的鍵盤快速鍵給大家參考，上課時可以盡情使用，增加上課的趣味性：

    功能 Windows macOS
    快速開啟「回應」選單 Ctrl+Shift+Y Command(⌘)+Shift+Y
    傳送會議回應 [鼓掌] Alt+Shift+4 Option+Command(⌘)+4
    傳送會議回應 [讚] Alt+Shift+5 Option+Command(⌘)+5
    傳送會議回應 [愛心] Alt+Shift+6 Option+Command(⌘)+6
    傳送會議回應 [大笑] Alt+Shift+7 Option+Command(⌘)+7
    傳送會議回應 [驚訝] Alt+Shift+8 Option+Command(⌘)+8
    傳送會議回應 [慶祝/拉炮] Alt+Shift+9 Option+Command(⌘)+9
    舉手/放下手 Alt+Y Option+Y
    將音訊靜音/取消靜音 Alt+A Command(⌘)+Shift+A

    表1: Zoom 鍵盤快速鍵參考

  4. 利用【聊天室】來向講師或學員傳達訊息

    Zoom 軟體有個「聊天」功能，但請不要在「所有人」的視窗聊天，因為很多人一起聊天的結果，就是大家都找不到訊息。

    這個「聊天室」功能主要用來讓學員與講師之間的溝通，如果你有任何問題，可以在「聊天室」中發問，講師、助教或其他學員都會盡量回答你的問題。

    留言時，請務必在一個訊息中把問題打完，不要像 LINE 一樣，想到一句打一句，否則可能會不同人發問的問題之間交錯出現，導致閱讀困難。

    回覆留言時，請多利用「回覆」功能，讓一個問題的討論可以聚焦在同一個討論串內，這樣大家閱讀起來會比較清楚。

  5. 利用【麥克風】使用語音提問

    進入會議室之後，麥克風會處於「鎖定」的狀態，如有問題想透過語音發問，請先點擊 Zoom 軟體的「舉手」按鈕，講師會開啟你的麥克風讓你線上發問。

    如果講師需要學員進行語音互動時，願意發言的人，也可以先按下「舉手」等候講師呼喚，並準備開啟麥克風，這樣才不會花太多時間等待學員回應。

  6. 不開放【視訊】使用

    原則上我們上課不需要開啟視訊鏡頭，以確保大家的個人隱私。

上課連結

由於我們上課時會採用 Zoom Workplace 桌面應用程式 軟體進行授課，而上課的 Zoom 會議室連結實際上是會透過另外的郵件通知學員，郵件主旨會是：

【上課通知】企業級 LLM 叢集部署實戰 (DeepSeek R1 671B) 0308

如果你在上課當天都還沒收到通知郵件，請立即寫信與我們聯繫！🔥