[心得] AI實戰應用講座：Crucial T700 Pro SSD 與 DDR5 Pro 提升你AI生產力

這次的講座邀請了阿吉老師的「全面升級你的 AI 生產力！」與
TC 老師的「零售 / 餐飲 AI 分析實戰應用分享」二位講師來進行AI的分享。

筆者自已也做AI差不多4~5年的時間，做的內容比較偏像是TC老師的數值型AI，影像生成AI今年也用Stable Diffusion畫了不少老婆就是…所以這次就結合二位老師的內容一併來講。

▲阿吉老師的「全面升級你的 AI 生產力！」

▲TC 老師的「零售 / 餐飲 AI 分析實戰應用分享」

筆者覺得現在高階電腦的需求就二個

遊戲用
專業需求，像是影像處理，還有就是今天要提到的AI應用

先來聊聊，為什麼有線上平台，還要自已去架Server跑AI，最主要的原因就是資料的隱私性與生成的自由度。
這陣子ChatGPT很紅，相信也已經有不少朋友已經用在工作上了，但如果是跟筆者一樣待在科技業的應該都有收到禁止使用ChatGPT處理公事，因為ChatGPT可能會把你輸入的內容拿去再訓練，造成公司的機密外流。

另外也有些資料是受法律保護不可以外流，像是筆者之前做醫院的急診室的AI，病人的病歷不只是個資，還是特種個人資料，不要說是用外部平台，光用院內的平台就已經有繁複的申請程序。

撇開個資問題，即時推論時如果還要把資料送到線上平台，推論完再回來，就失去即時性，尤其是像急診室這種需要非常即時的資料時。

影像生成上，筆者工作接觸的影像AI大多是用在標註，用Prompt生成就都是業餘時間拿來畫畫老婆。

線上平台其實有很多禁用的Prompt，但是Prompt又是深深影嚮出圖的品質和內容，例如想畫個天空，如果你的Prompt只會下Beautiful sky，可以加上像Glamorous、Fantastic等Prompt出來效果會更好，題外話，有多少聽過Glamorous sky這首歌。

此外，阿吉老師就有舉例，有人在微軟的繪圖平台Prompt下川普上手拷，不但圖沒生出來，還直接整個帳號被Band。

筆者是沒政治立場啦！！！只會拿來畫老婆，就拿Stable Diffusion來舉例，就拿畫面上這隻小貓來說，除了下little cat外還可以下什麼？

▲有自架過Stable Diffusion對這張圖應該不陌生

其實小貓還有另一個專用的英文字叫pussy，更精確的描述可以加上品種，如Canadian Hairless，最後當然不能忘了把老婆帶上，所以加上1 girl。如果有畫到人的話，筆者通常會使用Chilloutmix這個model然後搭配Lora使用，如果你用的是自架平台，這些Prompt是可以生成圖片，但如果你用的是線上平台這些Prompt是不被接受。但如果把pussy改成puppy就可以正常畫出，也許…平台的工程師是犬派的吧！！！所以不給畫貓就是…

如果你真的想畫小貓建議下kitten這個字，上面那組關鍵字下多了筆者怕你真的會被Band。

▲上面關鍵字AI生成的，最後也不要忘了政治正確（我最討厭像你這種直覺敏銳的小鬼了）

如果要自架平台，那強大的硬體必不可少。所以就進入今天的另一個重點：美光 Crucial T700 Pro NVMe SSD 和 Crucial DDR5 Pro 記憶體。

先來看到的是Crucial T700 Pro NVMe SSD。這款 SSD 是 Crucial 的旗艦產品。SSD最重要的的就是寫入速度，這次的T700 Pro是PCIe 5.0 的固態硬碟，支援 NVMe 2.0 協定，讀寫速度極快，高達 12,400/11,800MB/s，是上一代 Gen4 SSD 的兩倍，並且具有高達 1,500K IOPS 的隨機讀寫速度。

容量的部份有支持1TB、2TB與4TB可選，其它像是使用市面上最先進的NAND技術，採用了美光自家開發的 232層TLC NAND 3快閃記憶體，這是目前市面上最先進的 NAND 技術，這個聽聽就好，這技術太深，不要說一般人，科班生都未必懂，總之就是很先進。

此外，有玩遊戲的朋友都知道，現今的遊戲越來越大，3A大作一定是上百G起跳。Crucial T700 Pro NVMe SSD 還支援 Microsoft DirectStorage 技術，可以讓 GPU 直接存取 SSD 中的資料，不需要經過 CPU 的轉換，這樣可以節省 CPU 的資源，提升遊戲的流暢度和畫面品質。

▲Crucial T700 Pro NVMe SSD

接著來看到DRAM方面，美光是全美唯一的DRAM製造商，同時DRAM三大廠中唯一非韓國的製造商，另二家為韓國的三星 (Samsung)、SK 海力士 (SK Hynix)。

然後昨天亞運棒球2：0輸韓國，我就問這時侯韓貨你買的下手嗎xd

Crucial DDR5 Pro支援最高6400MHz的頻率，相較於DDR4記憶體快了一倍。其次，採用了雙通道架構，提升效能和多工能力。最後，它採用了低電壓設計，只需要 1.1V 的電壓就可以運作，比DDR4記憶體省電20%。
這裡總結一下DDR 5比DDR 4好的二件事，一是速度比較快，二是比較省電。

▲Crucial DDR5 Pro

速度和省電為什麼重要，就在於AI在跑時要耗費大量的資源，大量的資源就是要耗大量的電，尤其是GPU Node一開下去，那耗電就是不小。通常我們GPU Node一台是12張顯卡，而且不只GPU還要有相對的散熱等系統都要耗電，所以可以加快運算完電費也會省上不少。

▲阿吉講師也有提到的，AI訓練要大量的電費

▲阿吉老師也有提到的，AI訓練要大量的電費

效能上，因為這次筆者是沒拿到產品，只在現場體驗了一下，所以下面直接放上二位講師提供的測試資料給大家參考。

▲阿吉講師的效能體驗

▲TC老師的效能體驗

體驗的部份，當天現場準備了二台美光Inside的電腦，皆搭截了Crucial DDR5 Pro 5600 16G*2與Crucial T700 Pro NVMe SSD 1TB。

分別安裝了阿吉老師所講的圖片生成AI與TC老師AI X 餐飲零售分析。

因為筆者工作上一直有在Spark去進行資料的ETL，然後進去到AI，最後到呈現的部份。

所以在體驗TC老師的這部份時，相較於平常筆者在用的GEN 4和DDR 4的機器速度上是很有感啦！！！畢竟也碰了資料這段那麼多年。

AI生成的部份，老實說體會沒那麼深，可能是訓練上會比較有感，生成上最有感的應該是GPU效能的差異。

▲阿吉老師為大家帶來的Stable Diffusion（AI生圖）效能體驗

▲TC老師的AI X 餐飲零售分析效能體驗

最後來總結一下，這次的體驗會可以看出美光 Crucial T700 Pro NVMe SSD 和 Crucial DDR5 Pro 記憶體都是非常值得推薦的高效能硬體，適合那些對遊戲和工作有高要求的使用者。

到底要不要花錢升級還有升級後有沒有感，這裡筆者提供些自已的經驗。

首先，先去看你的CPU有沒有吃滿，訓練或推論慢，然後CPU又沒吃滿，第一步先去看你的硬碟I/O，最常見就是硬碟的I/O爆了，卡到那裡，通常遇到這情況想一次解決，一般我們是直接換GEN 5 SSD加做RAID效能通常一下子就上來了。

I/O順了，一般CPU和訓練速度就會上來，如果還想加速，就分配多一些CPU，CPU給到上限無法加速時，再回去看一下硬碟的I/O，如果沒卡，就有二個可能，一是訓練的程式多工沒寫好，可以Review調一下Code，二是記憶體速度跟不上CPU，這時可以先看雙通道有沒開，沒開就先開雙通道試試，不過通常Server都已經是裝雙通道了，再來才是換DDR 5的記憶體。

如果你有以上的需求想要升級你的電腦，不妨考慮一下這兩款產品。

文章也同步發表在：
https://bit.ly/3PPwZpC
https://bit.ly/3ZK1a6k
https://bit.ly/3PNid2T