[心得] AI實戰應用講座:Crucial T700 Pro SSD 與 DDR5 Pro 提升你AI生產力

Amadeuss

這次的講座邀請了阿吉老師的「全面升級你的 AI 生產力!」與
TC 老師的「零售 / 餐飲 AI 分析實戰應用分享」二位講師來進行AI的分享。

筆者自已也做AI差不多4~5年的時間,做的內容比較偏像是TC老師的數值型AI,影像生成AI今年也用Stable Diffusion畫了不少老婆就是…所以這次就結合二位老師的內容一併來講。


▲阿吉老師的「全面升級你的 AI 生產力!」


▲TC 老師的「零售 / 餐飲 AI 分析實戰應用分享」

筆者覺得現在高階電腦的需求就二個


  1. 遊戲用
  2. 專業需求,像是影像處理,還有就是今天要提到的AI應用

先來聊聊,為什麼有線上平台,還要自已去架Server跑AI,最主要的原因就是資料的隱私性與生成的自由度。
這陣子ChatGPT很紅,相信也已經有不少朋友已經用在工作上了,但如果是跟筆者一樣待在科技業的應該都有收到禁止使用ChatGPT處理公事,因為ChatGPT可能會把你輸入的內容拿去再訓練,造成公司的機密外流。

另外也有些資料是受法律保護不可以外流,像是筆者之前做醫院的急診室的AI,病人的病歷不只是個資,還是特種個人資料,不要說是用外部平台,光用院內的平台就已經有繁複的申請程序。

撇開個資問題,即時推論時如果還要把資料送到線上平台,推論完再回來,就失去即時性,尤其是像急診室這種需要非常即時的資料時。

影像生成上,筆者工作接觸的影像AI大多是用在標註,用Prompt生成就都是業餘時間拿來畫畫老婆。

線上平台其實有很多禁用的Prompt,但是Prompt又是深深影嚮出圖的品質和內容,例如想畫個天空,如果你的Prompt只會下Beautiful sky,可以加上像Glamorous、Fantastic等Prompt出來效果會更好,題外話,有多少聽過Glamorous sky這首歌。

此外,阿吉老師就有舉例,有人在微軟的繪圖平台Prompt下川普上手拷,不但圖沒生出來,還直接整個帳號被Band。

筆者是沒政治立場啦!!!只會拿來畫老婆,就拿Stable Diffusion來舉例,就拿畫面上這隻小貓來說,除了下little cat外還可以下什麼?

▲有自架過Stable Diffusion對這張圖應該不陌生

其實小貓還有另一個專用的英文字叫pussy,更精確的描述可以加上品種,如Canadian Hairless,最後當然不能忘了把老婆帶上,所以加上1 girl。如果有畫到人的話,筆者通常會使用Chilloutmix這個model然後搭配Lora使用,如果你用的是自架平台,這些Prompt是可以生成圖片,但如果你用的是線上平台這些Prompt是不被接受。但如果把pussy改成puppy就可以正常畫出,也許…平台的工程師是犬派的吧!!!所以不給畫貓就是…

如果你真的想畫小貓建議下kitten這個字,上面那組關鍵字下多了筆者怕你真的會被Band。

▲上面關鍵字AI生成的,最後也不要忘了政治正確(我最討厭像你這種直覺敏銳的小鬼了)

如果要自架平台,那強大的硬體必不可少。所以就進入今天的另一個重點:美光 Crucial T700 Pro NVMe SSD 和 Crucial DDR5 Pro 記憶體。

先來看到的是Crucial T700 Pro NVMe SSD。這款 SSD 是 Crucial 的旗艦產品。SSD最重要的的就是寫入速度,這次的T700 Pro是PCIe 5.0 的固態硬碟,支援 NVMe 2.0 協定,讀寫速度極快,高達 12,400/11,800MB/s,是上一代 Gen4 SSD 的兩倍,並且具有高達 1,500K IOPS 的隨機讀寫速度。

容量的部份有支持1TB、2TB與4TB可選,其它像是使用市面上最先進的NAND技術,採用了美光自家開發的 232層TLC NAND 3快閃記憶體,這是目前市面上最先進的 NAND 技術,這個聽聽就好,這技術太深,不要說一般人,科班生都未必懂,總之就是很先進。

此外,有玩遊戲的朋友都知道,現今的遊戲越來越大,3A大作一定是上百G起跳。Crucial T700 Pro NVMe SSD 還支援 Microsoft DirectStorage 技術,可以讓 GPU 直接存取 SSD 中的資料,不需要經過 CPU 的轉換,這樣可以節省 CPU 的資源,提升遊戲的流暢度和畫面品質。


▲Crucial T700 Pro NVMe SSD

接著來看到DRAM方面,美光是全美唯一的DRAM製造商,同時DRAM三大廠中唯一非韓國的製造商,另二家為韓國的三星 (Samsung)、SK 海力士 (SK Hynix)。

然後昨天亞運棒球2:0輸韓國,我就問這時侯韓貨你買的下手嗎xd

Crucial DDR5 Pro支援最高6400MHz的頻率,相較於DDR4記憶體快了一倍。其次,採用了雙通道架構,提升效能和多工能力。最後,它採用了低電壓設計,只需要 1.1V 的電壓就可以運作,比DDR4記憶體省電20%。
這裡總結一下DDR 5比DDR 4好的二件事,一是速度比較快,二是比較省電。


▲Crucial DDR5 Pro

速度和省電為什麼重要,就在於AI在跑時要耗費大量的資源,大量的資源就是要耗大量的電,尤其是GPU Node一開下去,那耗電就是不小。通常我們GPU Node一台是12張顯卡,而且不只GPU還要有相對的散熱等系統都要耗電,所以可以加快運算完電費也會省上不少。


▲阿吉講師也有提到的,AI訓練要大量的電費


▲阿吉老師也有提到的,AI訓練要大量的電費

效能上,因為這次筆者是沒拿到產品,只在現場體驗了一下,所以下面直接放上二位講師提供的測試資料給大家參考。


▲阿吉講師的效能體驗


▲TC老師的效能體驗

體驗的部份,當天現場準備了二台美光Inside的電腦,皆搭截了Crucial DDR5 Pro 5600 16G*2與Crucial T700 Pro NVMe SSD 1TB。

分別安裝了阿吉老師所講的圖片生成AI與TC老師AI X 餐飲零售分析。

因為筆者工作上一直有在Spark去進行資料的ETL,然後進去到AI,最後到呈現的部份。

所以在體驗TC老師的這部份時,相較於平常筆者在用的GEN 4和DDR 4的機器速度上是很有感啦!!!畢竟也碰了資料這段那麼多年。

AI生成的部份,老實說體會沒那麼深,可能是訓練上會比較有感,生成上最有感的應該是GPU效能的差異。

▲阿吉老師為大家帶來的Stable Diffusion(AI生圖)效能體驗


▲TC老師的AI X 餐飲零售分析效能體驗

最後來總結一下,這次的體驗會可以看出美光 Crucial T700 Pro NVMe SSD 和 Crucial DDR5 Pro 記憶體都是非常值得推薦的高效能硬體,適合那些對遊戲和工作有高要求的使用者。

到底要不要花錢升級還有升級後有沒有感,這裡筆者提供些自已的經驗。

首先,先去看你的CPU有沒有吃滿,訓練或推論慢,然後CPU又沒吃滿,第一步先去看你的硬碟I/O,最常見就是硬碟的I/O爆了,卡到那裡,通常遇到這情況想一次解決,一般我們是直接換GEN 5 SSD加做RAID效能通常一下子就上來了。

I/O順了,一般CPU和訓練速度就會上來,如果還想加速,就分配多一些CPU,CPU給到上限無法加速時,再回去看一下硬碟的I/O,如果沒卡,就有二個可能,一是訓練的程式多工沒寫好,可以Review調一下Code,二是記憶體速度跟不上CPU,這時可以先看雙通道有沒開,沒開就先開雙通道試試,不過通常Server都已經是裝雙通道了,再來才是換DDR 5的記憶體。

如果你有以上的需求想要升級你的電腦,不妨考慮一下這兩款產品。

文章也同步發表在:
https://bit.ly/3PPwZpC
https://bit.ly/3ZK1a6k
https://bit.ly/3PNid2T

原文網址:https://t17.techbang.com/topics/65939-ai-practical-application-seminar-crucial-t700-pro-ssd-and-ddr5-pro-improve-your-ai-productivity?page=1