T17

Agentic AI能夠綁定通訊軟體，透過遠端來下指令，這裡使用Telegram。
先去@BotFather申請API Token，再去@userinfobot複製ID，最後在OpenClaw輸入完成Channel設定。

接著是個人的使用體驗部分，以B70硬體架構搭配31B模型，藉由本地端運算任務，列入所需Token與時間，畢竟若用雲端運算要額外花Token費用。
首先是安排時程回報天氣概況，下達指令後，龍蝦開始運作並回覆預定好的時間提醒，待時間到將自動執行排程任務並回報。

剛開始進行相同的任務時，容易碰到執行時間較久、偶爾卡在某個環節逾時(Timeout)、提供內容不夠精確或資訊太少等狀況。
加上指令用詞是否明確也相當重要，藉由提示詞優化與上下文記憶，有機會生成更詳細的答覆。

Dashboard內使用情況頁面，看觀察當下工作階段的吞吐量Tok/Min，這部分主要依任務複雜度與顯示卡規格而有所變化。

點開工作階段頁面，看到右方持續時間15m17s，代表輸入指令讓龍蝦接收、預定時間執行，直到完成任務的總時長，並非單指GPU運作執行的時間。
這種排程功能相當實用，例如白天外出忙碌時想了解傍晚回程的天候，就能趁空檔透過Telegram下達指令，讓龍蝦上網搜尋資料，收集指定時段、區域資訊與外出注意事項並自動回報。

若出門在外剛好需要取用桌機內的檔案，透過Telegram遙控OpenClaw將檔案傳回手機相當方便。
指令設定為搜尋桌面指定檔案，先移至龍蝦工作區資料夾再回傳至手機。
此時GPU全速運轉溫度約76度，佔用VRAM約27.7GB。

左方工作區資料夾與右方Telegram皆順利出現指定的測試檔案。
雖然介面下方顯示failed訊息，但這僅代表AI在嘗試多種傳送方式時，可能其中有部分途徑失敗，最終任務依然成功執行。
此外，雖然系統支援直接由桌面將檔案傳送至Telegram，但這需要額外開啟相關權限。基於資安考量，先將檔案移至權限較高的工作區資料夾，再傳送至雲端，會是相對安全的作法。

傳送檔案的任務相對單純，不像上網搜尋資訊並彙整摘要那般繁複。
此項任務消耗的Token量僅71.6K，從接收指令至執行完畢耗時2m38s，整體處理速度明顯快上許多。

執行搬移檔案並回傳至手機的任務時，吞吐量約為27.2 Tok/Min。

股市投資為近期熱門話題，使用者可透過AI排程功能，設定在個人空檔時間接收資訊。例如安排在白天自動查詢特定美股前一晚的收盤價、交易量與相關新聞摘要。

進入工作區頁面，即可確認剛下達的代理任務已成功加入排程。

到達預定時間後，儀表板與Telegram皆會同步顯示查詢結果，系統更自動以表格形式對比兩檔股票的資訊，提升閱讀便利性。

觀察任務時間軸：11:07下達指令、11:09系統回覆預約完成、11:20自動執行，並於11:24回傳查詢任務完成。
此任務自預約完成起算，總耗時14分39秒，總計消耗72.3K Token量。
需要留意的是，資料抓取的完整度會受目標網站來源是否擋機器人瀏覽所影響，偶爾會出現資訊遺漏。
這類狀況在雲端大型模型上同樣常見，尤其在查詢「即時報價」時，AI較常抓取到過去的歷史價位。

AI代理也能協助照片分類，例如在此任務中，指令要求分析個人MSI筆電實測文章的資料夾，找出包含「產品外觀」的照片，並將其移入指定資料夾中。
執行此類視覺任務時，需要額外安裝擅長圖片辨識的小型模型LLaVa (Large Language and Vision Assistant)。
運作邏輯是由LLaVa先讀取並描述圖片內容，再將這些資訊傳達給主模型Gemma 4 31B進行分析與最終的歸類判斷。

分析完成後，系統會將辨識出的筆電外觀照片移入資料夾內。
由於AI推論具有一定的變動性，每次產生的結果可能略有差異，但也曾遇過經過多次反覆執行後，AI判斷準確度突然提升、分類極為完善的狀況。
在先前的測試中，編號06至09由於屬於筆電局部特寫的照片，AI有時會將其中一、兩張判定為「非筆電外觀」。
這顯示出下達的指令越精準越好，當遇到圖片內容過於局部或模稜兩可的狀況時，對AI而言通常較難做出準確的判斷。

此任務消耗的Token量高達280.9K，算是相當多，畢竟照片檔案本身較大，且數量多達42張，所需的處理時間與Token用量，非前面幾項單純查資料或傳送小檔案的任務所能比擬。
不過，為了避免超出VRAM的硬體限制與模型的上下文視窗(Context Window)，建議在執行此類任務時，適度控制單次處理的照片數量與檔案大小會是較為穩妥的作法。

另外想到，既然長年在進行硬體測試，如果能透過遠端遙控來跑測試軟體，應該會相當有趣。
思考過後，決定先從較單純的CPU-Z著手，利用事先寫好的Python腳本交由龍蝦來執行。
接著是透過指令執行CPU-Z的Benchmark測試，並要求在跑完測試後直接回傳數據截圖，讓使用者能第一時間在遠端看到結果。

觀察執行效率：12:02下達指令，12:05系統回傳已接收指令並開始執行，同一分鐘內(12:05)就回傳了CPU-Z的測試截圖，速度表現相當不錯。
收到這張截圖的當下其實有點開心，畢竟這是自己測試了20幾年來再熟悉不過的軟體畫面。

許多網友認為擁有32GB大容量VRAM，是本地端AI進行文生圖的一大優勢。
先前幾波AI模型更新帶動了更優秀的畫質表現，也再次引發文生圖熱潮。
透過OpenClaw下達文生圖指令後，系統便能產出品質相當不錯的圖片。

實際生成的畫面效果相當不錯，雖然部分細節比例仍有不夠精準之處，但整體質感已相當接近新一代雲端大模型的產出水準。

生成上述圖片共耗時2m34s，並消耗56.5K的Token量。

接著分別生成三種不同風格的圖片。在室溫約32度的環境下，執行這些AI指令時GPU溫度約落在74~80度，B70散熱表現算是相當不錯。

系統在5至8分鐘內，分批產出這三張圖片。

從下達指令到執行跑完全程約耗時8m37s，共消耗123.1K的Token量，左上角則是單日所有任務累積至當下，總計約使用1.5M的Token量。

接著設定的主題為一群人在山上看風景，裡面包含大人、小孩與動物。
首先是卡通風。

油畫風

像素風
三種各自呈現出截然不同的風格，所生成的圖片品質也具備相當不錯的水準。

先前手邊多款顯示卡大多為16GB版本，過去若想在消費級主機板上透過多卡組合來擴充VRAM，往往只有第一根插槽能維持PCIe x16，第二根插槽降至x8頻寬後，容易面臨無法發揮完整算力的瓶頸；若要徹底解決此問題，只能升級至Server伺服器級平台，但這將導致整體建置成本大幅攀升。
B70是目前當地工作站與消費級顯示卡市場中，入手門檻最低且具備單卡32GB VRAM的型號；搭配僅佔用雙槽的體積、全速運算功耗最高230W且發熱量不高，相當適合用於高密度平台進行多卡串聯。

雖然在GPU運算生態系上未來仍有進一步優化的空間，但Arc系列GPU自2022年問世以來，透過Intel驅動團隊長期且持續地更新優化，確實展現出「戰未來」不只是一句口號。
剛好前幾天Arc Pro發布了新版8805版驅動程式，官方發布說明中提及B70在SPECviewperf 15.0.1測試中，1080p解析度下平均效能提升約15%。這邊直接實測並對比上一版8804驅動；在專業工作站軟體的效能表現上：1080p解析度得分由70.44提升至80.66(成長約14.5%)；4K解析度得分則由34提升至40.25(成長約18.3%)，實際效能增幅相當顯著。

具備單卡32GB的硬體條件後，便著手從零開始養本地端龍蝦。剛開始只能執行簡單任務，過程中邊摸索著設定目標，並調整相應的權限。而權限設定也攸關常用的Tools是否開啟，以及提供何種執行途徑，這直接影響了龍蝦能發揮到什麼程度，以及各項Skills能否順利運作。
隨著指令一步一步進階，從定時排程、天氣預報、股市資訊摘要，一路延伸到搬移檔案、照片分類，甚至是執行測試軟體並回傳成果，看著自己養的小龍蝦逐漸成長，猶如從1歲長大到5歲。
AI Agent與這幾年常見的雲端AI聊天機器人有著顯著不同，它能根據需求自主執行任務並由通訊軟體回報，是相當新奇的科技體驗；雖然目前仍受限於硬體與軟體能力，但相信未來持續進化後，必定會有更廣泛的應用層面。

個人認為，本地端模型是在為未來的機器人大腦鋪路，加上許多品牌持續更新模型，整體技術發展顯然會越來越進步。
另一方面，連結雲端大模型的優點是能處理的事項較多且速度較快，缺點則是需付費購買API Token，同時也有較高的資安疑慮；若單靠地端電腦運作，雖然會受限於硬體規格與可用模型大小，且需要花較多時間研究API與功能設定，但相對省錢且較安全。
因此，將較複雜的事項交給雲端，較簡單或私密的事項交給地端，「雲端+地端」的結合會是取得平衡的好方式。
近期還會持續用B70養龍蝦，若有其他使用經驗或應用也歡迎留言討論，感謝收看😊