語言
自 ChatGPT 問世，生成式 AI 儼然已成為企業數位化轉型的一大主流，根據 Deloitte 第三季《企業中生成式人工智慧現狀》調查，在這份名為《從潛力轉向績效》的調查報告中指出，有三分之二的企業正在努力增加對人工智慧的投資，看重的即是生成式 AI 所帶來的龐大價值。儘管如此，企業在部署過程中仍然面臨著許多困難的挑戰，包含有限的預算、專業人力的不足、乾淨資料的取得與安全性等等。
為了協助企業加速擁抱生成式 AI，科科科技（KKCompany Technologies）旗下的雲端智慧品牌 Going Cloud 也致力於提供一條龍的解決方案服務，以資料數據為底層，協助建立完善的資料系統，加速企業雲端遷移，整合雲端運算並建構客製化的雲端環境，以利發展符合企業需求的 AI 應用。同時專注於研發 AI 解決方案，掌握生成式 AI 技術，目前已可提供 AI Chatbot 與企業知識庫（KM）、個人化推薦系統及精準搜尋引擎，以及內容生成模型等等。
科科科技雲端智慧業務群總經理黃柏淞指出，生成式 AI 發展快速，許多新創也投入在 SaaS 服務中，提供企業 AI 助理（AI Assistant）、AI 代理（AI Agent）方案， Going Cloud 的強項即在於科科科技旗下有音樂串流平台（KKBOX），自 2001 年初內部就設置了資料團隊，處理非結構化資料已有十幾年的經驗，再加上 Going Cloud 是 AWS 進階級服務提供合作夥伴，不管是在雲端、數據還是 AI 技術整合，都已具備一定的能力，擁有豐富的 AI 雲端技術與專案經驗。
去年，思科發布《人工智慧準備度指數》調查，發現僅 19% 台灣企業已做好充分準備；超過一半（56%）台灣企業準備不足或有限，其中 5% 為落後者（準備不足）。此外，雖然 84% 台灣受訪者認為人工智慧將對其業務營運產生重大影響，但也帶來數據隱私和安全的新問題。調查結果顯示，81% 台灣受訪者認為企業中存在的資訊不對等或碎片化是處理數據時面對的最大挑戰。
黃柏淞觀察，諸如資料集龐大且雜亂、企業內部不具備資料處理能力人才、欠缺 AI 技術開發能力，以及資料隱私等問題，都是企業在生成式 AI 導入過程中可能面臨的挑戰，尤其台灣製造業與金融業，非常看重資料隱私，間接也帶出混合架構與資料擁有權（Data Ownership）的課題。
他進一步解釋，基於隱私考量，企業現在已然意識到須掌握資料的所有權，其次，若想打造能夠結合企業業務的生成式 AI 應用場景，通用型的 LLM 可能就無法適用，雖然 OpenAI 最近推出了代號為 Strawberry 的新模型具有更好的思辨能力，也會試著去解出正確解答，但是企業有自己的領域知識，這些領域知識是企業的命脈，基本上並不會對外分享，而這也意謂著企業必須用自己的資料針對該領域進行相關的訓練，如此才能做出遮罩語言模型（MLM）或是小型語言模型（SLM），而若要結合這兩項需求，混合架構可能是最好的作法。Going Cloud 可以協助企業佈建好雲地混合的架構環境，「從算力需求與成本來看，採購超融合基礎架構同時搭載兩片高階 GPU 卡並不太實際，企業最好還是善用雲的彈性來節省成本。」
Going Cloud 已在產業累積不少案例，例如協助本土龍頭銀行打造就學貸款 AI 聊天機器人；幫助遊戲產業透過客製化訓練模型，建立遊戲素材生成後端系統，使內部人員彈性且有效地管理模型及機器，節省管理時間與成本；此外也協助優化台灣經貿網的網站搜尋引擎及推薦系統，導入個人化商品推薦、站內搜尋、商機配對，提升瀏覽體驗、網站轉換率及媒合準確度。
黃柏淞提到，生成式 AI 還可以應用在 HR 場域中。「我們在泰國曾遇到一個案例，該公司的工廠員工加起來有 3、4 萬人，但是卻只有一名人資要回答薪酬或相關請假的問題，再加上泰國每 2 周就發一次薪水，可想而知，該名 HR 每天要疲於應付多少重複的問題。」在此情況下，就非常適合生成式 AI 來協助。
「由這個案例也可以看出，生成式 AI 應用場景可以從痛點或是與核心業務最有關的應用下手，不管是有助於業務上的增長，還是可以提高與業務相關的生產力，企業才會覺得有感。」他繼續說明，其次資料的準備與治理的觀念都需要有人帶頭來執行，或是善用工具來協助，若是連資料的收集、清洗到訓練、部署都要由業者從頭到尾協助，其成本往往也會讓企業難以負擔。最後則是資安的觀念也要有所認知，許多企業會覺得導入 AI 方案就像是把商業機密交給了別人，但其實往往企業本身才是最大的漏洞。
「除此之外，Token 費用也是企業思考要不要導入的一個門檻，」黃柏淞最後補充，生成式 AI 的成本基本上可以分為三部分，一是資料清洗的費用與開發費用，二是上線後呼叫處理的 Token 費用，最後是維護成本。其中，企業對於上線費用最為敏感，因為在大型語言模型 LLM 的世界裡是以 Token 為計費單位，這是每個月都要支付的成本，雖然 GPT-4o mini 已經是比 GPT-3.5 Turbo 還要來得便宜，但企業依然會精算，甚至有不少企業覺得這是筆多出來的開銷。「也有企業覺得林林總總加起來，總費用可能與增加一位人力來專門處理差不多。如果是以這樣的思維來思考，企業就很難採用新技術，事實上，較大型企業都知道，只要每個人工作時間能省 1%，換算出來的效益就很可觀。」
本文轉載自 2024 年 11 月號，網管人雜誌, 雲地混合兼顧隱私訓練 選對目標有感提升生產力 作者：余采霏
連結：https://kkc.tech/ai-tools-combined-with-hybrid-architecture-create-best-practices
