Page 107 - TSIA 2024 年會_年刊

Skymizer 當時便注意到這些重大改變，便著手開始設計針對 LLM 的加速器 IP。在這次的演講當中， 唐執行長解釋 Skymizer 注意到的 transformer 上的哪些特性，使得他適合硬體化，在硬體化的過 程當中會遇到哪些困難點，作為經驗分享。 上半場結束，休息時間主辦單位提供小點心與咖啡，讓與會者補充體力也能進行業 界交流與互動。 下半場第一位講者邀請到研華科技郭柏村資深經理來討論「多模態大型語言模型與生成式 AI 於智慧邊緣場域應用」，郭博士提到 GAI 自 2022 年底迅速崛起，特別是在多模態大型語言模 型(如視覺語言模型)的應用上。接著，探討研華如何利用這些模型來解決工業安全問題。傳 統 AI 模型在工安應用中，由於場景多變且需求碎片化，往往難以高效複製和再利用。而大 型視覺語言模型通過簡單的 prompt engineering(提示工程)，即可在無需重新訓練 模型的情況下完成大部分的檢測任務。相比傳統的 CNN 模型構建方法，這種新型導入 方式將 AI 項目的開發周期從數月縮短至數周，展示了 GAI 在工安領域的巨大潛力。 接著，晶心科技李恆寬博士主講「RISC-V based Solutions for Gen AI」，李博士分析很多矩陣 運算的方法，在 GAI 運算的過程中，有很多變化(Tiled MM, GEMM, GEMV⋯)，可以得到加速的效果，且仍然可以保 持一定的精準度。過程中也幽默地提到，主辦單位交代不要廣告，李博士不藏私，除了晶心科技的設計方法之外，也分 析很多新論文的方法。 最後邀請工研院電光系統所葉書豪專案副理來分享「三重優化:低成本高效特定知識語言模型的全方位解決方案」， 在特定領域中，找到 GAI 的新應用，經過精煉化樣本，廣泛化對答，圖形化檢索，三重優化，可以得到低成本高效能 的運算。現有 ChatGPT 的 LLM 知識是比較一般性的，無法對應專業的問答，但經過葉副理的方法，就能快速重新訓練 調整 LLM，讓新的模型，可以應付專業的問答。這些方法，給聽眾很多新的啟發。 研討會近 150 名業界專家報名參加，再次感謝所有出席分享嘉賓與主持人:主委 / 電光系統所張世杰所長、胡紀平 副所長、台灣新思科技魏志中策略總監、聯發科技計算與人工智慧本部陸忠立協理、Skymizer 唐文力執行長、研華科 技郭柏村資深經理、晶心科技李恆寬博士、工研院電光系統所葉書豪專案副理、盧俊銘組長與張永嘉副組長;更謝謝所 有與會來賓包含 TSIA 與 AITA 會員公司 55 家公司熱烈參與，使活動圓滿成功! Taiwan Semiconductor Industry Association ┃台灣半導體產業協會 105 理事長的話 議程與講員簡歷 歷屆理事長重要事蹟與貢獻 TSIA 半導體獎 專題報導 活動報導 附錄