【SUNIX】SUNIX在台北電腦展獨家展出Hailo最新生成式GenAI加速卡
SUNIX三泰科技在2024 Computex 台北國際電腦展中,展示GenAI生成式AI產品,搭載最新Hailo-10H AI晶片的M.2 Key M ET加速模組。這款模組每秒可達40 TOPS運算,提供高效能的生成式AI處理,包括大型語言模型,並顯著減輕CPU/GPU負荷。其低功耗特性(典型值小於3.5W)和卓越的能源效率,使其能夠在PC、智能汽車等邊緣設備上實現實時、低延遲的AI推理。該模組具有出色的成本效益,支持多模型同時處理和先進的深度學習應用,並且兼容多種AI框架如TensorFlow和PyTorch。Hailo-10H模組的高擴展性和快速上市能力,讓企業能夠迅速部署生成式AI解決方案,全面提升AI應用效能和效率。
最新一代的邊緣人工智慧(AI)加速卡GenAI應用產品系列,不僅支援多種應用,同時保持了三泰科技在性價比和能效比方面的領先地位。這款加速卡採用與AIEH系列 AI加速卡相同的軟體套件,使得AI功能能夠在各種邊緣設備和平台上實現無縫整合。 GenAI部署在邊緣設備上,無需依賴穩定的網路連線,這意味著用戶可以持續使用GenAI服務,同時增強了隱私保護。GenAI加速卡通過降低對雲端數據中心的依賴,保證了持續運作的穩定性。
GenAI加速卡搭載的Hailo-10架構,使得GenAI功能可以輕鬆融入個人電腦、智能車輛和商用機器人等邊緣設備。在功耗低於5瓦的情況下,能以每秒10個標記(TPS)運行流行的GenAI平台Llama2-7B。處理生成圖像模型Stable Diffusion 2.1時,GenAI加速卡每張圖像的處理時間不超過5秒,同時保持超低的功耗水平。
性能方面,GenAI加速卡能夠達到40 TOPS(每秒萬億次操作),創立了邊緣AI加速卡的新標準。相比集成神經處理單元(NPU),GenAI加速卡的速度更快,節能效果更佳,性能至少是Intel Core Ultra NPU的兩倍,而功耗則僅為後者的一半。
GenAI加速卡將主要應用於個人電腦和汽車資訊娛樂系統,提升現有聊天機器人、個人助手和語音操作系統的GenAI能力。預計三泰科技將於2024年開始提供GenAI加速卡樣品。
三泰科技成立於1986年,從1995年發表全球第一片單晶片RS-232串列卡以來,目前已有17顆自有晶片,並為全球銷售第一的串列(RS-232/422/485)卡供應商。專注於『商業通訊』領域超過30年,在台灣設有研發中心,並積極朝向AI人工智慧、物聯網、車用通訊(電動車)應用發展。三泰人力行環保與公益,如同企業的標語:串連美麗新世界~
【SUNIX】SUNIX在台北電腦展獨家展出Hailo最新生成式GenAI加速卡
SUNIX三泰科技在2024 Computex 台北國際電腦展中,展示GenAI生成式AI產品,搭載最新Hailo-10H AI晶片的M.2 Key M ET加速模組。這款模組每秒可達40 TOPS運算,提供高效能的生成式AI處理,包括大型語言模型,並顯著減輕CPU/GPU負荷。其低功耗特性(典型值小於3.5W)和卓越的能源效率,使其能夠在PC、智能汽車等邊緣設備上實現實時、低延遲的AI推理。該模組具有出色的成本效益,支持多模型同時處理和先進的深度學習應用,並且兼容多種AI框架如TensorFlow和PyTorch。Hailo-10H模組的高擴展性和快速上市能力,讓企業能夠迅速部署生成式AI解決方案,全面提升AI應用效能和效率。
最新一代的邊緣人工智慧(AI)加速卡GenAI應用產品系列,不僅支援多種應用,同時保持了三泰科技在性價比和能效比方面的領先地位。這款加速卡採用與AIEH系列 AI加速卡相同的軟體套件,使得AI功能能夠在各種邊緣設備和平台上實現無縫整合。 GenAI部署在邊緣設備上,無需依賴穩定的網路連線,這意味著用戶可以持續使用GenAI服務,同時增強了隱私保護。GenAI加速卡通過降低對雲端數據中心的依賴,保證了持續運作的穩定性。
GenAI加速卡搭載的Hailo-10架構,使得GenAI功能可以輕鬆融入個人電腦、智能車輛和商用機器人等邊緣設備。在功耗低於5瓦的情況下,能以每秒10個標記(TPS)運行流行的GenAI平台Llama2-7B。處理生成圖像模型Stable Diffusion 2.1時,GenAI加速卡每張圖像的處理時間不超過5秒,同時保持超低的功耗水平。
性能方面,GenAI加速卡能夠達到40 TOPS(每秒萬億次操作),創立了邊緣AI加速卡的新標準。相比集成神經處理單元(NPU),GenAI加速卡的速度更快,節能效果更佳,性能至少是Intel Core Ultra NPU的兩倍,而功耗則僅為後者的一半。
GenAI加速卡將主要應用於個人電腦和汽車資訊娛樂系統,提升現有聊天機器人、個人助手和語音操作系統的GenAI能力。預計三泰科技將於2024年開始提供GenAI加速卡樣品。
三泰科技成立於1986年,從1995年發表全球第一片單晶片RS-232串列卡以來,目前已有17顆自有晶片,並為全球銷售第一的串列(RS-232/422/485)卡供應商。專注於『商業通訊』領域超過30年,在台灣設有研發中心,並積極朝向AI人工智慧、物聯網、車用通訊(電動車)應用發展。三泰人力行環保與公益,如同企業的標語:串連美麗新世界~
【SUNIX】SUNIX在台北電腦展獨家展出Hailo最新生成式GenAI加速卡
SUNIX三泰科技在2024 Computex 台北國際電腦展中,展示GenAI生成式AI產品,搭載最新Hailo-10H AI晶片的M.2 Key M ET加速模組。這款模組每秒可達40 TOPS運算,提供高效能的生成式AI處理,包括大型語言模型,並顯著減輕CPU/GPU負荷。其低功耗特性(典型值小於3.5W)和卓越的能源效率,使其能夠在PC、智能汽車等邊緣設備上實現實時、低延遲的AI推理。該模組具有出色的成本效益,支持多模型同時處理和先進的深度學習應用,並且兼容多種AI框架如TensorFlow和PyTorch。Hailo-10H模組的高擴展性和快速上市能力,讓企業能夠迅速部署生成式AI解決方案,全面提升AI應用效能和效率。
最新一代的邊緣人工智慧(AI)加速卡GenAI應用產品系列,不僅支援多種應用,同時保持了三泰科技在性價比和能效比方面的領先地位。這款加速卡採用與AIEH系列 AI加速卡相同的軟體套件,使得AI功能能夠在各種邊緣設備和平台上實現無縫整合。 GenAI部署在邊緣設備上,無需依賴穩定的網路連線,這意味著用戶可以持續使用GenAI服務,同時增強了隱私保護。GenAI加速卡通過降低對雲端數據中心的依賴,保證了持續運作的穩定性。
GenAI加速卡搭載的Hailo-10架構,使得GenAI功能可以輕鬆融入個人電腦、智能車輛和商用機器人等邊緣設備。在功耗低於5瓦的情況下,能以每秒10個標記(TPS)運行流行的GenAI平台Llama2-7B。處理生成圖像模型Stable Diffusion 2.1時,GenAI加速卡每張圖像的處理時間不超過5秒,同時保持超低的功耗水平。
性能方面,GenAI加速卡能夠達到40 TOPS(每秒萬億次操作),創立了邊緣AI加速卡的新標準。相比集成神經處理單元(NPU),GenAI加速卡的速度更快,節能效果更佳,性能至少是Intel Core Ultra NPU的兩倍,而功耗則僅為後者的一半。
GenAI加速卡將主要應用於個人電腦和汽車資訊娛樂系統,提升現有聊天機器人、個人助手和語音操作系統的GenAI能力。預計三泰科技將於2024年開始提供GenAI加速卡樣品。
三泰科技成立於1986年,從1995年發表全球第一片單晶片RS-232串列卡以來,目前已有17顆自有晶片,並為全球銷售第一的串列(RS-232/422/485)卡供應商。專注於『商業通訊』領域超過30年,在台灣設有研發中心,並積極朝向AI人工智慧、物聯網、車用通訊(電動車)應用發展。三泰人力行環保與公益,如同企業的標語:串連美麗新世界~
【SUNIX】SUNIX在台北電腦展獨家展出Hailo最新生成式GenAI加速卡
SUNIX三泰科技在2024 Computex 台北國際電腦展中,展示GenAI生成式AI產品,搭載最新Hailo-10H AI晶片的M.2 Key M ET加速模組。這款模組每秒可達40 TOPS運算,提供高效能的生成式AI處理,包括大型語言模型,並顯著減輕CPU/GPU負荷。其低功耗特性(典型值小於3.5W)和卓越的能源效率,使其能夠在PC、智能汽車等邊緣設備上實現實時、低延遲的AI推理。該模組具有出色的成本效益,支持多模型同時處理和先進的深度學習應用,並且兼容多種AI框架如TensorFlow和PyTorch。Hailo-10H模組的高擴展性和快速上市能力,讓企業能夠迅速部署生成式AI解決方案,全面提升AI應用效能和效率。
最新一代的邊緣人工智慧(AI)加速卡GenAI應用產品系列,不僅支援多種應用,同時保持了三泰科技在性價比和能效比方面的領先地位。這款加速卡採用與AIEH系列 AI加速卡相同的軟體套件,使得AI功能能夠在各種邊緣設備和平台上實現無縫整合。 GenAI部署在邊緣設備上,無需依賴穩定的網路連線,這意味著用戶可以持續使用GenAI服務,同時增強了隱私保護。GenAI加速卡通過降低對雲端數據中心的依賴,保證了持續運作的穩定性。
GenAI加速卡搭載的Hailo-10架構,使得GenAI功能可以輕鬆融入個人電腦、智能車輛和商用機器人等邊緣設備。在功耗低於5瓦的情況下,能以每秒10個標記(TPS)運行流行的GenAI平台Llama2-7B。處理生成圖像模型Stable Diffusion 2.1時,GenAI加速卡每張圖像的處理時間不超過5秒,同時保持超低的功耗水平。
性能方面,GenAI加速卡能夠達到40 TOPS(每秒萬億次操作),創立了邊緣AI加速卡的新標準。相比集成神經處理單元(NPU),GenAI加速卡的速度更快,節能效果更佳,性能至少是Intel Core Ultra NPU的兩倍,而功耗則僅為後者的一半。
GenAI加速卡將主要應用於個人電腦和汽車資訊娛樂系統,提升現有聊天機器人、個人助手和語音操作系統的GenAI能力。預計三泰科技將於2024年開始提供GenAI加速卡樣品。