研華邊緣AI平臺測試DeepSeek蒸餾版模型數據大公開!
隨著Deepseek大模型的橫空出世,預計對整個工業領域會產生顛覆性的影響力,尤其針對邊緣部署部分獨創動態剪枝與量化技術,DeepSeek大模型支持在邊緣設備低功耗運行(最低適配5 TOPS算力硬件),推理速度能夠提升3倍。 研華選擇了多款基于英偉達技術的邊緣AI產品,針對目前DeepSeek-R1 系列的不同蒸餾模型進行測試,下面讓我們來看下最新測試數據! 微型邊緣端推理應用 算力100 TOPS 推薦型號: 基于ARM平臺AI Box:ICAM-540 /MIC-711 / MIC-713 支持DeepSeek-R1蒸餾模型版本: ☑ DeepSeek-R1-Distill-Qwen-1.5B ☑?DeepSeek-R1-Distill-Qwen-7B ☑?DeepSeek-R1-Distill-Llama-8B