大型語言模型 (LLMs) 在生成式AI中迅速發(fā)展，通過轉(zhuǎn)變數(shù)據(jù)組織、檢索和分析，徹底改變企業(yè)知識(shí)管理方式。LLM微調(diào)增強(qiáng)了特定任務(wù)或領(lǐng)域，研華邊緣人工智能服務(wù)器解決方案通過1-4個(gè)GPU卡、AI SSD和開發(fā)工具包提供支持，使企業(yè)能夠經(jīng)濟(jì)高效地進(jìn)行LLMs的訓(xùn)練，同時(shí)在邊緣處理以保證敏感數(shù)據(jù)的安全。

研華本地大型語言模型邊緣AI服務(wù)器AIR-520專為企業(yè)和獨(dú)立軟件開發(fā)商設(shè)計(jì)，實(shí)施和微調(diào)內(nèi)部部署的大語言模型，預(yù)先保護(hù)敏感數(shù)據(jù)安全，同時(shí)對(duì)于獨(dú)立軟件供應(yīng)商來說，可以節(jié)省云計(jì)算成本提供更多的解決方案和服務(wù)。

首先，本款A(yù)I系統(tǒng)可支持新款Llama-3 70B和10+型號(hào)，并內(nèi)置了fine-tuning GUI和開發(fā)工具包，以此達(dá)到提前預(yù)備部署；其次，創(chuàng)新型混合GenAI解決方案，可在同一服務(wù)器上對(duì)LLM進(jìn)行微調(diào)和推理，使得效率最大化；再次，本地微調(diào)可保護(hù)您寶貴的專利知識(shí)，在無網(wǎng)情況下保持優(yōu)勢(shì)，保護(hù)客戶的技術(shù)安全；

在滿足以上優(yōu)勢(shì)的同時(shí)，以傳統(tǒng)LLM訓(xùn)練服務(wù)器的1/10的投入，即可獲取同等收益。

目前該款產(chǎn)品常見于智慧醫(yī)療、智慧企業(yè)管理、智慧工廠、智慧政務(wù)等多應(yīng)用場(chǎng)景。例如，在醫(yī)療場(chǎng)景中，協(xié)助提供病例和報(bào)告分析；在企業(yè)中，協(xié)助公司進(jìn)行客戶分類管理、會(huì)議協(xié)助；在工廠生產(chǎn)過程中，監(jiān)控和診斷預(yù)警，優(yōu)化SOP流程維護(hù)及培訓(xùn)；24小時(shí)全天候在線的市民熱線機(jī)器人等等。

作為AI大模型一體機(jī)，本地大型語言模型(LLM)邊緣AI服務(wù)器AIR-520 ，是一款“硬件+軟件+服務(wù)”一體式的AIGC解決方案。集成了SQ ai100 AI SSD、NVIDIA RTX GPU卡、Edge AI SDK和NVAIE，可實(shí)現(xiàn)強(qiáng)大的微調(diào)和推理能力，幫助客戶實(shí)現(xiàn)私有化部署。