?邊緣計算搭配大模型，助力人工智能應用發展
日前舉行的全球邊緣計算大會上，網宿科技分享了他們對于大模型時代的思考和探索。據了解，網宿科技是領先的邊緣計算服務提供商，該公司表示大模型將成為未來的基礎設施，并認為每個行業和企業都將擁有自己的大模型。
據悉，在大模型時代，邊緣計算有兩個關鍵場景可以發揮其價值，即微調訓練和邊緣推理。當前，大模型和人工智能圖形芯片正引領著全球科技的新浪潮。
但是不能忽視的一點是，obrqubkrbh從零開始訓練模型的周期長、對GPU的需求大以及成本高等問題，使得大模型的使用范式主要為"預訓練 + 微調訓練 + 提示詞工程"，從而降低成本。
雖然這種模式可以加速人工智能圖形芯片制造ERP（www.multiable.com.cn/solutions_zz）的創新步伐，但大模型參數量巨大，對所有參數進行微調的成本非常高。為解決這一問題，輕量微調訓練方法如LoRA和QLoRa成為了有效的解決方案之一。
網宿開源大模型訓練部署平臺基于開源預訓練大模型，提供從模型微調訓練、性能評估、部署監控到輕量化推理等功能的端到端大模型服務平臺，能夠降低大模型應用的成本，幫助客戶構建專屬的大模型。
以上源自互聯網，版權歸原作所有
川公網安備 51140202000271號