OPPO/MTK共建大模型端侧部署 小布助手迎来新生

PChome | 编辑: 薛屾 2023-10-11 12:19:01原创

OPPO官方宣布已经与联发科技达成合作,双方将共建轻量化大模型端侧部署方案,共同推动AndesGPT大语言模型和多模态大模型在端侧逐步落地。

OPPO官方宣布已经与联发科技达成合作,双方将共建轻量化大模型端侧部署方案,通过采用4位量化技术,实现精度不掉点效果下端侧化性能更优,共同推动AndesGPT大语言模型和多模态大模型在端侧逐步落地。

OPPO小布助手将基于AndesGPT大模型提供全新的体验,OPPO方面已经开启了全新小布助手的公测。据OPPO方面透露,全新小布助手进行了内核级升级,为用户带来更智能的体验。在知识与问答方面,通过引入高质量的知识图谱、QA问答数,并结合对预训练和指令精调技术的优化,显著提升了大语言模型知识与百科能力的覆盖面和准确性。

AndesGPT作为OPPO自主训练的生成式用户专属大模型,以“端云协同”为基础架构设计思路,推出从10亿至千亿多种不同参数规模的模型规格,实现在本地与云端协同运作的效果。

 

AndesGPT对大模型端侧推理引擎进行算子融合与优化,使得结果生成速度大于人类正常阅读速度,从而能更好满足用户需求。目前,AndesGPT 已经入选 C-Eval 全球中文榜单,并以 79.9 高分登该榜榜首。

今年9月,AndesGPT登上SuperCLUE榜单,在十大基础能力排行榜的“知识与百科”能力测试中得到98.33的高分,大幅度领先其他大模型,仅次于GPT4排名国内第一,并在“角色扮演能力”测试中排名前三。

OPPO早在2020年就启动了AI大模型相关技术的探索与实践,曾获得大规模知识图谱问答KgCLUE行业评测的第一名,中文自然语言理解CLUE第一名。未来,AndesGPT将持续加持OPPO智能助手小布的AI能力,为用户带来更好的使用体验,并逐步应用于更多OPPO核心产品中。

毫无疑问,大模型的端侧部署是所有手机品牌都要考虑的事情,但它与我们传统认知的大模型是有所区别的。大众消费者可能并不需要无所不能的AI大模型,而是需要小型化、能够在端侧部署、不需要联网就能用的大模型。OPPO所打造的AndesGPT正是针对端侧所打造的,在它的支持下,全新小布助手能够有多智能,11月6日的OPPO开发者大会中敬请期待。

相关阅读

每日精选

点击查看更多

首页 手机 数码相机 笔记本 游戏 DIY硬件 硬件外设 办公中心 数字家电 平板电脑