OPPO语音语义研究部融智团队提出的中文预训练大模型CHAOS ,在中文自然语言理解测评基准CLUE上登顶。
2022年11月9日,OPPO语音语义研究部融智团队提出的中文预训练大模型CHAOS ,在中文自然语言理解测评基准CLUE上登顶,以30亿参量同时刷新了CLUE总排行榜、CLUE分类任务排行榜和CLUE阅读理解排行榜的最好成绩。其中在“AFQMC,TNEWS,CSL,CHID1.1”4个赛道的成绩超过了人类识别精确准确度,总成绩距离超越人类表现仅差0.1。
汉语相比其它语言的复杂性更大,阅读理解有着更多的歧义性和多义性,比如在多音字方面就对AI阅读产生很大挑战,相同的书面表达形式,可能表达形式是完全不同的,因此对AI训练的算法要求很高。OPPO能够做到与人类相差无几的准确度,足以表明在该领域的技术实力。强大的语言理解能力,有助于OPPO手机的语音识别功能体验提升。
OPPO 中文预训练大模型CHAOS登顶CLUE
CHAOS所登顶的CLUE (Chinese Language Understanding Evaluation) 是中文自然语言理解最权威测评榜单之一,包含了文本分类、阅读理解、句间关系等众多语义分析和语义理解类子任务,旨在推动NLP(自然语言处理)训练模型技术的不断进步和突破,对学术界和工业界都产生了较大的影响。
与此同时,在业界首个大规模中文多模态评测基准MUGE上,该团队自主训练的中文多模态预训练模型也在综合“图文检索、看图说话、文本到图像生成”三个赛道的总成绩上位列总榜第一名。
OPPO中文多模态预训练模型登顶MUGE
MUGE(Multimodal Understanding and Generation Evaluation)是业界首个大规模中文多模态评测基准,由达摩院联合浙江大学、阿里云天池平台联合发布,中国计算机学会计算机视觉专委会(CCF-CV专委)协助推出,旨在帮助中文多模态研究人员全方位评估算法模型。
NLP(自然语言处理)技术是人工智能领域的一个核心研究方向,其目的是使得计算机具备人类的听、说、读、写等能力,并利用知识和常识进行推理和决策。而图文融合的多模态能力的建设,目前工作主要集中在建立图像模态和文本模态的联系,相关能力的构建能够广泛落地到搜索、推荐、服饰设计、智能文案等真实场景中。
OPPO语音语义研究部融智团队期望未来能融合多种智能,研发统一的基础模型。未来融智团队将在推进感知认知融合,更可控/可编辑的视觉生成,及促进工业化落地转化的模型小型化等方向上继续突破。
网友评论