点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:算法自动“划重点”AI学会“抱佛脚”
首页> 科普频道> 科普头条 > 正文

算法自动“划重点”AI学会“抱佛脚”

来源:中国科学报2021-11-24 08:59

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  预训练模型的兴起给自然语言处理(NLP)带来了“新面貌”。

  近年来,Google、Facebook、OpenAI、微软、百度等人工智能“头部玩家”推出多个颇具影响的预训练模型,并反复迭代出十多个版本。无论学术界还是业界,人们对大规模预训练模型“热情高涨”。

  日前,来自清华大学的一支研究团队提出一种简单高效的NLP学习框架。不同于当下NLP社区主流的“大规模预训练+下游任务微调”的范式,这一框架无需进行大规模预训练,同时将训练效率提升两个数量级,并在多个NLP任务上,实现了比肩甚至超出预训练模型的性能。近日,相关研究以预印本形式,在arXiv上发表。

  预训练模型的“内功”

  预训练模型在自然语言处理领域蓬勃发展,近年来在多个子方向取得了颠覆性的成果。

  “自然语言处理的‘预训练’过程,就像武侠小说中,练武之人的‘修炼内功’。”上海对外经贸大学副研究员邵浩说,“一个人要成为武林高手,需要有扎实的“内功”,内功修炼好之后,再去学各种招式就非常容易上手,并能发挥其最大效用。”

  随着深度学习的发展,模型参数显著增长,从而需要越来越大的数据集,用于充分训练模型参数。然而,因大部分NLP任务的标注成本极为高昂,尤其是句法和语义相关的任务,构建大规模标注数据集尤为困难。

  相比较而言,大规模无标注数据集相对易于构建。为更好地利用海量无标签文本数据,常规的做法是首先从这些数据中学到较好的文本表示,然后再将其用于其他任务。许多研究表明,在大规模无标注语料中训练的预训练语言模型,可以使多方面NLP任务获得显著的性能提升。

  通过海量无标注语料来预训练神经网络模型,可以让人工智能更利于下游NLP任务的完成。预训练模型的作者已经设计出了基准模型,这样,使用者就可以在自己的NLP数据集上应用该模型,而无需从头开始构建模型来解决类似的问题。尽管后续过程需要进行一些微调,但这为人们节省了大量的时间和计算资源。

  2018年,无监督的双向预训练语言模型ELMo被提出,这种上下文相关的文本表示方法在多个典型任务上表现惊艳,能有效处理一词多义问题。紧随其后,GPT,BERT等预训练语言模型相继被提出,预训练模型技术开始在NLP领域大放异彩,并在各种下游任务中遍地开花。

  任务驱动模型出场

  “预训练语言模型因其强大的性能被广泛关注,基于‘预训练—微调’的范式也成为许多NLP任务的标准方法。”清华大学交叉信息研究院助理教授、RecurrentAI联合创始人杨植麟对《中国科学报》说,“然而,当前通用语言模型的预训练成本极其高昂,这使得只有少数资源充足的研究机构或组织能够对其展开探索。”

  为解决上述问题,杨植麟团队提出的一种完全不需要预训练语言模型的高效学习框架。这一框架从通用语料中筛选出与下游任务相关的子集,并将语言建模任务与下游任务进行联合训练。

  该论文第一作者、清华大学计算机科学实验班(姚班)大四本科生姚星丞介绍说,提出任务驱动的语言模型的想法源于一个基本的观察:人类可以通过对关键信息的学习,在有限的时间和精力投入情况下,快速掌握某一任务技能。例如,在临近考试时,学生仅根据考纲复习浏览若干相关章节的要点即可应对考试,而不必学习所有可能的知识点。与之类似,预训练语言模型在某一下游任务上的优良表现,“很有可能因为来自于语料中与下游任务相关的数据”。

  基于这一判断,该团队提出任务驱动的语言模型(TLM),它仅利用从大规模通用语料中提取的少量与下游任务相关的数据,就可以取得与全量数据类似的结果。

  “相较于传统的预训练模型RoBERTa(基于BERT的改进模型,使用更大的批次和更多的数据对模型进行更长的训练),TLM仅需要约1%的训练时间与1%的语料,即可在众多NLP任务上,表现出比肩甚至超出预训练模型的性能。”姚星丞说,“我们目前也正在尝试将任务驱动的方法推广到更大规模的模型上,如GPT-3或T5。”

  跳出预训练范式

  为了从大规模通用语料中抽取关键数据,TLM以任务数据作为查询对象,用基于稀疏特征的BM25算法作为召回算法,对通用语料库进行相似数据的召回。

  “除已有的下游任务数据以外,其余的语料均通过BM25算法进行相似性匹配而自动筛选,不需要人工做额外的选择与标记。”姚星丞说。“TLM基于任务数据和召回数据,同时优化任务目标和语言建模目标,从零开始进行联合训练。”

  为了测试TLM的性能,研究人员在8项NLP分类任务上,从三个不同规模展开了对比实验。这8项任务涵盖了计算机科学、生物医药、新闻、评论等4个领域,包括了训练样本数量小于5000的低资源任务和训练样本数量大于20000的高资源任务,任务类型覆盖了话题分类,情感分类,实体关系抽取等。

  测试结果显示,和对应“预训练—微调”基准相比,TLM实现了相当甚至更优的性能。平均而言,TLM减少了两个数量级规模的训练计算量以及训练语料的规模。整体来说,预训练模型以极高的成本学习尽可能多的,和任务无关的知识,而TLM以非常低的成本,针对每个任务学习相关知识。

  “当我们有少数特定目标的任务需要解决的时候(例如希望对少量几个数据集进行研究),TLM会是非常高效的。”姚星丞说,“而需要一次性解决大量任务时(例如工业界构建一个NLP平台为多方提供相似的服务),预训练模型仍然具有优势。”

  此外,TLM是任务驱动的,所以可以给研究人员更大的自由度,从而自定义策略进行标记、序列长度、数据表示、超参数的调整等等,从而达到提高性能和效率的目的。

  “TLM的提出,让NLP研究跳脱出‘预训练—微调’范式成为可能,这有利于推动NLP研究公平化。”杨植麟解释说,预训练本身严重依赖大量的计算资源,这一限制使大多数NLP研究者只能专注于对微调算法的研究。然而微调算法的性能上限,很大程度上受预训练模型性能的约束。而TLM可以让大多数研究人员可以以较低的代价和较高的效率,基于最先进的解决方案对模型架构、损失函数、算法等方面进一步自由探索。

  杨植麟认为,未来会有更多有趣的研究可以在TLM的基础上展开。例如,如何经济地达到更大规模预训练模型的表现效果;如何提升TLM的通用性与可迁移性;可否利用TLM进行小样本或零样本学习等。此外,还可以将预训练模型和TLM结合,从而在通用性和效率之间实现更好的权衡。(张双虎)

  相关论文信息:https://arxiv.org/pdf/2111.04130.pdf

  项目地址:https://github.com/yaoxingcheng/TLM

[ 责编:赵清建 ]
阅读剩余全文(

相关阅读

您此时的心情

光明云投
新闻表情排行 /
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 地质灾害防治·北京在行动

  • 庆祝香港回归祖国28周年活动在维园举行

独家策划

推荐阅读
近日,四川乐山一小伙感觉身体不适独自乘出租车前往医院就诊,途中开启“超强自救”模式:联系妈妈告知情况、打110报警求助、打120告知医院准备急救。如果长期处于焦虑引起的躯体化障碍状态,患者会反复出现头痛、心慌、呼吸急促、胃肠紊乱、肢体疼痛、睡眠问题等。
2025-07-02 10:06
使用人工智能大模型时,不少人或许都遇到过类似问题:它们有时会捏造细节,甚至“一本正经地胡说八道”。当“喂给”大模型的训练数据包含虚假信息时,它就会产生“幻觉”、给出错误答案。
2025-07-02 10:05
中国国际航空公司所属的国产C909客机平稳降落在蒙古国乌兰巴托成吉思汗国际机场,标志着国航首条C909国际航线正式开通。早8时许,这架C909客机从呼和浩特起飞,经过1个多小时飞行抵达乌兰巴托。
2025-07-02 10:03
农业是国民经济的基础,农业领域形成新质生产力是国民经济形成和发展新质生产力的基础和“底盘”。 农业新质生产力是通过提升劳动者素质、优化劳动资料和创新利用劳动对象,实现全要素生产率的显著提高。
2025-07-02 10:01
团队基于卫星遥感数据构建了1988年至2021年青藏高原30米分辨率人工草地数据集,明确了青藏高原主要的人工草地类型及其时空分布特征,并揭示了青藏高原人工草地的迅速扩张及其驱动机制。
2025-07-02 09:59
屠光绍认为,金融机构在应用人工智能时必须在服务投资人与消费者之间寻求平衡,避免AI鸿沟,坚守金融服务大众的初心。鲍建敏倡导构建产学研深度融合、开放共赢的人工智能金融生态体系,搭建跨机构、跨领域的协同创新平台。
2025-07-01 10:13
6月30日,2025温布尔登网球锦标赛在英国伦敦拉开大幕,引发球迷关注。在草地球场,球的速度更快且弹跳不规则,比赛回合较短,发球就成为球员们的重要“武器”。红土球场并不是天然土壤,而是分层分布着碎砖粉、白色碎石灰石、碎石等。
2025-07-01 10:09
7月1日起,医保定点医药机构在销售药品时,必须按要求扫药品追溯码后方可进行医保基金结算;2026年1月1日起,所有医药机构都要实现药品追溯码全量采集上传。步,进入国家医保局微信公众号主页,点击服务、药品追溯信息查询,进入查询页面;或进入国家医保局微信公众号消息对话页,点击医保服务、药品追溯信息查询,进入查询页面。
2025-07-01 10:09
记者从国家航天局获悉,7月1日,该局发布行星探测工程天问二号探测器在轨获取的地月影像图。(国家航天局供图)  月球全色图,由天问二号探测器的窄视场导航敏感器于2025年5月30日15时拍摄,经辐射校正处理后制作而成。
2025-07-01 10:08
龙芯中科近日正式发布基于国产自主指令集龙架构研发的服务器处理器龙芯3C6000系列芯片、工控领域及移动终端处理器龙芯2K3000/3B6000M芯片以及相关整机和解决方案。
2025-07-01 10:06
四大家鱼,即青鱼、草鱼、鲢鱼、鳙鱼,是我国重要的经济鱼类,占淡水鱼类养殖总量的“半壁江山”,尤以长江流域所产鱼品质最优。但人工养殖久了,鱼类品质逐渐下降,需要捕捞野生鱼种来更换,确保鱼类种质“基因库”稳定。
2025-06-30 04:50
FAST如今每天观测时长接近24小时,每年总观测时长超过5300小时,持续不断地为科学家提供宝贵的数据。
2025-06-30 09:52
华南农业大学积极探索应用大数据、人工智能等技术加速育种创新,“华航香银针”就是创新成果之一。
2025-06-30 09:51
在近日落下帷幕的第十五届全国周培源大学生力学竞赛中,一位特殊的“考生”吸引了人们目光。
2025-06-30 09:51
6月29日,在海南文昌卫星超级工厂项目建设现场,各方正全力以赴加快工厂投产进程。
2025-06-30 09:51
作为一所工科见长的大学,近年来,山东科技大学涌现出一批热衷文化艺术的学生:材料学院研究生庄英赞受邀参加《声声入戏——中央广播电视总台首届京剧票友大会》节目;
2025-06-30 04:50
今年“三夏”生产,该农场配备无人驾驶系统的收割机和拖拉机、气吸播种机、精准水肥轮灌系统、自动巡田无人机等智能化装备大显身手。
2025-06-27 10:25
6月24日,国家重大科研仪器研制项目“2.5米大视场高分辨率太阳望远镜”(WeHoST)在四川稻城启动建设配套项目,预计2027年望远镜完成装调并投入试运行。
2025-06-27 10:24
古生物研究表明,包括早期犬齿兽在内的一些远古动物,脑袋为一个没有左右脑半球区分的整体,而现生哺乳动物和典型的进步颌兽类则有左右两个脑半球。
2025-06-27 10:18
6月26日21时29分,经过约6.5小时的出舱活动,神舟二十号乘组航天员陈冬、陈中瑞、王杰密切协同,在空间站机械臂和地面科研人员的配合支持下,圆满完成既定任务。
2025-06-27 10:17
加载更多