点击右上角微信好友

朋友圈

请使用浏览器分享功能进行分享

正在阅读:算法自动“划重点”AI学会“抱佛脚”
首页> 科普频道> 科普头条 > 正文

算法自动“划重点”AI学会“抱佛脚”

来源:中国科学报2021-11-24 08:59

调查问题加载中,请稍候。
若长时间无响应,请刷新本页面

  预训练模型的兴起给自然语言处理(NLP)带来了“新面貌”。

  近年来,Google、Facebook、OpenAI、微软、百度等人工智能“头部玩家”推出多个颇具影响的预训练模型,并反复迭代出十多个版本。无论学术界还是业界,人们对大规模预训练模型“热情高涨”。

  日前,来自清华大学的一支研究团队提出一种简单高效的NLP学习框架。不同于当下NLP社区主流的“大规模预训练+下游任务微调”的范式,这一框架无需进行大规模预训练,同时将训练效率提升两个数量级,并在多个NLP任务上,实现了比肩甚至超出预训练模型的性能。近日,相关研究以预印本形式,在arXiv上发表。

  预训练模型的“内功”

  预训练模型在自然语言处理领域蓬勃发展,近年来在多个子方向取得了颠覆性的成果。

  “自然语言处理的‘预训练’过程,就像武侠小说中,练武之人的‘修炼内功’。”上海对外经贸大学副研究员邵浩说,“一个人要成为武林高手,需要有扎实的“内功”,内功修炼好之后,再去学各种招式就非常容易上手,并能发挥其最大效用。”

  随着深度学习的发展,模型参数显著增长,从而需要越来越大的数据集,用于充分训练模型参数。然而,因大部分NLP任务的标注成本极为高昂,尤其是句法和语义相关的任务,构建大规模标注数据集尤为困难。

  相比较而言,大规模无标注数据集相对易于构建。为更好地利用海量无标签文本数据,常规的做法是首先从这些数据中学到较好的文本表示,然后再将其用于其他任务。许多研究表明,在大规模无标注语料中训练的预训练语言模型,可以使多方面NLP任务获得显著的性能提升。

  通过海量无标注语料来预训练神经网络模型,可以让人工智能更利于下游NLP任务的完成。预训练模型的作者已经设计出了基准模型,这样,使用者就可以在自己的NLP数据集上应用该模型,而无需从头开始构建模型来解决类似的问题。尽管后续过程需要进行一些微调,但这为人们节省了大量的时间和计算资源。

  2018年,无监督的双向预训练语言模型ELMo被提出,这种上下文相关的文本表示方法在多个典型任务上表现惊艳,能有效处理一词多义问题。紧随其后,GPT,BERT等预训练语言模型相继被提出,预训练模型技术开始在NLP领域大放异彩,并在各种下游任务中遍地开花。

  任务驱动模型出场

  “预训练语言模型因其强大的性能被广泛关注,基于‘预训练—微调’的范式也成为许多NLP任务的标准方法。”清华大学交叉信息研究院助理教授、RecurrentAI联合创始人杨植麟对《中国科学报》说,“然而,当前通用语言模型的预训练成本极其高昂,这使得只有少数资源充足的研究机构或组织能够对其展开探索。”

  为解决上述问题,杨植麟团队提出的一种完全不需要预训练语言模型的高效学习框架。这一框架从通用语料中筛选出与下游任务相关的子集,并将语言建模任务与下游任务进行联合训练。

  该论文第一作者、清华大学计算机科学实验班(姚班)大四本科生姚星丞介绍说,提出任务驱动的语言模型的想法源于一个基本的观察:人类可以通过对关键信息的学习,在有限的时间和精力投入情况下,快速掌握某一任务技能。例如,在临近考试时,学生仅根据考纲复习浏览若干相关章节的要点即可应对考试,而不必学习所有可能的知识点。与之类似,预训练语言模型在某一下游任务上的优良表现,“很有可能因为来自于语料中与下游任务相关的数据”。

  基于这一判断,该团队提出任务驱动的语言模型(TLM),它仅利用从大规模通用语料中提取的少量与下游任务相关的数据,就可以取得与全量数据类似的结果。

  “相较于传统的预训练模型RoBERTa(基于BERT的改进模型,使用更大的批次和更多的数据对模型进行更长的训练),TLM仅需要约1%的训练时间与1%的语料,即可在众多NLP任务上,表现出比肩甚至超出预训练模型的性能。”姚星丞说,“我们目前也正在尝试将任务驱动的方法推广到更大规模的模型上,如GPT-3或T5。”

  跳出预训练范式

  为了从大规模通用语料中抽取关键数据,TLM以任务数据作为查询对象,用基于稀疏特征的BM25算法作为召回算法,对通用语料库进行相似数据的召回。

  “除已有的下游任务数据以外,其余的语料均通过BM25算法进行相似性匹配而自动筛选,不需要人工做额外的选择与标记。”姚星丞说。“TLM基于任务数据和召回数据,同时优化任务目标和语言建模目标,从零开始进行联合训练。”

  为了测试TLM的性能,研究人员在8项NLP分类任务上,从三个不同规模展开了对比实验。这8项任务涵盖了计算机科学、生物医药、新闻、评论等4个领域,包括了训练样本数量小于5000的低资源任务和训练样本数量大于20000的高资源任务,任务类型覆盖了话题分类,情感分类,实体关系抽取等。

  测试结果显示,和对应“预训练—微调”基准相比,TLM实现了相当甚至更优的性能。平均而言,TLM减少了两个数量级规模的训练计算量以及训练语料的规模。整体来说,预训练模型以极高的成本学习尽可能多的,和任务无关的知识,而TLM以非常低的成本,针对每个任务学习相关知识。

  “当我们有少数特定目标的任务需要解决的时候(例如希望对少量几个数据集进行研究),TLM会是非常高效的。”姚星丞说,“而需要一次性解决大量任务时(例如工业界构建一个NLP平台为多方提供相似的服务),预训练模型仍然具有优势。”

  此外,TLM是任务驱动的,所以可以给研究人员更大的自由度,从而自定义策略进行标记、序列长度、数据表示、超参数的调整等等,从而达到提高性能和效率的目的。

  “TLM的提出,让NLP研究跳脱出‘预训练—微调’范式成为可能,这有利于推动NLP研究公平化。”杨植麟解释说,预训练本身严重依赖大量的计算资源,这一限制使大多数NLP研究者只能专注于对微调算法的研究。然而微调算法的性能上限,很大程度上受预训练模型性能的约束。而TLM可以让大多数研究人员可以以较低的代价和较高的效率,基于最先进的解决方案对模型架构、损失函数、算法等方面进一步自由探索。

  杨植麟认为,未来会有更多有趣的研究可以在TLM的基础上展开。例如,如何经济地达到更大规模预训练模型的表现效果;如何提升TLM的通用性与可迁移性;可否利用TLM进行小样本或零样本学习等。此外,还可以将预训练模型和TLM结合,从而在通用性和效率之间实现更好的权衡。(张双虎)

  相关论文信息:https://arxiv.org/pdf/2111.04130.pdf

  项目地址:https://github.com/yaoxingcheng/TLM

[ 责编:赵清建 ]
阅读剩余全文()

相关阅读

您此时的心情

光明云投
新闻表情排行 日/周
  • 开心
     
    0
  • 难过
     
    0
  • 点赞
     
    0
  • 飘过
     
    0

视觉焦点

  • 三峡枢纽新通道首条500千伏线路迁改施工进入冲刺阶段

  • 中外专家学者在美共话斯诺精神遗产

独家策划

推荐阅读
今年“双11”,不少人的订单里多了一种看不见、摸不着的新东西:Token。81岁的图灵奖得主马丁·赫尔曼打了个有趣的比方:人类就像一个刚拿到驾照的人,不知怎么弄到了一辆500匹马力跑车。
2026-11-16 09:29
初冬时节,位于黄河岸边的河南开封前方园艺公司菊花销售依然火热,员工们忙着将一盆盆娇艳的观赏菊装上货车、送往开封市区各景点,将一包包新鲜的食用菊发往全国各地。
2026-11-16 04:50
14日,以“智能经济赋能·绿色引领未来——‘十五五’长江经济带高质量发展的新方位与新征程”为主题的第十一届长江经济带发展论坛在江苏南通举行。会上,南通大学江苏长江经济带研究院最新研究成果发布。
2026-11-16 04:50
11月18日至19日,亚太经合组织(APEC)第三十三次领导人非正式会议将在深圳举行。围绕“建设亚太共同体,促进共同繁荣”主题,聚焦“开放、创新、合作”三大优先领域,中国全年举办300多场APEC活动。
2026-11-16 04:50
14日,我国自主研制的10吨级电动商用飞机CE-25A在山东滨州完成首次有人驾驶智能飞行。飞机搭载2名飞行员、1名试飞工程师,飞行试验57分46秒,其中空中飞行16分38秒、60.4公里,飞机状态正常,各项指标符合预期。
2026-11-16 04:50
技能是劳动者的重要生产禀赋,是其嵌入生产过程、与生产工具协同的关键点。机械化、电气化和自动化催生了产业革命,建立起机器大生产与标准化流水线。在此情境下,对标准化设备的熟练操作成为劳动者的核心技能,“动手能力”成为技能人才的鲜明标签。
2026-11-13 09:55
由自然资源部、国家发展改革委联合印发的《关于“人工智能+自然资源”的实施意见》日前对外发布。《意见》旨在推动人工智能在自然资源领域规模化、产业化创新应用,服务国土空间规划“一张图”智能化升级。
2026-11-13 01:50
天津农业合成生物与生物智造科创园占地41.4亩,布局创新创业、中试、检验检测等七大功能板块,承担的是“从1到10”的成果转化职能。用谯仕彦自己的话说:“实验室实现‘从0到1’,工厂完成规模化制造,二者中间横亘着中试熟化、工程放大、市场验证等重重关口。这座科创园,就是一座跨越转化难关的桥梁。”
2026-11-13 01:50
知识的创新、传播与应用彼此关联,却承担不同的认知任务。把已有道理向更多人讲清楚,可以扩大知识的社会影响;提出此前尚未形成的科学解释,则可能改变人们对世界的认识。评判人工智能在知识生产中的作用,应区分知识传递的效率与知识创新的增量,并考察其在不同知识活动中承担的任务。
2026-11-13 02:20
该井位于渤海中部海域,紧邻渤海最大的富烃凹陷—渤中凹陷,在火山岩地层中累计钻遇超120米天然气层,完钻井深5770米。经测试,该井日产天然气约80万立方米(约2800万立方英尺),展现了海上超深层火山岩领域广阔的勘探前景,有力推动了渤中凹陷天然气勘探进程。
2026-11-13 02:20
绿色算力既是数字基础设施建设的重要方向,也是清洁能源优势转化为发展动能的现实路径。当前,人工智能技术加快迭代,算力在科技创新和产业升级中的基础作用日益凸显,持续增长的计算需求对电力保障能力和能源利用效率提出了更高要求。
2026-11-12 01:30
把两根绳子接起来量一量,总长就出来了,不必先把两段长度换算成数字再相加。模拟计算走的是这条路:不把问题拆成一条条指令,而是让物理规律直接给出结果。北京大学人工智能研究院孙仲团队牵头,联合意大利米兰理工大学、IBM苏黎世研究院和美国一家公司的研究人员,为正在升温的模拟计算研究提出“现代模拟计算”统一框架。相关论文于近日发表。
2026-11-12 01:30
眼下,重庆市彭水苗族土家族自治县的红薯正值采挖时节,一辆辆轻型卡车在通往种植基地的“产业路”上穿梭,将收获的鲜薯运送到县工业园的重庆乐薯农业有限公司,经过严格的品质检测、清洁和一系列加工程序后,便成了人们常见的红薯淀粉。
2026-11-12 02:05
11月10日,记者从山东省泰安市人民政府新闻办举行的发布会获悉,泰安将科学有序、免费开放部分泰山景区等场地,为国内外机器人企业、科研机构提供实景训练测试条件,同时统筹做好场景供需对接、数据算力支撑、落地服务保障等,推动泰安新型工业化强市建设。
2026-11-12 02:05
当前,全球新一轮科技革命和产业变革加速演进,以生成式人工智能为代表的通用目的技术正从生产端加速向消费端传导。餐饮住宿、文旅出行、养老照护、教育培训、家政美容等服务消费,直接关系到千家万户的日常生活品质。推动人工智能在服务领域深度应用,让前沿技术成果惠及更多消费者,已成为各国促进消费、提升服务业竞争力的共同关注点。
2026-11-12 02:15
全透明光伏发电玻璃可使玻璃幕墙建筑成为分布式光伏电站;新一代柔性太阳能电池阵,能为中国空间站提供电力保障。下一步,我们要高水平推进“中国碳谷”建设,形成创新合力,打通基础研究、技术攻关、产业孵化和品牌塑造全链条。
2026-11-11 09:27
国家卫生健康委、国家医保局、国家中医药局、国家疾控局共同制定印发《关于进一步做好创新药安全合理配备使用工作的通知》,满足群众多元化用药需求,提高疾病治疗效果,保障医疗质量安全。
2026-11-11 01:45
培育和发展新质生产力急需高质量创新人才。高校的独特之处,在于教育、科技、人才要素集聚,它处在科技第一生产力、人才第一资源、创新第一动力的结合点上,也承担着将三者统合起来的制度功能。
2026-11-11 01:45
与其说是AI解出了难题,不如说是人类在AI的协助下拓展了边界。这带来的不仅是解题速度的提升,更是一场深刻的科研范式之变。
2026-11-11 01:45
主动对接国家西部战略和甘肃现代产业体系建设
2026-11-11 01:45
加载更多