向电脑机器里上传一幅“有一只小熊玩偶和一堆积木”的图画，询问机器：“积木在小熊的哪边？”机器快速做出回答：“积木在小熊的左边。”——这是预训练模型“文汇”的典型应用案例。

　　近日，北京智源人工智能研究院（以下简称智源研究院）发布面向认知的超大规模新型预训练模型“文汇”，旨在探索解决当前大规模自监督预训练模型不具有认知能力的问题。这一项目由智源研究院发起的“悟道”攻关团队完成，团队成员包括来自智源研究院、阿里巴巴、清华大学、中国人民大学、中国科学院、搜狗、智谱·AI、循环智能等单位的科研骨干。

　　“‘文汇’模型有针对性地设计了多任务预训练的方法，可以同时学习‘文到文、图到文以及图文到文’等多项任务，实现对多个不同模态的概念理解。”智源研究院院长、北京大学信息技术学院教授黄铁军介绍说。

　　让机器理解自然语言

　　OpenAI是由美国硅谷诸多科技公司负责人联合建立的人工智能非营利组织，其主要目标包括制造“通用”机器人和使用自然语言的聊天机器人等。

　　在现实世界里，人与人之间交流用的是自然语言。所谓自然语言，通常是指一种自然地随文化演化的语言，例如汉语、英语、日语等。

　　自然语言是人类智慧的结晶，也是人类交流和思维的主要工具。但要让机器也像人一样自由地用自然语言交流，却是非常困难的事。这要求机器像人类一样认识现实世界，像人类一样学会思考。但是，显然目前的机器还无法做到。

　　人工智能在发展进程中，正好遇到自然语言处理这只“拦路虎”。可以说，自然语言处理是人工智能中最为困难的问题之一。

　　人类的知识学习与积累是一个复杂且长期的过程。青少年时期，人们不仅主动语文、数学、物理等知识，还通过游戏、生活等经历在大脑中不断积攒知识。长大后，人类操作计算机时，会利用此前的知识背景，同时融合新的知识体系。而一个毫无知识储备的人，则很难理解这一切。

　　受此启发，研究人员为人工智能建立“预训练模型”，模仿人类学习积累的过程。当自然语言处理的知识储备逐渐增多，人工智能也随之更加智能，帮助科学家更好地开展任务处理。

　　2020年5月，OpenAI发布了迄今为止全球规模最大的预训练模型GPT-3。从此，超大规模预训练模型就成为人工智能领域研究的热点。今年1月初，OpenAI又发布了DALL·E和CLIP两个大规模预训练模型，用于文本与图像链接处理。

　　据智源研究院学术副院长、清华大学计算机系教授唐杰介绍，此次发布的“文汇”模型，与DALL·E和CLIP这两个预训练模型类似，参数规模达113亿，仅次于DALL·E模型的120亿参数量，是目前我国规模最大的预训练模型，且已实现与国际领先预训练技术的并跑。

　　破解机器常识认知难题

　　近年来，OpenAI、谷歌、脸书等国际IT公司，都在持续推动大规模预训练模型的快速发展。

　　但唐杰指出，虽然GPT-3模型在多项任务中表现出色，却存在没有常识、不具有认知能力等问题。例如，如果向GPT-3模型提问：“长颈鹿有几只眼睛？”它的答案是：“两只眼睛。”此时，如果再继续提问：“我的脚有几只眼睛？”GPT-3的回答恐怕就不那么尽如人意，因为答案依然是“两只眼睛”。

　　“这就不符合人类常识。”唐杰表示，GPT-3等超大型预训练模型在处理复杂的认知推理任务时，例如开放对话、基于知识的问答、可控文本生成等，结果仍然与人类智能有较大差距。

　　为推动研发我国自主的大规模预训练模型，解决目前国际主流模型存在的问题，2020年10月，智源研究院启动了新型超大规模预训练模型研发项目“悟道”。

　　黄铁军介绍说，智源研究院是北京市成立的一个新型研发机构，旨在支持科学家勇闯人工智能科技前沿“无人区”，挑战最基础的问题和最关键的难题，推动人工智能理论、方法、工具、系统和应用取得变革性、颠覆性突破。

　　此次发布的面向认知的超大规模新型预训练模型“文汇”，是“悟道”项目的一期研发成果，用于自动生成图片、文字以及视频，具有初级认知能力。同时，“文汇”模型有针对性地设计了多任务预训练的方法，可以同时学习“文到文、图到文以及图文到文”等多项任务，实现对多个不同模态的概念理解。

　　“经过预训练的‘文汇’模型，不需要进行微调就可以完成‘用图生文’等任务；对模型进行微调则可以灵活地接入视觉问答、视觉推理等任务。”黄铁军解释说。

　　唐杰也表示，“文汇”模型不仅使用数据驱动的方法来建构预训练模型，还将用户行为、常识及认知联系起来，主动“学习”与创造。本次发布的“文汇”模型可以完成“用图生文”等任务，具有一定的认知能力。

　　据介绍，目前OpenAI也在研发更大规模的预训练模型GPT-4参数。唐杰认为，未来，GPT-4参数又会增大至少10倍，而且处理的数据将会更加多模态，能够处理文字、图像、视觉、声音等。

　　可完成多种图文生成任务

　　据介绍，“文汇”作为面向认知的大规模预训练模型，研究人员在研发过程中，提出了针对多模态认知生成的大规模预训练的架构。

　　对于上传图像的处理，研究人员进行了切块并对块提取特征的处理。这些特征以及对应的位置编码，可以让图像和文本组合在一起送入模型，从而实现对图像的理解。这让“文汇”模型能够完成多种图文生成任务。

　　打个比方，如果研究人员将一张身着旗袍女子的照片上传给“文汇”，在商场场景下，“文汇”微调参数后模型将给出如下描述：“旗袍是一种古典的服饰，它能够彰显出女性的优雅、知性和美丽。这款旗袍采用了经典的圆领设计，穿着舒适自在；精致的刺绣工艺，展现出华贵和大气……”而如果上传一张建筑图像，同时配上提示“走进平定县宋家庄村，映入眼帘的是”，“文汇”模型将给出相应描述：“一座座古色古香的明清建筑，这里有着深厚的历史文化底蕴和独特的民俗风情。走进村子，就像走进了一个童话故事里的世外桃源……”

　　“文汇”可谓“望图生义”，这显示了“文汇”模型在常识认知和“用图生文”方面的强大功能。

　　不仅如此，目前，“文汇”模型已有四个样例应用可用于展示模型效果，包括基于上传图片的开放域问答、用语言操作数据可视化、基于预训练语言模型的诗词创作应用、可控人设的开放域问答等。

　　唐杰表示，现在“悟道”项目研究团队正在视觉等更广泛的范围内，对大规模自监督预训练方法开展探索研究，已经启动了四类大规模预训练模型研制，包括“文源”（以中文为核心的超大规模预训练语言模型）、“文汇”（面向认知的超大规模新型预训练模型）、“文澜”（超大规模多模态预训练模型）和“文溯”（超大规模蛋白质序列预训练模型）。

　　而在2020年11月14日，智源研究院已发布了“文源”（以中文为核心的超大规模预训练语言模型）第一阶段26亿参数规模的中文语言模型。

　　黄铁军表示，下一步智源研究院将联合优势单位加快四类大规模预训练模型的研发进度，特别是“文汇”模型，未来将着力在多语言、多模态条件下，提升完成开放对话、基于知识的问答、可控文本生成等复杂认知推理任务的能力，使其更加接近人类水平。（郑金武）