当前位置:首页 > 企业新闻
大发体育网官方网|Google开源最新NLP模型,能处理整本《罪与罚》
时间:2021-01-16 来源:大发体育网官方网|app下载 浏览量 68565 次

大发体育网官方网

大发体育网官方网|app下载-变压器是近年来非线性规划领域最受关注的模型之一。2017年,Google发表了一篇题为《关注是你需要的全部》的论文,明确提出了一个基于几乎关注机制的网络框架Transformer。2018年,谷歌开启了基于Transformer的BERT模型,成为NLP领域的一大火。

2019年,机器学习领域的下一个趋势之一是基于Transformer的自然语言模型的不断增长和传播。2020年,根据GLUE数据集在自然语言处理领域的排名,包括英伟达的威震天、谷歌的XLNet、微软的MT-DNN、Facebook的Roberta——在内的一些最佳机型都是基于Transformer的。最近谷歌发布了Transformer的“超”——Reformer。

【来源:VentureBeat车主:VentureBeat】比变压器效率高。对于人工智能和机器学习模型,无论是语言、音乐、语音还是视频,序列数据都很差。比如一个人或者一个物体在频繁出现之前很长时间从视频中消失,很多算法都不会忘记它的出现。

所以Google开发了机器翻译模型Transformer,希望能解决这个问题。Transformer是一种扩展到数千字的架构,大大提高了作曲、图像准备、逐句文本翻译、文档摘要的性能。与所有深度神经网络一样,Transformer在连接的层中包含神经元(数学函数),它可以从输出数据传输信号,并缓慢调整每个连接的神经元的强度(权重)。

这是所有人工智能模型提取特征和自学习预测的方式。但是,Transformer可以唯一地注意到,每个输入元素都与每个输出元素相关联,它们之间的权重基本上是动态计算的。但是,Transformer并不是终极——。

当它扩展到更大的环境时,就会明显显示出它的局限性。大窗口应用程序的内存平均从千兆字节到万亿字节,这意味着该模型不能吸收几段文本或分解几段音乐。基于此,谷歌将Reformer作为Transformer的演化版出售,需要处理高达100万字的环境,并且可以在只有16GB内存的单个AI加速器芯片上运行。

[来源:论文](微信官方账号:)了解到论文《改革家:高效变压器》已被2020年4月在埃塞召开的ICLR-2020(学习表征国际会议)接手,目前的模型已经开源。根据论文,重整器主要包括以下技术:第一,共轭层在整个模型中只存储转录函数的单一拷贝,因此n因子消失;其次,在前馈层结合转录函数,进行分割处理,避免dff因子,节省前馈层内存;第三,使用本地脆弱哈希(记录:LSH,一种哈希算法,主要应用于高维海量数据的慢速近似查询)。

具体来说,哈希函数是将给定大小的数据同构为相同大小的值的函数,它给出相似的向量(即响应机器学习中人类可读数据的代数结构),而不是搜索所有可能的向量对。例如,在翻译任务中,网络第一层的每个向量响应一个单词,不同语言中完全相同的单词对应的向量可以获得完全相同的哈希值。分配hash时,不会重新排列序列,然后根据元素的hash值构造并行处理大发体育网官方网|app下载,降低了长序列的复杂度,大大增加了计算负荷。

改革者可以处理整部小说。为了测试重整器显然需要在单个GPU上运行,并且可以在长序列中缓慢训练,研究人员已经在enwik8和imagenet64数据集上训练了20层重整器模型。实验表明,重整器的性能可以超过Transformer,在长序列任务上具有更高的记忆效率和更慢的训练速度。

大发体育网官方网

[图片来源:论文]此外,研究小组还对基于重整器的图像和文本模型进行了实验,并利用它们对图像中的瑕疵细节进行分解,还对整部小说《罪与罚》(包括约211591字)进行了处置。指出重整器只需要分解无像素的帧图像,需要在一轮训练中接管小说长度的文本。谷歌科学家尤卡斯凯泽和加州大学伯克利分校的学生尼基塔基塔耶夫都对这项研究做出了贡献。

他们在一篇博客中写道:由于Reformer的效率极高,它可以应用于上下文窗口远大于目前所有最先进设备的文本域的数据。改革者处理如此令人印象深刻的数据集的能力可能不会刺激社区创建数据集。

据报道,本文作者不会进一步将其应用于更广泛的领域(如时间序列预测和音乐、图像和视频分解),并改进位编码的处理。尤卡斯凯泽和尼基塔基塔耶夫补充道:“我们坚信,《改革家》将为《变形金刚》模型未来在长文本和自然语言中的应用奠定基础。2019年底,外国媒体VentureBeat采访了谷歌高级副总裁杰夫迪恩(Jeff Dean)。

在采访中,他回应道:谷歌仍然希望创造一个更好的情境模型。就像现在,BERT等机型可以处理几百个字,但不能处理一万个字。所以这不会是谷歌未来的主要关注点。

改革家可能是朝着这个方向迈出的有希望的第一步。-大发体育网官方网|app下载。

本文来源:首页-www.makweddings.com

版权所有香港市大发体育网官方网科技股份有限公司 港ICP备48687452号-1

公司地址: 香港特别行政区香港市香港区和时大楼379号 联系电话:0526-65280780

Copyright © 2018 Corporation,All Rights Reserved.

熊猫生活志熊猫生活志微信公众号
成都鑫华成都鑫华微信公众号