新智元报道

泉源:Facebook AI Blog

编辑:LQ、yaxin

【新智元导读】2017年,PyTorch降生,成为当下最盛行的深度学习框架。克日,Facebook宣布让PyTorch成为构建AI和机械学习模子的默认框架,为工程师们提供更好的开发体验。

PyTorch自2017年推出以来,就迅速占领GitHub热度榜榜首,一度有赶超Tensorflow的趋势。

这是一个开源的Python机械学习库,基于Torch,底层由C++实现。

克日,Facebook宣布要将所有的人工智能系统迁徙到PyTorch。

Facebook的AI模子天天为使用自家手艺的数十亿人执行数万亿次推理操作。

为了知足这种不停增进的需求,Facebook 需要不停生长自身的 AI 框架。

PyTorch 的降生

思量到Python在盘算科学领域的领先职位,以及其生态完整性和接口易用性,险些任何框架都不能制止地要提供Python接口。

因此,在2016年,Facebook 的一组人工智能研究职员最先与人工智能研究整体相助,迎接这些挑战。

为了更好地明晰什么是可用的,什么是需要的,他们试验了机械学习(ML)框架,如 Theano 和 Torch,以及 Lua Torch、 Chainer 和 HIPS Autograd 的先进观点。

经由几个月的开发,PyTorch 降生了。

PyTorch不是简朴地封装Lua Torch提供Python接口,而是对Tensor之上的所有模块举行了重构,并新增了最先进的自动求导系统,成为当下最盛行的动态图框架。

PyTorch 最初版本在开源社区GitHub中引起了惊动,而且很快成为人工智能研究职员首选的深度学习库。

PyTorch 提供了一个无约束的环境,在这个环境中,程序员们可以真正地表达自己的想法。

一经推出就马上引起了普遍关注,并迅速在研究领域盛行起来。

PyTorch自觉布起关注度就在不停上升,停止2017年10月18日,PyTorch的热度已然逾越了其他三个框架(Caffe、MXNet和Theano),而且其热度还在延续上升中。

2018年头,PyTorch 1.0的公布开启了将 PyTorch 的研究和生产能力统一到一个框架中事情。

来自 Facebook 的 PyTorch 支持的手艺

上面提到的众多利益已经在 Facebook 上获得了验证。从 Instagram的个性化功效到AR和VR的新兴应用程序,在众多应用中PyTorch都起到了增强手艺和服务的作用。同时,也精简了事情流程,削减了改善系统所需的时间。

Instagram个性化手艺

Instagram个性化团队的义务是不停改善和完善推荐引擎。

外洋用户可以通过多渠道吸收、发现Ins新闻推送,好比Feeds, Stories, Reels,用户通过这些渠道找到与自己有关且感兴趣的内容,这一功效都要归功于内后的机械学习算法.

有了 PyTorch,Ins团队可以更快地让Instagram成为探索你感兴趣的内容并与家人和同伙分享的最佳平台之一。

现在,不停改善对Instagram用户的推荐意味着训练模子,最大可达10TB。

在 PyTorch 之前,训练和调试这些大规模模子可能需要数月时间,现在有了PyTorch,只需要几周,甚至几天时间。

在 PyTorch中实现新的训练手艺,可以让差异团队数百名工程师快速接纳和实验这些手艺。它还简化了跨团队尺度的确立,使部署和改善这些模子变得加倍容易。

该团队还对其编写和训练基础设施举行了改善,允许模子自动分片(分成更小的块) ,以便在主机上训练更大的模子。

他们还接纳了如流水线和分层培训(将一个学习义务剖析成一系列子问题或义务)等培训范式,允许模子在不降低质量的情形下使用更多数据。

人物支解模子

AR和VR正逐渐成为Facebook的主要组成部门。

举例来说,一个内容创作者或通俗用户――只是和同伙一起玩短视频的人,他们拍的视频用了个性化、盘算机天生的图形和靠山。

现在,想象一下他们在自己的移动装备上完成这些,不需要使用专业的绘图软件或者视频制作装备。

这就是AR的应用远景,PyTorch 通过显著加速训练历程并缩小这些模子的规模,使其成为可能。

例如,研究AR体验的研究职员确立了人物支解模子,这种模子仅使用手机的摄像头就可以跟踪人们在视频中的动作(包罗识别他们的手和头发)。

当软件捕捉一小我私人在物理空间中的位置时,它就会在人物周围放置增强现实图形,以及这些图形应该若何与人物交互。

△ 人物支解可以让人们直接在移动装备上为视频确立AR效果

最初开发这些模子时,它们的巨细和庞大性意味着为特定效果部署一个模子可能需要长达三天的时间,这还不包罗调试模子修复任何错误的时间。

然后尚有跨装备的功效问题。有时模子在某些装备或操作系统上运行速率不如其他装备或操作系统快,导致用户体验纷歧致。

现在,使用 PyTorch 开发的相同模子,可以在几分钟内(若是不是几秒钟的话)跨多个装备和操作系统举行部署。

模子使用Detectron2Go (D2Go)举行训练,这是一个新的、最先进的 PyTorch 扩展。

D2Go是同类工具中的第一个,它允许开发者将他们的机械学习模子从训练阶段一直带到移动装备上的部署阶段。

自从今年4月完成模子迁徙到PyTorch 以来,推断时间提高了14%,模子加载速率提高了24%,这使得团队可以在延迟相同的情形下,在移动装备上部署更庞大、更正确的模子。

,

欧博allbet网址

欢迎进入欧博allbet网址(www.aLLbetgame.us),欧博官网是欧博集团的官方网站。欧博官网开放Allbet注册、Allbe代理、Allbet电脑客户端、Allbet手机版下载等业务。

,

PyTorch加入网络有害内容匹敌

Facebook AI的一个焦点重点是部署尖端的机械学习手艺,珍爱人们免受恼恨言论和错误信息等有害内容的危险。

我们的目的是为每一种内容形式,为天下各地的每一种语言和社区,快速准确地识别这些违反政策的内容。

在大规模匹敌不停规避我们系统的敌人时,这项义务难度系数越来越高。

这些挑战庞大、玄妙、转变还很快。我们将继续探索人工智能若何成为检测有害内容更有用的工具,为了做到这一点,Facebook AI的工程师们正在行使 PyTorch 来辅助他们更快地开发新的、更壮大的模子,并改善当前的模子。

行使PyTorch,Facebook的工程师们开发了Facebook AI Multimodal (FAIM),这是一个内部库和 SDK,允许开发者快速确立、优化和部署定制的多模式模子,以顺应特定的有害问题(例如,错误信息和恼恨言论) ,这意味着他们可以通过图像、文本、谈论和其他元素周全识别内容。

FAIM 模子并不依赖于一系列差其余模子,而是专注于自己的内容类型或模式,它能够剖析所有类型的内容(图片、视频等)。

一个模子是Whole Post Integrity Embeddings(WPIE),这是一个经由训练可以识别差异形式有害内容的服务。因此,WPIE 对内容有了更深入的领会,能够在种种情形下识别有害内容,并随着有害内容的新形式的泛起迅速改善。

这样做的利益是更快、更有用、更周全地剖析内容。例如,看起来无伤风雅的句子或图像,当组合在一起时,可能会出现出完全差其余上下文。

今天,跨越85% 的面向用户的多模式产物模子使用PyTorch和FAIM. 使用 FAIM 确立的模子,如 WPIE,可以明晰视觉和文本观点的深层交互,这意味着它们可以更准确和彻底地检测有害内容。

虽然像FAIM这样的人工智能工具并不是我们解决有问题内容的唯一方式,但它们确实辅助我们加倍顺应若何大规模应对这些挑战。

文本到语音

随着语音助手和类似手艺变得越来越普遍,无论是易用性照样可用性,我们的工程师正在起劲使语音互动变得像人类攀谈一样自然。

这些系统的行为和声音越像人类,我们与他们的互动就越无缝。

现在,Facebook 的工程师团队正在使用 PyTorch 确立一些语音应用程序的模子,这些程序包罗 Facebook 的「你的名字若何发音」功效、 Portal 上的语音交互,以及文本到语音(text-to-speech,TTS)功效。

Facebook 的 TTS 团队最近构建并部署了一个具有最先进音频质量的系统,该系统部署在 CPU 服务器上,没有任何专门的硬件。

新的 TTS 系统具有很高的天真性,将在 Facebook 产物中确立新的语音应用程序方面施展作用,这些语音应用程序听起来加倍真实和自然,其中还包罗VR 语音功效和阅读辅助功效。

PyTorch简化了 TTS 团队的整个开发流水线,使新模子的开发、试验和训练变得更容易。

在模子训练端,PyTorch 具有利便、天真和易于使用的界面、 python 编码、高度优化的操作员内核的综合套件以及高效的multi-GPU原语,使模子既易于调试又能快速举行大规模训练。

在模子推理和部署方面,PyTorch 有一个壮大的、基于TorchScript的模子优化管道,可以将盘算图转换为部署环境中最有用的形式。

PyTorch 的轻量级和高性能移动运行时(runtime)为团队提供了低盘算和内存占用的高性能模子推理服务。

在未来,部门归功于PyTorch,语音系统不仅能够明晰越来越多的语言,而且还能够凭证语境线索做出响应的反映,好比某人声音的音调或音量,甚至是靠山噪音的巨细。

光学字符识别

众所周知,互联网是图片搜集地。

△ 图片生意公司gettyimages官网截图

明晰图片中泛起的文本,无论是小我私人照片照样商业照片,包罗信息的图像,如舆图或菜单,甚至只是一个有趣的meme,会变得越来越主要。

照片搜索,视障人士的屏幕阅读器,以及识别和删除有害内容都依赖于机械学习系统,该系统可以从图像和视频中剖析文本。

其中一个系统是 Facebook AI 开发的光学字符识别(OCR)系统。

OCR 可以从图像和视频中定位和提取多种语言文本,用于从完整性到搜索的种种案例。通过将OCR的框架切换到PyTorch,团队已经能够使系统更增强壮,更容易。

OCR 有两个主要模子: 一个用于文本检测,另一个用于文本识别。

文本检测模子是使用 Detectron 2训练的,这是一个基于PyTorch的目的检测模子库。部署和调试。

思量到训练这些模子所需的数据量和模子自己的巨细,延迟通常是开发职员所体贴的问题。

然则转移到 PyTorch 就会变得加倍流通,这将允许他们在模子的系统结构上举行快速的实验和迭代,而且加倍有用地调试和部署模子。

该团队现在正在开发一个新的端到端模子,它可以在一个统一的设计中处置文本检测和文本识别,这个设计从训练到部署将完全基于 PyTorch.

将AI模子迁徙至PyTorch的优势在哪?

PyTorch 迁徙的目的是为工程师和开发职员确立一个更顺畅的端到端开发职员体验。

平均天天有4000多个模子在 PyTorch 上运行。

Facebook 的开发职员在他们的模子完全迁徙到 PyTorch 之前履历了多个阶段,包罗要害的离线和在线测试、训练(通常尚有再训练)、推断和公布。

还举行了多个测试,以检查Caffe2和 PyTorch 之间的性能和准确性差异,这可能需要工程师长达数周的时间才气完成。

有了 PyTorch 作为支持 Facebook 所有人工智能事情负载的底层平台,工程师可以在几分钟内而不是几周内部署新的人工智能模子,确立更壮大、更高效的系统,为新的体验提供动力等等。

以 PyTorch 作为常用的人工智能框架优势:

1、人工智能模子更容易构建、编程、测试和调试

2、研究和生产环境变得加倍慎密

3、在装备上部署加速

现在有跨越1800个实体为 PyTorch 社区做出孝顺,包罗加州理工学院等机构和OpenAI等推悦耳工智能研究的公司。

论坛拥有跨越4万的活跃用户,在GitHub上有跨越7万的下游项目使用 PyTorch。

在学术方面,仅从2019年6月到2020年6月,PyTorch 在 ArXiv 上的引用数目就比去年同期增进了127% .

凭证谷歌学术搜索,PyTorch 论文的原始版本被引用了4400多次。

参考资料:

Max pool

Max pool网(www.ipfs8.vip)是FiLecoin致力服务于使用FiLecoin存储和检索数据的官方权威平台。IPFS网实时更新FiLecoin(FIL)行情、当前FiLecoin(FIL)矿池、FiLecoin(FIL)收益数据、各类FiLecoin(FIL)矿机出售信息。并开放FiLecoin(FIL)交易所、IPFS云矿机、IPFS矿机出售、租用、招商等业务。

Allbet声明:该文看法仅代表作者自己,与www.allbetgame.us无关。转载请注明:allbet(www.allbetgame.us):Facebook万字长文:AI模子所有迁徙至PyTorch框架
发布评论

分享到:

万利逆商(www.ipfs8.vip):【WWDC 2021】Apple AirPods 系列新增 4 大功效
2 条回复
  1. 皇冠官网手机版
    皇冠官网手机版
    (2021-09-03 00:01:09) 1#

    皇冠新现金网

    是一个开放皇冠体育代理最新登录线路(www.huangguan.us)、皇冠体育会员最新登录线路、皇冠代理APP下载、皇冠会员APP下载、皇冠线路APP下载、皇冠电脑版下载、皇冠手机版的平台。皇冠体育APP上登录线路最新、新2皇冠网址更新最快,皇冠体育APP开放皇冠会员注册、皇冠代理开户等业务。

    gogogo,评论走起

  2. 皇冠官网手机版
    皇冠官网手机版
    (2021-09-03 00:01:09) 2#

    皇冠新现金网

    是一个开放皇冠体育代理最新登录线路(www.huangguan.us)、皇冠体育会员最新登录线路、皇冠代理APP下载、皇冠会员APP下载、皇冠线路APP下载、皇冠电脑版下载、皇冠手机版的平台。皇冠体育APP上登录线路最新、新2皇冠网址更新最快,皇冠体育APP开放皇冠会员注册、皇冠代理开户等业务。

    gogogo,评论走起

发表评论

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。