栗子 假装发自 东京
量子位 报道 | 公众号 QbitAI
△没办法，就是快
快到飞起。
昨天，东京，“教主”黄仁勋发布了一枚新GPU：Tesla T4。
按照英伟达的说法，Tesla T4是为推理而生的。
2,560个CUDA，320个张量核心 (Tensor Core) ，推理加速表现如下。
△蓝为CPU，灰为P4，绿为T4
比赛结束，基于帕斯卡架构的P4前辈，在T4面前输得很惨：
在语音识别模型DeepSpeech 2上，T4比P4的5倍还要快；
在神经网络翻译模型GNMT上，T4的速度接近P4的4倍；
在图像识别模型ResNet-50上，T4也接近P4的3倍。
注意，在T4诞生之前，P4在深度学习界的地位，也是很崇高的。
Tesla T4快在哪里
算力的增长，图灵架构里的张量核心(Tensor Core) 是重中之重。
T4的320个张量核心，让数据吞吐量疾速增长，峰值达到260 TOPS(精度INT4) 。
再回头看两年前的P4：
别看速度提升那么多，Tesla T4的功耗(TDP) 依然停留在谦虚的75瓦。
这样的GPU，哪里需要哪里搬，英伟达称之为“宇宙通用推理加速器 (Universal Inference Accelerator) ” 。
把参数排列起来，是不是更燃：
△(后四行)多种精度混合，有助于加速推理
顺便，T4的显存为16GB GDDR6，带宽为320+GB/s。
以RTX为名的显卡，不论是专业级的Quadro系列还是游戏显卡Geforce系列，都是在T4的关怀之下，学习光线追踪技巧的。哪里该有光亮，哪里该是阴影，几乎不会错。
TensorRT也更新了
TensorRT 5
加速推理，是一项宏伟的事业，只有GPU是不够的。
和Tesla T4一同发布的，是TensorRT 5推理加速引擎。
这一次更新，主要是为图灵架构提供支持，最高可以达到CPU40倍的推理速度。
5.0版本中，有8个新的API(精度INT8) ，用于优化推理模型，神经网络翻译也好，推荐系统也好。
现在，TensorRT已经可以和TensorFlow集成，和MatLab集成，ONNX也没放过。
TensorRT推理服务器
除此之外，搭配着引擎食用的TensorRT推理服务器，也一起发布了，做足全套功课。
服务器的作用，是提升GPU的利用率，在一个节点上同时运行不同框架上的多个模型。以下是一个“学跳舞”模型的生成效果举栗。
原来是这样啊：
△举栗：只要跟对师傅，就能学好舞步
现在，推理服务器的测试版本已经提供下载了，大家可以试试看：
/registry/nvidia-inferenceserver
进击的AGX
有些推理，可以永远留在计算机里。
还有一些，就需要接受现实世界的调教了。
△Nvidia Isaac
针对机器人的大脑，以及其他自动化设备的大脑，英伟达也发布了一系列AGX系统：
Jetson AGX，Drive AGX以及Clara AGX皆在此列，是基于Xavier芯片打造的开发包(Devkit) 。
先说Drive AGX，顾名思义，用来开发自动驾驶应用。开发包里有一台计算机，搭载了Drive软件，可以与汽车联动。
这台电脑，只是老黄在发布会上举起的许多重物之中，比较轻的一个。
团队希望，开发者能在这“大脑”里，写出各式各样的脑回路，帮助自动驾驶汽车适应艰险的路况。
Drive AGX开发包，10月1日开始发售。
Jetson AGX与之同理，只是用于工业场景。在人口老龄化形势严峻的日本，工业自动化尤其受到重视。
英伟达说，Jetson AGX是全球第一台为自动化设备定制的计算机。工程机械巨头小松制作所等许多企业已经投入使用了。
Clara AGX是医疗场景下的开发包，但这里没有计算机，只是纯纯的SDK：
一句重要的话
如果想要申请谷歌云上的T4早期试用，请在这里填表：
/forms/d/1-EuhrG9UZ6yXM9lg6mJ4l8ltq-mklcVo7qbLh7H7zek/viewform?ts=5b98149d&edit_requested=true
—完—
加入社群
量子位AI社群28群开始招募啦，欢迎对AI感兴趣的同学，在量子位公众号（QbitAI）对话界面回复关键字“交流群”，获取入群方式；
此外，量子位专业细分群(自动驾驶、CV、NLP、机器学习等)正在招募，面向正在从事相关领域的工程师及研究人员。
进专业群请在量子位公众号（QbitAI）对话界面回复关键字“专业群”，获取入群方式。（专业群审核较严，敬请谅解）
诚挚招聘
量子位正在招募编辑/记者，工作地点在北京中关村。期待有才气、有热情的同学加入我们！相关细节，请在量子位公众号(QbitAI)对话界面，回复“招聘”两个字。
量子位QbitAI · 头条号签约作者
վ'ᴗ' ի 追踪AI技术和产品新动态
