Google:智能计算机系统的大规模深度学习(中/英版 PDF)

分享者:Jian.1990 | 分享时间: 2016-3-13 15:26 | 我要分享
知识文档-点击下载

谷歌第二代深度学习系统TensorFlow(英文版).pdf

2.92 MB

所需流量: 5 积分 [立即下载]

完整版 PDF

谷歌第一代深度学习系统(汉化版).pdf

2.64 MB

所需流量: 5 积分 [立即下载]

完整版 PDF

谷歌第一代深度学习系统DistBelief(英文版).pdf

2.27 MB

所需流量: 5 积分 [立即下载]

完整版 PDF

Techniques and Systems for Training Large Neural Networks Quickly.pdf

1.72 MB

所需流量: 5 积分 [立即下载]

完整版 PDF

Deep Learning and Reinforcement Learning(Razvan Pascanu).pdf

3.59 MB

所需流量: 5 积分 [立即下载]

完整版 PDF

谷歌第一代深度学习系统DistBelief(英文版)PDF第000页.jpg
智能计算机系统的大规模深度学习,Google大脑团队与其他团队合作

谷歌第一代深度学习系统DistBelief(英文版)PDF第001页.jpg
Google深度学习使用情况的增长

谷歌第一代深度学习系统DistBelief(英文版)PDF第002页.jpg
概述

两代深度学习软件系统:
—代:DistBelief [Dean et al., NIPS 2012]
二代:TensorFlow (未出版)
综述了如何在研发与产品中使用
加之,新的训练方法(使用者,而不是模型)


谷歌第一代深度学习系统DistBelief(英文版)PDF第003页.jpg
谷歌大脑项目始于2011年,专注于推动最先进的神经网络系统

初期重点是:
•使用大型数据集
•大规模计算
以此来拓展感知和语言理解可能性的边界


谷歌第一代深度学习系统DistBelief(英文版)PDF第004页.jpg
大量的原始数据

•文本:万亿计的英文以及其他语言的单字
•可视化数据:数十亿的图像和视频
•音频:每天成千上万小时的通话
•用户活动:查询,标记垃圾邮件等等
•知识图谱:数十亿的标签关系三元组
我们将如何构建一个系统来消化这些信息?

谷歌第一代深度学习系统DistBelief(英文版)PDF第005页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第006页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第007页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第008页.jpg
文本理解

〃这部电影就不应该拍!无论是差劲的动画,还是糟糕的表演。我实在是不明白投拍这部电影的人是看好了它什么地方。这部电影实 在太可怕了。〃

谷歌第一代深度学习系统DistBelief(英文版)PDF第009页.jpg
周期时间和影响研究

  • 分钟,小时:互动研究!立即满足!
  • 1-4 天:并行运行的许多实验取代交互性
  • 1-4 周:仅高价值实验进展停滞
  • >1个月:暂不尝试



谷歌第一代深度学习系统DistBelief(英文版)PDF第010页.jpg
神经网络的重要属性

结果会变得更好
更多数据+
更大模型+
更多计算
(更好的算法,新颖的视角以及进不的技术总是有用的!)


谷歌第一代深度学习系统DistBelief(英文版)PDF第011页.jpg
我们是怎么快速训练强劲大型模型的?
利用多种并行性,模型的并行性,数据的并行性。



谷歌第一代深度学习系统DistBelief(英文版)PDF第012页.jpg
模型的并行性

谷歌第一代深度学习系统DistBelief(英文版)PDF第013页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第014页.jpg
模型的并行性: 通过机器分割模型

谷歌第一代深度学习系统DistBelief(英文版)PDF第015页.jpg
数据的并行性

谷歌第一代深度学习系统DistBelief(英文版)PDF第016页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第017页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第018页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第019页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第020页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第021页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第022页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第023页.jpg
数据并行性的选择

同步:
副本N等于N倍批处理尺寸
优势:无噪声
劣势:容错率较低(任何单独机器故障都需 要重新恢复)
异步:
劣势:噪声梯度
优势:较好的容错率(故障副本模型不影响其他副本)
(混合型:M个异步组合和N个同步副本)

谷歌第一代深度学习系统DistBelief(英文版)PDF第024页.jpg
数据并行性考虑

想要模型计算时间与参数在网络的发送/接收时间高度相关,模型使用更少数据,并在计算过程中多次复用每个参数
•小规模尺寸B复用参数B次在下面的例子中特定的模型结构复用参数多次:
•卷积模型:在每个例子中倾向于复用成百上千次 (针对不同空间位置)
•复发性模型:顷向于复用几十上百次(针对在训练时通过T时间步骤展开)

谷歌第一代深度学习系统DistBelief(英文版)PDF第025页.jpg
深度学习在Google有哪些显者的影响?

谷歌第一代深度学习系统DistBelief(英文版)PDF第026页.jpg
序列到序列模型

谷歌第一代深度学习系统DistBelief(英文版)PDF第027页.jpg
序列到序列模型

谷歌第一代深度学习系统DistBelief(英文版)PDF第028页.jpg
把两个连起来,你就有了一个机器 翻译系统

谷歌第一代深度学习系统DistBelief(英文版)PDF第029页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第030页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第031页.jpg
它发起的敏感度很高的对话

谷歌第一代深度学习系统DistBelief(英文版)PDF第032页.jpg
或者语法剖析程式

谷歌第一代深度学习系统DistBelief(英文版)PDF第033页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第034页.jpg
或者是可以学习图形算法的东西

谷歌第一代深度学习系统DistBelief(英文版)PDF第035页.jpg
以时间为变量的对象识别改善

谷歌第一代深度学习系统DistBelief(英文版)PDF第036页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第037页.jpg
良好的细粒度分类

谷歌第一代深度学习系统DistBelief(英文版)PDF第038页.jpg
良好的概括能力

谷歌第一代深度学习系统DistBelief(英文版)PDF第039页.jpg
敏感度错误

谷歌第一代深度学习系统DistBelief(英文版)PDF第040页.jpg
举例......来自真实用户

谷歌第一代深度学习系统DistBelief(英文版)PDF第041页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第042页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第043页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第044页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第045页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第046页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第047页.jpg
第二代深度学习系统 TensorFlow

谷歌第一代深度学习系统DistBelief(英文版)PDF第048页.jpg
动机

DistBelief (—代系统)的可扩产性还是非常好的,从研发的角度没有我们想象的那么灵活。对问题空间的更好理解允许我们对其做了一 些极富戏剧性的简化。

谷歌第一代深度学习系统DistBelief(英文版)PDF第049页.jpg
TensorFlow:表达高水平ML计算

谷歌第一代深度学习系统DistBelief(英文版)PDF第050页.jpg
TensorFlow例子(批处理逻辑回归)

谷歌第一代深度学习系统DistBelief(英文版)PDF第051页.jpg
ensorFlow例子(批处理逻辑回归)

谷歌第一代深度学习系统DistBelief(英文版)PDF第052页.jpg
计算是一个数据流图

谷歌第一代深度学习系统DistBelief(英文版)PDF第053页.jpg
计算是一个数据流图

谷歌第一代深度学习系统DistBelief(英文版)PDF第054页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第055页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第056页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第057页.jpg
名字的组成

Tensor :张量,N维数组
1维:向量
2维:矩阵
代表图形中的多维数据流,例如图片就代表了 3维张量:行,列,颜色
Flow:基于数据流图的计算,大量操作(图形节点)都应用数据流
张量从图的一端流动到另一端—"TensorFlow"边缘代表张量(数据)节点代表过程

谷歌第一代深度学习系统DistBelief(英文版)PDF第058页.jpg
灵活性

一般的计算基础设施 深度学习支持是核心顶端的一组库对于其他机器学习算法也适用 可实现高性能计算(HPC )摘要了底层设备/计算硬件

谷歌第一代深度学习系统DistBelief(英文版)PDF第059页.jpg
扩展性

内核系统定义了一系列的标准操作与核心 程序(实现特殊设备的操作),可以很容易的继续定义新操作与核心程序。

谷歌第一代深度学习系统DistBelief(英文版)PDF第060页.jpg
TensorFlow的深度学习


谷歌第一代深度学习系统DistBelief(英文版)PDF第061页.jpg
没有明显参数的服务器子系统

谷歌第一代深度学习系统DistBelief(英文版)PDF第062页.jpg
同步变形

谷歌第一代深度学习系统DistBelief(英文版)PDF第063页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第064页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第065页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第066页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第067页.jpg

谷歌第一代深度学习系统DistBelief(英文版)PDF第068页.jpg



分享者:一蓑烟雨任平生 | 分享时间: 2016-4-18 15:13 | 我要分享
智能计算机系统的大规模深度学习
最新热门
 
相关知识
    邮件订阅

    Copyright© 2005-2018 USEIT.COM.CN|帮助中心|关于我们|注册协议|投诉指引|获取积分|投稿须知|作者权益|下载须知|常见问题|联系我们|手机版|USEIT Inc.

    GMT+8, 2020-5-31 08:36 , Processed in 0.307177 second(s), 26 queries , Gzip On, MemCache On.

    鄂公网安备 42011202000160号 鄂ICP备13013806号-1

    网络经济主体信息湖北省互联网举报平台 中国互联网违法和不良信息举报中心

    快速回复 返回顶部 返回列表