IAIS 2016 黄广斌:超限学习机(ELM)和图像处理

分享者:Jian.1990 | 分享时间: 2016-12-27 17:12 | 我要分享
知识文档-点击下载

黄广斌-ELM-IAIS2016.pdf

4.24 MB

所需流量: 5 积分 [立即下载]

中文 完整版 PDF

2016年在IAIS 2016图像声音算法专场,黄广斌教授作为嘉宾发表了题为《超限学习机和图像处理》的演讲。黄广斌教授是国际级人工智能领域专家。 Extreme Learning Machines (ELM,超限学习机)理论和体系提出者。被Thomson Reuters 评为“2015 Highly Cited Researcher ”(工程类,计算机科学类)。他是新加坡总统科学奖被提名人(2016)。他是世界三大出版集团之一Elsevier数据管理顾问委员会顾问。

黄教授在IAIS 2016大会上提出了超限学习机(ELM)的基本问题,即面对如此多的神经网络结构,我们是不是真的也需要如此多的不同的对应神经网络算法,并从图像处理方面将ELM与深度学习、生物学习和计算机作了深入比较。

人工智能和机器学习的三浪发展
  • 1950s-1980s:预热。特点:计算机能力有限,没有有效算法,没有足够多的数据。形势:中国人创造性地把计算机翻译成电脑,是巧合还是梦想?
  • 980s-2010:研究驱动。特点:计算机功能足够强大,开发出许多算法,许多情况下没有足够多的数据。形势:少工业产业驱动,研究更多的来自研究人员和学术界的自发自我追求。
  • 2010 – 现在:数据/产业驱动。特点:计算机功能足够强大,处处是智能传感器和智能单元,数据超大,有效算法逐步推进。形势:不管人们信不信,人们只能愈来愈依赖人工智能和机器学习。


超限学习机(ELM)
新的学习理论(ELM学习理论) – 学习可以不需要调整隐层节点:给定任何连续目标函数或可分类目标,只要前馈神经的隐层节点是非线性阶段连续的,神经网络无需调整隐层节点就能任意逼近目标连续函数或对分类目标加以分类。
  • 新的学习理论不仅解决了神经网络存在性问题也给出了学习方法。
  • 我们首先提出和回答了生物学习的一个基本问题:“生物神经元在学习中真的需要调整吗?”
  • ELM理论在提出后约10年,哈佛、哥伦比亚大学、斯坦福、MIT、IBM Watson、Georgia Tech等研究人员分别在2013年,2015年和2016年在老鼠的嗅觉系统、猴子的视觉系统和人的感知系统直接或间接的得到验证。
  • 作为ELM的一个特例(傅立叶变换作为隐层输出),Random Kitchen Sink (SKS)在Google、微软、斯坦福等广泛应用[A Rahimi and B. Recht 2009]。
  • 2016年IBM研究出基于ELM的第一个类生物神经元。

黄广斌-ELM-IAIS2016PDF第000页.jpg


Extreme Learning Machines (ELM) 超限学习机:图像处理

Guang-Bin Huang (黄广斌)
Professor of School of Electrical and Electronic Engineering Nanyang Technological University, Singapore
(新加坡南洋理工大学电子电气工程学院,教授)

黄广斌-ELM-IAIS2016PDF第001页.jpg

黄广斌-ELM-IAIS2016PDF第002页.jpg
机器学习时代的必要条件

黄广斌-ELM-IAIS2016PDF第003页.jpg
再思考人工智能和机器学习的内涵和发展趋势

黄广斌-ELM-IAIS2016PDF第004页.jpg
人工神经网络历史的魔幻“15年”周期

黄广斌-ELM-IAIS2016PDF第005页.jpg
人工神经网络的理论


黄广斌-ELM-IAIS2016PDF第006页.jpg
人工神经网络和生物学习
黄广斌-ELM-IAIS2016PDF第007页.jpg
黄广斌-ELM-IAIS2016PDF第008页.jpg
超限学习机(Extreme Learning Machines ,ELM):基本问题
黄广斌-ELM-IAIS2016PDF第009页.jpg
超限学习机(ELM)
黄广斌-ELM-IAIS2016PDF第010页.jpg
新的学习理论(ELM学习理论)
黄广斌-ELM-IAIS2016PDF第011页.jpg
ELM的核心考虑
黄广斌-ELM-IAIS2016PDF第012页.jpg
3D图形分割
黄广斌-ELM-IAIS2016PDF第013页.jpg
多层ELM
黄广斌-ELM-IAIS2016PDF第014页.jpg
ELM自编码器(ELM-AE)
黄广斌-ELM-IAIS2016PDF第015页.jpg
ELM自编码器(ELM-AE)
黄广斌-ELM-IAIS2016PDF第016页.jpg
MNIST OCR
黄广斌-ELM-IAIS2016PDF第017页.jpg
手语动作识别
黄广斌-ELM-IAIS2016PDF第018页.jpg
ELM vs 深度学习
黄广斌-ELM-IAIS2016PDF第019页.jpg
ELM理论:局部感知野和复合节点
黄广斌-ELM-IAIS2016PDF第020页.jpg
ELM理论:局部感知野和复合节点
黄广斌-ELM-IAIS2016PDF第021页.jpg
ELM vs 深度学习
黄广斌-ELM-IAIS2016PDF第022页.jpg
黄广斌-ELM-IAIS2016PDF第023页.jpg
黄广斌-ELM-IAIS2016PDF第024页.jpg
黄广斌-ELM-IAIS2016PDF第025页.jpg
结构性(Hierarchical) ELM
黄广斌-ELM-IAIS2016PDF第026页.jpg
ELM: 感知和推论的基础
黄广斌-ELM-IAIS2016PDF第027页.jpg
ELM vs 生物学习
黄广斌-ELM-IAIS2016PDF第028页.jpg
ELM vs 生物学习vs 计算机
  • 计算机之父冯·诺伊谩的困惑。和计算机需要完美硬件连接组成所不同的是,为什么一个看上去不完美的包含许多看似随机连接的(生物)神经网络却能够可靠地实现完美的学习功能?
  • ELM学习理论给出回答。网络的整个多层结构(人工神经网络或生物网络)是结构化且有序的,但它们在某一个神经元层或神经模块片中看起来「混乱、非组织结构化」。从局部来看,「硬连线」可以是全连接或部分连接。这种全局结构化而局部随机连接的看似「不完美」结构,却正好构成了基本的完美的学习能力,包括压缩感知、特征学习、稀疏编码、聚类、回归和分类等。这就解决了冯·诺依曼对生物学习的谜惑。
黄广斌-ELM-IAIS2016PDF第029页.jpg



最新热门
 
相关知识
邮件订阅

Copyright© 2005-2018 USEIT.COM.CN|帮助中心|关于我们|注册协议|投诉指引|获取积分|投稿须知|作者权益|下载须知|常见问题|联系我们|手机版|USEIT Inc.

GMT+8, 2020-6-2 02:13 , Processed in 0.202384 second(s), 19 queries , Gzip On, MemCache On.

鄂公网安备 42011202000160号 鄂ICP备13013806号-1

网络经济主体信息湖北省互联网举报平台 中国互联网违法和不良信息举报中心

快速回复 返回顶部 返回列表