深度学习专题研讨会

CAD&CG GDC 2018 专题研讨:http://cadcggdc.guet.edu.cn/。2018年8月25日下午(14:00-18:00)

研讨会召集人

photo5
苏志勋教授
大连理工大学
photo5
刘日升副教授
大连理工大学

研讨会讲者

photo5
郭晓杰副教授
天津大学
photo5
郭裕兰讲师
国防科技大学
photo5
雷娜教授
大连理工大学
photo5
刘日升副教授
大连理工大学
photo5
彭玺研究员
四川大学
photo5
谭明奎教授
华南理工大学
photo5
左旺孟教授
哈尔滨工业大学


报告安排

  • 14:00-14:30 郭晓杰:Exclusivity Regularized Learning
  • 14:30-15:00 郭裕兰:用于三维场景理解的深度学习方法
  • 15:00-15:30 雷娜:Geometric View to Deep Learning
  • 15:30-16:00 刘日升:From Model Optimization to Interpretable and Collaborative Deep Learning
  • 16:00-16:30 彭玺:基于深度学习的高维数据聚类
  • 16:30-17:00 谭明奎:从局部把握全局,一种新的对抗学习方式
  • 17:00-17:30 左旺孟:Toward Flexible and Practical Image Restoration
  • 17:30-18:00 专题讨论

报告摘要及讲者简介

Exclusivity Regularized Learning

Abstract: This talk will concentrate on a structure concept, called exclusivity,which can be roughly interpreted as: different individuals (features/layers/components) are exclusive to each other in some domains. Based on this concept, I will show its power in (both shallow and deep) classifier construction and multi-view clustering strategy design. Besides, a variant of exclusivity, say mutuality, and its application on image processing will be introduced as well.

Bio: 郭晓杰,天津大学长聘副教授 (associate professor with tenure)、博导、 “北洋青年科学家。他的主要研究领域包括计算机视觉和机器学习,已在相关领域顶级期刊会议发表55+篇论文。他曾于2010年获得国际模式识别协会最佳学生论文。 他担任IEEE Access副主编、多个顶级会议(ICCV, CVPR, ACM MM, AAAI, NIPS等)的程序委员会成员,担任多个顶级期刊(IEEE TPAMI, TIP, TMM, TGRS, PR, CVIU等) 审稿人、担任国家自然科学基金评审。他是中国图象图形学会-图象视频通信专委会委员以及IEEE/ACM/CCF会员。

用于三维场景理解的深度学习方法

Abstract: 得益于三维数据传感器的快速发展,三维视觉在近年来得到了广泛的关注。相比于二维图像,三维点云包含了更加丰富的几何、 形状和结构信息,从而为场景理解提供了更多可能。三维场景理解在自动驾驶、机器人、虚拟现实/增强现实以及遥感等领域都有大量的应用。本报告将介绍研究组 在双目深度估计、三维目标识别以及三维场景标注等方向所开展的深度学习方法研究。

Bio: 郭裕兰,现任职于国防科技大学电子科学学院,并在 “博新计划”支持下于中科院计算所开展研究。2015年于国防科学技术大学获工学博士学位,2011年11月至2014年11月于澳大利亚西澳大学从事访问研究。主要研究兴 趣包括三维点云特征学习、三维目标识别、三维场景重建及视觉目标跟踪等基础理论及应用研究。目前已在IEEE TPAMI、IJCV和CVPR等国际期刊和会议上发表学术论 文50余篇,其中ESI高被引论文4篇,论文被引用1200余次,合著英文书1部。 目前担任中国计算机学会计算机视觉专委委员,中国自动化学会模式识别与机器智能专 委委员,中国人工智能学会模式识别专委委员,中国图象图形学学会机器视觉专委委员,VALSE在线组织委员会委员。曾担任IJCAI和AAAI等A类国际会议的程序委员会 委员,IEEE TPAMI和IJCV等30余个知名国际期刊的审理人,并在CVPR2016组织Tutorial 1次。 曾分别获国防科技大学、全军及中国人工智能学会优秀博士学位论文奖。 指导研究生获得2016年第十一届中国研究生电子设计竞赛第一名暨特等奖。

Geometric View to Deep Learning

Abstract: In this talk, we introduce geometric interpretation to the fundamental principles of deep learning. The manifold distribution law and the cluster distribution law are the fundamental reasons for the success of DL. Therefore, the major tasks for DL are extracting the manifold structure from the training data, and probability distribution transformation. The concept of rectified linear complexity of a ReLU DNN is introduced to describe the learning capability of the DNN, the upper bound of the complexity is given. The concept of rectified linear complexity of a manifold is introduced as well, which represents the difficulty of the manifold to be learned. Then we can show for any ReLU DNN, there exists a manifold that cannot be learned by the network. The geometric theory for optimal transportation is introduced, which shows the probability transformation and Wasserstein distance computation can be reduced to a geometric convex optimization problem. Then we show the competition between the Generator and the Discriminator in WGAN model is unnecessary, the two DNN are redundant. We propose to use the transparent OMT model to partially replace the black-box in DNN. Experimental results demonstrate the efficiency and efficacy of the proposed model.

Bio: 雷娜,吉林大学计算机代数博士,目前任职于大连理工大学国际信息与软件学院教授、 博士生导师。主要从事计算机代数及其在计算机图形学中的应用等方面的研究。主持和参加了多项科研项目,于国内外学术刊物发表论文十余篇,并参与编写教材。 指导硕士研究生9人。

From Model Optimization to Interpretable and Collaborative Deep Learning

Abstract: Model optimization plays the key role in many learning and vision tasks. However, designing numerical schemes always need high mathematical skills and rich domain knowledge. Moreover, how to apply the generally designed iterations in specific real-world scenario is always a challenging problem. In this talk, we introduce a series of paradigms to design task-specific optimization schemes based on (inexact) learnable architectures. The theoretical properties of these deeply trained propagations are carefully investigated. We demonstrate that we actually provide a new way to establish interpretable and collaborative deep learning models for different real-world applications. Some insights (e.g., the comparison to adversarial mechanism in GAN) will also be covered.

Bio: 刘日升,大连理工大学计算数学博士,香港理工大学计算科学博士后。目前任职于大连理工大学国际 信息与软件学院副教授、博士生导师。曾于2010-2012在美国卡内基梅隆大学、2016-2017在香港理工大学从事研究工作。近年来在TPAMI、TNNLS、TIP、TMM等期刊和 CVPR、NIPS、IJCAI、AAAI、ACM MM、ECCV、CIKM、ICDM、ACCV等会议发表论文70余篇。相关工作被引用超过1900次,H-index为14,最高单篇引用超过560次。获得 ICME 2014和2015年最佳学生论文奖, VALSE 2018最受关注论文奖, ICME 2017最佳论文Finalist(两篇,Top 3%),ICIP 2015最佳10%论文,ICIMCS 2017最佳论文 提名,IEEE智能计算亮点论文(Publication Spotlight)等。获得教育部自然科学二等奖1项、辽宁省自然科学二等奖1项。入选“香江学者”、大连市“青年科技之星”、 ACM新星奖(大连Chapter)、大连理工大学“星海优青”。担任The Visual Computer、IET Image Processing和Journal of Electronic Imaging编委,AAAI 2019 高级 程序委员(SPC)等。

基于深度学习的高维数据聚类

Abstract: 聚类分析的的一个核心挑战是高维数据聚类。由于高维数据往往位于非欧空间,这使得k-means等基于欧氏距离的方法不能有效地 描述数据间的相似性,从而揭示数据潜在的真实结构,获得正确的聚类结果。为解决这一问题,近年来的研究主要集中在如何通过学习的方法将输入数据投影到另 外一个空间,在该空间数据是线性可分的。换言之,高维数据聚类分析的关键在于表示学习。在本次报告中,报告人将介绍一些基于深度表示学习的聚类研究,特 别是,报告人及合作者近期提出的两个深度聚类算法。具体地,为提高自编码机的性能,我们提出了一种结构化自编码机,其不仅要求自编码机编码层的输出是紧 致的(局部性),同时保留了数据在输入空间的结构化信息(全局性),从而能学到更好的表示用以数据聚类。此外,我们提出了一种新的数据-聚类中心不变性 假设:给定一个数据x,其在流形上与一组簇中心Ω之间的条件概率对不同的度量测度是不变的。换言之,在流形上,给定Ω的情况下,x的聚类隶属关系不随所采用 的距离测度变化。基于该假设,我们提出了一个端到端进行表示学习和聚类的神经网络。

Bio: 彭玺,于2013年12月在四川大学计算机学院获得博士学位;2014年至2017年在新 加坡科技局资讯通信研究院任研究员(Scientist)和联合项目主管(CO-Principal Investigator,CO-PI);2017年被四川大学引进任研究员。彭玺博士是 IEEE Access的副主编、IEEE Trans Neural Netw Learn Syst等3个国际SCI期刊客座编委;是IJCAI,AAAI,NIPS等多个国内外学术会议的领域主席、分会主席、注册 主席、专题报告组织主席、程序委员会委员;受邀在ECCV等国际顶级/重要会议做专题报告和讲习班报告。彭玺的主要研究方向是机器智能、神经网络、聚类、无监 督表示学习及可微编程,共计在IEEE汇刊和中国计算机学会A类会议等国际SCI期刊/会议上发表论文30余篇。

从局部把握全局,一种新的对抗学习方式

Abstract: 生成对抗网络(GANs)能够从某个先验分布(例如高斯噪声)生成真实的数据。然而,这种先验分布通常独立于真实数据分布,因 此可能丢失数据的语义信息(例如图像中的几何结构或内容)。在实验中,语义信息可以从数据中学习到的隐分布来表示,然而,这很难用于GAN中的采样。近期, 我们团队提出一种基于局部坐标编码的对抗学习,通过一种基于局部坐标编码(LCC)的采样方法来提升GAN的性能,而不是从预定义的先验分布中采样。我们理论 分析了LCC-GANs的泛化界限,并证明一个低维的输入足以实现良好的泛化性能。在实验中,我们在多个数据集上证明了该方法的有效性。该工作已经被ICML 2018接 收。

Bio: 谭明奎,现担任华南理工大学软件学院教授、博导,并担任华南理工大学计算中心主任,中组部 青年千人计划获得者,广东省“珠江人才团队”第一核心成员。谭明奎教授分别在2006年和2009年于湖南大学获得环境工程学士和模式识别与智能系统硕士学位,于 2014年在南洋理工大学获得计算机科学博士学位,并于2016年在澳大利亚阿德莱德大学完成计算机视觉博士后研究。目前主要研究方向为机器学习算法与理论、机器 视觉,已在相关方向发表近50篇高水平学术论文。

Toward Flexible and Practical Image Restoration

Abstract: 随着以卷积神经网络为代表的深度学习技术在图像去噪和超分辨等任务中的巨大成功,国内外学者开始尝试将卷积神经网络技术应 用于更为通用和实际的图像复原问题。报告将针对这一发展趋势,介绍我们基于最大化后验概率模型改善CNN网络的便捷能力,以及结合退化模型建模和模型估计网 络解决真实图像盲去噪方面的一些尝试。

Bio: 左旺孟,哈尔滨工业大学计算机学院教授、博士生导师。主要从事图像增强与 复原、物体检测与目标跟踪、图像与视频分类等方面的研究。在CVPR/ICCV/ECCV等顶级会议和T-PAMI、IJCV及IEEE Trans.等期刊上发表论文70余篇。