报 告 人:廖振宇 副研究员
报告题目:大维随机矩阵理论进展及其在深度学习中应用
报告时间:1月11日和12日(周四、周五),上午9点-11点30
报告地点:腾讯会议:913-816-8075 (无密码)
主办单位:数学与统计学院、数学研究院、科学技术研究院
报告人简介:
廖振宇,于法国巴黎萨克雷大学获信号与图像处理硕士和计算机博士学位,后在美国加州大学伯克利分校从事博士后研究工作,于2021年起至今在华中科技大学电信学院工作,任副研究员。长期从事“面向高维数据的大规模机器学习的基础理论和关键技术”的研究,将高维统计学和随机矩阵理论应用于复杂大规模机器学习系统设计,以解决非、自监督学习、神经网络优化设计、压缩和加速问题,成果发表在ICML、NeurIPS、ICLR、COLT、AISTATS、TSP、AAP、JSTAT、PRA等人工智能、机器学习、概率论的顶级会议与期刊,合著专著Random Matrix Methods for Machine Learning,长期受邀担任多个人工智能、机器学习领域顶级会议和期刊的审稿人或程序委员会委员,受邀担任欧盟自然科学基金ERC和加拿大自然科学基金NSERC外部评审。获评湖北百人计划,武汉英才,华中科技大学东湖青年学者和法国巴黎萨克雷大学ED STIC优秀博士论文。
报告摘要:
在两个半天的短课中,我们将:
1. 简介大维随机矩阵理论,通过聚焦经典的样本协方差矩阵模型,讨论随机矩阵理论其与传统渐进统计学的联系和区别,讨论相关理论方法和证明技术,以及领域内的最新进展;
2. 围绕机器学习中的深度神经网络这一类模型,具体讨论高维统计和大维随机矩阵理论在(深度)神经网络理论和方法中的相关研究进展。将按照网络从浅到深、数据结构从简单到复杂、模型从随机到非随机的逻辑,回顾和梳理近年来随机矩阵理论在深度神经网络中得到的诸如“非线性网络性能分析”、“双下降”和“神经正切核”等一系列应用成果。最后,我们将展望未来用随机矩阵理论解决深度学习中核心问题可能的机遇和技术挑战。