学科学学院学术报告[2024] 139号

(高水平大学建设系列报告1019号)

报告题目: Accelerated Gradient Descent by Concatenation of Stepsize Schedules  

报告人：江如俊 副教授（复旦大学）

报告时间：2024年12月17日下午15:00-16:00

讲座地点：深圳大学粤海校区汇星楼一号教室

报告内容：This talk considers stepsize schedules for gradient descent on smooth convex objectives. We extend the existing literature and propose a unified technique for constructing stepsizes with analytic bounds for arbitrary iterations. This technique constructs new stepsize schedules by concatenating two short stepsize schedules. Using this approach, we introduce two new families of stepsize schedules, achieving a convergence rate of $O(n^{-1.2716...})$ with a state-of-the-art constants for the objective value and gradient norm of the last iterate, respectively. Furthermore, our analytically derived stepsize schedules either match or surpass the existing best numerically computed stepsize schedules.

报告人简介：江如俊，复旦大学大数据学院副教授，博士生导师。2016年7月于香港中文大学获得博士学位。研究方向主要包括优化算法和理论分析及其在运筹学、机器学习和金融工程领域的应用。其研究成果发表在Math:Program.，SIAM JOptim.、Math. Oper. Res.、INFORMS . Comput.和ICML、NeurlPS等国际顶级期刊或会议上。获上海市扬帆计划、国家级青年人才计划支持，主持国家自然科学基金青年项目和面上项目。获国际机器学习大会ICML2022杰出论文奖。

欢迎师生参加！

邀请人： 胡耀华

                                           数学科学学院

                                       2024年12月16日