多元回归学习算法收敛速度的估计

Zongben Xu, Yongquan Zhang, Feilong Cao

Abstract: 在许多应用中, 回归函数的先验信息往往不能事先获取. 因此, 有必要利用有效的方法学习回归函数. 本文研究学习理论中的回归问题, 即研究多项式空间上具有最小二乘平方损失正则学习算法的收敛速度问题. 主要目的在于分析学习理论中多维回归问题的泛化误差. 利用逼近论中著名Jackson 算子、覆盖数理论、集合的熵数以及有关概率不等式, 得到学习算法收敛速度的上、下界估计. 特别地, 对于满足一定条件的多元光滑回归函数, 除一个对数因子外, 所获的收敛速度是最优的.本文结果对研究回归学习算法的收敛性、稳定性及复杂性等有着重要的意义.