报告题目：基于随机扩展Kaczmarz算法的鲁棒宽度学习系统模型

报告时间：2022年11月8日（周二）下午15:30-17:30

报告方式：腾讯会议（会议号：872-768-399）

主讲人：王健 教授

摘要：宽度学习系统（BLS）由于其简洁的模型结构和高效的增量学习算法而受到广泛关注，在特定问题中的表现，可以有效替代当下流行的深度学习模型。经典BLS能够通过广义逆的岭回归方法快速完成训练，然而，对于大数据处理和大型网络训练，BLS将不得不面对昂贵的大型矩阵的求逆计算。为此，本报告尝试基于随机扩展Kaczmarz法（REK），提出一种高效鲁棒的BLS训练模型。首先，提出了无需计算广义逆的迭代投影学习模型，该模型适用于批处理和在线学习模式，同时能够通过增量学习动态调整网络结构。由于REK能够在最小范数的方向上收敛于最小二乘解，因此获得的模型期望在无需额外正则化的前提下获得更好的泛化能力。这一特性也使得模型对超参数的设置更加鲁棒，并能够在增量学习过程中保持稳定的性能。此外，提出了一种离散差分进化的进化宽度设计方法以进一步优化网络结构。数值实验结果表明，提出的方法在效率与泛化能力方面相比基于广义逆的经典方法具有显著优势。