友情提示：本文共有 987 个字，阅读大概需要 2 分钟。
近日，我校信息与软件工程学院2018级本科生毛海涛在数据挖掘领域顶级国际会议CIKM (ACM International Conference on Information and Knowledge Management) 上，发表题为“Neuron Campaign for Initialization Guided by Information Bottleneck Theory”的论文，并荣获最佳短文奖，这是我校学生第一次荣获此奖。毛海涛为论文的第一作者。
图1 会议论文颁奖现场
近年，随着深度学习相关研究的深入，如何训练好神经网络日益成为学术焦点。在神经网络的初始化策略研究中，最著名的方法有Xavier Initialization、He nitialization，这些方法更多的关注了解决梯度消失和梯度爆炸的训练问题，而没有考虑如何寻找更好的初始化策略来提高神经网络的泛化能力。
为此，该论文基于“信息瓶颈理论”（Information Bottleneck Theory）提出了一套在理解初始化网络泛化性能的新角度。基于这种新视角，作者提出，满足特定互信息指标条件的初始化网络，能具有好的泛化性能，并对互信息指标进行了一系列的简化，以降低实际计算复杂度。在确定指标基础上，作者提出了一套神经元竞争方法，以组合优化的方式选择出合适的神经网络初始化。
图2 基于信息瓶颈理论的神经元竞争初始化策略初始化（IBCI）算法流程
此类基于“信息瓶颈理论”的神经元竞争初始化策略，在初始化方式上可以集成在现有全部的初始化方式上，以加快收敛速度，提高泛化性能。论文初步在MNIST数据集和多种MLP网络结构上进行实验，证实初始化方式的优异性。
图3 本论文提出的IBCI算法精度对比图
毛海涛是信息与软件工程学院2018级国际菁英班的本科生，根据学院培养计划，在学院的支持和校内导师周帆副教授的指导下，该生在大三下学期前往微软亚洲研究院开展科研实习。本篇论文就是在实习期间，在微软亚洲研究院首席研究员付强、研究员杜仑、研究主管韩石、副院长张冬梅的指导下，和北大博士生陈旭共同完成的。
【来源：电子科技大学_科研学术】
声明：此文版权归原作者所有，若有来源错误或者侵犯您的合法权益，您可通过邮箱与我们取得联系，我们将及时进行处理。邮箱地址：jpbl@wccm.sinanet.com
本文如果对你有帮助，请点赞收藏《软件学院本科生在数据挖掘领域顶级会议CIKM上发表论文并获最佳短文奖》，同时在此感谢原作者。
