每日学术速递2.24

CV - 计算机视觉 | ML - 机器学习 | RL - 强化学习 | NLP 自然语言处理

Subjects: cs.LG

1.BUAA_BIGSCity: Spatial-Temporal Graph Neural Network for Wind Power Forecasting in Baidu KDD CUP 2022

标题：BUAA_BIGSCity：百度KDD CUP 2022风电预测时空图神经网络

作者：Jiawei Jiang, Chengkai Han, Jingyuan Wang

文章链接：https://arxiv.org/abs/2302.11159v1

项目代码：https://github.com/buaabigscity/kddcup2022

摘要：

在本技术报告中，我们介绍了百度 KDD 杯 2022 空间动态风电功率预测挑战赛的解决方案。风能是一种快速增长的清洁能源。准确的风电功率预测对于电网稳定和供应安全至关重要。为此，主办方提供了包含134台风电机组历史数据的风电数据集，并发起百度KDD Cup 2022，以检验当前风电预测方法的局限性。使用RMSE（均方根误差）和MAE（平均绝对误差）的平均值作为评价分数。我们采用两个时空图神经网络模型，即 AGCRN 和 MTGNN，作为我们的基本模型。我们通过 5 折交叉验证训练 AGCRN，并直接在训练集和验证集上训练 MTGNN。最后，我们根据验证集的损失值对两个模型进行集成，作为我们的最终提交。使用我们的方法，我们的团队在测试集上达到了 -45.36026。

2.Learning to Generalize Provably in Learning to Optimize

标题：在学习优化中学习可证明地概括

作者：Junjie Yang, Tianlong Chen, Mingkang Zhu, Fengxiang He, DaCheng Tao, Yingbin Liang, Zhangyang Wang

文章链接：https://arxiv.org/abs/2302.11085v1

项目代码：https://github.com/VITA-Group/Open-L2O

摘要：

学习优化 (L2O) 越来越受欢迎，它通过数据驱动的方法自动设计优化器。然而，目前的 L2O 方法通常至少在两个方面存在泛化性能差的问题：(i) 将 L2O 学习的优化器应用于未见过的优化，以降低其损失函数值（优化器泛化，或“优化器的可泛化学习”） ); 和 (ii) 优化器（本身作为机器学习模型）的测试性能，由优化器训练，在未见数据的准确性方面（优化器泛化，或“学习泛化”）。虽然最近研究了优化器泛化，但优化器泛化（或学习泛化）尚未在 L2O 上下文中得到严格研究，这是本文的目的。我们首先在理论上建立了局部熵和 Hessian 矩阵之间的隐式联系，因此将它们在可泛化优化器的手工设计中的作用统一为损失函数景观平坦度的等效指标。然后，我们建议将这两个指标作为平坦度感知正则化器纳入 L2O 框架，以便元训练优化器学习泛化，并从理论上表明这种泛化能力可以在 L2O 元训练过程中学习，然后转化为优化损失函数。广泛的实验一致地验证了我们的建议的有效性，并在多个复杂的 L2O 模型和不同的优化上显着改进了泛化。

Subjects: cs.CV

3.Towards End-to-end Semi-supervised Learning for One-stage Object Detection

标题：面向单阶段目标检测的端到端半监督学习

作者：Gen Luo, Yiyi Zhou, Lei Jin, Xiaoshuai Sun, Rongrong Ji

文章链接：https://arxiv.org/abs/2302.11299v1

项目代码：https://github.com/luogen1996/oneteacher

摘要：

半监督对象检测（SSOD）是计算机视觉领域的研究热点，它可以大大减少对昂贵的边界框标注的需求。尽管取得了巨大的成功，但现有的进展主要集中在像 FasterRCNN 这样的两级检测网络上，而对一级检测器的研究往往被忽视。在本文中，我们专注于先进和流行的单阶段检测网络 YOLOv5 的半监督学习。与 Faster-RCNN 相比，YOLOv5 的实现要复杂得多，YOLOv5 中使用的各种训练技术也可以降低 SSOD 的好处。除了这一挑战，我们还揭示了单阶段 SSOD 中的两个关键问题，分别是低质量伪标记和多任务优化冲突。为了解决这些问题，我们提出了一种名为 OneTeacher 的新型师生学习方法，它具有两种创新设计，即多视图伪标签优化 (MPR) 和解耦半监督优化 (DSO)。特别是，MPR 通过增强视图细化和全局视图过滤提高了伪标签的质量，而 DSO 通过结构调整和特定于任务的伪标签来处理联合优化冲突。此外，我们还仔细修改了 YOLOv5 的实现，以最大限度地发挥 SSOD 的优势，这也与现有的 SSOD 方法共享，以进行公平比较。为了验证 OneTeacher，我们对 COCO 和 Pascal VOC 进行了大量实验。广泛的实验表明，OneTeacher 不仅可以实现优于比较方法的性能，例如，相对于 Unbiased Teacher 提高 15.0% 的相对 AP，而且可以很好地处理单阶段 SSOD 中的关键问题。

更多Ai资讯：公主号AiCharm