「可能要全部重做。」

        研究室陷入沉默。晴萱刚从宿舍过来,手里拎着早餐店的豆浆,看到两人的表情,停下脚步:「怎麽了?」

        陆子舟把邮件转给她。她读完,放下豆浆,翻开笔记本,开始列出他们之前所有特徵工程项目。总共四十七个变数,经过主成分分析压缩成十二个维度,再加上时间滞後项和交互项,最终进入模型的总共八十三个特徵。

        「全部要重检视。」晴萱的语气带着精算系特有的冷静,「如果验证集的资料分布跟训练集有系统性差异,那所有特徵的统计性质都会改变。均值、变异数、相关性——全部要重新计算。」

        陆子舟站起来,走到白板前面。他拿起红色麦克笔,在白板上画了一条垂直线。左边写「训练集」,右边写「验证集」。然後他在两边各画了一个钟形曲线,但右边的曲线往左偏移了一点。

        「这就是系统性差异。」他指着那两条曲线,「训练集的均值是μ?,验证集的均值是μ?。两个均值之间的差距,就是我们要处理的问题。」

        「但如果我们不知道验证集的资料——」阿坤说,「我们怎麽知道要调整什麽?」

        「所以我们要用对抗验证。」陆子舟在白板上写下几个字,「把训练集和验证集混在一起,训练一个分类器来区分哪些样本来自训练集、哪些来自验证集。如果分类器能准确区分,表示两个资料集之间有系统性差异。然後我们看哪些特徵对分类器的贡献最大,那些特徵就是差异最大的。」

        「领域自适应。」晴萱点头,「在训练的时候加入一个惩罚项,让模型学到的特徵表示无法区分训练集和验证集。」

        「对。」陆子舟放下麦笔,「这是我们现在唯一的办法。」

        他看了一眼时间。上午八点十七分。距离决赛开始还有——他算了算——二十七个小时又四十三分钟。他们需要在二十七小时内重建特徵工程、重新训练模型、重新跑收敛诊断。

        内容未完,下一页继续阅读