数据竞赛专题 | 从赛题理解到竞赛入门基础

为了帮助更多竞赛选手入门进阶比赛，通过数据竞赛提升理论实践能力和团队协作能力。DataFountain 和 Datawhale 联合邀请了数据挖掘，CV，NLP领域多位竞赛大咖，将从赛题理解、数据探索、数据预处理、特征工程、模型建立与参数调优、模型融合六个方面完整解析数据竞赛知识体系，帮助竞赛选手从0到1入门和进阶竞赛。

下面是大咖分享

:point_down::point_down::point_down:

数据挖掘方向

王茂霖  ID： ML67

简介：华中科技大学研究生，DCIC-2019风电赛Top2选手。

数据竞赛行军打仗第一步： 赛题理解（摸清敌情）

作为切入一道赛题的基础，赛题理解是极其重要的，对于赛题的理解甚至会影响后续的特征工程构建以及模型的选择，对了赛题背后的思想以及赛题业务逻辑的清晰，也很有利于花费更少时间构建更为有效的特征模型。所以赛题的理解相当于一种行军打仗中的了解敌情，在不了解敌情的情况下，贸然进攻是不可取的。赛题理解要达到的地步是什么呢， 把一道赛题转化为一种宏观理解的解决思路 。以下将从多方面对于此进行说明。

1）赛题理解究竟是理解什么：

理解赛题是不是把一道赛题的背景介绍读一遍就OK了呢？并不是的，理解赛题其实也是从直观上梳理问题，分析问题是否可行的方法，有多少可行度，赛题做的价值大不大，理清一道赛题要从背后的赛题背景引发的赛题任务理解其中的任务逻辑，可能对于赛题有意义的外在数据有哪些，并对于赛题数据有一个初步了解，知道现在和任务的相关数据有哪些，其中数据之间的关联逻辑是什么样的。对于不同的问题，在处理方式上的差异是很大的。

Example:

分别对两个问题举例：

1.DCIC-2019风电数据修复题：

在赛题背景以及赛题任务的阅读上我们知道，这是一道数据缺失修复的问题（但是不清楚是离散值修复，还是连续值修复，方法是回归还是分类还是其它什么方法，而这些都是需要从数据里面理解数据去得到的），涉及包括但不限于删去某个时间段的全部数据、某台机组在某段时间的数据、某台机组在某段时间的部分字段信息这三种类型的缺失。但其实到这里来说，问题其实依然是模糊的，比如有多少机组，机组的相对位置信息知道么，机组数据是什么样子的，采样周期是多少，有多少种字段类型特征（是匿名特征还是非匿名特征），其实都还是不清楚的，所以为进一步理解赛题，还需要对于数据有一个初步认识。

在对于数据有一个基础了解上，我们才能对于赛题有着更为深入的理解。知道采样时间段，总样本有多少，缺失有多少，才能对于任务有更为清晰的了解（应该怎样选取模型），也才能更为清晰的了解赛题的大概难度。

2.智能制造预测

这是一道工业数据分析题，从背景描述和问题描述可以发现这是一道工业流程分析题，有反应机台的温度，气体，液体流量，功率，制成时间等因子 这样一些特征因子，并中结合数据观察下，我们知道这是一道可以用回归去解决的问题，可能会存在数据异常要做处理，会有不同的加工流水线，后续这个可能是需要考虑的问题等等。

2）有了赛题理解后能做什么：

在对于赛题有了一定的了解后，分析清楚了问题的类型性质和对于数据理解的这一基础上，是不是赛题理解就做完了呢? 并不是的，就像摸清了敌情后，我们 至少就要有一些相应的理解分析，比如这题的难点可能在哪里，关键点可能在哪里，估摸可以用什么方法去解决一些什么问题，哪部分数据应该是关键数据 （背景的业务逻辑下，比如CTR的题，一个寻常顾客大体会有怎么样的购买行为逻辑规律，或者风电那种题，如果机组比较邻近，相关一些风速，转速特征是否会很近似）。这时是在一个宏观的大体下分析的，有助于摸清整个题的思路脉络，以及后续的分析方向。

3）赛题理解的-评价指标：

为什么要把这部分单独拿出来呢，因为这部分会涉及后续模型预测中两个很重要的问题：

1.  本地模型的验证方式 ，很多情况下，线上验证是有一定的时间和次数限制的，所以在比赛中构建一个合理的本地的验证集和验证的评价指标是很关键的步骤，能有效的节省很多时间。

2. 不同的指标对于同样的预测结果是具有误差敏感的差异性的 ，比如AUC，logloss, MAE，RSME，或者一些特定的评价函数。是会有很大可能会影响后续一些预测的侧重点。

4）赛题背景中可能潜在隐藏的条件：

其实赛题中有些说明是很有利益-都可以在后续答辩中以及问题思考中所体现出来的，比如高效性要求，比如对于数据异常的识别处理，比如工序流程的差异性，有些的意识是可以贯穿问题思考，特征，模型以及后续处理的，也有些会对于特征构建或者选择模型上有很大益处，反过来如果在模型预测效果不好，其实有时也要反过来思考，是不是赛题背景有没有哪方面理解不清晰或者什么其中的问题没考虑到。

钟昌盛  ID： 真我小兔子乖乖

简介： Kaggle:  Elo Merchant Category Recommendation亚军、2019-kddcup top10、2018ccf电信套餐个性化匹配模型亚军。

从赛题理解 到竞赛入门基础。 对于我来说，如果我是接触了一个新的赛题，那么我可能从我接触开始都还是那个赛题的入门阶段。 《倚天屠龙记》里面各大武林高手修习的武功各有千秋，每个人都有自己的心法，但谁能举起那把屠龙刀和倚天剑就要看是否能达到那把刀的内功了。 同样，算法一样，我们每天都在键盘上修习自己的代码能力和算法能力，到了真正竞赛的时候，就看自己是否有拿上那把屠龙刀的时候。 正所谓各有千秋，每个人所擅长的方向都各有不同，而我们能做的， 一是发挥自己的所长，二，学习别人的长处 ，争取不断学习在这次竞赛或者下次竞赛中，打败他。

每个人都有每个人的想法，所以每个人参赛的理由也不一样，可能有的人是论文看烦了，想做做比赛看看效果；有的人希望通过竞赛中找到好成绩，找到自己心仪的工作。不管如何，在我们对算法解决企业难题的重视的情况下，各大平台各大企业纷纷推出了自己的企业亟待解决的难题，甚至在参赛者们给予优秀的方案以后抛出了橄榄枝。

可是，在数据挖掘竞赛中，lgb横行的当代，我们是否怀念和亲密接触过原来的一些基础的集成包呢？

基于原有的基础，kaggle出了一题与众不同，甚至可以说回归原始的赛题 https://www.kaggle.com/c/instant-gratification ， 这一题刚好可以分析数据竞赛的流程和步骤。

这题并没有像其他 featured comppetition 一样给出大量多种类别特征和其他业务特征等等。 而是每一列都是高斯分布生成。 这让我们不得不重新审视我们手上现有的屠龙刀 Lgb 等和倚天剑深度学习等，这些宝刀是有大炮打小鸟的功效呢？还是你的高级武器不能遇到枪的缺点。于是，人们开始提刀开始看向遇到的难题 https://www.kaggle.com/abhishek/neural-network-with-embedding-laye r ，可是效果并没有预期的效果，是倚天剑不好用吗？那么试试屠龙刀吧， https://www.kaggle.com/gouzmi/512-lgb 。好像也不尽人意。

那，到底是什么问题呢？ 这让大家不得不重新回去审视这题的出发点：

1.  从  sklearn.make_classification 发现了蛛丝马迹，所以大家开始研习原有的东西；

2. 并知道了这个函数会生成n_features，这其中不仅包括多信息特征的个数，甚至还随机加了 n_redundant 以及一些 n_repeated；

3. 我们还知道 n_clusters_per_class 这个参数还会对生成的数据有几个 cluster；

4. 正因为生成的数据在此， 我们会重新审视决策树模型对于这一类数据的欠拟合性以及真正适用的二分类算法；

5. 基于此，参数者们在 sklearn 上寻找适合这类问题的方法。 从中就发现 

Linear Discriminant Analysis 和 QuadraticDiscriminant Analysis 这类方法对于解决这类问题的优越性。

在不断的学习过程中，我们知道了每一种分类算法的区别。

在我们不断探索的过程中，我们知道数据中有512中不同分布的类别。并需要将不同模型生成不同模型。

for k in range(512):

# ONLY TRAIN WITH DATA WHERE WHEEZY EQUALS I

train2 = train[train['wheezy-copper-turtle-magic']==k]

train2p = train2.copy(); idx1 = train2.index

test2 = test[test['wheezy-copper-turtle-magic']==k

不仅需要剔除原有的脏数据，还需要将方差大于某些阈值的列剔除。

sel = VarianceThreshold(threshold=1.5).fit(train2p[cols])

train3p= sel.transform(train2p[cols])

train3= sel.transform(train2[cols])

test3= sel.transform(test2[cols])

不同的数据模型预测出数据以后，我们还要通过观察预测出的test的数据，观察预测数据可以知道预测结果的分布，可以通过这样分布判断最终评测函数是否有效。

sub= pd.read_csv('../input/sample_submission.csv')

sub['target']= preds

sub.to_csv('submission.csv',index=False)

importmatplotlib.pyplot as plt

plt.hist(preds,bins=100)

plt.title('FinalTest.csv predictions')

plt.show()

所以说，传统机器学习数据竞赛流程基本情况是：

接触赛题-类别特征，数值特征-查看分布-筛选异常值-特征工程-有用的模型oof-特征选择-模型再次训练oof-预测test

最后，引用IG这题Kaggle出的一首诗，希望大家共勉，希望从诗中找到你的赛题理解：

Silly column names abound,

but the test set is a mystery.

Careful how you pick and slice,

or be left behind by history.

短暂的分享完了，希望这样经验对大家需要有所帮助。

徐光福  ID： 天灵灵地灵灵

简介：多次目标检测比赛第一、2018之江杯VQA比赛第二。

一个没有参加过任何大数据竞赛的新人，不知道什么原因，或许是偶然看到就参加了，或 许是为了证明自己，或许只是因为看到了奖金（￥—￥），以一往无前、不知道什么是炮灰的精神第一次参加了一个比赛，他（她）除了满腔的热情，或许对自己将要面临的问题一无所知，那么先说说他将要面临的第一个问题—— 赛题理解 。

首先，一般来说赛题主要分为几个大类：挖掘类、计算机视觉类、自然语言处理类、前面几类互相结合的类别。

每个大类需要的知识基础和努力的方向是不同的，我目前参加的比赛多是计算机视觉类的，因此主要以计算机视觉方面的竞赛来举例。

计算机视觉方面的比赛再向下分的话主要有几类：

• 分类、目标检测、分割、其它（包括但不限于图像生成、降噪等等）

• 其中分类又分为普通图像分类、多标签分类、零样本或少样本、细粒度分类等等

• 目标检测又分为2D目标检测、3D目标检测、视频目标检测等等

• 分割又分为语义分割、实例分割、全景分割，之间又有2D和3D的区别等等

• 说了这么多废话，好像说的也未必准确和全面，目的是什么呢？

目的只有一个，首先你要确定你参加的这个比赛属于哪一个大类、哪一个细类 ，这样你才能进行下一步的动作。

以基于虚拟仿真环境下的自动驾驶交通标志识别

https://www.datafountain.cn/competitions/339 ，这个比赛为例，这是一个比较典型的2D目标检测任务，分类确定了，你大致的努力方向也就确定了。

第二，比赛的分类确定了，接下来要做的是什么，当然是上网查资料， 根据比赛的分类确定大概的算法和模型了 ，还是以交通标志是被为例，既然是一个典型的目标检测比赛，首先对目标检测的发展历史和目前大致的情况应该有一些了解。

完成了这一步之后，你应该知道了一堆的名词和方法：单阶段检测方法、双阶段检测方法、SSD、retinanet、yolo、CenterNet、fast rcnn、fasterrcnn、cascade rcnn、dcn……单阶段的检测方法速度快、双阶段的检测方法精度高……

有了这些基础的知识，你知道了以faster rcnn为基础的双阶段检测方法和它的各种改进版本似乎很适合这个比赛，但具体哪种算法和模型更好呢？你需要查找和了解当前属于这个分类的 SOTA（state-of-the-art） ，然后你知道了SNIPER、HTC、Trident net等等。

但还是对这个比赛怎么下手有些迷茫，难道要手撸这些算法吗？似乎是个不可能完成的任务，这个时候是 github （ https://github.com全球最大的同性交友网站 ）出场挽救你的时候了。通过github，你发现了detectron、mmdetection、simpledet等目标检测框架。竟然还有这种逆天的存在，你顿时有一种葵花在手，天下我有的感觉，似乎奖金在向你招手，匆匆忙忙把程序调通、训练、测试提交，成绩出来了——进入了前100名，但离前排的目标似乎还很遥远，你顿时懵了，一定是哪里出了问题。

再次回到本文的主题—— 赛题理解 ，你再次详细读了一遍赛题说明及评分标准，发现一行小字“根据用户检测结果和目标框之间重叠比率大于0.90，视为合格候选”，嗯，还好不是欲练神功，必先xx，只是IOU需要大约0.9才算检测正确，omg，这个指标使这个比赛和其它目标检测比赛的努力方向完全不同了，目标的分类基本不用担心，因为标志类别相对来说比较明显，基本不会分错，所以检测框的回归精度成了提分的关键，以0.9的IOU，检测框的坐标和大小相差零点几就已经是对与错的差别了。

目标是提高检测框的回归精度，你不停的查找相关的资料和论文，发现大家常用的cascade rcnn似乎是专门为这个目标设计的，于是你尝试了cascade rcnn，果然分数有了明显的提升，然后你再次读了一遍cascade rcnn的论文，发现4层cascade比标准的三层对于检测框的回归帮助更大，于是你实验了4层的cascade rcnn，分数又有了一定的提升。

找到本赛题和其它赛题的不同点，也就是比赛自身的特点，非常关键。

总结一下，计算机视觉方面的竞赛，在赛题理解方面主要有以下三个方面：

• 确定你参加的这个比赛属于哪一个类别包括大类、细类；

• 根据比赛的分类确定大概的算法和模型，了解当前分类的SOTA；

• 找到本赛题和其它赛题的不同点，也就是比赛自身的特点，非常关键。

王博  ID： 000wangbo

简介：西安电子科技大学研究生，一个不断在CV道路上探索的小白

张浩  ID： reborn_ZH

简介：CCF2018供应链需求预测亚军、2019搜狐内容识别算法大赛季军。