1.简介:

对股票价格趋势的预测是金融领域极为复杂和极为关键的问题,有效市场假说认为股票价格趋势不可能被预测,然而真实市场由于各种因素的存在并不完全有效,这对于股票市场而言相当于一种"错误"。这里我们为参赛者提供了大规模的股票历史数据,从而可以通过集合大家的智慧来纠正股票市场的这些"错误"。

2.数据说明:

数据集包括训练数据集和测试数据集两部分,训练数据集用来进行模型训练,是一个以逗号分隔的文本文件(csv),格式示例:

其中id列为数据唯一标识编码,feature列为原始数据经过变换之后得到的特征,weight列为样本重要性,label列为待预测二分类标签,group1和group2是两列类别特征,era列为时间区间编号(数值越小时间越早)。

拿到数据后,通过分析可以知道,数据特征维度为98维,并且每个维度都基本已经处理好了,因此,初期的想法是对所有特征,进行简单的归一化处理,然后用svm模型,然而,svm程序运行时间特别长,而且交叉熵比较高。之后,又通过降维处理,并且取一半的特征来用xgboost训练,在第11期效果比较不错,最后取得第一名的成绩。

然而在第12期,在测试集上比较差,很明显的过拟合,所以排名比较差。

在第13期,去除了降维处理,并且,取前一半的特征用xgboost处理,后一半特征用lightgbm处理,将两者的结果进行简单的加权融合,效果很不错,拿下第13期的冠军。

在本地采用了交叉熵做评估分析,除第9期,第12期外,线上和线下的结果差异不大,说明模型的效果很不错。经过调参发现,选择默认参数很不错。

选择xgb和lgb模型,除了效果不错外,其速度也是很不错的,实际上,svm的效果理论上是很不错的,但是其效率太慢,至少要运行8个多小时。

这次比赛是一次很好的锻炼,从实战中理解理论,熟悉了数据挖掘的一般过程。同时,可惜参加的比较晚,只是参加了最后5期的比赛,拿了两次周冠军,最终排名第10,希望能在以后的比赛中,能有更大的提升。