如何用机器学习模型，为十几亿数据预测性别

• 最后一步是确定阈值，输出男/女标签。这里我们不依赖模型确定阈值，而是借助比较可信的第三方工具，保证在期望准确度（precision）下，召回尽可能多的样本。

另外，面对TalkingData十几亿的数据体量，在标签生产的过程中，为了加速运算，除了必须用单机的情况下，我们都会优先采用Spark分布式来加速运算。

01

性别预测模型V1

模型最初使用的特征包括4个维度： 设备应用信息、嵌入SDK的应用包名、嵌入SDK的应用内自定义事件日志以及设备机型信息。

模型采用Xgboost （ 版本为0.5），基于每个维度的特征分别训练模型，得到4个子模型。每个子模型会输出基于该特征维度的设备男/女倾向的打分，分值区间从0到1，分值高代表设备为男性倾向，反之则为女性倾向。模型代码示例如下：

<左右滑动查看完整代码>

   import com.talkingdata.utils.LibSVM
import ml.dmlc.xgboost4j.scala.DMatrix
import ml.dmlc.xgboost4j.scala.spark.XGBoost//version 0.5

//train stage
val trainRDD = LibSVM.loadLibSVMFile(sc, trainPath)// sc为SparkContext
val model = XGBoost.train(trainRDD, paramMap, numRound, nWorkers = workers)


//predict stage
val testSet = LibSVM.loadLibSVMFilePred(sc,testPath,-1,sc.defaultMinPartitions)
val pred = testSet.map(_._2).mapPartitions{ iter =>
           model.value.predict(new DMatrix(iter)).map(_.head).toIterator
       }.zip(testSet).map{case(pred, (tdid, feauture)) =>
           s"$tdid\t$pred"
       }

缺点及优化方向：

02

性别预测模型V2

对模型使用特征的4个维度进行了调整 ，改为：嵌入SDK的应用包名、嵌入SDK的应用AppKey、设备机型信息以及设备名称。

其中，对嵌入SDK的应用包名和设备名称做分词处理。再使用CountVectorizer将以上4类特征处理成稀疏向量（Vector），同时用ChiSqSelector进行特征筛选。

模型采用LR（Logistic Regression），代码示例如下：

<左右滑动查看完整代码>

   import org.apache.spark.ml.feature.VectorAssembler
import org.apache.spark.ml.PipelineModel
import org.apache.spark.ml.classification.LogisticRegression

val transformedDF = spark.read.parquet("/traindata/path")//分词、CountVectorizer、ChiSqSelector操作之后的特征，为vector列

val featureCols = Array("packageName","appKey", "model", "deviceName")                  
val vectorizer = new VectorAssembler().
                     setInputCols(featureCols).
                     setOutputCol("features")
val lr = new LogisticRegression()
val pipeline = new Pipeline().setStages(Array(vectorizer, lr))
val model = pipeline.fit(transformedDF)

//predict stage
val transformedPredictionDF = spark.read.parquet("/predictData/path")//同train一致，为分词、CountVectorizer、ChiSqSelector处理之后的特征，为vector列
val predictions = model.transform(transformedPredictionDF)

优点及提升效果：

• 采用单一的模型，能够用常见的模型评估指标（比如ROC-AUC， Precision-Recall 等）衡量模型，并在后续的版本迭代中作为baseline，方便从模型角度进行版本提升的比较。

缺点及优化方向：

03

性别预测模型V3

模型所使用的特征，除了上个版本包括的4个维度：嵌入SDK的应用包名、嵌入SDK的应用AppKey、设备机型信息以及设备名称， 又增加了近期的聚合后的设备应用信息 ，处理方式与上个版本类似，不再赘述。

模型从LR更换成Xgboost （版本为0.82），代码示例如下：

<左右滑动查看完整代码>

   import org.apache.spark.ml.feature.VectorAssembler
import ml.dmlc.xgboost4j.scala.spark.XGBoostClassifier//version 为0.82

val transformedDF = spark.read.parquet("/trainData/path")//分词、CountVectorizer操作之后的特征，为vector列

val featureCols = Array("packageName","appKey", "model", "deviceName")                  
val vectorizer = new VectorAssembler().
                     setInputCols(featureCols).
                     setOutputCol("features")
val assembledDF = vectorizer.transform(transformedDF)

//traiin stage
//xgboost parameters setting
val xgbParam = Map("eta" -> xxx,
"max_depth" -> xxx,
"objective" -> "binary:logistic",
"num_round" -> xxx,
"num_workers" -> xxx)
val xgbClassifier = new XGBoostClassifier(xgbParam).
       setFeaturesCol("features").
       setLabelCol("labelColname")

   model = xgbClassifier.fit(assembledDF)

//predict stage
val transformedPredictionDF = spark.read.parquet("/predictData/path")//同train一致，为分词、CountVectorizer操作之后的特征，为vector列
val assembledpredicDF = vectorizer.transform(transformedPredictionDF)
val predictions = model.transform(assembledpredicDF)

优点及提升效果：

04

性别预测模型V4

除了上个版本包括的5个特征维度，还 添加了TalkingData自有的三个广告类别维度的特征 ，虽然广告类别特征覆盖率仅占20%，但对最终标签的召回率的提升也有着很大的影响。

模型由Xgboost替换成DNN ，设置最大训练轮数（Epoch）为40，同时设置了early stopping参数。考虑到神经网络能工作是基于大数据的，因此我们将用于训练的样本量扩充了一倍，保证神经网络的学习。

DNN的结构如下：

<左右滑动查看完整代码>

python
   GenderNet_VLen(
     (embeddings_appKey): Embedding(xxx, 64, padding_idx=0)
     (embeddings_packageName): Embedding(xxx, 32, padding_idx=0)
     (embeddings_model): Embedding(xxx, 32, padding_idx=0)
     (embeddings_app): Embedding(xxx, 512, padding_idx=0)
     (embeddings_deviceName): Embedding(xxx, 32, padding_idx=0)
     (embeddings_adt1): Embedding(xxx, 16, padding_idx=0)
     (embeddings_adt2): Embedding(xxx, 16, padding_idx=0)
     (embeddings_adt3): Embedding(xxx, 16, padding_idx=0)
     (fc): Sequential(
       (0): Linear(in_features=720, out_features=64, bias=True)
       (1): BatchNorm1d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
       (2): ReLU()
       (3): Dropout(p=0.6)
       (4): Linear(in_features=64, out_features=32, bias=True)
       (5): BatchNorm1d(32, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
       (6): ReLU()
       (7): Dropout(p=0.6)
       (8): Linear(in_features=32, out_features=16, bias=True)
       (9): BatchNorm1d(16, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
       (10): ReLU()
       (11): Dropout(p=0.6)
       (12): Linear(in_features=16, out_features=2, bias=True)
     )
   )

优点及提升效果：

只需双击，老铁！debugserver快速启动插件

图解机器学习：人人都能懂的算法原理

技术专栏 | 数据偏移、分区陷阱……我们这样避开DynamoDB的5个坑

TalkingData——用数据说话

每天一篇好文章，欢迎分享关注