博客文章索引

27 September 2017

创建日期：2017年9月27日，更新日期：2017年10月8日

不同于导航栏上设置的“分类”、“标签”、“Google站内搜索”等入口，本文主要从技术方向上对若干篇博文（非全部的博文）进行知识索引，以帮助形成一种知识框架。（说明：每部分内容按时间由近及远的顺序排列）

模型
- EM算法原理及其应用 : EM算法是经典算法之一。
- 理解 product quantization 算法 : Product quantization算法（简称PQ算法）可以用在神经网络模型压缩上，也可以用于相似搜索。它的效果和性能都较好。
优化方法
- 理解 FTRL 算法 : 对于特征规模大（达到千万级甚至数亿级）、标注数据量大或者是标注数据源源不断的流入（比如线上广告点击数据），FTRL算法在模型的效果和稀疏性方面都表现较好。
评估指标
- 理解 ROC 和 AUC : 介绍了AUC的物理含义以及3种计算AUC的方法。
模型校准
- 某些业务需要做模型校准。比如广告投放系统以eCPM为排序指标，该指标是CTR和bid price的乘积。如果CTR预测得不准，会影响eCPM的排序结果。
- 面向稀有事件的 Logistic Regression 模型校准
- 使用 Isotonic Regression 校准分类器
矩阵相乘
- 使用 MapReduce 实现大规模稀疏矩阵相乘 : 在实际业务中经常碰到2个大规模稀疏矩阵相乘的需求，这篇文章列举了一些例子，并先后介绍了稠密矩阵相乘和稀疏矩阵相乘的算法，其中详细描述了算法的复杂度。此外，对大规模稀疏矩阵相乘，还介绍了一些工程方面的trick。

自然语言处理

机器翻译
- 201706 阅读笔记 : 第二节”Machine Translation”，主要介绍google在17年发表的paper《Attention Is All You Need》的阅读笔记。
- 201703 阅读笔记 : 第一节”序列到序列模型”，主要介绍《Neural Machine Translation and Sequence-to-sequence Models: A Tutorial》文章的阅读笔记。
- 201702 阅读笔记 : 第二节”Machine Translation”，主要介绍Google在16年发表的2篇paper《Google’s Neural Machine Translation System: Bridging the Gap between Human and Machine Translation》和《Google’s Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation》的阅读笔记。
文本匹配
- 201707 阅读笔记 : 第二节”基于深度学习的文本匹配”，基于若干篇综述文章，介绍了DSSM模型及其变种。

上面列举的是对技术的理解或者笔记，此外，平时还喜欢琢磨技术的特点和发展趋势，写了些个人思考（不一定对，欢迎拍砖）：

对系统设计的一点思考 : 不同于软件工程方面的书籍从学术的角度介绍系统设计，本文从笔者的一点实际经验出发，先后总结了2个朴素观点，第一，系统设计需要主动而且全面地考虑需求；第二，系统设计需要达到资源和需求的平衡。
对在NLP领域对比MLP、CNN和RNN的一点思考
对国内互联网趋势的一点思考
对深度学习的一点思考
对软件开发的一点思考 : 算法工程师不仅要熟悉业务特点，并找到合适的算法策略，也要重视工程开发。人工智能技术的落地 = 业务理解 + 数据使用 + 工程开发 + 模型建立。

原创文章，转载请注明：转载自vividfree的博客

本文链接地址：博客文章索引