小红书推荐系统的架构演进

案例背景:
小红书是个生活分享社区。推荐每天几百亿次笔记曝光承载着给用户种草功能。推荐算法的核心是根据大量用户行为数据学习出来的对用户行为的预估模型。
在过去的一年多的时间里，推荐的预估模型从最简单的GBDT演进到了包含近千亿参数的稀疏离散模型。为了支撑起千亿参数的稀疏离散模型，推荐的在线系统架构和线下的数据处理架构都经历了多次演进。


解决思路:
当模型变贵变大之后，推荐的线上服务拆分出了独立的集群做模型推荐。当模型快达到百亿规模时，拆分出了独立的参数服务器PS。线下数据需用Flink做实时的行为归因。离线训练用Volcano管理Tensorflow训练集群。


成果：
模型升级使业务指标有两位数的提升的同时，运维成本和系统复杂度有所下降。