美图PB级大数据基础架构升级之路

案例背景:
随着美图业务的快速扩张，传统的通过加机器来保障算力的方式已经无法满足业务以及成本的需求。海量用户将给大数据架构带来哪些挑战？如何提升大数据基础设施算力？大数据基础设施稳定性如何提升？数据安全如何处理？通过此次分享，希望能给大家的在大数据架构及优化方面带来一些的启发。

解决思路:
1. 落地引擎改造，调度升级，文件列式存储改造等去提升大数据基础设施算力
2. 构建完善的监控告警，使其精细化，同时提升组件高可用、bug fix&特性增强从而达到基础设施稳定性提升的效果
3. 通过集群入口收敛，平台化管理，服务器环境治理，让数据安全得到保障。

成果：
美图结合自身业务，通过引擎升级改造、架构优化、组件定制与加强、社区特性引入等技术手段，将大数据基础设施的计算性能较之前提升数倍，并在此基础之上将计算集群规模缩小了一半，大幅降低了业务成本。