数据湖在集成加速场景的实践

先后在猎豹，阿里移动就职，目前在哔哩哔哩弹幕视频网担任技术总监岗位，负责数据平台部，专注管理建设公司大数据平台，有超过10年的大数据基础架构，数据赋能业务，数据治理相关工作经验，长期涉猎视频，直播，游戏，电商，安全工具等互联网业务

6800.00 /人

成为教练

1.传统离线数仓痛点
2.数据湖技术方案
3.Hudi 任务稳定性保障
4.数据入湖实践
5.增量数据湖平台收益
6.社区贡献
7.未来的发展与思考

大规模的数据落地 HDFS 后，只能在凌晨分区归档后才能查询并做下一步处理；数据量较大的 RDS 数据同步，需要在凌晨分区归档后才能处理，并且需要做排序、去重以及 join 前一天分区的数据，才能产生出当天的数据；仅能通过分区粒度读取数据，在分流等场景下会出现大量的冗余 IO。