代立东:创业九死一生,做数据调度也一样

近年来,随着互联网的飞速发展,业务量在短时间内呈现爆发式增长,对应的数据量快速从数百 G 涨至数百 T。无论数据存储还是数据调度,当前数据量已经远超处理能力的上限。若信息处理技术仍渐进式发展,数据处理能力的提升将远落后于指数级增长的数据量。

可想而知,提升数据处理能力、使任调度任务效率最大化、保持工具高可用是目前各企业的共同诉求,同时也是大数据发展所要面对的核心技术难点。

在这样的背景下,大数据领域也涌现了很多优秀的开源项目。

其中大数据任务调度以 Apache DolphinScheduler 项目为代表:基于 Apache 开源社区理念打造的 Apache DolphinScheduler 是全球知名的 DataOps 领域开源项目,拥有超过350人的贡献者群体。作为一个分布式去中心化,易扩展的可视化工作流任务调度平台,Apache DolphinScheduler 已累计在1000 多家公司生产环境中作为企业的核心调度系统,包括 IBM、腾讯、科大讯飞、美团、360、联通、顺丰等,覆盖金融、电信、零售、云计算、数据处理等众多领域。

自2021年4月9日从 ASF 孵化器毕业成为 Apache 顶级项目后,Apache DolphinScheduler 一直保持着强劲的发展势头。在数年的演进历程中始终保持快速的版本更新与持续的架构迭代。且值得关注的是,Apache Dolphin Scheduler 已于近日迎来了其3.0.0-beta-1 版本的正式发布。

6月23日的【T·Talk】技术分享活动中,我们特别邀请到了白鲸开源联合创始人、Apache DolphinScheduler PMC Chair 代立冬老师为大家分享 Apache DolphinScheduler 的进化之路。届时,代立冬老师将详细介绍 Apache DolphinScheduler 架构迭代中的经验与教训,并分享对云原生时代调度架构的思考与前瞻。

无论你是热衷于钻研开源技术的开发者,还是“大数据调度”的开源资深爱好者,都能从这些前沿的案例中获得全新的灵感。

欢迎大家参与6月23日,晚上20:00【T·TALK】第12期技术分享活动

扫海报下方二维码预约观看

图片 新时代开源数据调度在1000+企业的进化之路  开源 大数据 数据调度 第1张

嘉宾介绍:

代立冬,白鲸开源联合创始人、Apache DolphinScheduler PMC Chair、Apache Member、Apache SeaTunnel PPMC、Apache 孵化器导师、ApacheCon Asia Bigdata Track co-Chair(2021)、COSCon 大数据论坛出品人,组织过万人的大数据技术社区。

转载请说明出处
知优网 » 新时代开源数据调度在1000+企业的进化之路

发表评论

您需要后才能发表评论