从ldquo皮皮调度rdquo到
去年写了6篇关于“皮皮调度”的文章:
皮皮调度(1)——从Airflow到DolphinScheduler,以及“皮皮调度”的来历皮皮调度(2)——编译为原生程序的Java应用框架——Quarkus皮皮调度(3)——Java和Python互相调用的方式皮皮调度(4)——JepNativeImage尝试皮皮调度(5)——JepWithPy4j?皮皮调度(6)——Gearman:你真的是传说中的“齿轮超人”吗?“皮皮调度”系列主要是一些探索的想法,本身并没有真正落地到任何产品中。正如“纸上得来终觉浅,绝知此事要躬行”,所以想法的深度会有限。
不过,“机会总青睐有准备的人”“你积累的知识,往往不经意间就能找到用武之地”。今年机会来了~
两大需求商业上的需求在“BI系统”和“数据开发平台”的实施过程中,客户往往有各种数据的对接需求,尤其是一些webservices服务(包括传统的SOAPwebservices,以及较新的RESTAPI)
我们的“数据开发平台”由于已经支持了丰富的插件体系(Java插件和Python插件),所以,我们非常推荐客户能采购和使用我们的数据开发平台。
但是问题来了:当客户只需要对接很少几个外部数据源时,客户没有动力花大价钱采购我们功能丰富的“数据开发平台”。
所以,从客户的实际需求出发,我们是否能有一套轻量的“数据处理工具”,能进行各种轻量的数据对接清洗,并将结果上传到BI平台或者写到各种关系数据库。另外,这个轻量工具,最好能和“数据开发平台”的插件体系兼容。
个人的需求生活中充满了各种数据,但是如果不能简便的获取数据,那这些数据就失去了价值。
前段时间发现了一个有趣的项目:
|