从ldquo皮皮调度rdquo到

 

去年写了6篇关于“皮皮调度”的文章:

皮皮调度(1)——从Airflow到DolphinScheduler,以及“皮皮调度”的来历皮皮调度(2)——编译为原生程序的Java应用框架——Quarkus皮皮调度(3)——Java和Python互相调用的方式皮皮调度(4)——JepNativeImage尝试皮皮调度(5)——JepWithPy4j?皮皮调度(6)——Gearman:你真的是传说中的“齿轮超人”吗?

“皮皮调度”系列主要是一些探索的想法,本身并没有真正落地到任何产品中。正如“纸上得来终觉浅,绝知此事要躬行”,所以想法的深度会有限。

不过,“机会总青睐有准备的人”“你积累的知识,往往不经意间就能找到用武之地”。今年机会来了~

两大需求商业上的需求

在“BI系统”和“数据开发平台”的实施过程中,客户往往有各种数据的对接需求,尤其是一些webservices服务(包括传统的SOAPwebservices,以及较新的RESTAPI)

我们的“数据开发平台”由于已经支持了丰富的插件体系(Java插件和Python插件),所以,我们非常推荐客户能采购和使用我们的数据开发平台。

但是问题来了:当客户只需要对接很少几个外部数据源时,客户没有动力花大价钱采购我们功能丰富的“数据开发平台”。

所以,从客户的实际需求出发,我们是否能有一套轻量的“数据处理工具”,能进行各种轻量的数据对接清洗,并将结果上传到BI平台或者写到各种关系数据库。另外,这个轻量工具,最好能和“数据开发平台”的插件体系兼容。

个人的需求

生活中充满了各种数据,但是如果不能简便的获取数据,那这些数据就失去了价值。

前段时间发现了一个有趣的项目:

  转载请注明原文网址:http://www.hualongdn.com/qcjz/112118.html
  • 上一篇文章:
  • 下一篇文章: 没有了