您好,欢迎访问代理记账网站
  • 价格透明
  • 信息保密
  • 进度掌控
  • 售后无忧

Flink实战之自定义UDF

一般flink sql平台化都会提供自定义udf的支持,用户通过平台上传udf jar,然后在sql中通过create function语法创建函数,并在DML中使用该udf。
主要包括以下几个核心功能:

  1. 平台支持用户上传udf jar,后台可以选择使用hdfs或oss来存储jar包
  2. 通过http将jar包路径作为参数传递到gateway服务
  3. 解析参数下载jar,并通过classloader加载jar
  4. sql中通过create function语法创建函数
  5. dml中使用函数
    以上步骤中最重要的就是如何通过classloader 来加载udf。参考了这篇文章,实践之后发现不管用。因为没有下载远程的jar包到本地,所以一直加载不成功。
    还有一点pipeline.classpaths参数不起作用,我用的是pipeline.jars参数。
    完整代码参考→代码

分享:

低价透明

统一报价,无隐形消费

金牌服务

一对一专属顾问7*24小时金牌服务

信息保密

个人信息安全有保障

售后无忧

服务出问题客服经理全程跟进