美文网首页
dolphinscheduler 1.3.8 使用AWS S3作

dolphinscheduler 1.3.8 使用AWS S3作

作者: 月光社编外人员 | 来源:发表于2021-10-09 16:03 被阅读0次

dolphinscheduler 1.3.8 使用AWS S3作为资源管理

按照教程来,修改了common.properties

resource.storage.type=S3
fs.defaultFS=s3a://dolphinscheduler
fs.s3a.endpoint=s3://dolphin-scheduler/
fs.s3a.access.key=XXX
fs.s3a.secret.key=XXX

尝试创建文件夹,失败,报的错是

Caused by: org.apache.http.HttpException: Scheme 's3' not registered.
    at org.apache.http.impl.conn.DefaultHttpRoutePlanner.determineRoute(DefaultHttpRoutePlanner.java:109)
    at org.apache.http.impl.client.DefaultRequestDirector.determineRoute(DefaultRequestDirector.java:762)
    at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:381)
    at org.apache.http.impl.client.AbstractHttpClient.doExecute(AbstractHttpClient.java:882)
    ... 54 more

修改配置:

resource.storage.type=S3
fs.defaultFS=s3a://dolphinscheduler   # 这儿表示桶名
fs.s3a.endpoint=https://s3.cn-northwest-1.amazonaws.com.cn
fs.s3a.access.key=XXX
fs.s3a.secret.key=XXX

done。

相关文章

网友评论

      本文标题:dolphinscheduler 1.3.8 使用AWS S3作

      本文链接:https://www.haomeiwen.com/subject/gxbqoltx.html