美文网首页
dolphinscheduler 1.3.8 使用AWS S3作

dolphinscheduler 1.3.8 使用AWS S3作

作者: 月光社编外人员 | 来源:发表于2021-10-09 16:03 被阅读0次

    dolphinscheduler 1.3.8 使用AWS S3作为资源管理

    按照教程来,修改了common.properties

    resource.storage.type=S3
    fs.defaultFS=s3a://dolphinscheduler
    fs.s3a.endpoint=s3://dolphin-scheduler/
    fs.s3a.access.key=XXX
    fs.s3a.secret.key=XXX
    

    尝试创建文件夹,失败,报的错是

    Caused by: org.apache.http.HttpException: Scheme 's3' not registered.
        at org.apache.http.impl.conn.DefaultHttpRoutePlanner.determineRoute(DefaultHttpRoutePlanner.java:109)
        at org.apache.http.impl.client.DefaultRequestDirector.determineRoute(DefaultRequestDirector.java:762)
        at org.apache.http.impl.client.DefaultRequestDirector.execute(DefaultRequestDirector.java:381)
        at org.apache.http.impl.client.AbstractHttpClient.doExecute(AbstractHttpClient.java:882)
        ... 54 more
    

    修改配置:

    resource.storage.type=S3
    fs.defaultFS=s3a://dolphinscheduler   # 这儿表示桶名
    fs.s3a.endpoint=https://s3.cn-northwest-1.amazonaws.com.cn
    fs.s3a.access.key=XXX
    fs.s3a.secret.key=XXX
    

    done。

    相关文章

      网友评论

          本文标题:dolphinscheduler 1.3.8 使用AWS S3作

          本文链接:https://www.haomeiwen.com/subject/gxbqoltx.html