美文网首页
gitlab用作文件上传的简单总结

gitlab用作文件上传的简单总结

作者: lensuntop | 来源:发表于2018-09-02 11:15 被阅读0次

情景:资源包(众多文件的集合)要上传到oss上,而且要记录下资源包每次的签名(每个文件MD5后全部拼接的字符串MD5),有一个产品可以随意切换任意资源包的任意版本。

初始方案:资源每一次改变都作为一个版本存放在oss上,如下图:

初始方案流程图

由于资源包不是每次差异都很小,而且修改很频繁,初始方案就有了明显的缺点:

1.每次上传都是全量上传,导致上传时间长

2.每次都是上传都在oss产生一个新的包,导致oss空间过大

为了节省时间,提出了用gitlab作为上传来优化,方案如下图:

gitlab优化方案图

该方案流程有一个极大的缺点:流程比初始方案复杂度高。

对此方案我将实现分开了三个步骤

1.从本地服务器上传资源包到gitlab

2.产品引用资源,通知gitlab需要进行检出资源包到ecs本地

3.gitlab接收通知进行检出文件本地

在过程中遇到的几点问题:

1.gitlab项目ssh和http设置和返回要一致,不能在gitlab管理项目界面上显示是http而通过接口返回的是ssh,否则无法进行其他接口操作

2.需要在l服务器上需要设置好全局用户和用户邮箱。在linux服务器上有不同用户,注意不能和原来的用户有冲突

3.用接口为g本地itlab项目添加远程源时,需要添加上用户名和密码在远程源的url上。形式为http:://用户名:密码@远程源链接部分。特别注意,在密码中不能带有'@'字符,因为@后面部分gitlab自动识别为远程链接。

4.ecs服务器和oss也需要在同一个地方,刚开始就是用深圳的ecs挂载了北京的oss,gitlab检出到本地的速度相当慢,切换到深圳的oss时速度提高了5倍左右

用了gitlab后,一个资源包初次上传到初次检出的时间比之前的时间要长。在后面有增量的时候,速度比初始方案速度提高了30倍左右。收益还是值得的。

相关文章

  • gitlab用作文件上传的简单总结

    情景:资源包(众多文件的集合)要上传到oss上,而且要记录下资源包每次的签名(每个文件MD5后全部拼接的字符串MD...

  • Qt之FTP上传/下载文件操作

    一个简单的Ftp客户端文件上传/下载操作示例。 上传文件 下载文件 总结 上传文件:配置url->加载数据->pu...

  • 《JavaWeb学习总结》文件上传

    文件上传是开发中常用的功能之一,在此学习过程中做个简单的总结! 一.文件上传概述: 文件上传是什么?在web开发中...

  • 将本地文件上传到gitlib中

    gitlab上传文件,本地通过命令上传代码 1. 首先新建项目,这两种方式都ok、 2.创建项目 3.上传文件 4...

  • git 常用命令 01

    1. 进入git 终端 找到需要上传到github/gitlab 的文件所在文件夹,鼠标右键 "git bash ...

  • 本地项目上传gitlab过程。

    本地项目上传gitlab过程。 具体步骤如下: 1.登录gitLab账号,成功创建一个项目文件,并生成https地...

  • pipeline部署java项目

    总结步骤:1、上传项目到gitlab2、jenkins从gitlab上拉取项目3、maven对项目进行构建4、在j...

  • 文件上传漏洞初探

    一、初步认识 1.上传功能:网站上各种可以上传文件,图片的地方可以被用作上传点进行非法上传 2.上传原理:在前端代...

  • Android Maven 上传aar 生成Gitlab私有远程

    前言 需要实现的功能是,通过 maven 把 Library 打包成 aar 文件,上传至 Gitlab 私有仓库...

  • 前端文件上传杂谈

    1,简单的file对象文件上传 2.文件数据流上传文件

网友评论

      本文标题:gitlab用作文件上传的简单总结

      本文链接:https://www.haomeiwen.com/subject/lxeeeftx.html