美文网首页
大量高并发作业调度、处理经验总结

大量高并发作业调度、处理经验总结

作者: Jiafu | 来源:发表于2020-04-06 11:44 被阅读0次
  • 异步化:或者使用协程。原则是不要阻塞线程。
  • 区分优先级:不要让低优先级的作业阻碍高优先级的作业。可以设置一个比例,保证低优先级的作业,也有执行的机会,不会被高优先级的作业饿死。
  • 作业的投递者,可以设置超时时间,如果发现超时,那么直接abort,不再执行,避免作业堆积后性能崩溃。
  • 需要设计作业的批量处理机制。很多类似的作业,他们挨个处理和批量处理,性能相差非常大。例如一个读取版本号的作业,如果10000个节点都发来这个请求(作业),那么就对应10000个请求,如果挨个执行,那么可能需要对同样的流程执行10000遍(每次执行就是加锁、读版本号、解锁)。但是如果批量处理,那么可能只需要执行一次就可以拿到结果,把结果返回给10000个不同的节点就可以。这个对性能会有极大的提高。
  • 考虑对于读、写作业,区分不同的线程。
  • 考虑支持abort
  • 性能统计(方便定位出耗时的作业)
  • 高可靠作业的实现:考虑持久化作业,必须需要考虑恢复作业时的顺序。
  • 考虑设计互斥集(并发集):可以从作业层面控制哪些作业可以一起执行,哪些作业一定不可以一起执行。这块设计其实挺复杂的,不展开细说了。
  • 给作业关联一些label,类似k8s,这样可以方便做select,做统一的调度。

相关文章

  • 大量高并发作业调度、处理经验总结

    异步化:或者使用协程。原则是不要阻塞线程。 区分优先级:不要让低优先级的作业阻碍高优先级的作业。可以设置一个比例,...

  • 大数据入门学习

    常用处理方案 对于大量数据的处理方案:大量数据处理。 对于高并发的处理方案:高并发处理。 ============...

  • 操作系统管理之处理机调度与死锁

    处理机调度与死锁 处理机调度的层次 高级调度/作业调度/长程调度 作用:将外存后备队列中的作业调入内存 对象:作业...

  • 高并发与多线程

    高并发≠多线程,高并发是指系统短时间内遇到大量操作请求的情况,而多线程是指一种处理方式。 1. 实现高并发需要考虑...

  • 第三章 处理机调度与死锁

    3.1处理机调度相关基本概念 处理机调度 1高级调度:又称作业调度或长程调度,接纳调度(主要在早期批处理阶段,处理...

  • 第一章

    Java并发编程与高并发解决方案知识点:线程安全;线程封闭;线程调度;同步容器;并发容器;AQS;J.UC 高并发...

  • 操作系统——处理机调度

    高级调度, 又称作业调度(主要在早期批处理阶段,处理外存上的作业)系统运行并不一定存在高级调度。 低级调度, 又称...

  • 高级调度(作业调度)、低级调度(进程调度)、中级调度

    处理机调度层次 调度层次分为三种 高级调度 = 作业调度 = 长程调度 低级调度 = 进程调度 = 短程调度 中级...

  • 处理器调度习题

    一、作业调度和进程调度结合 有一个内存中只能装入两道作业的批处理系统,作业调度采用短作业优先的调度算法,进程调度采...

  • 操作系统中的作业、进程、页面置换、磁盘调度汇总

    参考: 汤子瀛《计算机操作系统》 一、 作业调度算法 处理器的调度包括作业调度和进程调度。 ...

网友评论

      本文标题:大量高并发作业调度、处理经验总结

      本文链接:https://www.haomeiwen.com/subject/muuvphtx.html