顾荣 博士， 副研究员， 计算机软件新技术国家重点实验室 南京大学 计算机科学与技术系，研究方向为大数据处理系统
大数据发展与影响
大数据分析算法与系统软件支撑着经济，社会的多领域。大数据处理是一项综合性计算技术，包含自底向上完整技术栈。
研究方向内容
综合考虑三方面：如何设计高效分布式矩阵并行计算算法，如何优化分布式矩阵数据的读写速度
基于矩阵向量模型的大数据编程平台
如何设计高效分布式矩阵并行计算算法？研究提出了一种并发度更高的并行计算算法。分布式矩阵相乘算法的理论性能分析保证。Shuffle是数据中转枢纽，每次矩阵相乘包含2次，是系统性能优化的重点。但出错故障概率高，数据周转效率低，手工并行调优难。
如何优化分布式矩阵数据的读写速度？元素坐标表示造成数据冗余，数据罗盘频繁造成读写低效。
典型应用：华为大规模软件结构代码分析系统，华泰证券
基于数据表模型的大数据查询回放平台
研究动机：现有的大数据技术能力都难以直接支撑大规模数据查询回放相关的应用。
挑战：如何设计高效的分布式数据回放查询算法（基于算子流）；如何提升大数据查询计算系统效率（流水线并行执行模型&多数据流的分布合并&多线程滑动窗口合并）；如何优化大数据回放查询的缓存读写速度（基于子模优化的分布式细粒度缓存数据读取性能优化）
典型应用：华泰证券，快速回放，预测收益率
基于复杂图模型的大数据计算分析平台
研究动机：复杂图算法应用在很多大数据分析问题，研究设计高效图计算系统具有很高价值
挑战：如何设计高校分布式如分析算法（基于数据并行框架的分布式图可达计算算法设计）；如何优化大数据图计算缓存读写速度
网友评论