分享
阅读笔记 - (ICDE'23) Rotary: A Resource Arbitration Framework for Progressive Iterative Analytics
输入“/”快速插入内容
阅读笔记 - (ICDE'23) Rotary: A Resource Arbitration Framework for Progressive Iterative Analytics
飞书用户5289
2023年9月18日修改
优点和问题
•
优点
◦
ICDE特有的源码开放制度:
https://github.com/csruiliu/rotary-dlt/tree/main
▪
这份代码结构比较完整,代码风格比较好,还有
GPU
Utility调用的新方法!
▪
有一整套比较全面的使用Tensorflow 1.0
API
写的神经网络,而且处理方式风格统一,可以作为直接参考的代码对象!
◦
提及了
CUDA
warm-up issue的问题
◦
提出的是一个比较通用的框架,即考虑到了各种场景【针对DLT任务就提炼了Accuracy-oriented attainment progress、Convergence-oriented attainment progress和Runtime-oriented attainment progress这三种场景,可以说覆盖比较全面了】
◦
如果当前还没有一种比较好的profiler算法,可以考虑学习这篇文章的写法,使用准确预估和非准确预估来区分!
•
问题
◦
怎么感觉算法啥的都比较简单啊!
◦
感觉“数据仲裁”这个概念都是比较通用的框架概念,导致文章的贡献看起来就比较小,但是却能被ICDE接收,不知道为什么
◦
DLT基于TensorFlow,构建的workloads来自一个survey? => 似乎不太具有适用性
◦
如何评估一个DLT任务每个阶段的进度和训练流程??? => 每个任务都有一个目标,简单地用当前的进度和目标做一个剩余进度计算即可......
◦
实验的baseline选取太弱了
INTRODUCTION
•
Progressive Iterative Analytics
◦
approximate
query
processing (AQP)
◦
deep learning training (DLT)
52%
48%
•
Resource Arbitration