Synergy模拟器
输入“/”快速插入内容
Synergy模拟器
Synergy模拟器
飞书用户52892023年10月8日修改
•
•
根据文章的结论，使用文章提供的模拟器得到的结论与真实的Trace差距小于5%，确认了模拟器的保真性。
•
遇到的问题解决：
◦
numa安装出错：https://github.com/thu-ml/warplda/issues/1 【解决方案：直接在系统中安装libnuma-dev; apt-get install libnuma-dev】
◦
job_iter float越界
◦
Job Arrival Event只有三个现存的实例? 但是每次会被切成不同的job_id进入系统中
◦
TODO：total iter如何判断，感觉好像迭代轮次满了之后没有切换结束
◦
TODO：分布式？
•
目前存在的问题：
◦
任务的数量依赖于series_id_filter这个参数值的设置，job_id不断在增加导致任务实例
◦
任务执行到完成后不会自动退出，很无语
◦
MinIO 作为一种应用级别的缓存， 可以保证一个 DNN 训练任务在每个 epoch 中拥有相同的缓存命中率 ， 这意味着，对于给定的 CPU 数量和存储带宽，我们可以建立吞吐量关于 MEM 数量的解析模型。
◦
对于模拟器而言，GPU可用的情况是：GPU上的tenant_id不是job对应的tenant_id，那么说明在这个环境中，GPU的利用不考虑显存啊！
◦
FIFO-Synergy 单GPU的机制非常暴力，只是一个很简单的启发式算法
◦
FIFO-Synergy
•
值得学习的地方：
◦
任务以事件为基准进行调度
◦
MinIO进行Memory层面的性能评估：我们发现，对于特定于DNN的应用程序级缓存（如MinIO[39]），当我们在固定的CPU分配下改变分配给作业的内存量时，很容易对作业吞吐量行为进行建模。这是因为，MinIO确保了一个作业在每个时期获得固定数量的缓存命中。Synergy有意识地决定使用应用程序级MinIO缓存而不是页面缓存，因为MinIO在共享机器的独立作业之间提供内存隔离。如果我们不使用MinIO，我们将不得不在离散内存分配时对模型进行分析，这可能导致分析成本增加，并可能改变分析矩阵的趋势。然而，在Synergy中使用MinIO可以使缓存性能可预测，从而降低Synergy's的分析成本——允许乐观的分析。We observe that, with DNN-specific, application-level caches like MinIO [39], it is easy to model the job throughput behaviour as we vary the amount of memory allocated to a job at fixed CPU allocation. This is because, MinIO ensures that a job gets a fixed number of cache hits per epoch. Synergy makes a conscious decision to use application-level MinIO cache instead of Page Cache because MinIO provides memory isolation across independent jobs sharing the machine. If we do not use MinIO, we will have to profile the model at discrete memory allocations which could result in increased profiling costs, and also potentially change the trends in profiling matrix. However, the use of MinIO in Synergy makes cache performance predictable and hence reduces Synergy ’s profiling costs – allowing optimistic profiling.
◦
对微软提供的philly数据集的处理方式：
▪
submitted_time归一化
▪
vc用于表示集群的id
▪
attempts用于表示任务的尝试方式，在很多的数据集中，大部分任务都是在试错而已，很多任务都会在很短的时间内被kill掉
▪
exponential表示任务只会是2的指数次方，看起来也算是比较合理吧，但实际上可能不需要这个限制条件
▪
queueing_delay表示在实际的微软集群中，两次attempt中间会有一个排队时延的，这个时延可能来自于抢占？