请问一下AI 人工智能训练预读时,存储系统可以知道预读的文件有哪些吗?
存储系统需要框架主动去读取才知道预取的是哪些文件。目前业界在做的一个探索就是让存储和框架配合,通过一些非标准的接口让存储系统提前知道某个计算节点需要那些数据,这样就可以在框架真正读之前就将这些数据搬运到计算节点本地了。这个思路可以进一步把 shuffle 也卸载给存储来做。
蓝海大脑 京ICP备18017748号-1