每每輪到dataloader加載數(shù)據(jù)時(shí)：

dataloader一次性創(chuàng)建num_worker個(gè)worker，（也可以說dataloader一次性創(chuàng)建num_worker個(gè)工作進(jìn)程，worker也是普通的工作進(jìn)程），

并用batch_sampler將指定batch分配給指定worker，worker將它負(fù)責(zé)的batch加載進(jìn)RAM。

然后，dataloader從RAM中找本輪迭代要用的batch，如果找到了，就使用。如果沒找到，就要num_worker個(gè)worker繼續(xù)加載batch到內(nèi)存，直到dataloader在RAM中找到目標(biāo)batch。一般情況下都是能找到的，因?yàn)閎atch_sampler指定batch時(shí)當(dāng)然優(yōu)先指定本輪要用的batch。

num_worker設(shè)置得大，好處是尋batch速度快，因?yàn)橄乱惠喌腷atch很可能在上一輪/上上一輪...迭代時(shí)已經(jīng)加載好了。壞處是內(nèi)存開銷大，也加重了CPU負(fù)擔(dān)（worker加載數(shù)據(jù)到RAM的進(jìn)程是CPU復(fù)制的嘛）。num_workers的經(jīng)驗(yàn)設(shè)置值是自己電腦/服務(wù)器的CPU核心數(shù)，如果CPU很強(qiáng)、RAM也很充足，就可以設(shè)置得更大些。

如果num_worker設(shè)為0，意味著每一輪迭代時(shí)，dataloader不再有自主加載數(shù)據(jù)到RAM這一步驟（因?yàn)闆]有worker了），而是在RAM中找batch，找不到時(shí)再加載相應(yīng)的batch。缺點(diǎn)當(dāng)然是速度更慢。