训练显存

[RongPiKing]

请问训练的显存需要多少呢？
我在单张H100 80G上也会爆显存，使用了CogVideoX-5b-I2V为初始权重，加入is_train_lora参数也会爆显存

[SHYuanBest]

1、DeepSpeed Zero2模式，全参微调，单卡80G可能无法运行（可以尝试打开low_vram，vae.enable_tiling参数）
2、DeepSpeed Zero2模式，全参微调，双卡80G可以正常运行，甚至不需要打开low_vram，vae.enable_tiling参数（因为Zero2会将部分显存均摊到每张卡上）
3、换成lora微调，印象中只需要50G显存

[RongPiKing]

好的，谢谢您。那请问batchsize设置成1大概要train多少个step呢

[SHYuanBest]

好的，谢谢您。那请问batchsize设置成1大概要train多少个step呢

感谢关注，这个得具体看实验结果来判断了，我还没尝试过bs1训练。

[RongPiKing]

我看您论文中是batchsize为80，1.8k个step，那我train 大概80×1.8k个step可能会有成效吗

[SHYuanBest]

这里面有两个变量，我也不是很好判断：

1. 论文中的数据数量和质量都要比目前我们开源出来的数据要多且好（小bs时，按照这个角度不需要80x1.8k step）
2. 大bs的梯度方向会比小bs的好（小bs时，按照这个角度需要多于80x1.8k step）

[RongPiKing]

明白，谢谢您的回答