RuntimeError: CUDA error: CUBLAS_STATUS_INVALID_VALUE when calling cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)

[dandeperson]

在模型lora微调时编写shell脚本如下，出现图中错误，错误的原因是什么，如何修改？
python train.py
--load_model "/home/intern/workspace/LLM/RWKV-LM-LoRA/weight/RWKV-4-Pile-3B-Chn-testNovel-done-ctx2048-20230312.pth"
--proj_dir "/home/intern/workspace/LLM/RWKV-LM-LoRA/weight/lora"
--data_file "/home/intern/workspace/LLM/RWKV-LM-LoRA/RWKV-v4neo/data/firefly-text_text_document"
--data_type "binidx"
--vocab_size 50277
--ctx_len 2048
--epoch_steps 1000 --epoch_count 1000
--epoch_begin 0 --epoch_save 5 --micro_bsz 2
--n_layer 32 --n_embd 2560
--pre_ffn 0 --head_qk 0 --lr_init 1e-4 --lr_final 1e-4
--warmup_steps 0 --beta1 0.9 --beta2 0.999 --adam_eps 1e-8
--accelerator gpu --devices 1 --precision bf16 --strategy deepspeed_stage_2 --grad_cp 0
--lora --lora_r 8 --lora_alpha 16 --lora_dropout 0.01
--lora_parts=att,ffn,time,ln