Qwen2.5-VL全参数训练视觉层和projector，lora微调语言模型的模型训练与导出方式？

[echochoc]

两个问题：

1. 我使用如下训练参数微调Qwen2.5-VL-3B-Instruct，希望全参数训练视觉层和projector，lora微调语言模型，是否正确
   llamafactory-cli train \ --stage sft \ --do_train True \ --model_name_or_path /path/to/Qwen2.5-VL-3B-Instruct \ --preprocessing_num_workers 16 \ --finetuning_type lora \ --template qwen2_vl \ --flash_attn auto \ --dataset_dir data \ --dataset my_dataset \ --cutoff_len 2048 \ --learning_rate 5e-05 \ --num_train_epochs 20.0 \ --max_samples 100000 \ --per_device_train_batch_size 2 \ --gradient_accumulation_steps 8 \ --lr_scheduler_type cosine \ --max_grad_norm 1.0 \ --logging_steps 5 \ --save_steps 100 \ --warmup_steps 0 \ --packing False \ --report_to none \ --output_dir /path/to/output/dir \ --bf16 True \ --plot_loss True \ --trust_remote_code True \ --ddp_timeout 180000000 \ --include_num_input_tokens_seen True \ --optim adamw_torch \ --lora_rank 8 \ --lora_alpha 16 \ --lora_dropout 0.05 \ --lora_target all \ --no_freeze_vision_tower \ --no_freeze_multi_modal_projector

2. 训练好的模型如何进行参数合并？

[KyleBan]

同样的问题