python finetune.py --train_samples 10000 --eval_samples 64 --custom_mode lora --lr 4e-4 --lora_r 4 --train_bs 4 --eval_bs 4 --custom_disable_identity --accumulation_steps 4 --model meta-llama/Llama-2-7b-hf --quantize --seed 42 --eval_steps 20 --logging_steps 1 --generate_samples --metrics_enabled 0 --lr_scheduler_type cosine --task instruct --dataset alpaca-clean --init_type 1 --d_init_type 94 --epochs 1 --dynamic_uv 0 --shared_dim 11008 --shared_uv 0 --offline
