
export output_dir=""
export prompt="llama3-boxed"

ACCELERATE_LOG_LEVEL=info accelerate launch \
    --main_process_port 18200 \
    --mixed_precision bf16 \
    --num_machines 1 \
    --num_processes 8 \
    --use_deepspeed \
    --deepspeed_config_file accelerate/stage3_offload_optim_accelerate.conf \
    train.py configs/config_full.yaml \
    --model_name_or_path="Meta-Llama-3.1-70B-Instruct" \
    --data_path="" \
    --per_device_train_batch_size=1 \
    --gradient_accumulation_steps=8 \
    --torch_dtype=bfloat16 \
    --bf16=True \
    --beta=0.5 \
    --num_train_epochs=2 \
    --save_strategy='steps' \
    --save_steps=100 \
    --save_total_limit=4 \
    --output_dir=outputs/$output_dir \
    --hub_model_id=$output_dir \
    --prompt=$prompt

export output_dir=""
export prompt="qwen2-boxed"

ACCELERATE_LOG_LEVEL=info accelerate launch \
    --main_process_port 18200 \
    --mixed_precision bf16 \
    --num_machines 1 \
    --num_processes 8 \
    --use_deepspeed \
    --deepspeed_config_file accelerate/stage3_offload_optim_accelerate.conf \
    train.py configs/config_full.yaml \
    --model_name_or_path="Qwen2-72B-Instruct" \
    --data_path="" \
    --per_device_train_batch_size=1 \
    --gradient_accumulation_steps=8 \
    --torch_dtype=bfloat16 \
    --bf16=True \
    --beta=0.5 \
    --num_train_epochs=2 \
    --save_strategy='steps' \
    --save_steps=100 \
    --save_total_limit=4 \
    --output_dir=outputs/$output_dir \
    --hub_model_id=$output_dir \
    --prompt=$prompt
