####SOFTMAX
CUDA_VISIBLE_DEVICES='4,5,6,7' python -m torch.distributed.launch --master_port 24139 --nproc_per_node=4 --use_env main.py --model deit_tiny_patch16_224 --batch-size 256 --data-path 'data' --output_dir 'output' 

##### ATTENTION-BN
CUDA_VISIBLE_DEVICES='4,5,6,7' python -m torch.distributed.launch --master_port 21139 --nproc_per_node=4 --use_env main.py --model deit_tiny_norm_patch16_224 --batch-size 256 --data-path 'data' --output_dir 'output' 


##### ATTENTION-SH
CUDA_VISIBLE_DEVICES='4,5,6,7' python -m torch.distributed.launch --master_port 20139 --nproc_per_node=4 --use_env main.py --model deit_tiny_sh_patch16_224 --batch-size 256 --data-path 'data' --output_dir 'output' 

#####ATTENTION-BN+SH
CUDA_VISIBLE_DEVICES='4,5,6,7' python -m torch.distributed.launch --master_port 22139 --nproc_per_node=4 --use_env main.py --model deit_tiny_bnsh_patch16_224 --batch-size 256 --data-path 'data' --output_dir 'output' 






