Train CIFAR on ResNet
python main.py --dataset cifar --model resnet_gn --loss CrossEntropyLoss --opt federated --lr 0.1 --epoch 100 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 101  --weight_decay 1e-4 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --label_smoothing 0.1 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 0.1 --client_momentum 0.0  --sketch_size 80000 --server_opt_name adam

Finetune ViT-Base
python main.py --dataset cifar --model google/vit-base-patch16-224-in21k --loss CrossEntropyLoss --opt federated --lr 0.005 --epoch 200 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 50  --weight_decay 0.01 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --label_smoothing 0.1 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 0.01 --client_momentum 0.0 --client_weight_decay 0.0 --sketch_size 800000 --server_opt_name adamw

Train SST on BERT
python main.py --dataset glue --task_name sst2 --model google-bert/bert-base-cased --loss CrossEntropyLoss --opt federated --lr 1e-3 --epoch 30 --analysis loss --log_interval 1 --batch_size 128 --momentum 0.9 --depth 18 --weight_decay 1e-4 --run_from_scratch 1 --scheduler cosine --lr_min 1e-5 --label_smoothing 0.0 --client_num 5 --client_opt_name sgd --client_epoch 1 --client_lr 1e-3 --client_momentum 0.0  --sketch_size 200000 --server_opt_name adam