1. experiments (few-shot NAS):
    
    ==== ours (tassadar)

    [d] bash ws-darts-201.sh --seed 0 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 5,3 --gpu
    [d] bash ws-darts-201.sh --seed 1 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 3,4 --gpu
    [d] bash ws-darts-201.sh --seed 2 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 2,3 --gpu
    [d] bash ws-darts-201.sh --seed 3 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 2,1 --gpu

    ==== few-shot baseline

    [d] bash fs-darts-201.sh --seed 0 --split_ckpts 0,20 --projection_warmup_epoch 10 --split_eids 5,3 --gpu
    [d] bash fs-darts-201.sh --seed 1 --split_ckpts 0,20 --projection_warmup_epoch 10 --split_eids 3,4 --gpu
    [d] bash fs-darts-201.sh --seed 2 --split_ckpts 0,20 --projection_warmup_epoch 10 --split_eids 2,3 --gpu
    [d] bash fs-darts-201.sh --seed 3 --split_ckpts 0,20 --projection_warmup_epoch 10 --split_eids 2,1 --gpu

    ==== random baseline

    [v] bash ws-darts-201-random.sh --seed 0 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 5,3 --gpu
    [v] bash ws-darts-201-random.sh --seed 1 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 3,4 --gpu
    [v] bash ws-darts-201-random.sh --seed 2 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 2,3 --gpu
    [v] bash ws-darts-201-random.sh --seed 3 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 2,1 --gpu

    ==== select edge by gradients
    [v] bash ws-darts-201.sh --seed 0 --split_ckpts 10,20 --projection_warmup_epoch 10 --edge_crit grad --gpu 2
    [v] bash ws-darts-201.sh --seed 1 --split_ckpts 10,20 --projection_warmup_epoch 10 --edge_crit grad --gpu 2
    [] bash ws-darts-201.sh --seed 2 --split_ckpts 10,20 --projection_warmup_epoch 10 --edge_crit grad --gpu 
    [] bash ws-darts-201.sh --seed 3 --split_ckpts 10,20 --projection_warmup_epoch 10 --edge_crit grad --gpu 

2. align with few-shot NAS
    ==== second order:
    == baselines
    [] bash fs-so-darts-201.sh --seed 0 --split_ckpts 0,20 --projection_warmup_epoch 10 --split_eids 5,3 --group baseline --gpu 5
    [] bash fs-so-darts-201.sh --seed 1 --split_ckpts 0,20 --projection_warmup_epoch 10 --split_eids 3,4 --group baseline --gpu 6
    [] bash fs-so-darts-201.sh --seed 2 --split_ckpts 0,20 --projection_warmup_epoch 10 --split_eids 2,3 --group baseline --gpu 5
    [] bash fs-so-darts-201.sh --seed 3 --split_ckpts 0,20 --projection_warmup_epoch 10 --split_eids 2,1 --group baseline --gpu 6

    [] bash ws-so-darts-201-random.sh --seed 0 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 5,3 --group baseline --gpu 2
    [] bash ws-so-darts-201-random.sh --seed 1 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 3,4 --group baseline --gpu 2
    [] bash ws-so-darts-201-random.sh --seed 2 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 2,3 --group baseline --gpu 3
    [] bash ws-so-darts-201-random.sh --seed 3 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 2,1 --group baseline --gpu 3

    == ours

    [] bash ws-so-darts-201.sh --seed 0 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 5,3 --group ws --gpu 1
    [] bash ws-so-darts-201.sh --seed 1 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 3,4 --group ws --gpu 3
    [] bash ws-so-darts-201.sh --seed 2 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 2,3 --group ws --gpu 4
    [] bash ws-so-darts-201.sh --seed 3 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 2,1 --group ws --gpu 7

    [] bash ws-so-darts-201.sh --seed 0 --split_ckpts 10,20 --projection_warmup_epoch 10 --edge_crit grad --group edge --gpu 4
    [] bash ws-so-darts-201.sh --seed 1 --split_ckpts 10,20 --projection_warmup_epoch 10 --edge_crit grad --group edge --gpu 4
    [] bash ws-so-darts-201.sh --seed 2 --split_ckpts 10,20 --projection_warmup_epoch 10 --edge_crit grad --group edge --gpu 5
    [] bash ws-so-darts-201.sh --seed 3 --split_ckpts 10,20 --projection_warmup_epoch 10 --edge_crit grad --group edge --gpu 5


    ==== second order: (50 epochs)


    ==== more epochs: (like the figure) (projection_warmup_epoch)


==== dev
    bash ws-so-darts-201.sh --seed 0 --split_ckpts 10,20 --projection_warmup_epoch 10 --split_eids 5,3 --gpu 1