Hyperparameter 0:
epoch_vt:1
gamma:0.0001
S0:2313
S1:None
S01:None
normalize_power:0
clip_constant:0
grad_max:0
sampling:False
beta:0
epoch_momentum:1
legend:GD
name:GD


Hyperparameter 1:
epoch_vt:1
gamma:0.2
S0:2313
S1:None
S01:None
normalize_power:1
clip_constant:0
grad_max:0
sampling:False
beta:0
epoch_momentum:1
legend:Normalized GD
name:1GD


Hyperparameter 2:
epoch_vt:1
gamma:0.3
S0:2313
S1:None
S01:None
normalize_power:1
clip_constant:0
grad_max:10.0
sampling:False
beta:0
epoch_momentum:1
legend:Clipped GD
name:ClippedGD


Hyperparameter 3:
epoch_vt:1
gamma:4e-05
S0:128
S1:None
S01:None
normalize_power:0
clip_constant:0
grad_max:0
sampling:False
beta:0
epoch_momentum:1
legend:SGD
name:SGD


Hyperparameter 4:
epoch_vt:1
gamma:0.005
S0:128
S1:None
S01:None
normalize_power:0.6666666666666666
clip_constant:0
grad_max:0
sampling:False
beta:0
epoch_momentum:1
legend:NSGD
name:Normalized SGD


Hyperparameter 5:
epoch_vt:1
gamma:0.005
S0:128
S1:None
S01:None
normalize_power:0.6666666666666666
clip_constant:0
grad_max:0
sampling:False
beta:0.1
epoch_momentum:59
legend:Normalized SGDm
name:NormalizedSGDm


Hyperparameter 6:
epoch_vt:1
gamma:0.14
S0:128
S1:None
S01:None
normalize_power:0.6666666666666666
clip_constant:25
grad_max:35
sampling:False
beta:0
epoch_momentum:1
legend:Clip SGD
name:ClippedSGD


Hyperparameter 7:
epoch_vt:15
gamma:0.003
S0:2313
S1:128
S01:None
normalize_power:0.6666666666666666
clip_constant:0
grad_max:0
sampling:False
beta:0.25
epoch_momentum:1
legend:SPIDER
name:SPIDER


Hyperparameter 8:
epoch_vt:1
gamma:0.14
S0:128
S1:0
S01:8
normalize_power:0.6666666666666666
clip_constant:25
grad_max:35
sampling:True
beta:0
epoch_momentum:1
legend:I-NSGD with $\beta = \frac{2}{3}$
name:INSGD


