Model: aldro
{'validation': 0.8333333333333334, 'id_test': 0.9214285714285714, 'ood_test': 0.9437229437229437, 'ood_validation': 0.935064935064935, 'train': 0.9267399267399268}
{'validation': 1.0, 'id_test': 0.8785714285714286, 'ood_test': 0.8961038961038961, 'ood_validation': 0.961038961038961, 'train': 0.9157509157509157}
{'validation': 0.8333333333333334, 'id_test': 0.9214285714285714, 'ood_test': 0.974025974025974, 'ood_validation': 0.948051948051948, 'train': 0.967032967032967}
{'validation': 1.0, 'id_test': 0.9285714285714286, 'ood_test': 0.9523809523809523, 'ood_validation': 0.948051948051948, 'train': 0.9542124542124543}
{'validation': 1.0, 'id_test': 0.95, 'ood_test': 0.9696969696969697, 'ood_validation': 0.961038961038961, 'train': 0.9816849816849816}
{'validation': 0.8333333333333334, 'id_test': 0.9214285714285714, 'ood_test': 0.9783549783549783, 'ood_validation': 0.961038961038961, 'train': 0.9798534798534798}
{'validation': 0.8333333333333334, 'id_test': 0.9428571428571428, 'ood_test': 0.987012987012987, 'ood_validation': 0.974025974025974, 'train': 0.9835164835164835}
{'validation': 1.0, 'id_test': 0.9428571428571428, 'ood_test': 0.9567099567099567, 'ood_validation': 0.974025974025974, 'train': 0.989010989010989}
{'validation': 0.8333333333333334, 'id_test': 0.8928571428571429, 'ood_test': 0.9826839826839827, 'ood_validation': 0.974025974025974, 'train': 0.9358974358974359}
{'validation': 1.0, 'id_test': 0.9642857142857143, 'ood_test': 0.987012987012987, 'ood_validation': 0.961038961038961, 'train': 0.9926739926739927}
Model: dann
{'validation': 0.2857142857142857, 'id_test': 0.4861111111111111, 'ood_test': 0.5258215962441315, 'ood_validation': 0.4861111111111111, '0': 0.6836734693877551, '1': 0.7355371900826446, '2': 0.11811023622047244, '4': 0.2767857142857143, '6': 0.5283018867924528}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.7605633802816901, 'ood_validation': 0.8055555555555556, '0': 0.8469387755102041, '1': 0.7355371900826446, '2': 0.9133858267716536, '4': 0.8571428571428571, '6': 0.7452830188679245}
{'validation': 0.7142857142857143, 'id_test': 0.4583333333333333, 'ood_test': 0.704225352112676, 'ood_validation': 0.75, '0': 0.02040816326530612, '1': 0.24793388429752067, '2': 0.8818897637795275, '4': 0.8571428571428571, '6': 0.1792452830188679}
{'validation': 0.5714285714285714, 'id_test': 0.4166666666666667, 'ood_test': 0.6572769953051644, 'ood_validation': 0.6944444444444444, '0': 0.02040816326530612, '1': 0.24793388429752067, '2': 0.8818897637795275, '4': 0.8571428571428571, '6': 0.05660377358490566}
{'validation': 0.5714285714285714, 'id_test': 0.4166666666666667, 'ood_test': 0.6572769953051644, 'ood_validation': 0.6944444444444444, '0': 0.02040816326530612, '1': 0.24793388429752067, '2': 0.8818897637795275, '4': 0.8571428571428571, '6': 0.05660377358490566}
{'validation': 0.5714285714285714, 'id_test': 0.4166666666666667, 'ood_test': 0.6572769953051644, 'ood_validation': 0.6944444444444444, '0': 0.02040816326530612, '1': 0.24793388429752067, '2': 0.8818897637795275, '4': 0.8571428571428571, '6': 0.05660377358490566}
{'validation': 0.5714285714285714, 'id_test': 0.4166666666666667, 'ood_test': 0.6572769953051644, 'ood_validation': 0.6944444444444444, '0': 0.02040816326530612, '1': 0.24793388429752067, '2': 0.8818897637795275, '4': 0.8571428571428571, '6': 0.05660377358490566}
{'validation': 0.5714285714285714, 'id_test': 0.4166666666666667, 'ood_test': 0.6572769953051644, 'ood_validation': 0.6944444444444444, '0': 0.02040816326530612, '1': 0.24793388429752067, '2': 0.8818897637795275, '4': 0.8571428571428571, '6': 0.05660377358490566}
{'validation': 0.5714285714285714, 'id_test': 0.4166666666666667, 'ood_test': 0.6572769953051644, 'ood_validation': 0.6944444444444444, '0': 0.030612244897959183, '1': 0.24793388429752067, '2': 0.8818897637795275, '4': 0.8571428571428571, '6': 0.05660377358490566}
{'validation': 0.5714285714285714, 'id_test': 0.4930555555555556, 'ood_test': 0.6572769953051644, 'ood_validation': 0.6944444444444444, '0': 0.41836734693877553, '1': 0.32231404958677684, '2': 0.8818897637795275, '4': 0.8571428571428571, '6': 0.07547169811320754}
Model: deepcoral
{'validation': 0.3333333333333333, 'id_test': 0.5785714285714286, 'ood_test': 0.3695652173913043, 'ood_validation': 0.36363636363636365, '0': 0.8916666666666667, '1': 0.6771653543307087, '2': 0.07407407407407407, '4': 0.12359550561797752, '6': 0.8932038834951457}
{'validation': 1.0, 'id_test': 0.9642857142857143, 'ood_test': 0.9956521739130435, 'ood_validation': 1.0, '0': 0.9833333333333333, '1': 0.952755905511811, '2': 0.9814814814814815, '4': 1.0, '6': 0.9611650485436893}
{'validation': 1.0, 'id_test': 0.9714285714285714, 'ood_test': 0.9956521739130435, 'ood_validation': 0.987012987012987, '0': 0.9916666666666667, '1': 0.9448818897637795, '2': 0.9907407407407407, '4': 1.0, '6': 0.970873786407767}
{'validation': 0.8333333333333334, 'id_test': 0.6214285714285714, 'ood_test': 0.7304347826086957, 'ood_validation': 0.7792207792207793, '0': 0.45, '1': 0.7716535433070866, '2': 0.9814814814814815, '4': 0.8876404494382022, '6': 0.2621359223300971}
{'validation': 0.6666666666666666, 'id_test': 0.6857142857142857, 'ood_test': 0.4652173913043478, 'ood_validation': 0.44155844155844154, '0': 0.9416666666666667, '1': 0.8976377952755905, '2': 0.6759259259259259, '4': 0.12359550561797752, '6': 0.8932038834951457}
{'validation': 0.3333333333333333, 'id_test': 0.5785714285714286, 'ood_test': 0.3695652173913043, 'ood_validation': 0.36363636363636365, '0': 0.8916666666666667, '1': 0.6771653543307087, '2': 0.07407407407407407, '4': 0.12359550561797752, '6': 0.8932038834951457}
{'validation': 1.0, 'id_test': 0.9571428571428572, 'ood_test': 0.9739130434782609, 'ood_validation': 0.987012987012987, '0': 0.9916666666666667, '1': 0.952755905511811, '2': 0.9907407407407407, '4': 0.9887640449438202, '6': 0.9902912621359223}
{'validation': 1.0, 'id_test': 0.95, 'ood_test': 0.9869565217391304, 'ood_validation': 1.0, '0': 0.9833333333333333, '1': 0.9606299212598425, '2': 0.9907407407407407, '4': 0.9887640449438202, '6': 0.9902912621359223}
{'validation': 1.0, 'id_test': 0.9642857142857143, 'ood_test': 0.9695652173913043, 'ood_validation': 0.987012987012987, '0': 0.9916666666666667, '1': 0.9448818897637795, '2': 0.9907407407407407, '4': 0.9775280898876404, '6': 0.9805825242718447}
{'validation': 1.0, 'id_test': 0.9571428571428572, 'ood_test': 0.9478260869565217, 'ood_validation': 0.961038961038961, '0': 1.0, '1': 0.9606299212598425, '2': 0.9907407407407407, '4': 0.9550561797752809, '6': 0.970873786407767}
Model: expgrad
{'ood_test': 0.8736842105263158}
Model: ft_transformer
{'validation': 0.42857142857142855, 'id_test': 0.46308724832214765, 'ood_test': 0.5544041450777202, 'ood_validation': 0.6, 'train': 0.5477815699658704}
{'validation': 0.7142857142857143, 'id_test': 0.5234899328859061, 'ood_test': 0.538860103626943, 'ood_validation': 0.6153846153846154, 'train': 0.5699658703071673}
{'validation': 0.2857142857142857, 'id_test': 0.44966442953020136, 'ood_test': 0.5440414507772021, 'ood_validation': 0.5846153846153846, 'train': 0.5341296928327645}
{'validation': 0.2857142857142857, 'id_test': 0.46308724832214765, 'ood_test': 0.5492227979274611, 'ood_validation': 0.5846153846153846, 'train': 0.537542662116041}
{'validation': 0.7142857142857143, 'id_test': 0.4966442953020134, 'ood_test': 0.538860103626943, 'ood_validation': 0.6153846153846154, 'train': 0.5802047781569966}
{'validation': 0.5714285714285714, 'id_test': 0.48322147651006714, 'ood_test': 0.5492227979274611, 'ood_validation': 0.6, 'train': 0.5546075085324232}
{'validation': 0.5714285714285714, 'id_test': 0.4899328859060403, 'ood_test': 0.538860103626943, 'ood_validation': 0.6, 'train': 0.5563139931740614}
{'validation': 0.7142857142857143, 'id_test': 0.5100671140939598, 'ood_test': 0.5544041450777202, 'ood_validation': 0.6461538461538462, 'train': 0.5580204778156996}
{'validation': 0.7142857142857143, 'id_test': 0.5234899328859061, 'ood_test': 0.5233160621761658, 'ood_validation': 0.5846153846153846, 'train': 0.5767918088737202}
{'validation': 0.7142857142857143, 'id_test': 0.5369127516778524, 'ood_test': 0.5233160621761658, 'ood_validation': 0.6153846153846154, 'train': 0.5819112627986348}
Model: group_dro
{'validation': 0.8571428571428571, 'id_test': 0.9300699300699301, 'ood_test': 0.9583333333333334, 'ood_validation': 0.9863013698630136, 'train': 0.9590017825311943}
{'validation': 0.8571428571428571, 'id_test': 0.9370629370629371, 'ood_test': 0.9722222222222222, 'ood_validation': 1.0, 'train': 0.9750445632798574}
{'validation': 1.0, 'id_test': 0.9090909090909091, 'ood_test': 0.8842592592592593, 'ood_validation': 0.9315068493150684, 'train': 0.9411764705882353}
{'validation': 0.8571428571428571, 'id_test': 0.916083916083916, 'ood_test': 0.9444444444444444, 'ood_validation': 0.9726027397260274, 'train': 0.9732620320855615}
{'validation': 0.8571428571428571, 'id_test': 0.9090909090909091, 'ood_test': 0.9722222222222222, 'ood_validation': 1.0, 'train': 0.9572192513368984}
{'validation': 1.0, 'id_test': 0.9020979020979021, 'ood_test': 0.9768518518518519, 'ood_validation': 1.0, 'train': 0.9768270944741533}
{'validation': 1.0, 'id_test': 0.916083916083916, 'ood_test': 0.9675925925925926, 'ood_validation': 1.0, 'train': 0.9768270944741533}
{'validation': 0.8571428571428571, 'id_test': 0.9370629370629371, 'ood_test': 0.9722222222222222, 'ood_validation': 1.0, 'train': 0.983957219251337}
{'validation': 1.0, 'id_test': 0.9300699300699301, 'ood_test': 0.9675925925925926, 'ood_validation': 1.0, 'train': 0.982174688057041}
{'validation': 0.7142857142857143, 'id_test': 0.8881118881118881, 'ood_test': 0.9259259259259259, 'ood_validation': 0.9452054794520548, 'train': 0.93048128342246}
Model: irm
{'validation': 0.7142857142857143, 'id_test': 0.815068493150685, 'ood_test': 0.8454106280193237, 'ood_validation': 0.855072463768116, '0': 0.8828828828828829, '1': 0.6607142857142857, '2': 0.8583333333333333, '4': 0.8629032258064516, '6': 0.8653846153846154}
{'validation': 0.7142857142857143, 'id_test': 0.8493150684931506, 'ood_test': 0.8695652173913043, 'ood_validation': 0.8695652173913043, '0': 0.9459459459459459, '1': 0.7053571428571429, '2': 0.8666666666666667, '4': 0.8629032258064516, '6': 0.9230769230769231}
{'validation': 0.8571428571428571, 'id_test': 0.863013698630137, 'ood_test': 0.8792270531400966, 'ood_validation': 0.8695652173913043, '0': 0.963963963963964, '1': 0.8303571428571429, '2': 0.875, '4': 0.8629032258064516, '6': 0.9230769230769231}
{'validation': 0.8571428571428571, 'id_test': 0.8904109589041096, 'ood_test': 0.9227053140096618, 'ood_validation': 0.8985507246376812, '0': 0.963963963963964, '1': 0.8482142857142857, '2': 0.875, '4': 0.9032258064516129, '6': 0.9615384615384616}
{'validation': 0.8571428571428571, 'id_test': 0.9041095890410958, 'ood_test': 0.9323671497584541, 'ood_validation': 0.9130434782608695, '0': 0.972972972972973, '1': 0.9017857142857143, '2': 0.8833333333333333, '4': 0.9032258064516129, '6': 0.9807692307692307}
{'validation': 0.8571428571428571, 'id_test': 0.9246575342465754, 'ood_test': 0.9420289855072463, 'ood_validation': 0.9420289855072463, '0': 0.963963963963964, '1': 0.8571428571428571, '2': 0.8833333333333333, '4': 0.9274193548387096, '6': 0.9903846153846154}
{'validation': 0.8571428571428571, 'id_test': 0.9178082191780822, 'ood_test': 0.927536231884058, 'ood_validation': 0.9130434782608695, '0': 0.972972972972973, '1': 0.9017857142857143, '2': 0.8916666666666667, '4': 0.9032258064516129, '6': 0.9807692307692307}
{'validation': 0.8571428571428571, 'id_test': 0.9315068493150684, 'ood_test': 0.9565217391304348, 'ood_validation': 0.9565217391304348, '0': 0.972972972972973, '1': 0.8660714285714286, '2': 0.8833333333333333, '4': 0.9596774193548387, '6': 1.0}
{'validation': 0.7142857142857143, 'id_test': 0.8972602739726028, 'ood_test': 0.9323671497584541, 'ood_validation': 0.927536231884058, '0': 0.9279279279279279, '1': 0.7767857142857143, '2': 0.875, '4': 0.9516129032258065, '6': 1.0}
{'validation': 1.0, 'id_test': 0.9246575342465754, 'ood_test': 0.966183574879227, 'ood_validation': 0.9420289855072463, '0': 0.990990990990991, '1': 0.9107142857142857, '2': 0.8833333333333333, '4': 0.9838709677419355, '6': 1.0}
Model: label_group_dro
{'validation': 0.7142857142857143, 'id_test': 0.8026315789473685, 'ood_test': 0.9130434782608695, 'ood_validation': 0.9193548387096774, 'train': 0.7865546218487395}
{'validation': 0.7142857142857143, 'id_test': 0.868421052631579, 'ood_test': 0.875, 'ood_validation': 0.9193548387096774, 'train': 0.892436974789916}
{'validation': 0.7142857142857143, 'id_test': 0.8421052631578947, 'ood_test': 0.8641304347826086, 'ood_validation': 0.9032258064516129, 'train': 0.8756302521008403}
{'validation': 1.0, 'id_test': 0.8947368421052632, 'ood_test': 0.8695652173913043, 'ood_validation': 0.9354838709677419, 'train': 0.880672268907563}
{'validation': 0.8571428571428571, 'id_test': 0.8552631578947368, 'ood_test': 0.8641304347826086, 'ood_validation': 0.9354838709677419, 'train': 0.8319327731092437}
{'validation': 1.0, 'id_test': 0.9276315789473685, 'ood_test': 0.9293478260869565, 'ood_validation': 0.967741935483871, 'train': 0.9428571428571428}
{'validation': 1.0, 'id_test': 0.868421052631579, 'ood_test': 0.875, 'ood_validation': 0.9354838709677419, 'train': 0.8554621848739495}
{'validation': 0.7142857142857143, 'id_test': 0.8289473684210527, 'ood_test': 0.875, 'ood_validation': 0.9032258064516129, 'train': 0.8487394957983193}
{'validation': 1.0, 'id_test': 0.9210526315789473, 'ood_test': 0.907608695652174, 'ood_validation': 0.9354838709677419, 'train': 0.9159663865546218}
{'validation': 1.0, 'id_test': 0.9342105263157895, 'ood_test': 0.967391304347826, 'ood_validation': 0.9516129032258065, 'train': 0.9714285714285714}
Model: lightgbm
{'ood_test': 0.9951219512195122}
Model: mixup
{'validation': 0.5714285714285714, 'id_test': 0.625, 'ood_test': 0.7028301886792453, 'ood_validation': 0.6197183098591549, '0': 0.6, '1': 0.6302521008403361, '2': 0.7222222222222222, '4': 0.5961538461538461, '6': 0.3739130434782609}
{'validation': 0.8571428571428571, 'id_test': 0.7291666666666666, 'ood_test': 0.7169811320754716, 'ood_validation': 0.6056338028169014, '0': 0.875, '1': 0.8571428571428571, '2': 0.8703703703703703, '4': 0.6442307692307693, '6': 0.4956521739130435}
{'validation': 0.5714285714285714, 'id_test': 0.6805555555555556, 'ood_test': 0.8349056603773585, 'ood_validation': 0.704225352112676, '0': 0.5083333333333333, '1': 0.5882352941176471, '2': 0.7314814814814815, '4': 0.8076923076923077, '6': 0.6260869565217392}
{'validation': 1.0, 'id_test': 0.7569444444444444, 'ood_test': 0.8207547169811321, 'ood_validation': 0.704225352112676, '0': 0.7416666666666667, '1': 0.7647058823529411, '2': 0.7870370370370371, '4': 0.7788461538461539, '6': 0.6608695652173913}
{'validation': 1.0, 'id_test': 0.7777777777777778, 'ood_test': 0.8207547169811321, 'ood_validation': 0.7605633802816901, '0': 0.8583333333333333, '1': 0.8571428571428571, '2': 0.8611111111111112, '4': 0.8365384615384616, '6': 0.6347826086956522}
{'validation': 1.0, 'id_test': 0.8125, 'ood_test': 0.8632075471698113, 'ood_validation': 0.7605633802816901, '0': 0.8416666666666667, '1': 0.865546218487395, '2': 0.8518518518518519, '4': 0.8942307692307693, '6': 0.782608695652174}
{'validation': 1.0, 'id_test': 0.8333333333333334, 'ood_test': 0.8962264150943396, 'ood_validation': 0.8309859154929577, '0': 0.875, '1': 0.865546218487395, '2': 0.8611111111111112, '4': 0.9134615384615384, '6': 0.9130434782608695}
{'validation': 1.0, 'id_test': 0.8472222222222222, 'ood_test': 0.9009433962264151, 'ood_validation': 0.8169014084507042, '0': 0.85, '1': 0.865546218487395, '2': 0.8611111111111112, '4': 0.9134615384615384, '6': 0.9304347826086956}
{'validation': 1.0, 'id_test': 0.8402777777777778, 'ood_test': 0.8490566037735849, 'ood_validation': 0.7746478873239436, '0': 0.8833333333333333, '1': 0.8739495798319328, '2': 0.8611111111111112, '4': 0.8557692307692307, '6': 0.7652173913043478}
{'validation': 1.0, 'id_test': 0.8541666666666666, 'ood_test': 0.8867924528301887, 'ood_validation': 0.7887323943661971, '0': 0.8666666666666667, '1': 0.8907563025210085, '2': 0.8888888888888888, '4': 0.9230769230769231, '6': 0.9130434782608695}
Model: mlp
{'validation': 0.8571428571428571, 'id_test': 0.75, 'ood_test': 0.6061946902654868, 'ood_validation': 0.7105263157894737, 'train': 0.7586206896551724}
{'validation': 0.5714285714285714, 'id_test': 0.7357142857142858, 'ood_test': 0.672566371681416, 'ood_validation': 0.75, 'train': 0.7441016333938294}
{'validation': 0.7142857142857143, 'id_test': 0.7071428571428572, 'ood_test': 0.6637168141592921, 'ood_validation': 0.7236842105263158, 'train': 0.7749546279491834}
{'validation': 1.0, 'id_test': 0.8785714285714286, 'ood_test': 0.668141592920354, 'ood_validation': 0.7236842105263158, 'train': 0.8656987295825771}
{'validation': 0.8571428571428571, 'id_test': 0.8642857142857143, 'ood_test': 0.7477876106194691, 'ood_validation': 0.7763157894736842, 'train': 0.8838475499092558}
{'validation': 0.8571428571428571, 'id_test': 0.8642857142857143, 'ood_test': 0.6415929203539823, 'ood_validation': 0.7105263157894737, 'train': 0.8112522686025408}
{'validation': 0.8571428571428571, 'id_test': 0.8642857142857143, 'ood_test': 0.7345132743362832, 'ood_validation': 0.75, 'train': 0.8584392014519057}
{'validation': 0.8571428571428571, 'id_test': 0.9, 'ood_test': 0.7035398230088495, 'ood_validation': 0.75, 'train': 0.8493647912885662}
{'validation': 1.0, 'id_test': 0.9285714285714286, 'ood_test': 0.7654867256637168, 'ood_validation': 0.7763157894736842, 'train': 0.9019963702359347}
{'validation': 0.8571428571428571, 'id_test': 0.9142857142857143, 'ood_test': 0.7610619469026548, 'ood_validation': 0.7763157894736842, 'train': 0.8947368421052632}
Model: mmd
{'validation': 0.5714285714285714, 'id_test': 0.5, 'ood_test': 0.4019607843137255, 'ood_validation': 0.35294117647058826, '0': 0.9741379310344828, '1': 0.6914893617021277, '2': 0.0703125, '4': 0.10714285714285714, '6': 0.944}
{'validation': 0.8571428571428571, 'id_test': 0.910958904109589, 'ood_test': 0.9607843137254902, 'ood_validation': 0.9852941176470589, '0': 0.9224137931034483, '1': 0.8297872340425532, '2': 0.9296875, '4': 0.9464285714285714, '6': 1.0}
{'validation': 0.8571428571428571, 'id_test': 0.9315068493150684, 'ood_test': 0.8284313725490197, 'ood_validation': 0.8088235294117647, '0': 0.9482758620689655, '1': 0.8723404255319149, '2': 0.9375, '4': 0.9017857142857143, '6': 0.928}
{'validation': 0.5714285714285714, 'id_test': 0.5, 'ood_test': 0.4019607843137255, 'ood_validation': 0.35294117647058826, '0': 0.9741379310344828, '1': 0.6914893617021277, '2': 0.0703125, '4': 0.10714285714285714, '6': 0.944}
{'validation': 1.0, 'id_test': 0.9726027397260274, 'ood_test': 0.9705882352941176, 'ood_validation': 0.9705882352941176, '0': 0.9913793103448276, '1': 0.9574468085106383, '2': 0.984375, '4': 0.9732142857142857, '6': 1.0}
{'validation': 1.0, 'id_test': 0.9726027397260274, 'ood_test': 0.9558823529411765, 'ood_validation': 0.9411764705882353, '0': 0.9913793103448276, '1': 0.9574468085106383, '2': 0.984375, '4': 0.9285714285714286, '6': 0.992}
{'validation': 1.0, 'id_test': 0.9794520547945206, 'ood_test': 0.9362745098039216, 'ood_validation': 0.9411764705882353, '0': 0.9913793103448276, '1': 0.9680851063829787, '2': 0.984375, '4': 0.9464285714285714, '6': 0.976}
{'validation': 1.0, 'id_test': 0.952054794520548, 'ood_test': 0.9166666666666666, 'ood_validation': 0.8676470588235294, '0': 0.9827586206896551, '1': 0.9574468085106383, '2': 0.984375, '4': 0.9017857142857143, '6': 0.96}
{'validation': 0.5714285714285714, 'id_test': 0.5068493150684932, 'ood_test': 0.39705882352941174, 'ood_validation': 0.35294117647058826, '0': 0.9741379310344828, '1': 0.6914893617021277, '2': 0.0703125, '4': 0.13392857142857142, '6': 0.944}
{'validation': 0.5714285714285714, 'id_test': 0.5, 'ood_test': 0.4019607843137255, 'ood_validation': 0.35294117647058826, '0': 0.9741379310344828, '1': 0.6914893617021277, '2': 0.0703125, '4': 0.10714285714285714, '6': 0.944}
Model: node
{'validation': 0.42857142857142855, 'id_test': 0.6688741721854304, 'ood_test': 0.2994652406417112, 'ood_validation': 0.3333333333333333, 'train': 0.5827702702702703}
{'validation': 0.5714285714285714, 'id_test': 0.7549668874172185, 'ood_test': 0.5401069518716578, 'ood_validation': 0.5238095238095238, 'train': 0.8057432432432432}
{'validation': 0.7142857142857143, 'id_test': 0.8079470198675497, 'ood_test': 0.6042780748663101, 'ood_validation': 0.5555555555555556, 'train': 0.8665540540540541}
{'validation': 1.0, 'id_test': 0.9072847682119205, 'ood_test': 0.5240641711229946, 'ood_validation': 0.5396825396825397, 'train': 0.8952702702702703}
{'validation': 1.0, 'id_test': 0.9006622516556292, 'ood_test': 0.5989304812834224, 'ood_validation': 0.6031746031746031, 'train': 0.9155405405405406}
{'validation': 0.8571428571428571, 'id_test': 0.8344370860927153, 'ood_test': 0.7058823529411765, 'ood_validation': 0.6666666666666666, 'train': 0.9037162162162162}
{'validation': 0.8571428571428571, 'id_test': 0.9006622516556292, 'ood_test': 0.5828877005347594, 'ood_validation': 0.6190476190476191, 'train': 0.918918918918919}
{'validation': 0.8571428571428571, 'id_test': 0.9006622516556292, 'ood_test': 0.7112299465240641, 'ood_validation': 0.7301587301587301, 'train': 0.9577702702702703}
{'validation': 1.0, 'id_test': 0.9536423841059603, 'ood_test': 0.6149732620320856, 'ood_validation': 0.6666666666666666, 'train': 0.9442567567567568}
{'validation': 1.0, 'id_test': 0.9403973509933775, 'ood_test': 0.6096256684491979, 'ood_validation': 0.6666666666666666, 'train': 0.9510135135135135}
Model: resnet
{'validation': 1.0, 'id_test': 0.7887323943661971, 'ood_test': 0.5707762557077626, 'ood_validation': 0.5616438356164384, 'train': 0.7835420393559929}
{'validation': 1.0, 'id_test': 0.7816901408450704, 'ood_test': 0.684931506849315, 'ood_validation': 0.7397260273972602, 'train': 0.7942754919499105}
{'validation': 1.0, 'id_test': 0.8309859154929577, 'ood_test': 0.5570776255707762, 'ood_validation': 0.6712328767123288, 'train': 0.8622540250447227}
{'validation': 0.8571428571428571, 'id_test': 0.8309859154929577, 'ood_test': 0.5799086757990868, 'ood_validation': 0.6986301369863014, 'train': 0.8998211091234347}
{'validation': 1.0, 'id_test': 0.8380281690140845, 'ood_test': 0.6301369863013698, 'ood_validation': 0.6575342465753424, 'train': 0.8461538461538461}
{'validation': 1.0, 'id_test': 0.8873239436619719, 'ood_test': 0.6073059360730594, 'ood_validation': 0.7397260273972602, 'train': 0.9338103756708408}
{'validation': 1.0, 'id_test': 0.8661971830985915, 'ood_test': 0.6118721461187214, 'ood_validation': 0.7671232876712328, 'train': 0.9105545617173524}
{'validation': 0.8571428571428571, 'id_test': 0.8450704225352113, 'ood_test': 0.6484018264840182, 'ood_validation': 0.7397260273972602, 'train': 0.8246869409660107}
{'validation': 0.8571428571428571, 'id_test': 0.8661971830985915, 'ood_test': 0.5799086757990868, 'ood_validation': 0.684931506849315, 'train': 0.8962432915921288}
{'validation': 1.0, 'id_test': 0.8591549295774648, 'ood_test': 0.6073059360730594, 'ood_validation': 0.726027397260274, 'train': 0.8855098389982111}
Model: saint
{'validation': 0.8571428571428571, 'id_test': 0.9645390070921985, 'ood_test': 0.9866071428571429, 'ood_validation': 0.9866666666666667, 'train': 0.9656419529837251}
{'validation': 0.8571428571428571, 'id_test': 0.8439716312056738, 'ood_test': 0.9330357142857143, 'ood_validation': 0.92, 'train': 0.8535262206148282}
{'validation': 0.8571428571428571, 'id_test': 0.950354609929078, 'ood_test': 0.9375, 'ood_validation': 0.9733333333333334, 'train': 0.9421338155515371}
{'validation': 0.8571428571428571, 'id_test': 0.950354609929078, 'ood_test': 0.9553571428571429, 'ood_validation': 0.9733333333333334, 'train': 0.9511754068716094}
{'validation': 0.8571428571428571, 'id_test': 0.9645390070921985, 'ood_test': 0.96875, 'ood_validation': 0.9866666666666667, 'train': 0.9638336347197106}
{'validation': 1.0, 'id_test': 0.9787234042553191, 'ood_test': 0.9866071428571429, 'ood_validation': 1.0, 'train': 0.9927667269439421}
{'validation': 1.0, 'id_test': 0.9787234042553191, 'ood_test': 0.9955357142857143, 'ood_validation': 1.0, 'train': 0.9909584086799277}
{'validation': 1.0, 'id_test': 0.9787234042553191, 'ood_test': 0.9866071428571429, 'ood_validation': 1.0, 'train': 0.9927667269439421}
{'validation': 0.8571428571428571, 'id_test': 0.9716312056737588, 'ood_test': 0.9598214285714286, 'ood_validation': 0.9866666666666667, 'train': 0.9584086799276673}
{'validation': 1.0, 'id_test': 0.9787234042553191, 'ood_test': 0.9866071428571429, 'ood_validation': 1.0, 'train': 0.9927667269439421}
Model: tabtransformer
{'validation': 0.5714285714285714, 'id_test': 0.6214285714285714, 'ood_test': 0.5663716814159292, 'ood_validation': 0.47368421052631576, 'train': 0.6987295825771325}
{'validation': 0.7142857142857143, 'id_test': 0.7357142857142858, 'ood_test': 0.6106194690265486, 'ood_validation': 0.4868421052631579, 'train': 0.7967332123411979}
{'validation': 0.5714285714285714, 'id_test': 0.7857142857142857, 'ood_test': 0.6902654867256637, 'ood_validation': 0.6447368421052632, 'train': 0.8892921960072595}
{'validation': 0.5714285714285714, 'id_test': 0.8642857142857143, 'ood_test': 0.6991150442477876, 'ood_validation': 0.6578947368421053, 'train': 0.9237749546279492}
{'validation': 0.7142857142857143, 'id_test': 0.9, 'ood_test': 0.7212389380530974, 'ood_validation': 0.6842105263157895, 'train': 0.9346642468239564}
{'validation': 0.7142857142857143, 'id_test': 0.9142857142857143, 'ood_test': 0.7345132743362832, 'ood_validation': 0.6973684210526315, 'train': 0.9546279491833031}
{'validation': 0.42857142857142855, 'id_test': 0.8857142857142857, 'ood_test': 0.7477876106194691, 'ood_validation': 0.6973684210526315, 'train': 0.9346642468239564}
{'validation': 0.7142857142857143, 'id_test': 0.8714285714285714, 'ood_test': 0.7610619469026548, 'ood_validation': 0.7236842105263158, 'train': 0.969147005444646}
{'validation': 0.8571428571428571, 'id_test': 0.9214285714285714, 'ood_test': 0.7654867256637168, 'ood_validation': 0.7368421052631579, 'train': 0.9909255898366606}
{'validation': 0.7142857142857143, 'id_test': 0.7785714285714286, 'ood_test': 0.7345132743362832, 'ood_validation': 0.6842105263157895, 'train': 0.8656987295825771}
Model: vrex
{'validation': 0.42857142857142855, 'id_test': 0.5069444444444444, 'ood_test': 0.6179245283018868, 'ood_validation': 0.5915492957746479, '0': 0.22018348623853212, '1': 0.3135593220338983, '2': 0.8547008547008547, '4': 0.7631578947368421, '6': 0.16666666666666666}
{'validation': 0.7142857142857143, 'id_test': 0.7708333333333334, 'ood_test': 0.9056603773584906, 'ood_validation': 0.8873239436619719, '0': 0.6972477064220184, '1': 0.4576271186440678, '2': 0.8547008547008547, '4': 0.7807017543859649, '6': 0.9537037037037037}
{'validation': 0.5714285714285714, 'id_test': 0.8611111111111112, 'ood_test': 0.839622641509434, 'ood_validation': 0.8591549295774648, '0': 0.926605504587156, '1': 0.7796610169491526, '2': 0.8717948717948718, '4': 0.7719298245614035, '6': 0.8703703703703703}
{'validation': 0.7142857142857143, 'id_test': 0.875, 'ood_test': 0.9198113207547169, 'ood_validation': 0.9014084507042254, '0': 0.8990825688073395, '1': 0.6949152542372882, '2': 0.8547008547008547, '4': 0.8421052631578947, '6': 0.9351851851851852}
{'validation': 0.7142857142857143, 'id_test': 0.9027777777777778, 'ood_test': 0.9858490566037735, 'ood_validation': 0.9577464788732394, '0': 0.926605504587156, '1': 0.7372881355932204, '2': 0.8632478632478633, '4': 0.9912280701754386, '6': 0.9907407407407407}
{'validation': 0.7142857142857143, 'id_test': 0.9027777777777778, 'ood_test': 0.9811320754716981, 'ood_validation': 0.9577464788732394, '0': 0.908256880733945, '1': 0.7372881355932204, '2': 0.8632478632478633, '4': 0.9824561403508771, '6': 0.9907407407407407}
{'validation': 0.5714285714285714, 'id_test': 0.8680555555555556, 'ood_test': 0.8773584905660378, 'ood_validation': 0.8591549295774648, '0': 0.926605504587156, '1': 0.7457627118644068, '2': 0.8632478632478633, '4': 0.7982456140350878, '6': 0.9166666666666666}
{'validation': 0.7142857142857143, 'id_test': 0.8958333333333334, 'ood_test': 0.9245283018867925, 'ood_validation': 0.9154929577464789, '0': 0.9357798165137615, '1': 0.8220338983050848, '2': 0.8888888888888888, '4': 0.8596491228070176, '6': 0.9444444444444444}
{'validation': 0.5714285714285714, 'id_test': 0.5, 'ood_test': 0.38207547169811323, 'ood_validation': 0.4084507042253521, '0': 0.8899082568807339, '1': 0.7033898305084746, '2': 0.1452991452991453, '4': 0.23684210526315788, '6': 0.8333333333333334}
{'validation': 0.8571428571428571, 'id_test': 0.9513888888888888, 'ood_test': 0.9905660377358491, 'ood_validation': 0.9859154929577465, '0': 0.9724770642201835, '1': 0.923728813559322, '2': 0.9487179487179487, '4': 0.9824561403508771, '6': 0.9907407407407407}
Model: xgb
{'ood_test': 0.966183574879227}
Model: ib_erm
{'validation': 0.42857142857142855, 'id_test': 0.42142857142857143, 'ood_test': 0.6828193832599119, 'ood_validation': 0.5789473684210527, '0': 0.23300970873786409, '1': 0.33035714285714285, '2': 0.6347826086956522, '4': 0.6440677966101694, '6': 0.28431372549019607}
{'validation': 0.42857142857142855, 'id_test': 0.42142857142857143, 'ood_test': 0.6828193832599119, 'ood_validation': 0.5789473684210527, '0': 0.23300970873786409, '1': 0.33035714285714285, '2': 0.6347826086956522, '4': 0.6440677966101694, '6': 0.28431372549019607}
{'validation': 0.42857142857142855, 'id_test': 0.42142857142857143, 'ood_test': 0.6828193832599119, 'ood_validation': 0.5789473684210527, '0': 0.23300970873786409, '1': 0.33035714285714285, '2': 0.6347826086956522, '4': 0.6440677966101694, '6': 0.28431372549019607}
{'validation': 0.42857142857142855, 'id_test': 0.42142857142857143, 'ood_test': 0.6828193832599119, 'ood_validation': 0.5789473684210527, '0': 0.23300970873786409, '1': 0.33035714285714285, '2': 0.6347826086956522, '4': 0.6440677966101694, '6': 0.28431372549019607}
{'validation': 0.42857142857142855, 'id_test': 0.42142857142857143, 'ood_test': 0.6828193832599119, 'ood_validation': 0.5789473684210527, '0': 0.23300970873786409, '1': 0.33035714285714285, '2': 0.6347826086956522, '4': 0.6440677966101694, '6': 0.28431372549019607}
{'validation': 0.42857142857142855, 'id_test': 0.42142857142857143, 'ood_test': 0.6828193832599119, 'ood_validation': 0.5789473684210527, '0': 0.23300970873786409, '1': 0.33035714285714285, '2': 0.6347826086956522, '4': 0.6440677966101694, '6': 0.28431372549019607}
{'validation': 0.42857142857142855, 'id_test': 0.42142857142857143, 'ood_test': 0.6828193832599119, 'ood_validation': 0.5789473684210527, '0': 0.23300970873786409, '1': 0.33035714285714285, '2': 0.6347826086956522, '4': 0.6440677966101694, '6': 0.28431372549019607}
{'validation': 0.42857142857142855, 'id_test': 0.42142857142857143, 'ood_test': 0.6828193832599119, 'ood_validation': 0.5789473684210527, '0': 0.23300970873786409, '1': 0.33035714285714285, '2': 0.6347826086956522, '4': 0.6440677966101694, '6': 0.28431372549019607}
{'validation': 0.5714285714285714, 'id_test': 0.4785714285714286, 'ood_test': 0.6828193832599119, 'ood_validation': 0.5921052631578947, '0': 0.23300970873786409, '1': 0.33035714285714285, '2': 0.6347826086956522, '4': 0.6440677966101694, '6': 0.3431372549019608}
{'validation': 0.42857142857142855, 'id_test': 0.42857142857142855, 'ood_test': 0.7180616740088106, 'ood_validation': 0.6447368421052632, '0': 0.24271844660194175, '1': 0.33035714285714285, '2': 0.6434782608695652, '4': 0.7372881355932204, '6': 0.3431372549019608}
Model: ib_irm
{'validation': 0.7142857142857143, 'id_test': 0.8851351351351351, 'ood_test': 0.9494949494949495, 'ood_validation': 0.8939393939393939, '0': 0.944, '1': 0.7894736842105263, '2': 0.8828828828828829, '4': 0.8527131782945736, '6': 0.9019607843137255}
{'validation': 0.8571428571428571, 'id_test': 0.9121621621621622, 'ood_test': 0.8939393939393939, 'ood_validation': 0.8787878787878788, '0': 0.984, '1': 0.9122807017543859, '2': 0.9459459459459459, '4': 0.813953488372093, '6': 0.8431372549019608}
{'validation': 0.7142857142857143, 'id_test': 0.8648648648648649, 'ood_test': 0.8838383838383839, 'ood_validation': 0.8636363636363636, '0': 0.944, '1': 0.7894736842105263, '2': 0.9009009009009009, '4': 0.8062015503875969, '6': 0.8431372549019608}
{'validation': 0.8571428571428571, 'id_test': 0.972972972972973, 'ood_test': 0.9797979797979798, 'ood_validation': 0.9545454545454546, '0': 0.96, '1': 0.8859649122807017, '2': 0.9369369369369369, '4': 0.937984496124031, '6': 0.9705882352941176}
{'validation': 0.7142857142857143, 'id_test': 0.918918918918919, 'ood_test': 0.9595959595959596, 'ood_validation': 0.9090909090909091, '0': 0.96, '1': 0.8508771929824561, '2': 0.9279279279279279, '4': 0.8527131782945736, '6': 0.9215686274509803}
{'validation': 0.8571428571428571, 'id_test': 0.9391891891891891, 'ood_test': 0.9646464646464646, 'ood_validation': 0.9090909090909091, '0': 0.976, '1': 0.9035087719298246, '2': 0.954954954954955, '4': 0.8837209302325582, '6': 0.9509803921568627}
{'validation': 0.8571428571428571, 'id_test': 0.9662162162162162, 'ood_test': 0.98989898989899, 'ood_validation': 0.9393939393939394, '0': 0.984, '1': 0.9210526315789473, '2': 0.963963963963964, '4': 0.9457364341085271, '6': 0.9705882352941176}
{'validation': 0.8571428571428571, 'id_test': 0.918918918918919, 'ood_test': 0.9444444444444444, 'ood_validation': 0.8939393939393939, '0': 0.984, '1': 0.9035087719298246, '2': 0.954954954954955, '4': 0.8527131782945736, '6': 0.8921568627450981}
{'validation': 0.8571428571428571, 'id_test': 0.9391891891891891, 'ood_test': 0.9696969696969697, 'ood_validation': 0.9545454545454546, '0': 0.984, '1': 0.9385964912280702, '2': 0.972972972972973, '4': 0.9147286821705426, '6': 0.9607843137254902}
{'validation': 0.8571428571428571, 'id_test': 0.918918918918919, 'ood_test': 0.9393939393939394, 'ood_validation': 0.8939393939393939, '0': 0.984, '1': 0.9210526315789473, '2': 0.972972972972973, '4': 0.8527131782945736, '6': 0.9019607843137255}
Model: causirl_coral
{'validation': 0.8571428571428571, 'id_test': 0.8299319727891157, 'ood_test': 0.900497512437811, 'ood_validation': 0.8823529411764706, '0': 0.9809523809523809, '1': 0.9166666666666666, '2': 0.7610619469026548, '4': 0.6981132075471698, '6': 0.924812030075188}
{'validation': 0.7142857142857143, 'id_test': 0.8979591836734694, 'ood_test': 0.8606965174129353, 'ood_validation': 0.8970588235294118, '0': 0.9523809523809523, '1': 0.9166666666666666, '2': 0.9203539823008849, '4': 0.8962264150943396, '6': 0.9097744360902256}
{'validation': 0.7142857142857143, 'id_test': 0.9523809523809523, 'ood_test': 0.8955223880597015, 'ood_validation': 0.9117647058823529, '0': 0.9904761904761905, '1': 0.975, '2': 0.9734513274336283, '4': 0.9056603773584906, '6': 0.9398496240601504}
{'validation': 0.8571428571428571, 'id_test': 0.9523809523809523, 'ood_test': 0.9701492537313433, 'ood_validation': 0.9705882352941176, '0': 0.9904761904761905, '1': 0.9583333333333334, '2': 0.9469026548672567, '4': 0.9528301886792453, '6': 0.9924812030075187}
{'validation': 0.8571428571428571, 'id_test': 0.9523809523809523, 'ood_test': 0.9651741293532339, 'ood_validation': 0.9558823529411765, '0': 0.9904761904761905, '1': 0.975, '2': 0.9557522123893806, '4': 0.9622641509433962, '6': 0.9924812030075187}
{'validation': 0.7142857142857143, 'id_test': 0.9659863945578231, 'ood_test': 0.9601990049751243, 'ood_validation': 0.9558823529411765, '0': 0.9904761904761905, '1': 0.9666666666666667, '2': 0.9823008849557522, '4': 0.9150943396226415, '6': 0.9699248120300752}
{'validation': 0.7142857142857143, 'id_test': 0.7755102040816326, 'ood_test': 0.35323383084577115, 'ood_validation': 0.3088235294117647, '0': 0.9904761904761905, '1': 0.9833333333333333, '2': 0.9823008849557522, '4': 0.11320754716981132, '6': 0.8872180451127819}
{'validation': 0.7142857142857143, 'id_test': 0.9659863945578231, 'ood_test': 0.9701492537313433, 'ood_validation': 0.9558823529411765, '0': 0.9904761904761905, '1': 0.9833333333333333, '2': 0.9911504424778761, '4': 0.9433962264150944, '6': 0.9849624060150376}
{'validation': 0.8571428571428571, 'id_test': 0.9727891156462585, 'ood_test': 0.9701492537313433, 'ood_validation': 0.9558823529411765, '0': 0.9904761904761905, '1': 0.9583333333333334, '2': 0.9734513274336283, '4': 0.9716981132075472, '6': 0.9924812030075187}
{'validation': 0.7142857142857143, 'id_test': 0.7619047619047619, 'ood_test': 0.7512437810945274, 'ood_validation': 0.7647058823529411, '0': 0.9904761904761905, '1': 0.975, '2': 0.9911504424778761, '4': 0.11320754716981132, '6': 0.8872180451127819}
Model: causirl_mmd
{'validation': 0.14285714285714285, 'id_test': 0.5208333333333334, 'ood_test': 0.719047619047619, 'ood_validation': 0.5492957746478874, '0': 0.2066115702479339, '1': 0.30434782608695654, '2': 0.6929824561403509, '4': 0.6513761467889908, '6': 0.22018348623853212}
{'validation': 0.14285714285714285, 'id_test': 0.5208333333333334, 'ood_test': 0.719047619047619, 'ood_validation': 0.5492957746478874, '0': 0.2066115702479339, '1': 0.30434782608695654, '2': 0.6929824561403509, '4': 0.6513761467889908, '6': 0.22018348623853212}
{'validation': 0.14285714285714285, 'id_test': 0.5208333333333334, 'ood_test': 0.719047619047619, 'ood_validation': 0.5492957746478874, '0': 0.2066115702479339, '1': 0.30434782608695654, '2': 0.6929824561403509, '4': 0.6513761467889908, '6': 0.22018348623853212}
{'validation': 0.14285714285714285, 'id_test': 0.5208333333333334, 'ood_test': 0.719047619047619, 'ood_validation': 0.5492957746478874, '0': 0.2066115702479339, '1': 0.30434782608695654, '2': 0.6929824561403509, '4': 0.6513761467889908, '6': 0.22018348623853212}
{'validation': 0.14285714285714285, 'id_test': 0.5208333333333334, 'ood_test': 0.719047619047619, 'ood_validation': 0.5492957746478874, '0': 0.2066115702479339, '1': 0.30434782608695654, '2': 0.6929824561403509, '4': 0.6513761467889908, '6': 0.22018348623853212}
{'validation': 0.14285714285714285, 'id_test': 0.5208333333333334, 'ood_test': 0.719047619047619, 'ood_validation': 0.5492957746478874, '0': 0.2066115702479339, '1': 0.30434782608695654, '2': 0.6929824561403509, '4': 0.6513761467889908, '6': 0.22018348623853212}
{'validation': 0.14285714285714285, 'id_test': 0.5208333333333334, 'ood_test': 0.719047619047619, 'ood_validation': 0.5492957746478874, '0': 0.2066115702479339, '1': 0.30434782608695654, '2': 0.6929824561403509, '4': 0.6513761467889908, '6': 0.22018348623853212}
{'validation': 0.14285714285714285, 'id_test': 0.5208333333333334, 'ood_test': 0.719047619047619, 'ood_validation': 0.5492957746478874, '0': 0.2066115702479339, '1': 0.30434782608695654, '2': 0.6929824561403509, '4': 0.6513761467889908, '6': 0.22018348623853212}
{'validation': 0.14285714285714285, 'id_test': 0.5208333333333334, 'ood_test': 0.719047619047619, 'ood_validation': 0.5492957746478874, '0': 0.2066115702479339, '1': 0.30434782608695654, '2': 0.6929824561403509, '4': 0.6513761467889908, '6': 0.22018348623853212}
{'validation': 0.14285714285714285, 'id_test': 0.5208333333333334, 'ood_test': 0.719047619047619, 'ood_validation': 0.5492957746478874, '0': 0.2066115702479339, '1': 0.30434782608695654, '2': 0.6929824561403509, '4': 0.6513761467889908, '6': 0.22018348623853212}
