Model: aldro
{'validation': 0.6666666666666666, 'id_test': 0.6357142857142857, 'ood_test': 0.5217391304347826, 'ood_validation': 0.4155844155844156, 'train': 0.659963436928702}
{'validation': 0.5, 'id_test': 0.7214285714285714, 'ood_test': 0.5173913043478261, 'ood_validation': 0.5844155844155844, 'train': 0.7458866544789763}
{'validation': 0.8333333333333334, 'id_test': 0.7857142857142857, 'ood_test': 0.6391304347826087, 'ood_validation': 0.5844155844155844, 'train': 0.8080438756855576}
{'validation': 1.0, 'id_test': 0.8, 'ood_test': 0.6391304347826087, 'ood_validation': 0.6623376623376623, 'train': 0.8921389396709324}
{'validation': 0.6666666666666666, 'id_test': 0.85, 'ood_test': 0.7130434782608696, 'ood_validation': 0.6883116883116883, 'train': 0.8281535648994516}
{'validation': 0.8333333333333334, 'id_test': 0.8285714285714286, 'ood_test': 0.7608695652173914, 'ood_validation': 0.7402597402597403, 'train': 0.8281535648994516}
{'validation': 0.8333333333333334, 'id_test': 0.8357142857142857, 'ood_test': 0.7086956521739131, 'ood_validation': 0.6623376623376623, 'train': 0.8957952468007313}
{'validation': 1.0, 'id_test': 0.8214285714285714, 'ood_test': 0.6608695652173913, 'ood_validation': 0.6493506493506493, 'train': 0.8555758683729433}
{'validation': 0.8333333333333334, 'id_test': 0.9142857142857143, 'ood_test': 0.7521739130434782, 'ood_validation': 0.7662337662337663, 'train': 0.9725776965265083}
{'validation': 0.8333333333333334, 'id_test': 0.8928571428571429, 'ood_test': 0.7304347826086957, 'ood_validation': 0.7142857142857143, 'train': 0.9396709323583181}
Model: dann
{'validation': 0.6666666666666666, 'id_test': 0.5642857142857143, 'ood_test': 0.7304347826086957, 'ood_validation': 0.6363636363636364, '0': 0.52, '1': 0.45045045045045046, '2': 0.5945945945945946, '4': 0.3739130434782609, '6': 0.7727272727272727}
{'validation': 0.5, 'id_test': 0.6285714285714286, 'ood_test': 0.8260869565217391, 'ood_validation': 0.8181818181818182, '0': 0.73, '1': 0.6576576576576577, '2': 0.42342342342342343, '4': 0.6347826086956522, '6': 0.7545454545454545}
{'validation': 0.6666666666666666, 'id_test': 0.7071428571428572, 'ood_test': 0.8434782608695652, 'ood_validation': 0.8441558441558441, '0': 0.78, '1': 0.7207207207207207, '2': 0.5945945945945946, '4': 0.6347826086956522, '6': 0.7909090909090909}
{'validation': 1.0, 'id_test': 0.8928571428571429, 'ood_test': 0.9608695652173913, 'ood_validation': 0.935064935064935, '0': 0.97, '1': 0.972972972972973, '2': 0.8918918918918919, '4': 0.8956521739130435, '6': 0.9272727272727272}
{'validation': 1.0, 'id_test': 0.8928571428571429, 'ood_test': 0.9695652173913043, 'ood_validation': 0.961038961038961, '0': 0.95, '1': 0.9369369369369369, '2': 0.8918918918918919, '4': 0.9217391304347826, '6': 0.9636363636363636}
{'validation': 1.0, 'id_test': 0.9071428571428571, 'ood_test': 0.9652173913043478, 'ood_validation': 0.922077922077922, '0': 0.98, '1': 0.963963963963964, '2': 0.918918918918919, '4': 0.8869565217391304, '6': 0.9181818181818182}
{'validation': 1.0, 'id_test': 0.8714285714285714, 'ood_test': 0.9565217391304348, 'ood_validation': 0.9090909090909091, '0': 0.94, '1': 0.918918918918919, '2': 0.9009009009009009, '4': 0.8260869565217391, '6': 0.9090909090909091}
{'validation': 1.0, 'id_test': 0.8357142857142857, 'ood_test': 0.9304347826086956, 'ood_validation': 0.9090909090909091, '0': 0.94, '1': 0.9009009009009009, '2': 0.8738738738738738, '4': 0.8173913043478261, '6': 0.9}
{'validation': 1.0, 'id_test': 0.8428571428571429, 'ood_test': 0.9478260869565217, 'ood_validation': 0.9090909090909091, '0': 0.94, '1': 0.8918918918918919, '2': 0.8738738738738738, '4': 0.8347826086956521, '6': 0.9090909090909091}
{'validation': 1.0, 'id_test': 0.8357142857142857, 'ood_test': 0.9173913043478261, 'ood_validation': 0.9090909090909091, '0': 0.94, '1': 0.9099099099099099, '2': 0.8918918918918919, '4': 0.7913043478260869, '6': 0.8909090909090909}
Model: deepcoral
{'validation': 0.7142857142857143, 'id_test': 0.5384615384615384, 'ood_test': 0.44907407407407407, 'ood_validation': 0.3698630136986301, '0': 0.5046728971962616, '1': 0.6018518518518519, '2': 0.48, '4': 0.5, '6': 0.5299145299145299}
{'validation': 0.42857142857142855, 'id_test': 0.46853146853146854, 'ood_test': 0.5370370370370371, 'ood_validation': 0.5616438356164384, '0': 0.5233644859813084, '1': 0.4166666666666667, '2': 0.52, '4': 0.4807692307692308, '6': 0.48717948717948717}
{'validation': 0.5714285714285714, 'id_test': 0.5594405594405595, 'ood_test': 0.5, 'ood_validation': 0.5205479452054794, '0': 0.4766355140186916, '1': 0.5833333333333334, '2': 0.488, '4': 0.6153846153846154, '6': 0.5470085470085471}
{'validation': 0.5714285714285714, 'id_test': 0.5454545454545454, 'ood_test': 0.4675925925925926, 'ood_validation': 0.3972602739726027, '0': 0.4766355140186916, '1': 0.5833333333333334, '2': 0.52, '4': 0.625, '6': 0.5555555555555556}
{'validation': 0.42857142857142855, 'id_test': 0.46853146853146854, 'ood_test': 0.5370370370370371, 'ood_validation': 0.5616438356164384, '0': 0.5233644859813084, '1': 0.4166666666666667, '2': 0.52, '4': 0.4807692307692308, '6': 0.48717948717948717}
{'validation': 0.5714285714285714, 'id_test': 0.48951048951048953, 'ood_test': 0.5370370370370371, 'ood_validation': 0.5616438356164384, '0': 0.616822429906542, '1': 0.5462962962962963, '2': 0.656, '4': 0.4807692307692308, '6': 0.48717948717948717}
{'validation': 0.42857142857142855, 'id_test': 0.5664335664335665, 'ood_test': 0.5277777777777778, 'ood_validation': 0.5616438356164384, '0': 0.4766355140186916, '1': 0.5833333333333334, '2': 0.512, '4': 0.75, '6': 0.6324786324786325}
{'validation': 0.42857142857142855, 'id_test': 0.48951048951048953, 'ood_test': 0.5370370370370371, 'ood_validation': 0.5616438356164384, '0': 0.5420560747663551, '1': 0.4166666666666667, '2': 0.536, '4': 0.4807692307692308, '6': 0.48717948717948717}
{'validation': 0.7142857142857143, 'id_test': 0.5664335664335665, 'ood_test': 0.5462962962962963, 'ood_validation': 0.5753424657534246, '0': 0.5420560747663551, '1': 0.6851851851851852, '2': 0.736, '4': 0.5769230769230769, '6': 0.5299145299145299}
{'validation': 0.42857142857142855, 'id_test': 0.46853146853146854, 'ood_test': 0.5277777777777778, 'ood_validation': 0.5616438356164384, '0': 0.5514018691588785, '1': 0.42592592592592593, '2': 0.536, '4': 0.5096153846153846, '6': 0.5042735042735043}
Model: expgrad
{'ood_test': 0.9752475247524752}
Model: ft_transformer
{'validation': 0.42857142857142855, 'id_test': 0.5454545454545454, 'ood_test': 0.42790697674418604, 'ood_validation': 0.4166666666666667, 'train': 0.5399644760213144}
{'validation': 0.2857142857142857, 'id_test': 0.48951048951048953, 'ood_test': 0.386046511627907, 'ood_validation': 0.4444444444444444, 'train': 0.5452930728241563}
{'validation': 0.2857142857142857, 'id_test': 0.48951048951048953, 'ood_test': 0.5162790697674419, 'ood_validation': 0.5416666666666666, 'train': 0.5595026642984015}
{'validation': 0.2857142857142857, 'id_test': 0.48951048951048953, 'ood_test': 0.3581395348837209, 'ood_validation': 0.4583333333333333, 'train': 0.5506216696269982}
{'validation': 0.2857142857142857, 'id_test': 0.48951048951048953, 'ood_test': 0.3581395348837209, 'ood_validation': 0.4583333333333333, 'train': 0.5506216696269982}
{'validation': 0.2857142857142857, 'id_test': 0.48951048951048953, 'ood_test': 0.3674418604651163, 'ood_validation': 0.4861111111111111, 'train': 0.5506216696269982}
{'validation': 0.2857142857142857, 'id_test': 0.48951048951048953, 'ood_test': 0.3627906976744186, 'ood_validation': 0.4583333333333333, 'train': 0.5506216696269982}
{'validation': 0.2857142857142857, 'id_test': 0.48951048951048953, 'ood_test': 0.4, 'ood_validation': 0.4861111111111111, 'train': 0.5506216696269982}
{'validation': 0.2857142857142857, 'id_test': 0.48951048951048953, 'ood_test': 0.35348837209302325, 'ood_validation': 0.4583333333333333, 'train': 0.5506216696269982}
{'validation': 0.2857142857142857, 'id_test': 0.4965034965034965, 'ood_test': 0.40930232558139534, 'ood_validation': 0.5555555555555556, 'train': 0.5523978685612788}
Model: group_dro
{'validation': 0.5714285714285714, 'id_test': 0.62, 'ood_test': 0.5291005291005291, 'ood_validation': 0.421875, 'train': 0.6389830508474577}
{'validation': 0.8571428571428571, 'id_test': 0.74, 'ood_test': 0.708994708994709, 'ood_validation': 0.65625, 'train': 0.811864406779661}
{'validation': 0.8571428571428571, 'id_test': 0.8066666666666666, 'ood_test': 0.6825396825396826, 'ood_validation': 0.703125, 'train': 0.8694915254237288}
{'validation': 1.0, 'id_test': 0.8933333333333333, 'ood_test': 0.7248677248677249, 'ood_validation': 0.78125, 'train': 0.9135593220338983}
{'validation': 1.0, 'id_test': 0.9, 'ood_test': 0.7195767195767195, 'ood_validation': 0.6875, 'train': 0.9355932203389831}
{'validation': 1.0, 'id_test': 0.9266666666666666, 'ood_test': 0.7142857142857143, 'ood_validation': 0.75, 'train': 0.964406779661017}
{'validation': 1.0, 'id_test': 0.8, 'ood_test': 0.5767195767195767, 'ood_validation': 0.59375, 'train': 0.7389830508474576}
{'validation': 1.0, 'id_test': 0.9133333333333333, 'ood_test': 0.798941798941799, 'ood_validation': 0.71875, 'train': 0.9508474576271186}
{'validation': 1.0, 'id_test': 0.8533333333333334, 'ood_test': 0.746031746031746, 'ood_validation': 0.75, 'train': 0.9423728813559322}
{'validation': 1.0, 'id_test': 0.94, 'ood_test': 0.7619047619047619, 'ood_validation': 0.765625, 'train': 0.9779661016949153}
Model: irm
{'validation': 0.7142857142857143, 'id_test': 0.7123287671232876, 'ood_test': 0.8137254901960784, 'ood_validation': 0.7536231884057971, '0': 0.7387387387387387, '1': 0.7169811320754716, '2': 0.782608695652174, '4': 0.6746031746031746, '6': 0.6551724137931034}
{'validation': 0.7142857142857143, 'id_test': 0.5753424657534246, 'ood_test': 0.6813725490196079, 'ood_validation': 0.7246376811594203, '0': 0.7297297297297297, '1': 0.660377358490566, '2': 0.4608695652173913, '4': 0.42063492063492064, '6': 0.6810344827586207}
{'validation': 0.7142857142857143, 'id_test': 0.8767123287671232, 'ood_test': 0.8872549019607843, 'ood_validation': 0.855072463768116, '0': 0.9099099099099099, '1': 0.9056603773584906, '2': 0.9478260869565217, '4': 0.873015873015873, '6': 0.8448275862068966}
{'validation': 0.7142857142857143, 'id_test': 0.7808219178082192, 'ood_test': 0.9068627450980392, 'ood_validation': 0.855072463768116, '0': 0.8828828828828829, '1': 0.8018867924528302, '2': 0.6869565217391305, '4': 0.8412698412698413, '6': 0.8103448275862069}
{'validation': 0.8571428571428571, 'id_test': 0.7397260273972602, 'ood_test': 0.7254901960784313, 'ood_validation': 0.6956521739130435, '0': 0.954954954954955, '1': 0.9905660377358491, '2': 0.9130434782608695, '4': 0.42063492063492064, '6': 0.6810344827586207}
{'validation': 0.7142857142857143, 'id_test': 0.773972602739726, 'ood_test': 0.7450980392156863, 'ood_validation': 0.7536231884057971, '0': 0.918918918918919, '1': 0.8867924528301887, '2': 0.9652173913043478, '4': 0.4523809523809524, '6': 0.6810344827586207}
{'validation': 0.7142857142857143, 'id_test': 0.8561643835616438, 'ood_test': 0.9068627450980392, 'ood_validation': 0.8695652173913043, '0': 0.9369369369369369, '1': 0.9528301886792453, '2': 0.9652173913043478, '4': 0.8809523809523809, '6': 0.8448275862068966}
{'validation': 0.5714285714285714, 'id_test': 0.7465753424657534, 'ood_test': 0.7598039215686274, 'ood_validation': 0.7246376811594203, '0': 0.972972972972973, '1': 0.9716981132075472, '2': 0.9565217391304348, '4': 0.42063492063492064, '6': 0.6810344827586207}
{'validation': 0.8571428571428571, 'id_test': 0.863013698630137, 'ood_test': 0.8921568627450981, 'ood_validation': 0.8695652173913043, '0': 1.0, '1': 0.9905660377358491, '2': 0.9739130434782609, '4': 0.9365079365079365, '6': 0.9827586206896551}
{'validation': 0.8571428571428571, 'id_test': 0.8082191780821918, 'ood_test': 0.7892156862745098, 'ood_validation': 0.7971014492753623, '0': 0.9369369369369369, '1': 0.9622641509433962, '2': 0.991304347826087, '4': 0.5317460317460317, '6': 0.7155172413793104}
Model: label_group_dro
{'validation': 0.3333333333333333, 'id_test': 0.697841726618705, 'ood_test': 0.7564102564102564, 'ood_validation': 0.8860759493670886, 'train': 0.6992619926199262}
{'validation': 0.3333333333333333, 'id_test': 0.6474820143884892, 'ood_test': 0.717948717948718, 'ood_validation': 0.7974683544303798, 'train': 0.6660516605166051}
{'validation': 1.0, 'id_test': 0.8489208633093526, 'ood_test': 0.7863247863247863, 'ood_validation': 0.759493670886076, 'train': 0.8634686346863468}
{'validation': 1.0, 'id_test': 0.6834532374100719, 'ood_test': 0.8247863247863247, 'ood_validation': 0.8607594936708861, 'train': 0.7527675276752768}
{'validation': 1.0, 'id_test': 0.8848920863309353, 'ood_test': 0.8846153846153846, 'ood_validation': 0.8860759493670886, 'train': 0.9501845018450185}
{'validation': 0.8333333333333334, 'id_test': 0.920863309352518, 'ood_test': 0.8888888888888888, 'ood_validation': 0.8734177215189873, 'train': 0.966789667896679}
{'validation': 0.8333333333333334, 'id_test': 0.841726618705036, 'ood_test': 0.8846153846153846, 'ood_validation': 0.9367088607594937, 'train': 0.8671586715867159}
{'validation': 0.8333333333333334, 'id_test': 0.920863309352518, 'ood_test': 0.8504273504273504, 'ood_validation': 0.8227848101265823, 'train': 0.974169741697417}
{'validation': 0.8333333333333334, 'id_test': 0.8705035971223022, 'ood_test': 0.8034188034188035, 'ood_validation': 0.8481012658227848, 'train': 0.9040590405904059}
{'validation': 0.8333333333333334, 'id_test': 0.8848920863309353, 'ood_test': 0.8547008547008547, 'ood_validation': 0.9113924050632911, 'train': 0.9704797047970479}
Model: lightgbm
{'ood_test': 0.9954337899543378}
Model: mixup
{'validation': 0.42857142857142855, 'id_test': 0.7379310344827587, 'ood_test': 0.6650717703349283, 'ood_validation': 0.5571428571428572, '0': 0.9453125, '1': 0.7627118644067796, '2': 0.9903846153846154, '4': 0.956140350877193, '6': 0.0380952380952381}
{'validation': 0.8571428571428571, 'id_test': 0.8758620689655172, 'ood_test': 0.9712918660287081, 'ood_validation': 0.9857142857142858, '0': 0.921875, '1': 0.6101694915254238, '2': 0.9711538461538461, '4': 0.9649122807017544, '6': 0.9904761904761905}
{'validation': 1.0, 'id_test': 0.9103448275862069, 'ood_test': 0.8851674641148325, 'ood_validation': 0.8857142857142857, '0': 0.9765625, '1': 0.8898305084745762, '2': 0.9903846153846154, '4': 0.6754385964912281, '6': 0.9714285714285714}
{'validation': 0.8571428571428571, 'id_test': 0.9241379310344827, 'ood_test': 0.9090909090909091, 'ood_validation': 0.9571428571428572, '0': 0.953125, '1': 0.8050847457627118, '2': 0.9807692307692307, '4': 0.8421052631578947, '6': 0.9904761904761905}
{'validation': 0.42857142857142855, 'id_test': 0.7103448275862069, 'ood_test': 0.6650717703349283, 'ood_validation': 0.5571428571428572, '0': 0.8671875, '1': 0.7542372881355932, '2': 0.9807692307692307, '4': 0.956140350877193, '6': 0.0380952380952381}
{'validation': 0.42857142857142855, 'id_test': 0.7448275862068966, 'ood_test': 0.6698564593301436, 'ood_validation': 0.5857142857142857, '0': 0.953125, '1': 0.8559322033898306, '2': 1.0, '4': 0.9649122807017544, '6': 0.05714285714285714}
{'validation': 0.8571428571428571, 'id_test': 0.9379310344827586, 'ood_test': 0.9330143540669856, 'ood_validation': 0.9714285714285714, '0': 0.9453125, '1': 0.788135593220339, '2': 0.9903846153846154, '4': 0.9736842105263158, '6': 0.9333333333333333}
{'validation': 1.0, 'id_test': 0.8206896551724138, 'ood_test': 0.7942583732057417, 'ood_validation': 0.7714285714285715, '0': 0.984375, '1': 0.940677966101695, '2': 0.8557692307692307, '4': 0.9649122807017544, '6': 0.4380952380952381}
{'validation': 0.8571428571428571, 'id_test': 0.9379310344827586, 'ood_test': 0.9856459330143541, 'ood_validation': 0.9857142857142858, '0': 0.9453125, '1': 0.864406779661017, '2': 1.0, '4': 0.9649122807017544, '6': 1.0}
{'validation': 0.8571428571428571, 'id_test': 0.8896551724137931, 'ood_test': 0.8421052631578947, 'ood_validation': 0.8285714285714286, '0': 0.9296875, '1': 0.7796610169491526, '2': 1.0, '4': 0.956140350877193, '6': 0.7714285714285715}
Model: mlp
{'validation': 0.5714285714285714, 'id_test': 0.6690140845070423, 'ood_test': 0.7397260273972602, 'ood_validation': 0.6486486486486487, 'train': 0.6756272401433692}
{'validation': 0.8571428571428571, 'id_test': 0.7676056338028169, 'ood_test': 0.7031963470319634, 'ood_validation': 0.6756756756756757, 'train': 0.7616487455197133}
{'validation': 0.8571428571428571, 'id_test': 0.7887323943661971, 'ood_test': 0.639269406392694, 'ood_validation': 0.6756756756756757, 'train': 0.8046594982078853}
{'validation': 1.0, 'id_test': 0.7535211267605634, 'ood_test': 0.7077625570776256, 'ood_validation': 0.6891891891891891, 'train': 0.7544802867383512}
{'validation': 1.0, 'id_test': 0.9225352112676056, 'ood_test': 0.7534246575342466, 'ood_validation': 0.7297297297297297, 'train': 0.96415770609319}
{'validation': 1.0, 'id_test': 0.7676056338028169, 'ood_test': 0.730593607305936, 'ood_validation': 0.7162162162162162, 'train': 0.7885304659498208}
{'validation': 1.0, 'id_test': 0.9366197183098591, 'ood_test': 0.776255707762557, 'ood_validation': 0.7162162162162162, 'train': 0.956989247311828}
{'validation': 1.0, 'id_test': 0.9436619718309859, 'ood_test': 0.817351598173516, 'ood_validation': 0.7837837837837838, 'train': 0.9659498207885304}
{'validation': 1.0, 'id_test': 0.7535211267605634, 'ood_test': 0.7488584474885844, 'ood_validation': 0.6081081081081081, 'train': 0.8566308243727598}
{'validation': 0.8571428571428571, 'id_test': 0.8309859154929577, 'ood_test': 0.6575342465753424, 'ood_validation': 0.6621621621621622, 'train': 0.8673835125448028}
Model: mmd
{'validation': 0.42857142857142855, 'id_test': 0.4859154929577465, 'ood_test': 0.5779816513761468, 'ood_validation': 0.4931506849315068, '0': 0.425, '1': 0.4462809917355372, '2': 0.5877192982456141, '4': 0.5188679245283019, '6': 0.3939393939393939}
{'validation': 0.42857142857142855, 'id_test': 0.4859154929577465, 'ood_test': 0.5779816513761468, 'ood_validation': 0.4931506849315068, '0': 0.425, '1': 0.4462809917355372, '2': 0.5877192982456141, '4': 0.5188679245283019, '6': 0.3939393939393939}
{'validation': 0.42857142857142855, 'id_test': 0.4859154929577465, 'ood_test': 0.5779816513761468, 'ood_validation': 0.4931506849315068, '0': 0.425, '1': 0.4462809917355372, '2': 0.5877192982456141, '4': 0.5188679245283019, '6': 0.3939393939393939}
{'validation': 0.8571428571428571, 'id_test': 0.6619718309859155, 'ood_test': 0.5412844036697247, 'ood_validation': 0.5342465753424658, '0': 0.875, '1': 0.859504132231405, '2': 0.8421052631578947, '4': 0.5188679245283019, '6': 0.3939393939393939}
{'validation': 0.5714285714285714, 'id_test': 0.5633802816901409, 'ood_test': 0.6192660550458715, 'ood_validation': 0.6575342465753424, '0': 0.45, '1': 0.4793388429752066, '2': 0.6491228070175439, '4': 0.6037735849056604, '6': 0.7171717171717171}
{'validation': 0.8571428571428571, 'id_test': 0.7464788732394366, 'ood_test': 0.6651376146788991, 'ood_validation': 0.726027397260274, '0': 0.8166666666666667, '1': 0.8181818181818182, '2': 0.8245614035087719, '4': 0.7830188679245284, '6': 0.9090909090909091}
{'validation': 0.42857142857142855, 'id_test': 0.4859154929577465, 'ood_test': 0.5779816513761468, 'ood_validation': 0.4931506849315068, '0': 0.425, '1': 0.4462809917355372, '2': 0.5877192982456141, '4': 0.5188679245283019, '6': 0.3939393939393939}
{'validation': 0.8571428571428571, 'id_test': 0.6690140845070423, 'ood_test': 0.5458715596330275, 'ood_validation': 0.5342465753424658, '0': 0.6916666666666667, '1': 0.743801652892562, '2': 0.7719298245614035, '4': 0.5849056603773585, '6': 0.45454545454545453}
{'validation': 0.42857142857142855, 'id_test': 0.49295774647887325, 'ood_test': 0.5596330275229358, 'ood_validation': 0.5205479452054794, '0': 0.425, '1': 0.4462809917355372, '2': 0.5877192982456141, '4': 0.5283018867924528, '6': 0.3939393939393939}
{'validation': 0.8571428571428571, 'id_test': 0.7394366197183099, 'ood_test': 0.6146788990825688, 'ood_validation': 0.6301369863013698, '0': 0.9083333333333333, '1': 0.9173553719008265, '2': 0.8596491228070176, '4': 0.6226415094339622, '6': 0.6363636363636364}
Model: node
{'validation': 0.5714285714285714, 'id_test': 0.524822695035461, 'ood_test': 0.5135135135135135, 'ood_validation': 0.68, 'train': 0.590990990990991}
{'validation': 0.7142857142857143, 'id_test': 0.574468085106383, 'ood_test': 0.536036036036036, 'ood_validation': 0.6133333333333333, 'train': 0.6666666666666666}
{'validation': 0.7142857142857143, 'id_test': 0.6524822695035462, 'ood_test': 0.5315315315315315, 'ood_validation': 0.56, 'train': 0.7207207207207207}
{'validation': 0.7142857142857143, 'id_test': 0.6879432624113475, 'ood_test': 0.5765765765765766, 'ood_validation': 0.7066666666666667, 'train': 0.8378378378378378}
{'validation': 0.7142857142857143, 'id_test': 0.7446808510638298, 'ood_test': 0.6306306306306306, 'ood_validation': 0.68, 'train': 0.8792792792792793}
{'validation': 0.8571428571428571, 'id_test': 0.7375886524822695, 'ood_test': 0.6036036036036037, 'ood_validation': 0.6533333333333333, 'train': 0.8414414414414414}
{'validation': 0.7142857142857143, 'id_test': 0.7375886524822695, 'ood_test': 0.6036036036036037, 'ood_validation': 0.7066666666666667, 'train': 0.8162162162162162}
{'validation': 0.7142857142857143, 'id_test': 0.7730496453900709, 'ood_test': 0.6171171171171171, 'ood_validation': 0.72, 'train': 0.8504504504504504}
{'validation': 0.8571428571428571, 'id_test': 0.75177304964539, 'ood_test': 0.6306306306306306, 'ood_validation': 0.6933333333333334, 'train': 0.8900900900900901}
{'validation': 0.8571428571428571, 'id_test': 0.7659574468085106, 'ood_test': 0.5855855855855856, 'ood_validation': 0.6933333333333334, 'train': 0.8594594594594595}
Model: resnet
{'validation': 1.0, 'id_test': 0.8970588235294118, 'ood_test': 0.8861788617886179, 'ood_validation': 0.9146341463414634, 'train': 0.9283018867924528}
{'validation': 1.0, 'id_test': 0.8897058823529411, 'ood_test': 0.8821138211382114, 'ood_validation': 0.9024390243902439, 'train': 0.9188679245283019}
{'validation': 1.0, 'id_test': 0.8897058823529411, 'ood_test': 0.8414634146341463, 'ood_validation': 0.8536585365853658, 'train': 0.9377358490566038}
{'validation': 1.0, 'id_test': 0.9338235294117647, 'ood_test': 0.9349593495934959, 'ood_validation': 0.9512195121951219, 'train': 0.9584905660377359}
{'validation': 1.0, 'id_test': 0.9558823529411765, 'ood_test': 0.9634146341463414, 'ood_validation': 0.975609756097561, 'train': 0.9641509433962264}
{'validation': 0.8333333333333334, 'id_test': 0.9338235294117647, 'ood_test': 0.9715447154471545, 'ood_validation': 0.9878048780487805, 'train': 0.9509433962264151}
{'validation': 1.0, 'id_test': 0.9191176470588235, 'ood_test': 0.8983739837398373, 'ood_validation': 0.9146341463414634, 'train': 0.9528301886792453}
{'validation': 1.0, 'id_test': 0.9632352941176471, 'ood_test': 0.967479674796748, 'ood_validation': 0.9878048780487805, 'train': 0.9886792452830189}
{'validation': 1.0, 'id_test': 0.9632352941176471, 'ood_test': 0.959349593495935, 'ood_validation': 0.9878048780487805, 'train': 0.9924528301886792}
{'validation': 1.0, 'id_test': 0.9779411764705882, 'ood_test': 0.9715447154471545, 'ood_validation': 0.9878048780487805, 'train': 0.9943396226415094}
Model: saint
{'validation': 0.5714285714285714, 'id_test': 0.4785714285714286, 'ood_test': 0.5682819383259912, 'ood_validation': 0.5526315789473685, 'train': 0.4690909090909091}
{'validation': 0.42857142857142855, 'id_test': 0.55, 'ood_test': 0.44052863436123346, 'ood_validation': 0.47368421052631576, 'train': 0.5563636363636364}
{'validation': 0.5714285714285714, 'id_test': 0.4785714285714286, 'ood_test': 0.5682819383259912, 'ood_validation': 0.5526315789473685, 'train': 0.4690909090909091}
{'validation': 0.42857142857142855, 'id_test': 0.5428571428571428, 'ood_test': 0.43171806167400884, 'ood_validation': 0.4473684210526316, 'train': 0.5309090909090909}
{'validation': 0.7142857142857143, 'id_test': 0.5428571428571428, 'ood_test': 0.5770925110132159, 'ood_validation': 0.6052631578947368, 'train': 0.5818181818181818}
{'validation': 0.7142857142857143, 'id_test': 0.5571428571428572, 'ood_test': 0.5330396475770925, 'ood_validation': 0.7631578947368421, 'train': 0.6345454545454545}
{'validation': 0.5714285714285714, 'id_test': 0.5928571428571429, 'ood_test': 0.5154185022026432, 'ood_validation': 0.5789473684210527, 'train': 0.7054545454545454}
{'validation': 0.8571428571428571, 'id_test': 0.6285714285714286, 'ood_test': 0.6035242290748899, 'ood_validation': 0.6973684210526315, 'train': 0.6636363636363637}
{'validation': 0.8571428571428571, 'id_test': 0.7071428571428572, 'ood_test': 0.5462555066079295, 'ood_validation': 0.5921052631578947, 'train': 0.8054545454545454}
{'validation': 0.8571428571428571, 'id_test': 0.6928571428571428, 'ood_test': 0.5374449339207048, 'ood_validation': 0.631578947368421, 'train': 0.8}
Model: tabtransformer
{'validation': 0.7142857142857143, 'id_test': 0.6081081081081081, 'ood_test': 0.6919191919191919, 'ood_validation': 0.6865671641791045, 'train': 0.6620689655172414}
{'validation': 0.7142857142857143, 'id_test': 0.7094594594594594, 'ood_test': 0.5353535353535354, 'ood_validation': 0.47761194029850745, 'train': 0.7517241379310344}
{'validation': 0.5714285714285714, 'id_test': 0.6891891891891891, 'ood_test': 0.5454545454545454, 'ood_validation': 0.4925373134328358, 'train': 0.6879310344827586}
{'validation': 0.8571428571428571, 'id_test': 0.8108108108108109, 'ood_test': 0.6818181818181818, 'ood_validation': 0.7164179104477612, 'train': 0.9017241379310345}
{'validation': 1.0, 'id_test': 0.8445945945945946, 'ood_test': 0.7121212121212122, 'ood_validation': 0.7611940298507462, 'train': 0.9258620689655173}
{'validation': 1.0, 'id_test': 0.8581081081081081, 'ood_test': 0.7525252525252525, 'ood_validation': 0.8059701492537313, 'train': 0.9431034482758621}
{'validation': 1.0, 'id_test': 0.8378378378378378, 'ood_test': 0.7474747474747475, 'ood_validation': 0.8208955223880597, 'train': 0.9172413793103448}
{'validation': 1.0, 'id_test': 0.8108108108108109, 'ood_test': 0.7121212121212122, 'ood_validation': 0.7761194029850746, 'train': 0.8741379310344828}
{'validation': 1.0, 'id_test': 0.831081081081081, 'ood_test': 0.7373737373737373, 'ood_validation': 0.8208955223880597, 'train': 0.8396551724137931}
{'validation': 1.0, 'id_test': 0.8648648648648649, 'ood_test': 0.7424242424242424, 'ood_validation': 0.8507462686567164, 'train': 0.9534482758620689}
Model: vrex
{'validation': 0.5714285714285714, 'id_test': 0.38461538461538464, 'ood_test': 0.6697674418604651, 'ood_validation': 0.6944444444444444, '0': 0.27472527472527475, '1': 0.2846715328467153, '2': 0.7163120567375887, '4': 0.7476635514018691, '6': 0.21839080459770116}
{'validation': 0.5714285714285714, 'id_test': 0.35664335664335667, 'ood_test': 0.6697674418604651, 'ood_validation': 0.6944444444444444, '0': 0.18681318681318682, '1': 0.27007299270072993, '2': 0.7163120567375887, '4': 0.7476635514018691, '6': 0.1839080459770115}
{'validation': 0.7142857142857143, 'id_test': 0.5874125874125874, 'ood_test': 0.6697674418604651, 'ood_validation': 0.6944444444444444, '0': 0.7472527472527473, '1': 0.5328467153284672, '2': 0.7304964539007093, '4': 0.7476635514018691, '6': 0.41379310344827586}
{'validation': 0.7142857142857143, 'id_test': 0.6783216783216783, 'ood_test': 0.6325581395348837, 'ood_validation': 0.6944444444444444, '0': 0.8571428571428571, '1': 0.7299270072992701, '2': 0.8014184397163121, '4': 0.2523364485981308, '6': 0.8160919540229885}
{'validation': 0.7142857142857143, 'id_test': 0.7062937062937062, 'ood_test': 0.7302325581395349, 'ood_validation': 0.7777777777777778, '0': 0.8241758241758241, '1': 0.6496350364963503, '2': 0.7446808510638298, '4': 0.7476635514018691, '6': 0.6666666666666666}
{'validation': 0.8571428571428571, 'id_test': 0.7412587412587412, 'ood_test': 0.8186046511627907, 'ood_validation': 0.8333333333333334, '0': 0.8241758241758241, '1': 0.656934306569343, '2': 0.7446808510638298, '4': 0.7570093457943925, '6': 0.8045977011494253}
{'validation': 0.8571428571428571, 'id_test': 0.8251748251748252, 'ood_test': 0.9720930232558139, 'ood_validation': 0.9583333333333334, '0': 0.8571428571428571, '1': 0.6861313868613139, '2': 0.75177304964539, '4': 0.9345794392523364, '6': 0.9770114942528736}
{'validation': 0.8571428571428571, 'id_test': 0.7412587412587412, 'ood_test': 0.8511627906976744, 'ood_validation': 0.7916666666666666, '0': 0.989010989010989, '1': 0.927007299270073, '2': 0.9716312056737588, '4': 0.2523364485981308, '6': 0.8160919540229885}
{'validation': 0.8571428571428571, 'id_test': 0.7832167832167832, 'ood_test': 0.813953488372093, 'ood_validation': 0.8194444444444444, '0': 0.9560439560439561, '1': 0.8321167883211679, '2': 0.8723404255319149, '4': 0.7476635514018691, '6': 0.7816091954022989}
{'validation': 1.0, 'id_test': 0.8461538461538461, 'ood_test': 0.9720930232558139, 'ood_validation': 0.9305555555555556, '0': 0.945054945054945, '1': 0.8102189781021898, '2': 0.8652482269503546, '4': 0.9719626168224299, '6': 0.9770114942528736}
Model: xgb
{'ood_test': 0.9388646288209607}
Model: ib_erm
{'validation': 0.2857142857142857, 'id_test': 0.5804195804195804, 'ood_test': 0.7255813953488373, 'ood_validation': 0.8472222222222222, '0': 0.10416666666666667, '1': 0.23008849557522124, '2': 0.847457627118644, '4': 0.8205128205128205, '6': 0.4957983193277311}
{'validation': 0.42857142857142855, 'id_test': 0.6713286713286714, 'ood_test': 0.8930232558139535, 'ood_validation': 0.9861111111111112, '0': 0.10416666666666667, '1': 0.23008849557522124, '2': 0.847457627118644, '4': 0.9316239316239316, '6': 0.9663865546218487}
{'validation': 0.2857142857142857, 'id_test': 0.5104895104895105, 'ood_test': 0.5813953488372093, 'ood_validation': 0.6666666666666666, '0': 0.10416666666666667, '1': 0.23008849557522124, '2': 0.847457627118644, '4': 0.8034188034188035, '6': 0.18487394957983194}
{'validation': 0.2857142857142857, 'id_test': 0.5174825174825175, 'ood_test': 0.6697674418604651, 'ood_validation': 0.7638888888888888, '0': 0.10416666666666667, '1': 0.23008849557522124, '2': 0.847457627118644, '4': 0.8547008547008547, '6': 0.2184873949579832}
{'validation': 0.2857142857142857, 'id_test': 0.5104895104895105, 'ood_test': 0.586046511627907, 'ood_validation': 0.6666666666666666, '0': 0.10416666666666667, '1': 0.23008849557522124, '2': 0.8728813559322034, '4': 0.8034188034188035, '6': 0.18487394957983194}
{'validation': 0.42857142857142855, 'id_test': 0.6853146853146853, 'ood_test': 0.9534883720930233, 'ood_validation': 0.9861111111111112, '0': 0.10416666666666667, '1': 0.23008849557522124, '2': 0.847457627118644, '4': 0.9572649572649573, '6': 1.0}
{'validation': 0.2857142857142857, 'id_test': 0.5104895104895105, 'ood_test': 0.5813953488372093, 'ood_validation': 0.6666666666666666, '0': 0.10416666666666667, '1': 0.23008849557522124, '2': 0.847457627118644, '4': 0.8034188034188035, '6': 0.18487394957983194}
{'validation': 0.8571428571428571, 'id_test': 0.965034965034965, 'ood_test': 0.9674418604651163, 'ood_validation': 1.0, '0': 0.9791666666666666, '1': 0.8495575221238938, '2': 0.9322033898305084, '4': 0.9743589743589743, '6': 1.0}
{'validation': 0.2857142857142857, 'id_test': 0.5314685314685315, 'ood_test': 0.627906976744186, 'ood_validation': 0.7083333333333334, '0': 0.10416666666666667, '1': 0.25663716814159293, '2': 0.940677966101695, '4': 0.8717948717948718, '6': 0.2184873949579832}
{'validation': 0.2857142857142857, 'id_test': 0.5104895104895105, 'ood_test': 0.5813953488372093, 'ood_validation': 0.6666666666666666, '0': 0.10416666666666667, '1': 0.23008849557522124, '2': 0.847457627118644, '4': 0.8034188034188035, '6': 0.18487394957983194}
Model: ib_irm
{'validation': 0.7142857142857143, 'id_test': 0.8333333333333334, 'ood_test': 0.7746478873239436, 'ood_validation': 0.7777777777777778, '0': 0.92, '1': 0.9344262295081968, '2': 0.9719626168224299, '4': 0.8817204301075269, '6': 0.48717948717948717}
{'validation': 0.2857142857142857, 'id_test': 0.4305555555555556, 'ood_test': 0.6854460093896714, 'ood_validation': 0.6388888888888888, '0': 0.112, '1': 0.38524590163934425, '2': 0.8130841121495327, '4': 0.8494623655913979, '6': 0.1452991452991453}
{'validation': 1.0, 'id_test': 0.8611111111111112, 'ood_test': 0.8779342723004695, 'ood_validation': 0.9027777777777778, '0': 0.8, '1': 0.8852459016393442, '2': 0.9532710280373832, '4': 0.956989247311828, '6': 0.8803418803418803}
{'validation': 0.8571428571428571, 'id_test': 0.9236111111111112, 'ood_test': 0.9483568075117371, 'ood_validation': 0.9444444444444444, '0': 0.912, '1': 0.8770491803278688, '2': 0.9532710280373832, '4': 0.9354838709677419, '6': 0.9658119658119658}
{'validation': 0.2857142857142857, 'id_test': 0.4305555555555556, 'ood_test': 0.6854460093896714, 'ood_validation': 0.6388888888888888, '0': 0.112, '1': 0.4016393442622951, '2': 0.8691588785046729, '4': 0.8494623655913979, '6': 0.1452991452991453}
{'validation': 0.42857142857142855, 'id_test': 0.5625, 'ood_test': 0.8544600938967136, 'ood_validation': 0.9027777777777778, '0': 0.144, '1': 0.4262295081967213, '2': 0.9252336448598131, '4': 0.8924731182795699, '6': 0.7692307692307693}
{'validation': 1.0, 'id_test': 0.7777777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.8472222222222222, '0': 0.584, '1': 0.8934426229508197, '2': 0.9906542056074766, '4': 0.8817204301075269, '6': 0.6666666666666666}
{'validation': 0.2857142857142857, 'id_test': 0.4722222222222222, 'ood_test': 0.7605633802816901, 'ood_validation': 0.6944444444444444, '0': 0.128, '1': 0.4672131147540984, '2': 1.0, '4': 0.9247311827956989, '6': 0.1452991452991453}
{'validation': 0.42857142857142855, 'id_test': 0.6319444444444444, 'ood_test': 0.9483568075117371, 'ood_validation': 0.9583333333333334, '0': 0.112, '1': 0.4180327868852459, '2': 0.9719626168224299, '4': 1.0, '6': 0.9743589743589743}
{'validation': 0.8571428571428571, 'id_test': 0.6111111111111112, 'ood_test': 0.7230046948356808, 'ood_validation': 0.6666666666666666, '0': 0.4, '1': 0.8524590163934426, '2': 0.9252336448598131, '4': 0.989247311827957, '6': 0.1452991452991453}
Model: causirl_coral
{'validation': 0.42857142857142855, 'id_test': 0.44366197183098594, 'ood_test': 0.6894977168949772, 'ood_validation': 0.7123287671232876, '0': 0.12121212121212122, '1': 0.29365079365079366, '2': 0.7171717171717171, '4': 0.7457627118644068, '6': 0.19658119658119658}
{'validation': 0.42857142857142855, 'id_test': 0.6056338028169014, 'ood_test': 0.817351598173516, 'ood_validation': 0.8493150684931506, '0': 0.40404040404040403, '1': 0.3968253968253968, '2': 0.7676767676767676, '4': 0.8050847457627118, '6': 0.717948717948718}
{'validation': 0.7142857142857143, 'id_test': 0.49295774647887325, 'ood_test': 0.8036529680365296, 'ood_validation': 0.863013698630137, '0': 0.12121212121212122, '1': 0.29365079365079366, '2': 0.7171717171717171, '4': 0.3728813559322034, '6': 0.8034188034188035}
{'validation': 0.42857142857142855, 'id_test': 0.44366197183098594, 'ood_test': 0.6894977168949772, 'ood_validation': 0.7123287671232876, '0': 0.12121212121212122, '1': 0.29365079365079366, '2': 0.7171717171717171, '4': 0.7457627118644068, '6': 0.19658119658119658}
{'validation': 0.7142857142857143, 'id_test': 0.47183098591549294, 'ood_test': 0.7808219178082192, 'ood_validation': 0.7671232876712328, '0': 0.13131313131313133, '1': 0.29365079365079366, '2': 0.7171717171717171, '4': 0.2627118644067797, '6': 0.8034188034188035}
{'validation': 0.7142857142857143, 'id_test': 0.5985915492957746, 'ood_test': 0.91324200913242, 'ood_validation': 0.958904109589041, '0': 0.1919191919191919, '1': 0.29365079365079366, '2': 0.7171717171717171, '4': 0.9067796610169492, '6': 0.9743589743589743}
{'validation': 0.42857142857142855, 'id_test': 0.44366197183098594, 'ood_test': 0.6894977168949772, 'ood_validation': 0.7123287671232876, '0': 0.12121212121212122, '1': 0.29365079365079366, '2': 0.7171717171717171, '4': 0.7457627118644068, '6': 0.19658119658119658}
{'validation': 0.5714285714285714, 'id_test': 0.5774647887323944, 'ood_test': 0.7945205479452054, 'ood_validation': 0.7671232876712328, '0': 0.45454545454545453, '1': 0.40476190476190477, '2': 0.7171717171717171, '4': 0.8050847457627118, '6': 0.5811965811965812}
{'validation': 0.42857142857142855, 'id_test': 0.44366197183098594, 'ood_test': 0.6894977168949772, 'ood_validation': 0.7123287671232876, '0': 0.12121212121212122, '1': 0.29365079365079366, '2': 0.7171717171717171, '4': 0.7457627118644068, '6': 0.19658119658119658}
{'validation': 0.8571428571428571, 'id_test': 0.5915492957746479, 'ood_test': 0.8949771689497716, 'ood_validation': 0.9178082191780822, '0': 0.12121212121212122, '1': 0.29365079365079366, '2': 0.7171717171717171, '4': 0.9745762711864406, '6': 0.9487179487179487}
Model: causirl_mmd
{'validation': 0.8571428571428571, 'id_test': 0.7517241379310344, 'ood_test': 0.7177033492822966, 'ood_validation': 0.7714285714285715, '0': 0.8740740740740741, '1': 0.6160714285714286, '2': 0.8230088495575221, '4': 0.8064516129032258, '6': 0.5689655172413793}
{'validation': 0.5714285714285714, 'id_test': 0.5379310344827586, 'ood_test': 0.3349282296650718, 'ood_validation': 0.2857142857142857, '0': 0.8148148148148148, '1': 0.6785714285714286, '2': 0.20353982300884957, '4': 0.1935483870967742, '6': 0.8706896551724138}
{'validation': 0.8571428571428571, 'id_test': 0.8137931034482758, 'ood_test': 0.7655502392344498, 'ood_validation': 0.8428571428571429, '0': 0.9259259259259259, '1': 0.6785714285714286, '2': 0.8849557522123894, '4': 0.8172043010752689, '6': 0.7413793103448276}
{'validation': 0.8571428571428571, 'id_test': 0.9103448275862069, 'ood_test': 0.8325358851674641, 'ood_validation': 0.8857142857142857, '0': 0.9703703703703703, '1': 0.875, '2': 0.9292035398230089, '4': 0.8387096774193549, '6': 0.8620689655172413}
{'validation': 0.8571428571428571, 'id_test': 0.8620689655172413, 'ood_test': 0.8038277511961722, 'ood_validation': 0.8857142857142857, '0': 0.9629629629629629, '1': 0.8303571428571429, '2': 0.911504424778761, '4': 0.8172043010752689, '6': 0.8448275862068966}
{'validation': 0.8571428571428571, 'id_test': 0.8827586206896552, 'ood_test': 0.8325358851674641, 'ood_validation': 0.9, '0': 0.9777777777777777, '1': 0.8571428571428571, '2': 0.9380530973451328, '4': 0.8387096774193549, '6': 0.8620689655172413}
{'validation': 0.8571428571428571, 'id_test': 0.9103448275862069, 'ood_test': 0.8038277511961722, 'ood_validation': 0.8857142857142857, '0': 0.9925925925925926, '1': 0.9553571428571429, '2': 0.9734513274336283, '4': 0.8279569892473119, '6': 0.8448275862068966}
{'validation': 0.8571428571428571, 'id_test': 0.8275862068965517, 'ood_test': 0.7799043062200957, 'ood_validation': 0.8571428571428571, '0': 0.9333333333333333, '1': 0.75, '2': 0.9026548672566371, '4': 0.8172043010752689, '6': 0.7758620689655172}
{'validation': 0.8571428571428571, 'id_test': 0.8827586206896552, 'ood_test': 0.7799043062200957, 'ood_validation': 0.8714285714285714, '0': 0.9777777777777777, '1': 0.9375, '2': 0.9646017699115044, '4': 0.8172043010752689, '6': 0.8103448275862069}
{'validation': 0.8571428571428571, 'id_test': 0.8482758620689655, 'ood_test': 0.7894736842105263, 'ood_validation': 0.8714285714285714, '0': 0.9407407407407408, '1': 0.7946428571428571, '2': 0.9026548672566371, '4': 0.8172043010752689, '6': 0.8103448275862069}
