Model: aldro
{'validation': 1.0, 'id_test': 0.7931034482758621, 'ood_test': 0.893719806763285, 'ood_validation': 0.9142857142857143, 'train': 0.8108581436077058}
{'validation': 1.0, 'id_test': 0.9379310344827586, 'ood_test': 0.9806763285024155, 'ood_validation': 0.9571428571428572, 'train': 0.9544658493870403}
{'validation': 1.0, 'id_test': 0.8206896551724138, 'ood_test': 0.9806763285024155, 'ood_validation': 0.9428571428571428, 'train': 0.8371278458844134}
{'validation': 1.0, 'id_test': 0.896551724137931, 'ood_test': 0.9710144927536232, 'ood_validation': 0.9714285714285714, 'train': 0.9352014010507881}
{'validation': 1.0, 'id_test': 0.8896551724137931, 'ood_test': 0.9806763285024155, 'ood_validation': 0.9714285714285714, 'train': 0.9229422066549913}
{'validation': 1.0, 'id_test': 0.8413793103448276, 'ood_test': 0.8888888888888888, 'ood_validation': 0.9, 'train': 0.8528896672504378}
{'validation': 1.0, 'id_test': 0.8896551724137931, 'ood_test': 0.9903381642512077, 'ood_validation': 0.9428571428571428, 'train': 0.9387040280210157}
{'validation': 1.0, 'id_test': 0.8896551724137931, 'ood_test': 0.9323671497584541, 'ood_validation': 0.9714285714285714, 'train': 0.9071803852889667}
{'validation': 1.0, 'id_test': 0.9103448275862069, 'ood_test': 0.9227053140096618, 'ood_validation': 0.9714285714285714, 'train': 0.9387040280210157}
{'validation': 1.0, 'id_test': 0.9379310344827586, 'ood_test': 0.9951690821256038, 'ood_validation': 0.9428571428571428, 'train': 0.9772329246935202}
Model: dann
{'validation': 1.0, 'id_test': 0.8531468531468531, 'ood_test': 0.7627906976744186, 'ood_validation': 0.8888888888888888, '0': 0.9363636363636364, '1': 0.8016528925619835, '2': 0.8043478260869565, '4': 0.6639344262295082, '6': 0.7796610169491526}
{'validation': 1.0, 'id_test': 0.8671328671328671, 'ood_test': 0.7674418604651163, 'ood_validation': 0.8888888888888888, '0': 0.9636363636363636, '1': 0.8512396694214877, '2': 0.8695652173913043, '4': 0.6639344262295082, '6': 0.7796610169491526}
{'validation': 1.0, 'id_test': 0.8601398601398601, 'ood_test': 0.8511627906976744, 'ood_validation': 0.9027777777777778, '0': 0.9363636363636364, '1': 0.8099173553719008, '2': 0.8152173913043478, '4': 0.7131147540983607, '6': 0.847457627118644}
{'validation': 1.0, 'id_test': 0.8881118881118881, 'ood_test': 0.8837209302325582, 'ood_validation': 0.9027777777777778, '0': 0.9636363636363636, '1': 0.8677685950413223, '2': 0.8369565217391305, '4': 0.7459016393442623, '6': 0.8728813559322034}
{'validation': 1.0, 'id_test': 0.8881118881118881, 'ood_test': 0.9255813953488372, 'ood_validation': 0.9166666666666666, '0': 0.9636363636363636, '1': 0.8677685950413223, '2': 0.8369565217391305, '4': 0.8032786885245902, '6': 0.8898305084745762}
{'validation': 1.0, 'id_test': 0.8951048951048951, 'ood_test': 0.9395348837209302, 'ood_validation': 0.9166666666666666, '0': 0.9727272727272728, '1': 0.8925619834710744, '2': 0.8804347826086957, '4': 0.8114754098360656, '6': 0.8983050847457628}
{'validation': 1.0, 'id_test': 0.8601398601398601, 'ood_test': 0.8186046511627907, 'ood_validation': 0.8472222222222222, '0': 1.0, '1': 0.9090909090909091, '2': 0.9565217391304348, '4': 0.8770491803278688, '6': 0.7627118644067796}
{'validation': 1.0, 'id_test': 0.9020979020979021, 'ood_test': 0.9534883720930233, 'ood_validation': 0.9166666666666666, '0': 0.9727272727272728, '1': 0.9008264462809917, '2': 0.9130434782608695, '4': 0.8442622950819673, '6': 0.9067796610169492}
{'validation': 1.0, 'id_test': 0.9090909090909091, 'ood_test': 0.9534883720930233, 'ood_validation': 0.9166666666666666, '0': 0.9636363636363636, '1': 0.8842975206611571, '2': 0.8586956521739131, '4': 0.8360655737704918, '6': 0.9067796610169492}
{'validation': 1.0, 'id_test': 0.916083916083916, 'ood_test': 0.9627906976744186, 'ood_validation': 0.9305555555555556, '0': 0.9636363636363636, '1': 0.859504132231405, '2': 0.8369565217391305, '4': 0.9016393442622951, '6': 0.9067796610169492}
Model: deepcoral
{'validation': 0.42857142857142855, 'id_test': 0.22758620689655173, 'ood_test': 0.38571428571428573, 'ood_validation': 0.35714285714285715, '0': 0.02912621359223301, '1': 0.1623931623931624, '2': 0.15841584158415842, '4': 0.0, '6': 0.983739837398374}
{'validation': 0.2857142857142857, 'id_test': 0.46206896551724136, 'ood_test': 0.6142857142857143, 'ood_validation': 0.6428571428571429, '0': 0.038834951456310676, '1': 0.2222222222222222, '2': 1.0, '4': 1.0, '6': 0.016260162601626018}
{'validation': 0.2857142857142857, 'id_test': 0.46206896551724136, 'ood_test': 0.6142857142857143, 'ood_validation': 0.6428571428571429, '0': 0.038834951456310676, '1': 0.2222222222222222, '2': 1.0, '4': 1.0, '6': 0.016260162601626018}
{'validation': 0.42857142857142855, 'id_test': 0.7103448275862069, 'ood_test': 0.6142857142857143, 'ood_validation': 0.6428571428571429, '0': 0.7087378640776699, '1': 0.27350427350427353, '2': 1.0, '4': 1.0, '6': 0.2926829268292683}
{'validation': 1.0, 'id_test': 0.9517241379310345, 'ood_test': 0.9666666666666667, 'ood_validation': 0.9571428571428572, '0': 1.0, '1': 0.9316239316239316, '2': 1.0, '4': 0.9435483870967742, '6': 0.959349593495935}
{'validation': 0.5714285714285714, 'id_test': 0.8344827586206897, 'ood_test': 0.6142857142857143, 'ood_validation': 0.6428571428571429, '0': 1.0, '1': 0.8632478632478633, '2': 1.0, '4': 1.0, '6': 0.016260162601626018}
{'validation': 0.2857142857142857, 'id_test': 0.46206896551724136, 'ood_test': 0.6142857142857143, 'ood_validation': 0.6428571428571429, '0': 0.038834951456310676, '1': 0.2222222222222222, '2': 1.0, '4': 1.0, '6': 0.016260162601626018}
{'validation': 0.8571428571428571, 'id_test': 0.8620689655172413, 'ood_test': 0.9857142857142858, 'ood_validation': 1.0, '0': 0.970873786407767, '1': 0.8290598290598291, '2': 0.7524752475247525, '4': 0.9758064516129032, '6': 0.983739837398374}
{'validation': 0.5714285714285714, 'id_test': 0.8758620689655172, 'ood_test': 0.6714285714285714, 'ood_validation': 0.7285714285714285, '0': 1.0, '1': 0.9829059829059829, '2': 0.9801980198019802, '4': 1.0, '6': 0.17886178861788618}
{'validation': 0.5714285714285714, 'id_test': 0.8206896551724138, 'ood_test': 0.6142857142857143, 'ood_validation': 0.6428571428571429, '0': 0.9902912621359223, '1': 0.8205128205128205, '2': 1.0, '4': 1.0, '6': 0.016260162601626018}
Model: expgrad
{'ood_test': 1.0}
Model: ft_transformer
{'validation': 0.2857142857142857, 'id_test': 0.541095890410959, 'ood_test': 0.36764705882352944, 'ood_validation': 0.38235294117647056, 'train': 0.5530434782608695}
{'validation': 0.2857142857142857, 'id_test': 0.5821917808219178, 'ood_test': 0.4019607843137255, 'ood_validation': 0.38235294117647056, 'train': 0.5982608695652174}
{'validation': 1.0, 'id_test': 0.8904109589041096, 'ood_test': 0.8774509803921569, 'ood_validation': 0.8382352941176471, 'train': 0.8573913043478261}
{'validation': 1.0, 'id_test': 0.8972602739726028, 'ood_test': 0.8970588235294118, 'ood_validation': 0.8676470588235294, 'train': 0.8869565217391304}
{'validation': 1.0, 'id_test': 0.8835616438356164, 'ood_test': 0.8970588235294118, 'ood_validation': 0.8382352941176471, 'train': 0.88}
{'validation': 1.0, 'id_test': 0.8493150684931506, 'ood_test': 0.8529411764705882, 'ood_validation': 0.8088235294117647, 'train': 0.8173913043478261}
{'validation': 1.0, 'id_test': 0.910958904109589, 'ood_test': 0.9215686274509803, 'ood_validation': 0.8823529411764706, 'train': 0.9060869565217391}
{'validation': 0.8571428571428571, 'id_test': 0.9178082191780822, 'ood_test': 0.9117647058823529, 'ood_validation': 0.8823529411764706, 'train': 0.9147826086956522}
{'validation': 1.0, 'id_test': 0.910958904109589, 'ood_test': 0.9068627450980392, 'ood_validation': 0.8676470588235294, 'train': 0.8973913043478261}
{'validation': 1.0, 'id_test': 0.910958904109589, 'ood_test': 0.9117647058823529, 'ood_validation': 0.8676470588235294, 'train': 0.9008695652173913}
Model: group_dro
{'validation': 1.0, 'id_test': 0.7310344827586207, 'ood_test': 0.9130434782608695, 'ood_validation': 0.8857142857142857, 'train': 0.7373029772329247}
{'validation': 0.8571428571428571, 'id_test': 0.8137931034482758, 'ood_test': 0.9371980676328503, 'ood_validation': 0.8857142857142857, 'train': 0.8879159369527145}
{'validation': 0.8571428571428571, 'id_test': 0.8620689655172413, 'ood_test': 0.9323671497584541, 'ood_validation': 0.9714285714285714, 'train': 0.8966725043782837}
{'validation': 0.8571428571428571, 'id_test': 0.8689655172413793, 'ood_test': 0.9516908212560387, 'ood_validation': 0.9857142857142858, 'train': 0.9352014010507881}
{'validation': 0.8571428571428571, 'id_test': 0.8344827586206897, 'ood_test': 0.9516908212560387, 'ood_validation': 0.9857142857142858, 'train': 0.8388791593695272}
{'validation': 0.8571428571428571, 'id_test': 0.8827586206896552, 'ood_test': 0.961352657004831, 'ood_validation': 0.9857142857142858, 'train': 0.9352014010507881}
{'validation': 0.8571428571428571, 'id_test': 0.8551724137931035, 'ood_test': 0.9516908212560387, 'ood_validation': 0.9428571428571428, 'train': 0.9264448336252189}
{'validation': 0.5714285714285714, 'id_test': 0.7931034482758621, 'ood_test': 0.9178743961352657, 'ood_validation': 0.9571428571428572, 'train': 0.8704028021015762}
{'validation': 0.8571428571428571, 'id_test': 0.8758620689655172, 'ood_test': 0.961352657004831, 'ood_validation': 0.9714285714285714, 'train': 0.9649737302977233}
{'validation': 0.8571428571428571, 'id_test': 0.8068965517241379, 'ood_test': 0.9565217391304348, 'ood_validation': 0.9142857142857143, 'train': 0.8669001751313485}
Model: irm
{'validation': 0.3333333333333333, 'id_test': 0.4892086330935252, 'ood_test': 0.6495726495726496, 'ood_validation': 0.7341772151898734, '0': 0.26666666666666666, '1': 0.35398230088495575, '2': 0.5636363636363636, '4': 0.53, '6': 0.3333333333333333}
{'validation': 0.3333333333333333, 'id_test': 0.4892086330935252, 'ood_test': 0.6495726495726496, 'ood_validation': 0.7341772151898734, '0': 0.26666666666666666, '1': 0.35398230088495575, '2': 0.5636363636363636, '4': 0.53, '6': 0.3333333333333333}
{'validation': 0.5, 'id_test': 0.5179856115107914, 'ood_test': 0.7435897435897436, 'ood_validation': 0.810126582278481, '0': 0.26666666666666666, '1': 0.35398230088495575, '2': 0.5636363636363636, '4': 0.64, '6': 0.47368421052631576}
{'validation': 0.3333333333333333, 'id_test': 0.48201438848920863, 'ood_test': 0.6495726495726496, 'ood_validation': 0.7341772151898734, '0': 0.26666666666666666, '1': 0.35398230088495575, '2': 0.5636363636363636, '4': 0.53, '6': 0.3333333333333333}
{'validation': 0.3333333333333333, 'id_test': 0.48201438848920863, 'ood_test': 0.6495726495726496, 'ood_validation': 0.7341772151898734, '0': 0.26666666666666666, '1': 0.35398230088495575, '2': 0.5636363636363636, '4': 0.53, '6': 0.3333333333333333}
{'validation': 0.6666666666666666, 'id_test': 0.5611510791366906, 'ood_test': 0.7435897435897436, 'ood_validation': 0.8227848101265823, '0': 0.2761904761904762, '1': 0.36283185840707965, '2': 0.5636363636363636, '4': 0.7, '6': 0.4824561403508772}
{'validation': 0.3333333333333333, 'id_test': 0.49640287769784175, 'ood_test': 0.6538461538461539, 'ood_validation': 0.759493670886076, '0': 0.38095238095238093, '1': 0.37168141592920356, '2': 0.5727272727272728, '4': 0.53, '6': 0.35964912280701755}
{'validation': 0.3333333333333333, 'id_test': 0.48201438848920863, 'ood_test': 0.6495726495726496, 'ood_validation': 0.7341772151898734, '0': 0.26666666666666666, '1': 0.35398230088495575, '2': 0.5636363636363636, '4': 0.53, '6': 0.3333333333333333}
{'validation': 0.3333333333333333, 'id_test': 0.48201438848920863, 'ood_test': 0.6495726495726496, 'ood_validation': 0.7341772151898734, '0': 0.26666666666666666, '1': 0.35398230088495575, '2': 0.5636363636363636, '4': 0.53, '6': 0.3333333333333333}
{'validation': 0.3333333333333333, 'id_test': 0.48201438848920863, 'ood_test': 0.6581196581196581, 'ood_validation': 0.7341772151898734, '0': 0.26666666666666666, '1': 0.35398230088495575, '2': 0.5636363636363636, '4': 0.57, '6': 0.3333333333333333}
Model: label_group_dro
{'validation': 0.7142857142857143, 'id_test': 0.8461538461538461, 'ood_test': 0.8703703703703703, 'ood_validation': 0.9444444444444444, 'train': 0.8362989323843416}
{'validation': 1.0, 'id_test': 0.8811188811188811, 'ood_test': 0.9074074074074074, 'ood_validation': 0.9583333333333334, 'train': 0.902135231316726}
{'validation': 1.0, 'id_test': 0.9020979020979021, 'ood_test': 0.9444444444444444, 'ood_validation': 0.9722222222222222, 'train': 0.9501779359430605}
{'validation': 1.0, 'id_test': 0.916083916083916, 'ood_test': 0.9537037037037037, 'ood_validation': 0.9722222222222222, 'train': 0.9395017793594306}
{'validation': 1.0, 'id_test': 0.9090909090909091, 'ood_test': 0.9583333333333334, 'ood_validation': 0.9444444444444444, 'train': 0.9483985765124555}
{'validation': 1.0, 'id_test': 0.9020979020979021, 'ood_test': 0.9583333333333334, 'ood_validation': 0.9583333333333334, 'train': 0.9572953736654805}
{'validation': 1.0, 'id_test': 0.8601398601398601, 'ood_test': 0.9583333333333334, 'ood_validation': 0.9583333333333334, 'train': 0.9163701067615658}
{'validation': 1.0, 'id_test': 0.8881118881118881, 'ood_test': 0.9583333333333334, 'ood_validation': 0.9583333333333334, 'train': 0.9608540925266904}
{'validation': 1.0, 'id_test': 0.8881118881118881, 'ood_test': 0.9444444444444444, 'ood_validation': 0.9722222222222222, 'train': 0.8683274021352313}
{'validation': 1.0, 'id_test': 0.9090909090909091, 'ood_test': 0.9444444444444444, 'ood_validation': 0.9722222222222222, 'train': 0.9537366548042705}
Model: lightgbm
{'ood_test': 0.845}
Model: mixup
{'validation': 0.7142857142857143, 'id_test': 0.7847222222222222, 'ood_test': 0.8388625592417062, 'ood_validation': 0.8732394366197183, '0': 1.0, '1': 0.9032258064516129, '2': 0.9747899159663865, '4': 0.00847457627118644, '6': 0.963302752293578}
{'validation': 1.0, 'id_test': 0.9791666666666666, 'ood_test': 0.981042654028436, 'ood_validation': 0.971830985915493, '0': 1.0, '1': 0.9354838709677419, '2': 0.9747899159663865, '4': 1.0, '6': 0.9908256880733946}
{'validation': 0.42857142857142855, 'id_test': 0.7777777777777778, 'ood_test': 0.5829383886255924, 'ood_validation': 0.6619718309859155, '0': 0.979381443298969, '1': 0.75, '2': 0.0, '4': 0.9830508474576272, '6': 1.0}
{'validation': 1.0, 'id_test': 0.9861111111111112, 'ood_test': 0.8625592417061612, 'ood_validation': 0.8309859154929577, '0': 0.979381443298969, '1': 0.9193548387096774, '2': 1.0, '4': 0.9915254237288136, '6': 0.963302752293578}
{'validation': 1.0, 'id_test': 0.8958333333333334, 'ood_test': 0.6066350710900474, 'ood_validation': 0.5070422535211268, '0': 1.0, '1': 0.9596774193548387, '2': 1.0, '4': 0.9915254237288136, '6': 0.24770642201834864}
{'validation': 1.0, 'id_test': 0.9513888888888888, 'ood_test': 0.6635071090047393, 'ood_validation': 0.6197183098591549, '0': 0.9896907216494846, '1': 0.9193548387096774, '2': 0.9915966386554622, '4': 0.9915254237288136, '6': 0.8990825688073395}
{'validation': 0.7142857142857143, 'id_test': 0.7777777777777778, 'ood_test': 0.6492890995260664, 'ood_validation': 0.7464788732394366, '0': 0.9896907216494846, '1': 0.9354838709677419, '2': 0.9747899159663865, '4': 0.00847457627118644, '6': 0.963302752293578}
{'validation': 0.5714285714285714, 'id_test': 0.7708333333333334, 'ood_test': 0.8720379146919431, 'ood_validation': 0.9154929577464789, '0': 0.9896907216494846, '1': 0.8306451612903226, '2': 0.7983193277310925, '4': 0.05084745762711865, '6': 0.963302752293578}
{'validation': 1.0, 'id_test': 0.9722222222222222, 'ood_test': 0.8483412322274881, 'ood_validation': 0.8309859154929577, '0': 1.0, '1': 0.9112903225806451, '2': 1.0, '4': 0.9915254237288136, '6': 0.963302752293578}
{'validation': 1.0, 'id_test': 0.9166666666666666, 'ood_test': 0.7014218009478673, 'ood_validation': 0.6619718309859155, '0': 0.9690721649484536, '1': 0.8225806451612904, '2': 1.0, '4': 0.9915254237288136, '6': 0.926605504587156}
Model: mlp
{'validation': 0.7142857142857143, 'id_test': 0.8642857142857143, 'ood_test': 0.9030837004405287, 'ood_validation': 0.9210526315789473, 'train': 0.8709090909090909}
{'validation': 1.0, 'id_test': 0.8285714285714286, 'ood_test': 0.9030837004405287, 'ood_validation': 0.8947368421052632, 'train': 0.88}
{'validation': 0.8571428571428571, 'id_test': 0.8571428571428571, 'ood_test': 0.8810572687224669, 'ood_validation': 0.9210526315789473, 'train': 0.8436363636363636}
{'validation': 0.5714285714285714, 'id_test': 0.85, 'ood_test': 0.9074889867841409, 'ood_validation': 0.9473684210526315, 'train': 0.84}
{'validation': 0.8571428571428571, 'id_test': 0.8214285714285714, 'ood_test': 0.8237885462555066, 'ood_validation': 0.7894736842105263, 'train': 0.8945454545454545}
{'validation': 1.0, 'id_test': 0.8857142857142857, 'ood_test': 0.920704845814978, 'ood_validation': 0.9078947368421053, 'train': 0.9290909090909091}
{'validation': 1.0, 'id_test': 0.8928571428571429, 'ood_test': 0.9251101321585903, 'ood_validation': 0.9210526315789473, 'train': 0.9690909090909091}
{'validation': 1.0, 'id_test': 0.8642857142857143, 'ood_test': 0.920704845814978, 'ood_validation': 0.9078947368421053, 'train': 0.9563636363636364}
{'validation': 0.8571428571428571, 'id_test': 0.8428571428571429, 'ood_test': 0.9162995594713657, 'ood_validation': 0.8947368421052632, 'train': 0.9509090909090909}
{'validation': 0.8571428571428571, 'id_test': 0.8357142857142857, 'ood_test': 0.8237885462555066, 'ood_validation': 0.8157894736842105, 'train': 0.8818181818181818}
Model: mmd
{'validation': 0.5714285714285714, 'id_test': 0.5333333333333333, 'ood_test': 0.3802083333333333, 'ood_validation': 0.234375, '0': 0.7966101694915254, '1': 0.6785714285714286, '2': 0.2857142857142857, '4': 0.38095238095238093, '6': 0.7551020408163265}
{'validation': 0.7142857142857143, 'id_test': 0.8266666666666667, 'ood_test': 0.8645833333333334, 'ood_validation': 0.9375, '0': 0.9152542372881356, '1': 0.8392857142857143, '2': 0.7987012987012987, '4': 0.6761904761904762, '6': 0.8673469387755102}
{'validation': 0.8571428571428571, 'id_test': 0.9, 'ood_test': 0.953125, 'ood_validation': 1.0, '0': 0.9576271186440678, '1': 0.9821428571428571, '2': 0.8831168831168831, '4': 0.9142857142857143, '6': 0.9489795918367347}
{'validation': 0.8571428571428571, 'id_test': 0.8533333333333334, 'ood_test': 0.9010416666666666, 'ood_validation': 0.890625, '0': 0.9491525423728814, '1': 0.9821428571428571, '2': 0.9155844155844156, '4': 0.6571428571428571, '6': 0.8877551020408163}
{'validation': 0.8571428571428571, 'id_test': 0.9, 'ood_test': 0.9322916666666666, 'ood_validation': 1.0, '0': 0.9322033898305084, '1': 0.9464285714285714, '2': 0.8896103896103896, '4': 0.7714285714285715, '6': 0.9183673469387755}
{'validation': 0.8571428571428571, 'id_test': 0.9066666666666666, 'ood_test': 0.9375, 'ood_validation': 1.0, '0': 0.9322033898305084, '1': 0.9553571428571429, '2': 0.9090909090909091, '4': 0.8095238095238095, '6': 0.9081632653061225}
{'validation': 1.0, 'id_test': 0.9266666666666666, 'ood_test': 0.9791666666666666, 'ood_validation': 1.0, '0': 0.9491525423728814, '1': 0.9464285714285714, '2': 0.8961038961038961, '4': 0.9619047619047619, '6': 0.9795918367346939}
{'validation': 0.7142857142857143, 'id_test': 0.9066666666666666, 'ood_test': 0.875, 'ood_validation': 0.96875, '0': 0.9576271186440678, '1': 0.9642857142857143, '2': 0.922077922077922, '4': 0.7142857142857143, '6': 0.8571428571428571}
{'validation': 0.8571428571428571, 'id_test': 0.8933333333333333, 'ood_test': 0.9635416666666666, 'ood_validation': 1.0, '0': 0.9745762711864406, '1': 0.9821428571428571, '2': 0.8571428571428571, '4': 0.9333333333333333, '6': 0.9693877551020408}
{'validation': 0.5714285714285714, 'id_test': 0.78, 'ood_test': 0.84375, 'ood_validation': 0.921875, '0': 0.8389830508474576, '1': 0.6071428571428571, '2': 0.7337662337662337, '4': 0.6666666666666666, '6': 0.8571428571428571}
Model: node
{'validation': 0.5714285714285714, 'id_test': 0.7972027972027972, 'ood_test': 0.8703703703703703, 'ood_validation': 0.8082191780821918, 'train': 0.7825311942959001}
{'validation': 0.7142857142857143, 'id_test': 0.8321678321678322, 'ood_test': 0.8842592592592593, 'ood_validation': 0.821917808219178, 'train': 0.82174688057041}
{'validation': 0.5714285714285714, 'id_test': 0.7832167832167832, 'ood_test': 0.8564814814814815, 'ood_validation': 0.7671232876712328, 'train': 0.7540106951871658}
{'validation': 0.7142857142857143, 'id_test': 0.8671328671328671, 'ood_test': 0.8657407407407407, 'ood_validation': 0.821917808219178, 'train': 0.8538324420677362}
{'validation': 0.7142857142857143, 'id_test': 0.8601398601398601, 'ood_test': 0.8981481481481481, 'ood_validation': 0.8356164383561644, 'train': 0.875222816399287}
{'validation': 0.7142857142857143, 'id_test': 0.8531468531468531, 'ood_test': 0.8842592592592593, 'ood_validation': 0.8356164383561644, 'train': 0.8627450980392157}
{'validation': 0.8571428571428571, 'id_test': 0.8811188811188811, 'ood_test': 0.9027777777777778, 'ood_validation': 0.8904109589041096, 'train': 0.9055258467023173}
{'validation': 0.8571428571428571, 'id_test': 0.8741258741258742, 'ood_test': 0.8842592592592593, 'ood_validation': 0.863013698630137, 'train': 0.8877005347593583}
{'validation': 0.8571428571428571, 'id_test': 0.8881118881118881, 'ood_test': 0.8981481481481481, 'ood_validation': 0.863013698630137, 'train': 0.9144385026737968}
{'validation': 0.7142857142857143, 'id_test': 0.8881118881118881, 'ood_test': 0.8888888888888888, 'ood_validation': 0.863013698630137, 'train': 0.9429590017825312}
Model: resnet
{'validation': 0.8571428571428571, 'id_test': 0.704225352112676, 'ood_test': 0.7601809954751131, 'ood_validation': 0.7162162162162162, 'train': 0.6888489208633094}
{'validation': 0.5714285714285714, 'id_test': 0.7394366197183099, 'ood_test': 0.502262443438914, 'ood_validation': 0.581081081081081, 'train': 0.7338129496402878}
{'validation': 0.5714285714285714, 'id_test': 0.8380281690140845, 'ood_test': 0.5067873303167421, 'ood_validation': 0.5540540540540541, 'train': 0.85431654676259}
{'validation': 0.8571428571428571, 'id_test': 0.852112676056338, 'ood_test': 0.6561085972850679, 'ood_validation': 0.6351351351351351, 'train': 0.8687050359712231}
{'validation': 0.7142857142857143, 'id_test': 0.8943661971830986, 'ood_test': 0.6787330316742082, 'ood_validation': 0.7297297297297297, 'train': 0.9424460431654677}
{'validation': 0.7142857142857143, 'id_test': 0.8873239436619719, 'ood_test': 0.6108597285067874, 'ood_validation': 0.6216216216216216, 'train': 0.9334532374100719}
{'validation': 0.7142857142857143, 'id_test': 0.9014084507042254, 'ood_test': 0.7239819004524887, 'ood_validation': 0.6891891891891891, 'train': 0.9244604316546763}
{'validation': 0.8571428571428571, 'id_test': 0.852112676056338, 'ood_test': 0.6742081447963801, 'ood_validation': 0.6756756756756757, 'train': 0.8938848920863309}
{'validation': 0.5714285714285714, 'id_test': 0.9084507042253521, 'ood_test': 0.7963800904977375, 'ood_validation': 0.8108108108108109, 'train': 0.9532374100719424}
{'validation': 0.5714285714285714, 'id_test': 0.9154929577464789, 'ood_test': 0.579185520361991, 'ood_validation': 0.5540540540540541, 'train': 0.9532374100719424}
Model: saint
{'validation': 0.8571428571428571, 'id_test': 0.6971830985915493, 'ood_test': 0.8853211009174312, 'ood_validation': 0.9041095890410958, 'train': 0.7678571428571429}
{'validation': 0.8571428571428571, 'id_test': 0.9154929577464789, 'ood_test': 0.9495412844036697, 'ood_validation': 0.958904109589041, 'train': 0.8892857142857142}
{'validation': 1.0, 'id_test': 0.9366197183098591, 'ood_test': 0.9403669724770642, 'ood_validation': 0.9452054794520548, 'train': 0.9160714285714285}
{'validation': 0.8571428571428571, 'id_test': 0.9366197183098591, 'ood_test': 0.9403669724770642, 'ood_validation': 0.9041095890410958, 'train': 0.9285714285714286}
{'validation': 1.0, 'id_test': 0.9507042253521126, 'ood_test': 0.9403669724770642, 'ood_validation': 0.9452054794520548, 'train': 0.9214285714285714}
{'validation': 0.8571428571428571, 'id_test': 0.9295774647887324, 'ood_test': 0.9357798165137615, 'ood_validation': 0.9452054794520548, 'train': 0.9196428571428571}
{'validation': 1.0, 'id_test': 0.9014084507042254, 'ood_test': 0.9495412844036697, 'ood_validation': 0.9452054794520548, 'train': 0.8982142857142857}
{'validation': 0.8571428571428571, 'id_test': 0.9366197183098591, 'ood_test': 0.9495412844036697, 'ood_validation': 0.9452054794520548, 'train': 0.9357142857142857}
{'validation': 1.0, 'id_test': 0.9084507042253521, 'ood_test': 0.9495412844036697, 'ood_validation': 0.958904109589041, 'train': 0.8946428571428572}
{'validation': 1.0, 'id_test': 0.9084507042253521, 'ood_test': 0.9495412844036697, 'ood_validation': 0.9863013698630136, 'train': 0.9125}
Model: tabtransformer
{'validation': 0.8571428571428571, 'id_test': 0.6344827586206897, 'ood_test': 0.7932692307692307, 'ood_validation': 0.8142857142857143, 'train': 0.6192982456140351}
{'validation': 1.0, 'id_test': 0.7862068965517242, 'ood_test': 0.8269230769230769, 'ood_validation': 0.9428571428571428, 'train': 0.7807017543859649}
{'validation': 1.0, 'id_test': 0.7586206896551724, 'ood_test': 0.8365384615384616, 'ood_validation': 0.8857142857142857, 'train': 0.787719298245614}
{'validation': 0.42857142857142855, 'id_test': 0.8068965517241379, 'ood_test': 0.7115384615384616, 'ood_validation': 0.7142857142857143, 'train': 0.8491228070175438}
{'validation': 1.0, 'id_test': 0.896551724137931, 'ood_test': 0.7788461538461539, 'ood_validation': 0.7714285714285715, 'train': 0.9350877192982456}
{'validation': 1.0, 'id_test': 0.8896551724137931, 'ood_test': 0.7788461538461539, 'ood_validation': 0.7428571428571429, 'train': 0.9491228070175438}
{'validation': 1.0, 'id_test': 0.896551724137931, 'ood_test': 0.7980769230769231, 'ood_validation': 0.7714285714285715, 'train': 0.9789473684210527}
{'validation': 1.0, 'id_test': 0.9241379310344827, 'ood_test': 0.7644230769230769, 'ood_validation': 0.7428571428571429, 'train': 0.9631578947368421}
{'validation': 1.0, 'id_test': 0.9103448275862069, 'ood_test': 0.7596153846153846, 'ood_validation': 0.7, 'train': 0.9631578947368421}
{'validation': 1.0, 'id_test': 0.8827586206896552, 'ood_test': 0.7644230769230769, 'ood_validation': 0.7571428571428571, 'train': 0.9315789473684211}
Model: vrex
{'validation': 0.5714285714285714, 'id_test': 0.5655172413793104, 'ood_test': 0.6761904761904762, 'ood_validation': 0.7142857142857143, '0': 0.42990654205607476, '1': 0.5213675213675214, '2': 0.6747967479674797, '4': 0.7727272727272727, '6': 0.3783783783783784}
{'validation': 0.5714285714285714, 'id_test': 0.696551724137931, 'ood_test': 0.7619047619047619, 'ood_validation': 0.7714285714285715, '0': 0.8504672897196262, '1': 0.7777777777777778, '2': 0.8861788617886179, '4': 0.8090909090909091, '6': 0.6396396396396397}
{'validation': 0.8571428571428571, 'id_test': 0.7379310344827587, 'ood_test': 0.580952380952381, 'ood_validation': 0.6, '0': 0.9065420560747663, '1': 0.8632478632478633, '2': 0.8943089430894309, '4': 0.24545454545454545, '6': 0.8828828828828829}
{'validation': 0.42857142857142855, 'id_test': 0.6137931034482759, 'ood_test': 0.680952380952381, 'ood_validation': 0.7, '0': 0.7289719626168224, '1': 0.717948717948718, '2': 0.7886178861788617, '4': 0.7636363636363637, '6': 0.38738738738738737}
{'validation': 0.5714285714285714, 'id_test': 0.7034482758620689, 'ood_test': 0.7857142857142857, 'ood_validation': 0.7857142857142857, '0': 0.8317757009345794, '1': 0.7692307692307693, '2': 0.8861788617886179, '4': 0.8, '6': 0.5945945945945946}
{'validation': 0.8571428571428571, 'id_test': 0.7172413793103448, 'ood_test': 0.7380952380952381, 'ood_validation': 0.7571428571428571, '0': 0.8878504672897196, '1': 0.8376068376068376, '2': 0.8780487804878049, '4': 0.24545454545454545, '6': 0.8828828828828829}
{'validation': 0.7142857142857143, 'id_test': 0.5517241379310345, 'ood_test': 0.3476190476190476, 'ood_validation': 0.34285714285714286, '0': 0.8317757009345794, '1': 0.5641025641025641, '2': 0.3089430894308943, '4': 0.24545454545454545, '6': 0.8828828828828829}
{'validation': 0.42857142857142855, 'id_test': 0.5379310344827586, 'ood_test': 0.6904761904761905, 'ood_validation': 0.7285714285714285, '0': 0.37383177570093457, '1': 0.5213675213675214, '2': 0.6991869918699187, '4': 0.7636363636363637, '6': 0.40540540540540543}
{'validation': 0.7142857142857143, 'id_test': 0.5517241379310345, 'ood_test': 0.3476190476190476, 'ood_validation': 0.34285714285714286, '0': 0.8317757009345794, '1': 0.5641025641025641, '2': 0.3089430894308943, '4': 0.24545454545454545, '6': 0.8828828828828829}
{'validation': 0.5714285714285714, 'id_test': 0.593103448275862, 'ood_test': 0.7428571428571429, 'ood_validation': 0.7714285714285715, '0': 0.6542056074766355, '1': 0.6410256410256411, '2': 0.7479674796747967, '4': 0.7909090909090909, '6': 0.4864864864864865}
Model: xgb
{'ood_test': 0.9953917050691244}
Model: ib_erm
{'validation': 0.5714285714285714, 'id_test': 0.6214285714285714, 'ood_test': 0.7324561403508771, 'ood_validation': 0.6578947368421053, '0': 0.6185567010309279, '1': 0.6446280991735537, '2': 0.514018691588785, '4': 0.5350877192982456, '6': 0.7272727272727273}
{'validation': 0.7142857142857143, 'id_test': 0.6928571428571428, 'ood_test': 0.7807017543859649, 'ood_validation': 0.6973684210526315, '0': 0.6907216494845361, '1': 0.7520661157024794, '2': 0.7102803738317757, '4': 0.5789473684210527, '6': 0.7727272727272727}
{'validation': 0.7142857142857143, 'id_test': 0.7428571428571429, 'ood_test': 0.6403508771929824, 'ood_validation': 0.5526315789473685, '0': 0.8144329896907216, '1': 0.8925619834710744, '2': 0.8504672897196262, '4': 0.5263157894736842, '6': 0.44545454545454544}
{'validation': 0.7142857142857143, 'id_test': 0.7142857142857143, 'ood_test': 0.6271929824561403, 'ood_validation': 0.5526315789473685, '0': 0.8969072164948454, '1': 0.9421487603305785, '2': 0.8691588785046729, '4': 0.5263157894736842, '6': 0.44545454545454544}
{'validation': 0.7142857142857143, 'id_test': 0.7357142857142858, 'ood_test': 0.6578947368421053, 'ood_validation': 0.5789473684210527, '0': 0.9278350515463918, '1': 0.9256198347107438, '2': 0.8598130841121495, '4': 0.5526315789473685, '6': 0.5363636363636364}
{'validation': 0.7142857142857143, 'id_test': 0.7857142857142857, 'ood_test': 0.7105263157894737, 'ood_validation': 0.6052631578947368, '0': 0.845360824742268, '1': 0.9504132231404959, '2': 0.9345794392523364, '4': 0.5789473684210527, '6': 0.5909090909090909}
{'validation': 0.7142857142857143, 'id_test': 0.7857142857142857, 'ood_test': 0.6973684210526315, 'ood_validation': 0.631578947368421, '0': 0.7731958762886598, '1': 0.9173553719008265, '2': 0.8785046728971962, '4': 0.6140350877192983, '6': 0.5363636363636364}
{'validation': 0.8571428571428571, 'id_test': 0.8214285714285714, 'ood_test': 0.706140350877193, 'ood_validation': 0.6578947368421053, '0': 0.8762886597938144, '1': 0.9752066115702479, '2': 0.9626168224299065, '4': 0.6578947368421053, '6': 0.5818181818181818}
{'validation': 0.8571428571428571, 'id_test': 0.8214285714285714, 'ood_test': 0.7543859649122807, 'ood_validation': 0.6578947368421053, '0': 0.865979381443299, '1': 0.9752066115702479, '2': 0.9626168224299065, '4': 0.6754385964912281, '6': 0.6181818181818182}
{'validation': 0.8571428571428571, 'id_test': 0.8, 'ood_test': 0.7412280701754386, 'ood_validation': 0.631578947368421, '0': 0.9690721649484536, '1': 0.9917355371900827, '2': 0.9532710280373832, '4': 0.6754385964912281, '6': 0.4909090909090909}
Model: ib_irm
{'validation': 0.8571428571428571, 'id_test': 0.696551724137931, 'ood_test': 0.6028708133971292, 'ood_validation': 0.6857142857142857, '0': 0.7128712871287128, '1': 0.8098591549295775, '2': 0.8918918918918919, '4': 0.8055555555555556, '6': 0.6542056074766355}
{'validation': 0.7142857142857143, 'id_test': 0.6827586206896552, 'ood_test': 0.7942583732057417, 'ood_validation': 0.8571428571428571, '0': 0.6633663366336634, '1': 0.7464788732394366, '2': 0.7297297297297297, '4': 0.8703703703703703, '6': 0.7850467289719626}
{'validation': 0.7142857142857143, 'id_test': 0.8275862068965517, 'ood_test': 0.7320574162679426, 'ood_validation': 0.8285714285714286, '0': 0.900990099009901, '1': 0.9647887323943662, '2': 0.963963963963964, '4': 0.6851851851851852, '6': 0.7102803738317757}
{'validation': 0.8571428571428571, 'id_test': 0.8, 'ood_test': 0.6028708133971292, 'ood_validation': 0.6, '0': 0.9108910891089109, '1': 0.8661971830985915, '2': 0.9459459459459459, '4': 0.6481481481481481, '6': 0.7289719626168224}
{'validation': 0.5714285714285714, 'id_test': 0.8827586206896552, 'ood_test': 0.6602870813397129, 'ood_validation': 0.7285714285714285, '0': 0.9702970297029703, '1': 0.9788732394366197, '2': 0.972972972972973, '4': 0.6203703703703703, '6': 0.616822429906542}
{'validation': 0.8571428571428571, 'id_test': 0.8, 'ood_test': 0.49760765550239233, 'ood_validation': 0.4142857142857143, '0': 0.9504950495049505, '1': 0.9929577464788732, '2': 1.0, '4': 0.42592592592592593, '6': 0.7289719626168224}
{'validation': 0.7142857142857143, 'id_test': 0.9379310344827586, 'ood_test': 0.6555023923444976, 'ood_validation': 0.6714285714285714, '0': 0.9900990099009901, '1': 0.9859154929577465, '2': 0.990990990990991, '4': 0.8425925925925926, '6': 0.6915887850467289}
{'validation': 0.8571428571428571, 'id_test': 0.9793103448275862, 'ood_test': 0.6985645933014354, 'ood_validation': 0.7, '0': 1.0, '1': 0.9929577464788732, '2': 0.9819819819819819, '4': 0.8796296296296297, '6': 0.9252336448598131}
{'validation': 0.7142857142857143, 'id_test': 0.9172413793103448, 'ood_test': 0.7368421052631579, 'ood_validation': 0.7142857142857143, '0': 0.9801980198019802, '1': 0.9507042253521126, '2': 0.963963963963964, '4': 0.9444444444444444, '6': 0.9252336448598131}
{'validation': 0.7142857142857143, 'id_test': 0.7793103448275862, 'ood_test': 0.6363636363636364, 'ood_validation': 0.4857142857142857, '0': 0.9108910891089109, '1': 0.7605633802816901, '2': 0.6126126126126126, '4': 0.9166666666666666, '6': 0.8878504672897196}
Model: causirl_coral
{'validation': 0.5714285714285714, 'id_test': 0.6870748299319728, 'ood_test': 0.7079207920792079, 'ood_validation': 0.7205882352941176, '0': 0.6440677966101694, '1': 0.5614035087719298, '2': 0.7079646017699115, '4': 0.6976744186046512, '6': 0.49019607843137253}
{'validation': 0.5714285714285714, 'id_test': 0.7210884353741497, 'ood_test': 0.7079207920792079, 'ood_validation': 0.7352941176470589, '0': 0.7372881355932204, '1': 0.5964912280701754, '2': 0.7433628318584071, '4': 0.6976744186046512, '6': 0.5}
{'validation': 0.7142857142857143, 'id_test': 0.7755102040816326, 'ood_test': 0.7475247524752475, 'ood_validation': 0.8235294117647058, '0': 0.7457627118644068, '1': 0.6491228070175439, '2': 0.7522123893805309, '4': 0.7054263565891473, '6': 0.5686274509803921}
{'validation': 0.7142857142857143, 'id_test': 0.782312925170068, 'ood_test': 0.7772277227722773, 'ood_validation': 0.8382352941176471, '0': 0.7457627118644068, '1': 0.6491228070175439, '2': 0.7610619469026548, '4': 0.7131782945736435, '6': 0.6470588235294118}
{'validation': 0.5714285714285714, 'id_test': 0.7346938775510204, 'ood_test': 0.7425742574257426, 'ood_validation': 0.7941176470588235, '0': 0.711864406779661, '1': 0.5964912280701754, '2': 0.7345132743362832, '4': 0.6976744186046512, '6': 0.5490196078431373}
{'validation': 0.5714285714285714, 'id_test': 0.7006802721088435, 'ood_test': 0.7079207920792079, 'ood_validation': 0.7058823529411765, '0': 0.6610169491525424, '1': 0.5614035087719298, '2': 0.7345132743362832, '4': 0.6821705426356589, '6': 0.4803921568627451}
{'validation': 0.5714285714285714, 'id_test': 0.7619047619047619, 'ood_test': 0.7673267326732673, 'ood_validation': 0.8382352941176471, '0': 0.7033898305084746, '1': 0.5877192982456141, '2': 0.7345132743362832, '4': 0.7209302325581395, '6': 0.6078431372549019}
{'validation': 0.5714285714285714, 'id_test': 0.7210884353741497, 'ood_test': 0.7326732673267327, 'ood_validation': 0.7647058823529411, '0': 0.711864406779661, '1': 0.5964912280701754, '2': 0.7345132743362832, '4': 0.6976744186046512, '6': 0.5196078431372549}
{'validation': 0.5714285714285714, 'id_test': 0.6598639455782312, 'ood_test': 0.6633663366336634, 'ood_validation': 0.6764705882352942, '0': 0.6440677966101694, '1': 0.5614035087719298, '2': 0.7345132743362832, '4': 0.6666666666666666, '6': 0.38235294117647056}
{'validation': 0.5714285714285714, 'id_test': 0.7074829931972789, 'ood_test': 0.698019801980198, 'ood_validation': 0.6911764705882353, '0': 0.7288135593220338, '1': 0.5964912280701754, '2': 0.7433628318584071, '4': 0.6821705426356589, '6': 0.47058823529411764}
Model: causirl_mmd
{'validation': 0.0, 'id_test': 0.3120567375886525, 'ood_test': 0.3153153153153153, 'ood_validation': 0.33783783783783783, '0': 0.09821428571428571, '1': 0.2916666666666667, '2': 0.12037037037037036, '4': 0.1188118811881188, '6': 0.8347826086956521}
{'validation': 0.5714285714285714, 'id_test': 0.3971631205673759, 'ood_test': 0.6846846846846847, 'ood_validation': 0.6621621621621622, '0': 0.10714285714285714, '1': 0.36666666666666664, '2': 0.75, '4': 0.8811881188118812, '6': 0.11304347826086956}
{'validation': 0.5714285714285714, 'id_test': 0.3971631205673759, 'ood_test': 0.6846846846846847, 'ood_validation': 0.6621621621621622, '0': 0.10714285714285714, '1': 0.36666666666666664, '2': 0.75, '4': 0.8811881188118812, '6': 0.11304347826086956}
{'validation': 0.5714285714285714, 'id_test': 0.475177304964539, 'ood_test': 0.8153153153153153, 'ood_validation': 0.8108108108108109, '0': 0.10714285714285714, '1': 0.36666666666666664, '2': 0.75, '4': 0.900990099009901, '6': 0.5478260869565217}
{'validation': 0.5714285714285714, 'id_test': 0.3971631205673759, 'ood_test': 0.6846846846846847, 'ood_validation': 0.6621621621621622, '0': 0.10714285714285714, '1': 0.36666666666666664, '2': 0.75, '4': 0.8811881188118812, '6': 0.11304347826086956}
{'validation': 0.5714285714285714, 'id_test': 0.3971631205673759, 'ood_test': 0.6846846846846847, 'ood_validation': 0.6621621621621622, '0': 0.10714285714285714, '1': 0.36666666666666664, '2': 0.75, '4': 0.8811881188118812, '6': 0.11304347826086956}
{'validation': 0.5714285714285714, 'id_test': 0.3971631205673759, 'ood_test': 0.6846846846846847, 'ood_validation': 0.6621621621621622, '0': 0.10714285714285714, '1': 0.36666666666666664, '2': 0.75, '4': 0.8811881188118812, '6': 0.11304347826086956}
{'validation': 0.5714285714285714, 'id_test': 0.3971631205673759, 'ood_test': 0.6846846846846847, 'ood_validation': 0.6621621621621622, '0': 0.10714285714285714, '1': 0.36666666666666664, '2': 0.75, '4': 0.8811881188118812, '6': 0.11304347826086956}
{'validation': 0.5714285714285714, 'id_test': 0.3971631205673759, 'ood_test': 0.6846846846846847, 'ood_validation': 0.6621621621621622, '0': 0.10714285714285714, '1': 0.36666666666666664, '2': 0.75, '4': 0.8811881188118812, '6': 0.12173913043478261}
{'validation': 0.5714285714285714, 'id_test': 0.3971631205673759, 'ood_test': 0.6846846846846847, 'ood_validation': 0.6621621621621622, '0': 0.10714285714285714, '1': 0.36666666666666664, '2': 0.75, '4': 0.8811881188118812, '6': 0.12173913043478261}
