Model: aldro
{'validation': 0.7142857142857143, 'id_test': 0.4689655172413793, 'ood_test': 0.5336538461538461, 'ood_validation': 0.42857142857142855, 'train': 0.48771929824561405}
{'validation': 0.42857142857142855, 'id_test': 0.5586206896551724, 'ood_test': 0.4519230769230769, 'ood_validation': 0.5714285714285714, 'train': 0.5578947368421052}
{'validation': 0.5714285714285714, 'id_test': 0.5103448275862069, 'ood_test': 0.46634615384615385, 'ood_validation': 0.4142857142857143, 'train': 0.5210526315789473}
{'validation': 0.5714285714285714, 'id_test': 0.5103448275862069, 'ood_test': 0.46153846153846156, 'ood_validation': 0.4142857142857143, 'train': 0.5210526315789473}
{'validation': 0.5714285714285714, 'id_test': 0.5103448275862069, 'ood_test': 0.46634615384615385, 'ood_validation': 0.4142857142857143, 'train': 0.5228070175438596}
{'validation': 0.5714285714285714, 'id_test': 0.503448275862069, 'ood_test': 0.46153846153846156, 'ood_validation': 0.45714285714285713, 'train': 0.5456140350877193}
{'validation': 0.5714285714285714, 'id_test': 0.5103448275862069, 'ood_test': 0.46153846153846156, 'ood_validation': 0.4, 'train': 0.5333333333333333}
{'validation': 0.5714285714285714, 'id_test': 0.503448275862069, 'ood_test': 0.47596153846153844, 'ood_validation': 0.4142857142857143, 'train': 0.5456140350877193}
{'validation': 0.5714285714285714, 'id_test': 0.5103448275862069, 'ood_test': 0.46634615384615385, 'ood_validation': 0.38571428571428573, 'train': 0.543859649122807}
{'validation': 0.5714285714285714, 'id_test': 0.5103448275862069, 'ood_test': 0.46634615384615385, 'ood_validation': 0.4142857142857143, 'train': 0.519298245614035}
Model: dann
{'validation': 0.42857142857142855, 'id_test': 0.5, 'ood_test': 0.5151515151515151, 'ood_validation': 0.5522388059701493, '0': 0.5377358490566038, '1': 0.49166666666666664, '2': 0.43846153846153846, '4': 0.45794392523364486, '6': 0.5982905982905983}
{'validation': 0.7142857142857143, 'id_test': 0.46621621621621623, 'ood_test': 0.5151515151515151, 'ood_validation': 0.5373134328358209, '0': 0.5283018867924528, '1': 0.4666666666666667, '2': 0.46923076923076923, '4': 0.5420560747663551, '6': 0.5641025641025641}
{'validation': 0.42857142857142855, 'id_test': 0.5405405405405406, 'ood_test': 0.5252525252525253, 'ood_validation': 0.5522388059701493, '0': 0.5471698113207547, '1': 0.525, '2': 0.5, '4': 0.4766355140186916, '6': 0.6068376068376068}
{'validation': 0.42857142857142855, 'id_test': 0.5135135135135135, 'ood_test': 0.494949494949495, 'ood_validation': 0.582089552238806, '0': 0.5849056603773585, '1': 0.525, '2': 0.5230769230769231, '4': 0.4485981308411215, '6': 0.5726495726495726}
{'validation': 0.7142857142857143, 'id_test': 0.5067567567567568, 'ood_test': 0.5454545454545454, 'ood_validation': 0.5970149253731343, '0': 0.6886792452830188, '1': 0.5, '2': 0.5307692307692308, '4': 0.5046728971962616, '6': 0.5641025641025641}
{'validation': 0.5714285714285714, 'id_test': 0.49324324324324326, 'ood_test': 0.5505050505050505, 'ood_validation': 0.4925373134328358, '0': 0.5849056603773585, '1': 0.5166666666666667, '2': 0.5, '4': 0.5233644859813084, '6': 0.5555555555555556}
{'validation': 0.42857142857142855, 'id_test': 0.4797297297297297, 'ood_test': 0.5353535353535354, 'ood_validation': 0.5074626865671642, '0': 0.5849056603773585, '1': 0.5916666666666667, '2': 0.5307692307692308, '4': 0.5607476635514018, '6': 0.6068376068376068}
{'validation': 0.14285714285714285, 'id_test': 0.5135135135135135, 'ood_test': 0.5202020202020202, 'ood_validation': 0.6119402985074627, '0': 0.660377358490566, '1': 0.6083333333333333, '2': 0.6153846153846154, '4': 0.6448598130841121, '6': 0.5811965811965812}
{'validation': 0.2857142857142857, 'id_test': 0.5, 'ood_test': 0.51010101010101, 'ood_validation': 0.5671641791044776, '0': 0.6886792452830188, '1': 0.5916666666666667, '2': 0.5230769230769231, '4': 0.6542056074766355, '6': 0.6068376068376068}
{'validation': 0.5714285714285714, 'id_test': 0.49324324324324326, 'ood_test': 0.5404040404040404, 'ood_validation': 0.4626865671641791, '0': 0.7358490566037735, '1': 0.7083333333333334, '2': 0.6461538461538462, '4': 0.6355140186915887, '6': 0.6495726495726496}
Model: deepcoral
{'validation': 0.42857142857142855, 'id_test': 0.4383561643835616, 'ood_test': 0.5024390243902439, 'ood_validation': 0.5507246376811594, '0': 0.5630252100840336, '1': 0.4789915966386555, '2': 0.5555555555555556, '4': 0.5702479338842975, '6': 0.5471698113207547}
{'validation': 0.7142857142857143, 'id_test': 0.5136986301369864, 'ood_test': 0.45365853658536587, 'ood_validation': 0.5362318840579711, '0': 0.5126050420168067, '1': 0.48739495798319327, '2': 0.5185185185185185, '4': 0.5619834710743802, '6': 0.6226415094339622}
{'validation': 0.42857142857142855, 'id_test': 0.4383561643835616, 'ood_test': 0.5317073170731708, 'ood_validation': 0.4782608695652174, '0': 0.5882352941176471, '1': 0.46218487394957986, '2': 0.5648148148148148, '4': 0.5619834710743802, '6': 0.5754716981132075}
{'validation': 0.42857142857142855, 'id_test': 0.4794520547945205, 'ood_test': 0.5170731707317073, 'ood_validation': 0.463768115942029, '0': 0.6050420168067226, '1': 0.5630252100840336, '2': 0.5555555555555556, '4': 0.5371900826446281, '6': 0.5471698113207547}
{'validation': 0.2857142857142857, 'id_test': 0.4520547945205479, 'ood_test': 0.4975609756097561, 'ood_validation': 0.4782608695652174, '0': 0.5966386554621849, '1': 0.5546218487394958, '2': 0.6111111111111112, '4': 0.5206611570247934, '6': 0.5377358490566038}
{'validation': 0.42857142857142855, 'id_test': 0.5, 'ood_test': 0.47804878048780486, 'ood_validation': 0.391304347826087, '0': 0.6722689075630253, '1': 0.5378151260504201, '2': 0.6574074074074074, '4': 0.6115702479338843, '6': 0.7358490566037735}
{'validation': 0.7142857142857143, 'id_test': 0.4726027397260274, 'ood_test': 0.48292682926829267, 'ood_validation': 0.5072463768115942, '0': 0.6722689075630253, '1': 0.6302521008403361, '2': 0.7129629629629629, '4': 0.6115702479338843, '6': 0.6037735849056604}
{'validation': 0.5714285714285714, 'id_test': 0.4657534246575342, 'ood_test': 0.5170731707317073, 'ood_validation': 0.5072463768115942, '0': 0.7394957983193278, '1': 0.6722689075630253, '2': 0.7407407407407407, '4': 0.6033057851239669, '6': 0.6320754716981132}
{'validation': 0.2857142857142857, 'id_test': 0.5, 'ood_test': 0.5121951219512195, 'ood_validation': 0.5072463768115942, '0': 0.7058823529411765, '1': 0.5630252100840336, '2': 0.7037037037037037, '4': 0.6363636363636364, '6': 0.6981132075471698}
{'validation': 0.42857142857142855, 'id_test': 0.4657534246575342, 'ood_test': 0.5073170731707317, 'ood_validation': 0.5072463768115942, '0': 0.5630252100840336, '1': 0.7226890756302521, '2': 0.6759259259259259, '4': 0.6528925619834711, '6': 0.7075471698113207}
Model: expgrad
{'ood_test': 0.5064935064935064}
Model: ft_transformer
{'validation': 0.3333333333333333, 'id_test': 0.47794117647058826, 'ood_test': 0.49794238683127573, 'ood_validation': 0.4146341463414634, 'train': 0.5309568480300187}
{'validation': 0.3333333333333333, 'id_test': 0.47794117647058826, 'ood_test': 0.4773662551440329, 'ood_validation': 0.4146341463414634, 'train': 0.5309568480300187}
{'validation': 0.3333333333333333, 'id_test': 0.47794117647058826, 'ood_test': 0.4773662551440329, 'ood_validation': 0.4146341463414634, 'train': 0.5309568480300187}
{'validation': 0.3333333333333333, 'id_test': 0.47794117647058826, 'ood_test': 0.4773662551440329, 'ood_validation': 0.4146341463414634, 'train': 0.5309568480300187}
{'validation': 0.3333333333333333, 'id_test': 0.47794117647058826, 'ood_test': 0.4773662551440329, 'ood_validation': 0.4146341463414634, 'train': 0.5309568480300187}
{'validation': 0.3333333333333333, 'id_test': 0.47794117647058826, 'ood_test': 0.4773662551440329, 'ood_validation': 0.4146341463414634, 'train': 0.5309568480300187}
{'validation': 0.3333333333333333, 'id_test': 0.47794117647058826, 'ood_test': 0.4773662551440329, 'ood_validation': 0.4146341463414634, 'train': 0.5309568480300187}
{'validation': 0.3333333333333333, 'id_test': 0.47794117647058826, 'ood_test': 0.4773662551440329, 'ood_validation': 0.4146341463414634, 'train': 0.5309568480300187}
{'validation': 0.3333333333333333, 'id_test': 0.47794117647058826, 'ood_test': 0.4773662551440329, 'ood_validation': 0.4146341463414634, 'train': 0.5309568480300187}
{'validation': 0.3333333333333333, 'id_test': 0.47794117647058826, 'ood_test': 0.4773662551440329, 'ood_validation': 0.4146341463414634, 'train': 0.5309568480300187}
Model: group_dro
{'validation': 0.42857142857142855, 'id_test': 0.5174825174825175, 'ood_test': 0.5069767441860465, 'ood_validation': 0.4166666666666667, 'train': 0.47957371225577267}
{'validation': 0.42857142857142855, 'id_test': 0.5454545454545454, 'ood_test': 0.48372093023255813, 'ood_validation': 0.5972222222222222, 'train': 0.5790408525754884}
{'validation': 0.14285714285714285, 'id_test': 0.4965034965034965, 'ood_test': 0.5674418604651162, 'ood_validation': 0.5833333333333334, 'train': 0.5648312611012434}
{'validation': 0.7142857142857143, 'id_test': 0.46153846153846156, 'ood_test': 0.4418604651162791, 'ood_validation': 0.5138888888888888, 'train': 0.5452930728241563}
{'validation': 0.42857142857142855, 'id_test': 0.5454545454545454, 'ood_test': 0.4744186046511628, 'ood_validation': 0.6527777777777778, 'train': 0.5985790408525755}
{'validation': 0.2857142857142857, 'id_test': 0.5244755244755245, 'ood_test': 0.4883720930232558, 'ood_validation': 0.4583333333333333, 'train': 0.605683836589698}
{'validation': 0.5714285714285714, 'id_test': 0.5454545454545454, 'ood_test': 0.4697674418604651, 'ood_validation': 0.5555555555555556, 'train': 0.5364120781527532}
{'validation': 0.7142857142857143, 'id_test': 0.5384615384615384, 'ood_test': 0.4325581395348837, 'ood_validation': 0.5694444444444444, 'train': 0.5417406749555951}
{'validation': 0.42857142857142855, 'id_test': 0.5874125874125874, 'ood_test': 0.5116279069767442, 'ood_validation': 0.5138888888888888, 'train': 0.5772646536412078}
{'validation': 0.42857142857142855, 'id_test': 0.5734265734265734, 'ood_test': 0.4604651162790698, 'ood_validation': 0.5833333333333334, 'train': 0.6127886323268206}
Model: irm
{'validation': 0.7142857142857143, 'id_test': 0.44594594594594594, 'ood_test': 0.45685279187817257, 'ood_validation': 0.5303030303030303, '0': 0.5546218487394958, '1': 0.5213675213675214, '2': 0.4576271186440678, '4': 0.5897435897435898, '6': 0.5765765765765766}
{'validation': 0.5714285714285714, 'id_test': 0.4797297297297297, 'ood_test': 0.5126903553299492, 'ood_validation': 0.5, '0': 0.5966386554621849, '1': 0.49572649572649574, '2': 0.6016949152542372, '4': 0.5299145299145299, '6': 0.5675675675675675}
{'validation': 0.5714285714285714, 'id_test': 0.4864864864864865, 'ood_test': 0.5126903553299492, 'ood_validation': 0.5606060606060606, '0': 0.4369747899159664, '1': 0.5726495726495726, '2': 0.5084745762711864, '4': 0.5299145299145299, '6': 0.6396396396396397}
{'validation': 0.42857142857142855, 'id_test': 0.5405405405405406, 'ood_test': 0.5177664974619289, 'ood_validation': 0.5757575757575758, '0': 0.5966386554621849, '1': 0.6239316239316239, '2': 0.635593220338983, '4': 0.5641025641025641, '6': 0.7207207207207207}
{'validation': 0.5714285714285714, 'id_test': 0.46621621621621623, 'ood_test': 0.48223350253807107, 'ood_validation': 0.5303030303030303, '0': 0.6974789915966386, '1': 0.6324786324786325, '2': 0.6440677966101694, '4': 0.5641025641025641, '6': 0.6306306306306306}
{'validation': 0.5714285714285714, 'id_test': 0.47297297297297297, 'ood_test': 0.467005076142132, 'ood_validation': 0.5606060606060606, '0': 0.680672268907563, '1': 0.5811965811965812, '2': 0.6949152542372882, '4': 0.6068376068376068, '6': 0.7207207207207207}
{'validation': 0.5714285714285714, 'id_test': 0.5, 'ood_test': 0.5076142131979695, 'ood_validation': 0.5606060606060606, '0': 0.6722689075630253, '1': 0.5897435897435898, '2': 0.7203389830508474, '4': 0.5641025641025641, '6': 0.6576576576576577}
{'validation': 0.7142857142857143, 'id_test': 0.5135135135135135, 'ood_test': 0.49238578680203043, 'ood_validation': 0.5757575757575758, '0': 0.7310924369747899, '1': 0.6324786324786325, '2': 0.8135593220338984, '4': 0.5641025641025641, '6': 0.5855855855855856}
{'validation': 0.8571428571428571, 'id_test': 0.42567567567567566, 'ood_test': 0.4467005076142132, 'ood_validation': 0.5454545454545454, '0': 0.7058823529411765, '1': 0.717948717948718, '2': 0.7542372881355932, '4': 0.7094017094017094, '6': 0.7477477477477478}
{'validation': 0.7142857142857143, 'id_test': 0.5135135135135135, 'ood_test': 0.5076142131979695, 'ood_validation': 0.5757575757575758, '0': 0.6722689075630253, '1': 0.5811965811965812, '2': 0.7033898305084746, '4': 0.5982905982905983, '6': 0.5765765765765766}
Model: label_group_dro
{'validation': 0.42857142857142855, 'id_test': 0.46808510638297873, 'ood_test': 0.49099099099099097, 'ood_validation': 0.527027027027027, 'train': 0.5737410071942446}
{'validation': 0.5714285714285714, 'id_test': 0.524822695035461, 'ood_test': 0.5405405405405406, 'ood_validation': 0.47297297297297297, 'train': 0.5593525179856115}
{'validation': 0.42857142857142855, 'id_test': 0.5106382978723404, 'ood_test': 0.5540540540540541, 'ood_validation': 0.47297297297297297, 'train': 0.5719424460431655}
{'validation': 0.42857142857142855, 'id_test': 0.5035460992907801, 'ood_test': 0.47297297297297297, 'ood_validation': 0.43243243243243246, 'train': 0.591726618705036}
{'validation': 0.7142857142857143, 'id_test': 0.524822695035461, 'ood_test': 0.49099099099099097, 'ood_validation': 0.5135135135135135, 'train': 0.5539568345323741}
{'validation': 0.5714285714285714, 'id_test': 0.5673758865248227, 'ood_test': 0.5405405405405406, 'ood_validation': 0.5135135135135135, 'train': 0.5863309352517986}
{'validation': 0.7142857142857143, 'id_test': 0.574468085106383, 'ood_test': 0.5, 'ood_validation': 0.5540540540540541, 'train': 0.6402877697841727}
{'validation': 0.7142857142857143, 'id_test': 0.5106382978723404, 'ood_test': 0.4774774774774775, 'ood_validation': 0.43243243243243246, 'train': 0.6312949640287769}
{'validation': 0.7142857142857143, 'id_test': 0.574468085106383, 'ood_test': 0.4774774774774775, 'ood_validation': 0.47297297297297297, 'train': 0.6151079136690647}
{'validation': 0.7142857142857143, 'id_test': 0.5177304964539007, 'ood_test': 0.49099099099099097, 'ood_validation': 0.40540540540540543, 'train': 0.6205035971223022}
Model: lightgbm
{'ood_test': 0.48623853211009177}
Model: mixup
{'validation': 0.5714285714285714, 'id_test': 0.5594405594405595, 'ood_test': 0.5277777777777778, 'ood_validation': 0.5342465753424658, '0': 0.4351851851851852, '1': 0.44545454545454544, '2': 0.48360655737704916, '4': 0.5405405405405406, '6': 0.5454545454545454}
{'validation': 0.42857142857142855, 'id_test': 0.5314685314685315, 'ood_test': 0.5185185185185185, 'ood_validation': 0.4246575342465753, '0': 0.5648148148148148, '1': 0.4636363636363636, '2': 0.5081967213114754, '4': 0.5585585585585585, '6': 0.43636363636363634}
{'validation': 0.2857142857142857, 'id_test': 0.43356643356643354, 'ood_test': 0.5046296296296297, 'ood_validation': 0.5753424657534246, '0': 0.4722222222222222, '1': 0.5636363636363636, '2': 0.5409836065573771, '4': 0.6396396396396397, '6': 0.5545454545454546}
{'validation': 0.2857142857142857, 'id_test': 0.46853146853146854, 'ood_test': 0.5231481481481481, 'ood_validation': 0.5068493150684932, '0': 0.5, '1': 0.5545454545454546, '2': 0.5491803278688525, '4': 0.6666666666666666, '6': 0.6090909090909091}
{'validation': 0.7142857142857143, 'id_test': 0.5104895104895105, 'ood_test': 0.5, 'ood_validation': 0.5205479452054794, '0': 0.6018518518518519, '1': 0.5818181818181818, '2': 0.5819672131147541, '4': 0.5495495495495496, '6': 0.6}
{'validation': 0.5714285714285714, 'id_test': 0.5314685314685315, 'ood_test': 0.49537037037037035, 'ood_validation': 0.547945205479452, '0': 0.6018518518518519, '1': 0.4636363636363636, '2': 0.6065573770491803, '4': 0.5675675675675675, '6': 0.5181818181818182}
{'validation': 0.42857142857142855, 'id_test': 0.4405594405594406, 'ood_test': 0.48148148148148145, 'ood_validation': 0.5342465753424658, '0': 0.5925925925925926, '1': 0.6545454545454545, '2': 0.5901639344262295, '4': 0.6216216216216216, '6': 0.6090909090909091}
{'validation': 0.42857142857142855, 'id_test': 0.6013986013986014, 'ood_test': 0.5092592592592593, 'ood_validation': 0.4794520547945205, '0': 0.5925925925925926, '1': 0.5181818181818182, '2': 0.5655737704918032, '4': 0.6306306306306306, '6': 0.6363636363636364}
{'validation': 0.42857142857142855, 'id_test': 0.4965034965034965, 'ood_test': 0.5277777777777778, 'ood_validation': 0.4657534246575342, '0': 0.6481481481481481, '1': 0.5636363636363636, '2': 0.7049180327868853, '4': 0.6396396396396397, '6': 0.6636363636363637}
{'validation': 0.2857142857142857, 'id_test': 0.5524475524475524, 'ood_test': 0.4861111111111111, 'ood_validation': 0.4931506849315068, '0': 0.6481481481481481, '1': 0.5909090909090909, '2': 0.6557377049180327, '4': 0.7027027027027027, '6': 0.6181818181818182}
Model: mlp
{'validation': 0.2857142857142857, 'id_test': 0.4507042253521127, 'ood_test': 0.4724770642201835, 'ood_validation': 0.5205479452054794, 'train': 0.49464285714285716}
{'validation': 0.5714285714285714, 'id_test': 0.4788732394366197, 'ood_test': 0.5137614678899083, 'ood_validation': 0.5068493150684932, 'train': 0.5625}
{'validation': 0.5714285714285714, 'id_test': 0.5563380281690141, 'ood_test': 0.4954128440366973, 'ood_validation': 0.5342465753424658, 'train': 0.5392857142857143}
{'validation': 0.7142857142857143, 'id_test': 0.43661971830985913, 'ood_test': 0.5504587155963303, 'ood_validation': 0.5205479452054794, 'train': 0.55}
{'validation': 0.5714285714285714, 'id_test': 0.47183098591549294, 'ood_test': 0.5137614678899083, 'ood_validation': 0.4383561643835616, 'train': 0.5214285714285715}
{'validation': 0.8571428571428571, 'id_test': 0.4859154929577465, 'ood_test': 0.5091743119266054, 'ood_validation': 0.4520547945205479, 'train': 0.5}
{'validation': 0.42857142857142855, 'id_test': 0.5492957746478874, 'ood_test': 0.5045871559633027, 'ood_validation': 0.547945205479452, 'train': 0.5071428571428571}
{'validation': 0.8571428571428571, 'id_test': 0.47183098591549294, 'ood_test': 0.5091743119266054, 'ood_validation': 0.4657534246575342, 'train': 0.5321428571428571}
{'validation': 0.7142857142857143, 'id_test': 0.4788732394366197, 'ood_test': 0.5137614678899083, 'ood_validation': 0.4794520547945205, 'train': 0.5517857142857143}
{'validation': 0.8571428571428571, 'id_test': 0.4788732394366197, 'ood_test': 0.5137614678899083, 'ood_validation': 0.4520547945205479, 'train': 0.5053571428571428}
Model: mmd
{'validation': 0.5714285714285714, 'id_test': 0.42142857142857143, 'ood_test': 0.49777777777777776, 'ood_validation': 0.5466666666666666, '0': 0.5229357798165137, '1': 0.4807692307692308, '2': 0.5084745762711864, '4': 0.41284403669724773, '6': 0.5132743362831859}
{'validation': 0.7142857142857143, 'id_test': 0.44285714285714284, 'ood_test': 0.48444444444444446, 'ood_validation': 0.49333333333333335, '0': 0.4954128440366973, '1': 0.5769230769230769, '2': 0.4661016949152542, '4': 0.5504587155963303, '6': 0.4336283185840708}
{'validation': 0.7142857142857143, 'id_test': 0.42857142857142855, 'ood_test': 0.5066666666666667, 'ood_validation': 0.4666666666666667, '0': 0.5321100917431193, '1': 0.4519230769230769, '2': 0.5254237288135594, '4': 0.5045871559633027, '6': 0.5398230088495575}
{'validation': 0.42857142857142855, 'id_test': 0.5571428571428572, 'ood_test': 0.4888888888888889, 'ood_validation': 0.49333333333333335, '0': 0.47706422018348627, '1': 0.5288461538461539, '2': 0.4745762711864407, '4': 0.5596330275229358, '6': 0.4247787610619469}
{'validation': 0.42857142857142855, 'id_test': 0.5214285714285715, 'ood_test': 0.52, 'ood_validation': 0.4533333333333333, '0': 0.5137614678899083, '1': 0.49038461538461536, '2': 0.5, '4': 0.5412844036697247, '6': 0.4424778761061947}
{'validation': 0.42857142857142855, 'id_test': 0.5214285714285715, 'ood_test': 0.5066666666666667, 'ood_validation': 0.44, '0': 0.5137614678899083, '1': 0.5384615384615384, '2': 0.6440677966101694, '4': 0.5045871559633027, '6': 0.5132743362831859}
{'validation': 0.42857142857142855, 'id_test': 0.5571428571428572, 'ood_test': 0.4888888888888889, 'ood_validation': 0.49333333333333335, '0': 0.47706422018348627, '1': 0.5288461538461539, '2': 0.4745762711864407, '4': 0.5596330275229358, '6': 0.4247787610619469}
{'validation': 0.5714285714285714, 'id_test': 0.5857142857142857, 'ood_test': 0.48, 'ood_validation': 0.52, '0': 0.5321100917431193, '1': 0.625, '2': 0.6271186440677966, '4': 0.5688073394495413, '6': 0.5575221238938053}
{'validation': 0.42857142857142855, 'id_test': 0.5571428571428572, 'ood_test': 0.48444444444444446, 'ood_validation': 0.49333333333333335, '0': 0.48623853211009177, '1': 0.5288461538461539, '2': 0.4745762711864407, '4': 0.5596330275229358, '6': 0.4336283185840708}
{'validation': 0.42857142857142855, 'id_test': 0.6, 'ood_test': 0.5066666666666667, 'ood_validation': 0.5066666666666667, '0': 0.5229357798165137, '1': 0.5576923076923077, '2': 0.5508474576271186, '4': 0.5688073394495413, '6': 0.5309734513274337}
Model: node
{'validation': 0.7142857142857143, 'id_test': 0.4642857142857143, 'ood_test': 0.5110132158590308, 'ood_validation': 0.5131578947368421, 'train': 0.5454545454545454}
{'validation': 0.7142857142857143, 'id_test': 0.5428571428571428, 'ood_test': 0.4801762114537445, 'ood_validation': 0.4342105263157895, 'train': 0.5854545454545454}
{'validation': 0.5714285714285714, 'id_test': 0.5714285714285714, 'ood_test': 0.4801762114537445, 'ood_validation': 0.47368421052631576, 'train': 0.5818181818181818}
{'validation': 0.5714285714285714, 'id_test': 0.5071428571428571, 'ood_test': 0.5198237885462555, 'ood_validation': 0.5789473684210527, 'train': 0.5909090909090909}
{'validation': 0.8571428571428571, 'id_test': 0.5142857142857142, 'ood_test': 0.5110132158590308, 'ood_validation': 0.42105263157894735, 'train': 0.6854545454545454}
{'validation': 0.7142857142857143, 'id_test': 0.5285714285714286, 'ood_test': 0.5110132158590308, 'ood_validation': 0.47368421052631576, 'train': 0.6963636363636364}
{'validation': 0.8571428571428571, 'id_test': 0.5357142857142857, 'ood_test': 0.5198237885462555, 'ood_validation': 0.39473684210526316, 'train': 0.7563636363636363}
{'validation': 0.8571428571428571, 'id_test': 0.5357142857142857, 'ood_test': 0.5022026431718062, 'ood_validation': 0.4868421052631579, 'train': 0.769090909090909}
{'validation': 0.8571428571428571, 'id_test': 0.5428571428571428, 'ood_test': 0.5110132158590308, 'ood_validation': 0.4473684210526316, 'train': 0.7890909090909091}
{'validation': 0.7142857142857143, 'id_test': 0.55, 'ood_test': 0.4933920704845815, 'ood_validation': 0.4342105263157895, 'train': 0.8327272727272728}
Model: resnet
{'validation': 0.5714285714285714, 'id_test': 0.5, 'ood_test': 0.4858490566037736, 'ood_validation': 0.39436619718309857, 'train': 0.5547703180212014}
{'validation': 0.42857142857142855, 'id_test': 0.4513888888888889, 'ood_test': 0.5235849056603774, 'ood_validation': 0.49295774647887325, 'train': 0.5636042402826855}
{'validation': 0.5714285714285714, 'id_test': 0.4861111111111111, 'ood_test': 0.4811320754716981, 'ood_validation': 0.4788732394366197, 'train': 0.5565371024734982}
{'validation': 0.5714285714285714, 'id_test': 0.4652777777777778, 'ood_test': 0.4811320754716981, 'ood_validation': 0.5211267605633803, 'train': 0.5653710247349824}
{'validation': 0.42857142857142855, 'id_test': 0.4722222222222222, 'ood_test': 0.5330188679245284, 'ood_validation': 0.4788732394366197, 'train': 0.5901060070671378}
{'validation': 0.7142857142857143, 'id_test': 0.4722222222222222, 'ood_test': 0.5283018867924528, 'ood_validation': 0.4647887323943662, 'train': 0.5936395759717314}
{'validation': 0.5714285714285714, 'id_test': 0.4930555555555556, 'ood_test': 0.49056603773584906, 'ood_validation': 0.4507042253521127, 'train': 0.5918727915194346}
{'validation': 0.42857142857142855, 'id_test': 0.4791666666666667, 'ood_test': 0.49528301886792453, 'ood_validation': 0.43661971830985913, 'train': 0.5653710247349824}
{'validation': 0.5714285714285714, 'id_test': 0.5069444444444444, 'ood_test': 0.44339622641509435, 'ood_validation': 0.5211267605633803, 'train': 0.588339222614841}
{'validation': 0.7142857142857143, 'id_test': 0.4791666666666667, 'ood_test': 0.4481132075471698, 'ood_validation': 0.4788732394366197, 'train': 0.5848056537102474}
Model: saint
{'validation': 0.5714285714285714, 'id_test': 0.4965034965034965, 'ood_test': 0.49767441860465117, 'ood_validation': 0.5416666666666666, 'train': 0.4955595026642984}
{'validation': 0.5714285714285714, 'id_test': 0.4825174825174825, 'ood_test': 0.5302325581395348, 'ood_validation': 0.4861111111111111, 'train': 0.5008880994671403}
{'validation': 0.42857142857142855, 'id_test': 0.5034965034965035, 'ood_test': 0.5023255813953489, 'ood_validation': 0.4583333333333333, 'train': 0.5044404973357016}
{'validation': 0.42857142857142855, 'id_test': 0.4965034965034965, 'ood_test': 0.5069767441860465, 'ood_validation': 0.4583333333333333, 'train': 0.5008880994671403}
{'validation': 0.7142857142857143, 'id_test': 0.5174825174825175, 'ood_test': 0.4697674418604651, 'ood_validation': 0.5416666666666666, 'train': 0.5257548845470693}
{'validation': 0.42857142857142855, 'id_test': 0.5034965034965035, 'ood_test': 0.5023255813953489, 'ood_validation': 0.4583333333333333, 'train': 0.5044404973357016}
{'validation': 0.42857142857142855, 'id_test': 0.5034965034965035, 'ood_test': 0.5023255813953489, 'ood_validation': 0.4583333333333333, 'train': 0.5044404973357016}
{'validation': 0.5714285714285714, 'id_test': 0.4965034965034965, 'ood_test': 0.49767441860465117, 'ood_validation': 0.5416666666666666, 'train': 0.4955595026642984}
{'validation': 0.5714285714285714, 'id_test': 0.4965034965034965, 'ood_test': 0.49767441860465117, 'ood_validation': 0.5416666666666666, 'train': 0.4955595026642984}
{'validation': 0.42857142857142855, 'id_test': 0.5034965034965035, 'ood_test': 0.5023255813953489, 'ood_validation': 0.4583333333333333, 'train': 0.5044404973357016}
Model: tabtransformer
{'validation': 0.2857142857142857, 'id_test': 0.54421768707483, 'ood_test': 0.4827586206896552, 'ood_validation': 0.5294117647058824, 'train': 0.5704347826086956}
{'validation': 0.7142857142857143, 'id_test': 0.4489795918367347, 'ood_test': 0.5172413793103449, 'ood_validation': 0.45588235294117646, 'train': 0.577391304347826}
{'validation': 1.0, 'id_test': 0.47619047619047616, 'ood_test': 0.42857142857142855, 'ood_validation': 0.45588235294117646, 'train': 0.5652173913043478}
{'validation': 0.8571428571428571, 'id_test': 0.4557823129251701, 'ood_test': 0.49261083743842365, 'ood_validation': 0.5147058823529411, 'train': 0.5808695652173913}
{'validation': 0.2857142857142857, 'id_test': 0.48299319727891155, 'ood_test': 0.541871921182266, 'ood_validation': 0.5147058823529411, 'train': 0.6330434782608696}
{'validation': 0.7142857142857143, 'id_test': 0.5510204081632653, 'ood_test': 0.4827586206896552, 'ood_validation': 0.5, 'train': 0.6295652173913043}
{'validation': 0.42857142857142855, 'id_test': 0.48299319727891155, 'ood_test': 0.5665024630541872, 'ood_validation': 0.5294117647058824, 'train': 0.6017391304347826}
{'validation': 0.2857142857142857, 'id_test': 0.48299319727891155, 'ood_test': 0.5123152709359606, 'ood_validation': 0.5147058823529411, 'train': 0.6121739130434782}
{'validation': 0.7142857142857143, 'id_test': 0.5850340136054422, 'ood_test': 0.5073891625615764, 'ood_validation': 0.4852941176470588, 'train': 0.6678260869565218}
{'validation': 0.8571428571428571, 'id_test': 0.5374149659863946, 'ood_test': 0.4827586206896552, 'ood_validation': 0.5147058823529411, 'train': 0.6434782608695652}
Model: vrex
{'validation': 0.5714285714285714, 'id_test': 0.5172413793103449, 'ood_test': 0.5358851674641149, 'ood_validation': 0.5, '0': 0.48717948717948717, '1': 0.4444444444444444, '2': 0.47540983606557374, '4': 0.5217391304347826, '6': 0.5607476635514018}
{'validation': 0.42857142857142855, 'id_test': 0.4827586206896552, 'ood_test': 0.5023923444976076, 'ood_validation': 0.5142857142857142, '0': 0.49572649572649574, '1': 0.5833333333333334, '2': 0.45901639344262296, '4': 0.5043478260869565, '6': 0.48598130841121495}
{'validation': 0.42857142857142855, 'id_test': 0.47586206896551725, 'ood_test': 0.48325358851674644, 'ood_validation': 0.4857142857142857, '0': 0.48717948717948717, '1': 0.5277777777777778, '2': 0.5573770491803278, '4': 0.6173913043478261, '6': 0.616822429906542}
{'validation': 0.2857142857142857, 'id_test': 0.4896551724137931, 'ood_test': 0.49282296650717705, 'ood_validation': 0.5285714285714286, '0': 0.49572649572649574, '1': 0.5833333333333334, '2': 0.5, '4': 0.6086956521739131, '6': 0.6542056074766355}
{'validation': 0.42857142857142855, 'id_test': 0.5448275862068965, 'ood_test': 0.47368421052631576, 'ood_validation': 0.5142857142857142, '0': 0.5982905982905983, '1': 0.6759259259259259, '2': 0.4672131147540984, '4': 0.5565217391304348, '6': 0.6074766355140186}
{'validation': 0.42857142857142855, 'id_test': 0.496551724137931, 'ood_test': 0.45454545454545453, 'ood_validation': 0.45714285714285713, '0': 0.5299145299145299, '1': 0.6944444444444444, '2': 0.5983606557377049, '4': 0.6521739130434783, '6': 0.6635514018691588}
{'validation': 0.2857142857142857, 'id_test': 0.5103448275862069, 'ood_test': 0.5023923444976076, 'ood_validation': 0.5428571428571428, '0': 0.48717948717948717, '1': 0.6759259259259259, '2': 0.5163934426229508, '4': 0.5043478260869565, '6': 0.616822429906542}
{'validation': 0.2857142857142857, 'id_test': 0.4896551724137931, 'ood_test': 0.49282296650717705, 'ood_validation': 0.5285714285714286, '0': 0.5128205128205128, '1': 0.6203703703703703, '2': 0.48360655737704916, '4': 0.5652173913043478, '6': 0.48598130841121495}
{'validation': 0.42857142857142855, 'id_test': 0.47586206896551725, 'ood_test': 0.48325358851674644, 'ood_validation': 0.5, '0': 0.5128205128205128, '1': 0.7407407407407407, '2': 0.5655737704918032, '4': 0.6086956521739131, '6': 0.6261682242990654}
{'validation': 0.42857142857142855, 'id_test': 0.503448275862069, 'ood_test': 0.49282296650717705, 'ood_validation': 0.5857142857142857, '0': 0.5384615384615384, '1': 0.7592592592592593, '2': 0.5901639344262295, '4': 0.6086956521739131, '6': 0.7383177570093458}
Model: xgb
{'ood_test': 0.5141509433962265}
Model: ib_erm
{'validation': 0.14285714285714285, 'id_test': 0.49645390070921985, 'ood_test': 0.4954954954954955, 'ood_validation': 0.581081081081081, '0': 0.5229357798165137, '1': 0.49514563106796117, '2': 0.5222222222222223, '4': 0.5, '6': 0.5689655172413793}
{'validation': 0.42857142857142855, 'id_test': 0.49645390070921985, 'ood_test': 0.4774774774774775, 'ood_validation': 0.581081081081081, '0': 0.5779816513761468, '1': 0.49514563106796117, '2': 0.6666666666666666, '4': 0.6086956521739131, '6': 0.49137931034482757}
{'validation': 0.7142857142857143, 'id_test': 0.5460992907801419, 'ood_test': 0.49099099099099097, 'ood_validation': 0.40540540540540543, '0': 0.5321100917431193, '1': 0.5631067961165048, '2': 0.5, '4': 0.5652173913043478, '6': 0.5948275862068966}
{'validation': 0.8571428571428571, 'id_test': 0.45390070921985815, 'ood_test': 0.4864864864864865, 'ood_validation': 0.5675675675675675, '0': 0.5137614678899083, '1': 0.5631067961165048, '2': 0.6222222222222222, '4': 0.644927536231884, '6': 0.6206896551724138}
{'validation': 0.5714285714285714, 'id_test': 0.524822695035461, 'ood_test': 0.5135135135135135, 'ood_validation': 0.5, '0': 0.5871559633027523, '1': 0.6019417475728155, '2': 0.5888888888888889, '4': 0.6231884057971014, '6': 0.5948275862068966}
{'validation': 0.8571428571428571, 'id_test': 0.48936170212765956, 'ood_test': 0.5495495495495496, 'ood_validation': 0.527027027027027, '0': 0.6238532110091743, '1': 0.5825242718446602, '2': 0.5777777777777777, '4': 0.572463768115942, '6': 0.49137931034482757}
{'validation': 0.42857142857142855, 'id_test': 0.46099290780141844, 'ood_test': 0.5, 'ood_validation': 0.581081081081081, '0': 0.6880733944954128, '1': 0.6601941747572816, '2': 0.6333333333333333, '4': 0.6884057971014492, '6': 0.7155172413793104}
{'validation': 0.2857142857142857, 'id_test': 0.48936170212765956, 'ood_test': 0.47297297297297297, 'ood_validation': 0.5540540540540541, '0': 0.6330275229357798, '1': 0.7184466019417476, '2': 0.6777777777777778, '4': 0.7028985507246377, '6': 0.75}
{'validation': 0.7142857142857143, 'id_test': 0.5531914893617021, 'ood_test': 0.5315315315315315, 'ood_validation': 0.4864864864864865, '0': 0.7064220183486238, '1': 0.7475728155339806, '2': 0.7333333333333333, '4': 0.6956521739130435, '6': 0.7758620689655172}
{'validation': 0.7142857142857143, 'id_test': 0.5035460992907801, 'ood_test': 0.5135135135135135, 'ood_validation': 0.527027027027027, '0': 0.5504587155963303, '1': 0.6893203883495146, '2': 0.7666666666666667, '4': 0.7246376811594203, '6': 0.5689655172413793}
Model: ib_irm
{'validation': 0.0, 'id_test': 0.4930555555555556, 'ood_test': 0.5211267605633803, 'ood_validation': 0.4507042253521127, '0': 0.5806451612903226, '1': 0.6090909090909091, '2': 0.5808823529411765, '4': 0.5267175572519084, '6': 0.42105263157894735}
{'validation': 0.2857142857142857, 'id_test': 0.4930555555555556, 'ood_test': 0.5023474178403756, 'ood_validation': 0.5352112676056338, '0': 0.5806451612903226, '1': 0.6272727272727273, '2': 0.4852941176470588, '4': 0.5725190839694656, '6': 0.6210526315789474}
{'validation': 0.5714285714285714, 'id_test': 0.4722222222222222, 'ood_test': 0.47417840375586856, 'ood_validation': 0.5774647887323944, '0': 0.5806451612903226, '1': 0.6272727272727273, '2': 0.5588235294117647, '4': 0.549618320610687, '6': 0.7052631578947368}
{'validation': 0.8571428571428571, 'id_test': 0.5069444444444444, 'ood_test': 0.5258215962441315, 'ood_validation': 0.5211267605633803, '0': 0.5376344086021505, '1': 0.5909090909090909, '2': 0.6102941176470589, '4': 0.5343511450381679, '6': 0.6210526315789474}
{'validation': 0.42857142857142855, 'id_test': 0.4513888888888889, 'ood_test': 0.4413145539906103, 'ood_validation': 0.5211267605633803, '0': 0.5376344086021505, '1': 0.6181818181818182, '2': 0.5735294117647058, '4': 0.5954198473282443, '6': 0.6421052631578947}
{'validation': 0.7142857142857143, 'id_test': 0.4930555555555556, 'ood_test': 0.539906103286385, 'ood_validation': 0.5070422535211268, '0': 0.5806451612903226, '1': 0.6818181818181818, '2': 0.5882352941176471, '4': 0.6641221374045801, '6': 0.6105263157894737}
{'validation': 0.7142857142857143, 'id_test': 0.5416666666666666, 'ood_test': 0.48826291079812206, 'ood_validation': 0.4225352112676056, '0': 0.6344086021505376, '1': 0.7272727272727273, '2': 0.6470588235294118, '4': 0.6564885496183206, '6': 0.7157894736842105}
{'validation': 0.14285714285714285, 'id_test': 0.4930555555555556, 'ood_test': 0.539906103286385, 'ood_validation': 0.43661971830985913, '0': 0.6666666666666666, '1': 0.7090909090909091, '2': 0.6764705882352942, '4': 0.7022900763358778, '6': 0.6631578947368421}
{'validation': 0.5714285714285714, 'id_test': 0.4652777777777778, 'ood_test': 0.5023474178403756, 'ood_validation': 0.43661971830985913, '0': 0.6236559139784946, '1': 0.6272727272727273, '2': 0.7132352941176471, '4': 0.6793893129770993, '6': 0.6421052631578947}
{'validation': 0.42857142857142855, 'id_test': 0.5208333333333334, 'ood_test': 0.4694835680751174, 'ood_validation': 0.5633802816901409, '0': 0.6774193548387096, '1': 0.8181818181818182, '2': 0.7132352941176471, '4': 0.8091603053435115, '6': 0.7052631578947368}
Model: causirl_coral
{'validation': 0.7142857142857143, 'id_test': 0.4642857142857143, 'ood_test': 0.4577777777777778, 'ood_validation': 0.56, '0': 0.575, '1': 0.6176470588235294, '2': 0.5508474576271186, '4': 0.41284403669724773, '6': 0.5384615384615384}
{'validation': 0.7142857142857143, 'id_test': 0.5142857142857142, 'ood_test': 0.4888888888888889, 'ood_validation': 0.5333333333333333, '0': 0.5166666666666667, '1': 0.47058823529411764, '2': 0.4745762711864407, '4': 0.5229357798165137, '6': 0.4807692307692308}
{'validation': 0.5714285714285714, 'id_test': 0.6071428571428571, 'ood_test': 0.48444444444444446, 'ood_validation': 0.6266666666666667, '0': 0.525, '1': 0.5490196078431373, '2': 0.5169491525423728, '4': 0.47706422018348627, '6': 0.47115384615384615}
{'validation': 0.2857142857142857, 'id_test': 0.4857142857142857, 'ood_test': 0.4533333333333333, 'ood_validation': 0.44, '0': 0.525, '1': 0.5196078431372549, '2': 0.5169491525423728, '4': 0.5504587155963303, '6': 0.5192307692307693}
{'validation': 0.5714285714285714, 'id_test': 0.5285714285714286, 'ood_test': 0.5111111111111111, 'ood_validation': 0.56, '0': 0.6083333333333333, '1': 0.5196078431372549, '2': 0.5677966101694916, '4': 0.4954128440366973, '6': 0.5192307692307693}
{'validation': 0.7142857142857143, 'id_test': 0.5428571428571428, 'ood_test': 0.5422222222222223, 'ood_validation': 0.48, '0': 0.5083333333333333, '1': 0.5294117647058824, '2': 0.5677966101694916, '4': 0.5871559633027523, '6': 0.5096153846153846}
{'validation': 0.42857142857142855, 'id_test': 0.5142857142857142, 'ood_test': 0.48444444444444446, 'ood_validation': 0.52, '0': 0.6333333333333333, '1': 0.5980392156862745, '2': 0.5932203389830508, '4': 0.5963302752293578, '6': 0.4807692307692308}
{'validation': 0.42857142857142855, 'id_test': 0.5142857142857142, 'ood_test': 0.49777777777777776, 'ood_validation': 0.5066666666666667, '0': 0.5333333333333333, '1': 0.6666666666666666, '2': 0.6440677966101694, '4': 0.6513761467889908, '6': 0.625}
{'validation': 0.7142857142857143, 'id_test': 0.5214285714285715, 'ood_test': 0.5022222222222222, 'ood_validation': 0.5066666666666667, '0': 0.5583333333333333, '1': 0.5882352941176471, '2': 0.6949152542372882, '4': 0.6055045871559633, '6': 0.5384615384615384}
{'validation': 0.2857142857142857, 'id_test': 0.4714285714285714, 'ood_test': 0.49333333333333335, 'ood_validation': 0.49333333333333335, '0': 0.6416666666666667, '1': 0.5098039215686274, '2': 0.6271186440677966, '4': 0.6146788990825688, '6': 0.6538461538461539}
Model: causirl_mmd
{'validation': 0.5714285714285714, 'id_test': 0.5352112676056338, 'ood_test': 0.48868778280542985, 'ood_validation': 0.40540540540540543, '0': 0.5811965811965812, '1': 0.5470085470085471, '2': 0.42574257425742573, '4': 0.5042016806722689, '6': 0.46078431372549017}
{'validation': 0.42857142857142855, 'id_test': 0.4647887323943662, 'ood_test': 0.5113122171945701, 'ood_validation': 0.5945945945945946, '0': 0.4188034188034188, '1': 0.452991452991453, '2': 0.5742574257425742, '4': 0.4957983193277311, '6': 0.5392156862745098}
{'validation': 0.5714285714285714, 'id_test': 0.47183098591549294, 'ood_test': 0.502262443438914, 'ood_validation': 0.6351351351351351, '0': 0.41025641025641024, '1': 0.5641025641025641, '2': 0.5544554455445545, '4': 0.5714285714285714, '6': 0.6078431372549019}
{'validation': 0.2857142857142857, 'id_test': 0.4788732394366197, 'ood_test': 0.497737556561086, 'ood_validation': 0.5405405405405406, '0': 0.4188034188034188, '1': 0.5213675213675214, '2': 0.6336633663366337, '4': 0.5714285714285714, '6': 0.6568627450980392}
{'validation': 0.42857142857142855, 'id_test': 0.4647887323943662, 'ood_test': 0.5113122171945701, 'ood_validation': 0.5945945945945946, '0': 0.4188034188034188, '1': 0.452991452991453, '2': 0.5841584158415841, '4': 0.4957983193277311, '6': 0.5392156862745098}
{'validation': 0.2857142857142857, 'id_test': 0.5, 'ood_test': 0.5248868778280543, 'ood_validation': 0.5540540540540541, '0': 0.48717948717948717, '1': 0.6324786324786325, '2': 0.6039603960396039, '4': 0.5966386554621849, '6': 0.6078431372549019}
{'validation': 0.2857142857142857, 'id_test': 0.49295774647887325, 'ood_test': 0.5384615384615384, 'ood_validation': 0.6351351351351351, '0': 0.4358974358974359, '1': 0.5555555555555556, '2': 0.6534653465346535, '4': 0.5630252100840336, '6': 0.6372549019607843}
{'validation': 0.5714285714285714, 'id_test': 0.4014084507042254, 'ood_test': 0.49321266968325794, 'ood_validation': 0.6081081081081081, '0': 0.5555555555555556, '1': 0.5128205128205128, '2': 0.6732673267326733, '4': 0.6302521008403361, '6': 0.5980392156862745}
{'validation': 0.14285714285714285, 'id_test': 0.4295774647887324, 'ood_test': 0.497737556561086, 'ood_validation': 0.6081081081081081, '0': 0.49572649572649574, '1': 0.7435897435897436, '2': 0.6732673267326733, '4': 0.6890756302521008, '6': 0.7450980392156863}
{'validation': 0.14285714285714285, 'id_test': 0.5211267605633803, 'ood_test': 0.5384615384615384, 'ood_validation': 0.6216216216216216, '0': 0.4700854700854701, '1': 0.717948717948718, '2': 0.6534653465346535, '4': 0.6386554621848739, '6': 0.5980392156862745}
