Model: aldro
{'validation': 0.8571428571428571, 'id_test': 0.4859154929577465, 'ood_test': 0.4703196347031963, 'ood_validation': 0.5342465753424658, 'train': 0.5241502683363148}
{'validation': 0.7142857142857143, 'id_test': 0.647887323943662, 'ood_test': 0.6894977168949772, 'ood_validation': 0.5342465753424658, 'train': 0.7567084078711985}
{'validation': 0.8571428571428571, 'id_test': 0.6056338028169014, 'ood_test': 0.6894977168949772, 'ood_validation': 0.6164383561643836, 'train': 0.7477638640429338}
{'validation': 0.8571428571428571, 'id_test': 0.6830985915492958, 'ood_test': 0.639269406392694, 'ood_validation': 0.6301369863013698, 'train': 0.8211091234347049}
{'validation': 0.8571428571428571, 'id_test': 0.7112676056338029, 'ood_test': 0.680365296803653, 'ood_validation': 0.6712328767123288, 'train': 0.8336314847942755}
{'validation': 0.8571428571428571, 'id_test': 0.7394366197183099, 'ood_test': 0.7214611872146118, 'ood_validation': 0.6301369863013698, 'train': 0.8282647584973166}
{'validation': 0.8571428571428571, 'id_test': 0.6056338028169014, 'ood_test': 0.5114155251141552, 'ood_validation': 0.5616438356164384, 'train': 0.7066189624329159}
{'validation': 0.8571428571428571, 'id_test': 0.5845070422535211, 'ood_test': 0.5251141552511416, 'ood_validation': 0.547945205479452, 'train': 0.6779964221824687}
{'validation': 0.8571428571428571, 'id_test': 0.528169014084507, 'ood_test': 0.5159817351598174, 'ood_validation': 0.547945205479452, 'train': 0.6440071556350626}
{'validation': 0.8571428571428571, 'id_test': 0.5492957746478874, 'ood_test': 0.5205479452054794, 'ood_validation': 0.547945205479452, 'train': 0.627906976744186}
Model: dann
{'validation': 0.5, 'id_test': 0.42142857142857143, 'ood_test': 0.34782608695652173, 'ood_validation': 0.36363636363636365, '0': 0.34513274336283184, '1': 0.3490566037735849, '2': 0.5636363636363636, '4': 0.6238532110091743, '6': 0.6238532110091743}
{'validation': 0.5, 'id_test': 0.5857142857142857, 'ood_test': 0.32608695652173914, 'ood_validation': 0.36363636363636365, '0': 0.6548672566371682, '1': 0.6509433962264151, '2': 0.43636363636363634, '4': 0.4036697247706422, '6': 0.3761467889908257}
{'validation': 0.5, 'id_test': 0.5857142857142857, 'ood_test': 0.30869565217391304, 'ood_validation': 0.35064935064935066, '0': 0.6548672566371682, '1': 0.6509433962264151, '2': 0.4727272727272727, '4': 0.6513761467889908, '6': 0.5963302752293578}
{'validation': 0.3333333333333333, 'id_test': 0.5857142857142857, 'ood_test': 0.3130434782608696, 'ood_validation': 0.35064935064935066, '0': 0.7876106194690266, '1': 0.6792452830188679, '2': 0.7454545454545455, '4': 0.6238532110091743, '6': 0.6238532110091743}
{'validation': 0.5, 'id_test': 0.5857142857142857, 'ood_test': 0.3217391304347826, 'ood_validation': 0.36363636363636365, '0': 0.6460176991150443, '1': 0.7358490566037735, '2': 0.5909090909090909, '4': 0.6238532110091743, '6': 0.6238532110091743}
{'validation': 0.5, 'id_test': 0.5928571428571429, 'ood_test': 0.3391304347826087, 'ood_validation': 0.37662337662337664, '0': 0.6460176991150443, '1': 0.7169811320754716, '2': 0.5636363636363636, '4': 0.6238532110091743, '6': 0.6238532110091743}
{'validation': 0.3333333333333333, 'id_test': 0.5928571428571429, 'ood_test': 0.391304347826087, 'ood_validation': 0.4155844155844156, '0': 0.8053097345132744, '1': 0.7264150943396226, '2': 0.8090909090909091, '4': 0.6238532110091743, '6': 0.6238532110091743}
{'validation': 0.5, 'id_test': 0.75, 'ood_test': 0.39565217391304347, 'ood_validation': 0.45454545454545453, '0': 0.7610619469026548, '1': 0.8490566037735849, '2': 0.7818181818181819, '4': 0.7431192660550459, '6': 0.6788990825688074}
{'validation': 0.6666666666666666, 'id_test': 0.7714285714285715, 'ood_test': 0.39565217391304347, 'ood_validation': 0.45454545454545453, '0': 0.8141592920353983, '1': 0.9056603773584906, '2': 0.8090909090909091, '4': 0.7339449541284404, '6': 0.7155963302752294}
{'validation': 0.5, 'id_test': 0.5428571428571428, 'ood_test': 0.32608695652173914, 'ood_validation': 0.35064935064935066, '0': 0.6991150442477876, '1': 0.6698113207547169, '2': 0.7727272727272727, '4': 0.6513761467889908, '6': 0.6238532110091743}
Model: deepcoral
{'validation': 0.7142857142857143, 'id_test': 0.5277777777777778, 'ood_test': 0.4858490566037736, 'ood_validation': 0.49295774647887325, '0': 0.5304347826086957, '1': 0.5700934579439252, '2': 0.5847457627118644, '4': 0.4444444444444444, '6': 0.46788990825688076}
{'validation': 0.7142857142857143, 'id_test': 0.5625, 'ood_test': 0.37264150943396224, 'ood_validation': 0.352112676056338, '0': 0.5304347826086957, '1': 0.5700934579439252, '2': 0.5847457627118644, '4': 0.6068376068376068, '6': 0.5596330275229358}
{'validation': 0.5714285714285714, 'id_test': 0.6458333333333334, 'ood_test': 0.36792452830188677, 'ood_validation': 0.30985915492957744, '0': 0.6521739130434783, '1': 0.7570093457943925, '2': 0.7033898305084746, '4': 0.5811965811965812, '6': 0.5321100917431193}
{'validation': 0.5714285714285714, 'id_test': 0.6944444444444444, 'ood_test': 0.41509433962264153, 'ood_validation': 0.36619718309859156, '0': 0.7652173913043478, '1': 0.8037383177570093, '2': 0.7457627118644068, '4': 0.5811965811965812, '6': 0.5321100917431193}
{'validation': 0.7142857142857143, 'id_test': 0.7986111111111112, 'ood_test': 0.6132075471698113, 'ood_validation': 0.5633802816901409, '0': 0.808695652173913, '1': 0.8317757009345794, '2': 0.7796610169491526, '4': 0.9401709401709402, '6': 0.8899082568807339}
{'validation': 0.8571428571428571, 'id_test': 0.7083333333333334, 'ood_test': 0.46226415094339623, 'ood_validation': 0.4084507042253521, '0': 0.7565217391304347, '1': 0.8037383177570093, '2': 0.788135593220339, '4': 0.6837606837606838, '6': 0.6055045871559633}
{'validation': 0.2857142857142857, 'id_test': 0.4652777777777778, 'ood_test': 0.5754716981132075, 'ood_validation': 0.5492957746478874, '0': 0.46956521739130436, '1': 0.45794392523364486, '2': 0.4406779661016949, '4': 0.4444444444444444, '6': 0.46788990825688076}
{'validation': 0.2857142857142857, 'id_test': 0.4722222222222222, 'ood_test': 0.39622641509433965, 'ood_validation': 0.30985915492957744, '0': 0.46956521739130436, '1': 0.42990654205607476, '2': 0.4152542372881356, '4': 0.5811965811965812, '6': 0.5321100917431193}
{'validation': 0.42857142857142855, 'id_test': 0.5555555555555556, 'ood_test': 0.7452830188679245, 'ood_validation': 0.676056338028169, '0': 0.46956521739130436, '1': 0.42990654205607476, '2': 0.4152542372881356, '4': 0.9487179487179487, '6': 0.8990825688073395}
{'validation': 0.42857142857142855, 'id_test': 0.5555555555555556, 'ood_test': 0.6792452830188679, 'ood_validation': 0.6901408450704225, '0': 0.46956521739130436, '1': 0.42990654205607476, '2': 0.4152542372881356, '4': 0.8376068376068376, '6': 0.7706422018348624}
Model: expgrad
{'ood_test': 0.5862068965517241}
Model: ft_transformer
{'validation': 0.8571428571428571, 'id_test': 0.49295774647887325, 'ood_test': 0.3031674208144796, 'ood_validation': 0.32432432432432434, 'train': 0.5989208633093526}
{'validation': 0.8571428571428571, 'id_test': 0.49295774647887325, 'ood_test': 0.3031674208144796, 'ood_validation': 0.32432432432432434, 'train': 0.5989208633093526}
{'validation': 0.8571428571428571, 'id_test': 0.49295774647887325, 'ood_test': 0.3031674208144796, 'ood_validation': 0.32432432432432434, 'train': 0.5989208633093526}
{'validation': 0.8571428571428571, 'id_test': 0.49295774647887325, 'ood_test': 0.3031674208144796, 'ood_validation': 0.32432432432432434, 'train': 0.5989208633093526}
{'validation': 0.8571428571428571, 'id_test': 0.49295774647887325, 'ood_test': 0.3031674208144796, 'ood_validation': 0.32432432432432434, 'train': 0.5989208633093526}
{'validation': 0.8571428571428571, 'id_test': 0.49295774647887325, 'ood_test': 0.3031674208144796, 'ood_validation': 0.32432432432432434, 'train': 0.5989208633093526}
{'validation': 0.8571428571428571, 'id_test': 0.49295774647887325, 'ood_test': 0.3031674208144796, 'ood_validation': 0.32432432432432434, 'train': 0.5989208633093526}
{'validation': 0.8571428571428571, 'id_test': 0.49295774647887325, 'ood_test': 0.3031674208144796, 'ood_validation': 0.32432432432432434, 'train': 0.5989208633093526}
{'validation': 0.8571428571428571, 'id_test': 0.49295774647887325, 'ood_test': 0.3031674208144796, 'ood_validation': 0.32432432432432434, 'train': 0.5989208633093526}
{'validation': 0.8571428571428571, 'id_test': 0.49295774647887325, 'ood_test': 0.3031674208144796, 'ood_validation': 0.32432432432432434, 'train': 0.5989208633093526}
Model: group_dro
{'validation': 0.42857142857142855, 'id_test': 0.696551724137931, 'ood_test': 0.5980861244019139, 'ood_validation': 0.7285714285714285, 'train': 0.773286467486819}
{'validation': 0.8571428571428571, 'id_test': 0.7517241379310344, 'ood_test': 0.7177033492822966, 'ood_validation': 0.7428571428571429, 'train': 0.843585237258348}
{'validation': 0.8571428571428571, 'id_test': 0.8, 'ood_test': 0.6794258373205742, 'ood_validation': 0.6857142857142857, 'train': 0.8084358523725835}
{'validation': 0.8571428571428571, 'id_test': 0.7862068965517242, 'ood_test': 0.7511961722488039, 'ood_validation': 0.8, 'train': 0.8681898066783831}
{'validation': 1.0, 'id_test': 0.7793103448275862, 'ood_test': 0.7607655502392344, 'ood_validation': 0.8142857142857143, 'train': 0.9033391915641477}
{'validation': 0.8571428571428571, 'id_test': 0.7724137931034483, 'ood_test': 0.7081339712918661, 'ood_validation': 0.7714285714285715, 'train': 0.8523725834797891}
{'validation': 1.0, 'id_test': 0.8068965517241379, 'ood_test': 0.7751196172248804, 'ood_validation': 0.8142857142857143, 'train': 0.9261862917398945}
{'validation': 0.8571428571428571, 'id_test': 0.8068965517241379, 'ood_test': 0.7751196172248804, 'ood_validation': 0.7714285714285715, 'train': 0.9033391915641477}
{'validation': 1.0, 'id_test': 0.8206896551724138, 'ood_test': 0.7464114832535885, 'ood_validation': 0.7285714285714285, 'train': 0.9314586994727593}
{'validation': 1.0, 'id_test': 0.8068965517241379, 'ood_test': 0.7320574162679426, 'ood_validation': 0.7857142857142857, 'train': 0.8910369068541301}
Model: irm
{'validation': 0.8571428571428571, 'id_test': 0.5845070422535211, 'ood_test': 0.5681818181818182, 'ood_validation': 0.5945945945945946, '0': 0.9523809523809523, '1': 0.8869565217391304, '2': 0.25892857142857145, '4': 0.21904761904761905, '6': 0.8666666666666667}
{'validation': 0.8571428571428571, 'id_test': 0.5563380281690141, 'ood_test': 0.37272727272727274, 'ood_validation': 0.40540540540540543, '0': 0.9619047619047619, '1': 0.8695652173913043, '2': 0.23214285714285715, '4': 0.13333333333333333, '6': 0.8416666666666667}
{'validation': 0.8571428571428571, 'id_test': 0.6056338028169014, 'ood_test': 0.5227272727272727, 'ood_validation': 0.5540540540540541, '0': 0.9333333333333333, '1': 0.9565217391304348, '2': 0.26785714285714285, '4': 0.14285714285714285, '6': 0.9416666666666667}
{'validation': 0.42857142857142855, 'id_test': 0.5352112676056338, 'ood_test': 0.4727272727272727, 'ood_validation': 0.4864864864864865, '0': 0.9619047619047619, '1': 0.9391304347826087, '2': 0.25892857142857145, '4': 0.8952380952380953, '6': 0.19166666666666668}
{'validation': 0.5714285714285714, 'id_test': 0.6267605633802817, 'ood_test': 0.4909090909090909, 'ood_validation': 0.6216216216216216, '0': 0.819047619047619, '1': 0.9043478260869565, '2': 0.4732142857142857, '4': 0.13333333333333333, '6': 0.8583333333333333}
{'validation': 0.8571428571428571, 'id_test': 0.528169014084507, 'ood_test': 0.37727272727272726, 'ood_validation': 0.3918918918918919, '0': 0.9333333333333333, '1': 0.8521739130434782, '2': 0.19642857142857142, '4': 0.13333333333333333, '6': 0.8416666666666667}
{'validation': 0.8571428571428571, 'id_test': 0.5352112676056338, 'ood_test': 0.44545454545454544, 'ood_validation': 0.44594594594594594, '0': 0.9523809523809523, '1': 0.9217391304347826, '2': 0.24107142857142858, '4': 0.13333333333333333, '6': 0.8416666666666667}
{'validation': 0.7142857142857143, 'id_test': 0.5845070422535211, 'ood_test': 0.5045454545454545, 'ood_validation': 0.5540540540540541, '0': 0.9238095238095239, '1': 0.9565217391304348, '2': 0.24107142857142858, '4': 0.13333333333333333, '6': 0.8833333333333333}
{'validation': 0.8571428571428571, 'id_test': 0.528169014084507, 'ood_test': 0.45, 'ood_validation': 0.527027027027027, '0': 0.9714285714285714, '1': 0.8347826086956521, '2': 0.17857142857142858, '4': 0.13333333333333333, '6': 0.8416666666666667}
{'validation': 0.8571428571428571, 'id_test': 0.5633802816901409, 'ood_test': 0.4772727272727273, 'ood_validation': 0.527027027027027, '0': 0.8952380952380953, '1': 0.9565217391304348, '2': 0.20535714285714285, '4': 0.13333333333333333, '6': 0.8666666666666667}
Model: label_group_dro
{'validation': 0.8571428571428571, 'id_test': 0.6758620689655173, 'ood_test': 0.6618357487922706, 'ood_validation': 0.7142857142857143, 'train': 0.7950963222416813}
{'validation': 0.8571428571428571, 'id_test': 0.696551724137931, 'ood_test': 0.6473429951690821, 'ood_validation': 0.6571428571428571, 'train': 0.8003502626970228}
{'validation': 0.7142857142857143, 'id_test': 0.6896551724137931, 'ood_test': 0.6183574879227053, 'ood_validation': 0.6142857142857143, 'train': 0.6952714535901926}
{'validation': 1.0, 'id_test': 0.6896551724137931, 'ood_test': 0.642512077294686, 'ood_validation': 0.7, 'train': 0.8021015761821366}
{'validation': 0.5714285714285714, 'id_test': 0.6275862068965518, 'ood_test': 0.714975845410628, 'ood_validation': 0.7714285714285715, 'train': 0.7162872154115587}
{'validation': 0.8571428571428571, 'id_test': 0.6551724137931034, 'ood_test': 0.6908212560386473, 'ood_validation': 0.7285714285714285, 'train': 0.8318739054290718}
{'validation': 1.0, 'id_test': 0.6758620689655173, 'ood_test': 0.6763285024154589, 'ood_validation': 0.7428571428571429, 'train': 0.8598949211908932}
{'validation': 0.8571428571428571, 'id_test': 0.696551724137931, 'ood_test': 0.7198067632850241, 'ood_validation': 0.7571428571428571, 'train': 0.8686514886164624}
{'validation': 0.5714285714285714, 'id_test': 0.5862068965517241, 'ood_test': 0.7198067632850241, 'ood_validation': 0.6857142857142857, 'train': 0.7653239929947461}
{'validation': 0.5714285714285714, 'id_test': 0.6068965517241379, 'ood_test': 0.7101449275362319, 'ood_validation': 0.7714285714285715, 'train': 0.8283712784588442}
Model: lightgbm
{'ood_test': 0.8405797101449275}
Model: mixup
{'validation': 0.2857142857142857, 'id_test': 0.6736111111111112, 'ood_test': 0.6431924882629108, 'ood_validation': 0.5694444444444444, '0': 0.8785046728971962, '1': 0.7227722772277227, '2': 0.4369747899159664, '4': 0.5833333333333334, '6': 0.7588652482269503}
{'validation': 0.2857142857142857, 'id_test': 0.5486111111111112, 'ood_test': 0.39906103286384975, 'ood_validation': 0.3194444444444444, '0': 0.8037383177570093, '1': 0.6534653465346535, '2': 0.31932773109243695, '4': 0.34375, '6': 0.723404255319149}
{'validation': 0.14285714285714285, 'id_test': 0.5625, 'ood_test': 0.41784037558685444, 'ood_validation': 0.3472222222222222, '0': 0.8037383177570093, '1': 0.6534653465346535, '2': 0.31932773109243695, '4': 0.7708333333333334, '6': 0.3971631205673759}
{'validation': 0.42857142857142855, 'id_test': 0.6458333333333334, 'ood_test': 0.5023474178403756, 'ood_validation': 0.4305555555555556, '0': 0.8785046728971962, '1': 0.9603960396039604, '2': 0.680672268907563, '4': 0.6770833333333334, '6': 0.2907801418439716}
{'validation': 0.42857142857142855, 'id_test': 0.7708333333333334, 'ood_test': 0.6854460093896714, 'ood_validation': 0.5277777777777778, '0': 0.8878504672897196, '1': 0.9504950495049505, '2': 0.7563025210084033, '4': 0.8125, '6': 0.8936170212765957}
{'validation': 0.14285714285714285, 'id_test': 0.5763888888888888, 'ood_test': 0.4647887323943662, 'ood_validation': 0.4305555555555556, '0': 0.8037383177570093, '1': 0.6534653465346535, '2': 0.31932773109243695, '4': 0.875, '6': 0.7730496453900709}
{'validation': 0.14285714285714285, 'id_test': 0.6666666666666666, 'ood_test': 0.5727699530516432, 'ood_validation': 0.4444444444444444, '0': 0.8037383177570093, '1': 0.6534653465346535, '2': 0.31932773109243695, '4': 0.8125, '6': 0.9078014184397163}
{'validation': 0.14285714285714285, 'id_test': 0.5763888888888888, 'ood_test': 0.539906103286385, 'ood_validation': 0.4583333333333333, '0': 0.8317757009345794, '1': 0.6831683168316832, '2': 0.4369747899159664, '4': 0.7291666666666666, '6': 0.41134751773049644}
{'validation': 0.7142857142857143, 'id_test': 0.7986111111111112, 'ood_test': 0.676056338028169, 'ood_validation': 0.5, '0': 0.7757009345794392, '1': 0.8217821782178217, '2': 0.9327731092436975, '4': 0.8125, '6': 0.900709219858156}
{'validation': 0.42857142857142855, 'id_test': 0.6597222222222222, 'ood_test': 0.5164319248826291, 'ood_validation': 0.4444444444444444, '0': 0.9252336448598131, '1': 0.9207920792079208, '2': 0.7478991596638656, '4': 0.7916666666666666, '6': 0.425531914893617}
Model: mlp
{'validation': 0.5714285714285714, 'id_test': 0.5342465753424658, 'ood_test': 0.5893719806763285, 'ood_validation': 0.5072463768115942, 'train': 0.5656742556917689}
{'validation': 0.5714285714285714, 'id_test': 0.6301369863013698, 'ood_test': 0.7198067632850241, 'ood_validation': 0.6666666666666666, 'train': 0.6830122591943958}
{'validation': 0.7142857142857143, 'id_test': 0.678082191780822, 'ood_test': 0.714975845410628, 'ood_validation': 0.782608695652174, 'train': 0.7828371278458844}
{'validation': 0.8571428571428571, 'id_test': 0.7191780821917808, 'ood_test': 0.714975845410628, 'ood_validation': 0.7971014492753623, 'train': 0.7845884413309983}
{'validation': 0.7142857142857143, 'id_test': 0.7397260273972602, 'ood_test': 0.6859903381642513, 'ood_validation': 0.6376811594202898, 'train': 0.8108581436077058}
{'validation': 0.7142857142857143, 'id_test': 0.7465753424657534, 'ood_test': 0.6763285024154589, 'ood_validation': 0.6811594202898551, 'train': 0.8073555166374781}
{'validation': 0.7142857142857143, 'id_test': 0.726027397260274, 'ood_test': 0.7294685990338164, 'ood_validation': 0.7391304347826086, 'train': 0.7758318739054291}
{'validation': 0.7142857142857143, 'id_test': 0.684931506849315, 'ood_test': 0.5748792270531401, 'ood_validation': 0.5652173913043478, 'train': 0.7950963222416813}
{'validation': 0.8571428571428571, 'id_test': 0.7465753424657534, 'ood_test': 0.7294685990338164, 'ood_validation': 0.8115942028985508, 'train': 0.8371278458844134}
{'validation': 1.0, 'id_test': 0.7191780821917808, 'ood_test': 0.6376811594202898, 'ood_validation': 0.6956521739130435, 'train': 0.8283712784588442}
Model: mmd
{'validation': 0.7142857142857143, 'id_test': 0.589041095890411, 'ood_test': 0.37745098039215685, 'ood_validation': 0.2463768115942029, '0': 0.7967479674796748, '1': 0.8175182481751825, '2': 0.3925233644859813, '4': 0.18181818181818182, '6': 0.7962962962962963}
{'validation': 0.7142857142857143, 'id_test': 0.636986301369863, 'ood_test': 0.6127450980392157, 'ood_validation': 0.6086956521739131, '0': 0.44715447154471544, '1': 0.4744525547445255, '2': 0.9626168224299065, '4': 0.8686868686868687, '6': 0.46296296296296297}
{'validation': 0.8571428571428571, 'id_test': 0.6506849315068494, 'ood_test': 0.3872549019607843, 'ood_validation': 0.2463768115942029, '0': 0.926829268292683, '1': 0.8540145985401459, '2': 0.5887850467289719, '4': 0.18181818181818182, '6': 0.7962962962962963}
{'validation': 0.8571428571428571, 'id_test': 0.7054794520547946, 'ood_test': 0.5, 'ood_validation': 0.34782608695652173, '0': 0.926829268292683, '1': 0.9051094890510949, '2': 0.5887850467289719, '4': 0.21212121212121213, '6': 0.9166666666666666}
{'validation': 1.0, 'id_test': 0.7123287671232876, 'ood_test': 0.5343137254901961, 'ood_validation': 0.4927536231884058, '0': 0.8617886178861789, '1': 0.9343065693430657, '2': 0.8037383177570093, '4': 0.8484848484848485, '6': 0.5833333333333334}
{'validation': 0.7142857142857143, 'id_test': 0.6575342465753424, 'ood_test': 0.43137254901960786, 'ood_validation': 0.463768115942029, '0': 0.9105691056910569, '1': 0.8248175182481752, '2': 0.42990654205607476, '4': 0.9494949494949495, '6': 0.39814814814814814}
{'validation': 0.5714285714285714, 'id_test': 0.5958904109589042, 'ood_test': 0.4950980392156863, 'ood_validation': 0.30434782608695654, '0': 0.8130081300813008, '1': 0.7226277372262774, '2': 0.2803738317757009, '4': 0.3434343434343434, '6': 0.9629629629629629}
{'validation': 0.5714285714285714, 'id_test': 0.5753424657534246, 'ood_test': 0.3627450980392157, 'ood_validation': 0.2463768115942029, '0': 0.7804878048780488, '1': 0.708029197080292, '2': 0.22429906542056074, '4': 0.18181818181818182, '6': 0.7962962962962963}
{'validation': 0.5714285714285714, 'id_test': 0.4794520547945205, 'ood_test': 0.43137254901960786, 'ood_validation': 0.3188405797101449, '0': 0.2926829268292683, '1': 0.3722627737226277, '2': 0.8317757009345794, '4': 0.18181818181818182, '6': 0.7962962962962963}
{'validation': 0.7142857142857143, 'id_test': 0.6232876712328768, 'ood_test': 0.38235294117647056, 'ood_validation': 0.2463768115942029, '0': 0.943089430894309, '1': 0.8905109489051095, '2': 0.48598130841121495, '4': 0.18181818181818182, '6': 0.7962962962962963}
Model: node
{'validation': 0.5714285714285714, 'id_test': 0.6756756756756757, 'ood_test': 0.4797979797979798, 'ood_validation': 0.5074626865671642, 'train': 0.6655172413793103}
{'validation': 0.5714285714285714, 'id_test': 0.5608108108108109, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5970149253731343, 'train': 0.6275862068965518}
{'validation': 0.5714285714285714, 'id_test': 0.6621621621621622, 'ood_test': 0.8383838383838383, 'ood_validation': 0.7611940298507462, 'train': 0.6982758620689655}
{'validation': 0.7142857142857143, 'id_test': 0.7702702702702703, 'ood_test': 0.8131313131313131, 'ood_validation': 0.835820895522388, 'train': 0.7793103448275862}
{'validation': 0.7142857142857143, 'id_test': 0.6891891891891891, 'ood_test': 0.8333333333333334, 'ood_validation': 0.8507462686567164, 'train': 0.743103448275862}
{'validation': 0.8571428571428571, 'id_test': 0.7297297297297297, 'ood_test': 0.8333333333333334, 'ood_validation': 0.8208955223880597, 'train': 0.7793103448275862}
{'validation': 0.5714285714285714, 'id_test': 0.7702702702702703, 'ood_test': 0.8232323232323232, 'ood_validation': 0.835820895522388, 'train': 0.8293103448275863}
{'validation': 0.7142857142857143, 'id_test': 0.7162162162162162, 'ood_test': 0.8282828282828283, 'ood_validation': 0.8059701492537313, 'train': 0.7810344827586206}
{'validation': 0.7142857142857143, 'id_test': 0.7027027027027027, 'ood_test': 0.8181818181818182, 'ood_validation': 0.835820895522388, 'train': 0.8482758620689655}
{'validation': 0.7142857142857143, 'id_test': 0.7905405405405406, 'ood_test': 0.7828282828282829, 'ood_validation': 0.7910447761194029, 'train': 0.8517241379310345}
Model: resnet
{'validation': 0.2857142857142857, 'id_test': 0.7202797202797203, 'ood_test': 0.6898148148148148, 'ood_validation': 0.7777777777777778, 'train': 0.7259786476868327}
{'validation': 0.5714285714285714, 'id_test': 0.7482517482517482, 'ood_test': 0.8888888888888888, 'ood_validation': 0.875, 'train': 0.8274021352313167}
{'validation': 0.42857142857142855, 'id_test': 0.6153846153846154, 'ood_test': 0.6527777777777778, 'ood_validation': 0.6527777777777778, 'train': 0.7330960854092526}
{'validation': 0.5714285714285714, 'id_test': 0.6853146853146853, 'ood_test': 0.7777777777777778, 'ood_validation': 0.7638888888888888, 'train': 0.7206405693950177}
{'validation': 0.42857142857142855, 'id_test': 0.7412587412587412, 'ood_test': 0.8379629629629629, 'ood_validation': 0.8194444444444444, 'train': 0.7669039145907474}
{'validation': 0.7142857142857143, 'id_test': 0.7902097902097902, 'ood_test': 0.8101851851851852, 'ood_validation': 0.8333333333333334, 'train': 0.791814946619217}
{'validation': 0.2857142857142857, 'id_test': 0.7482517482517482, 'ood_test': 0.8518518518518519, 'ood_validation': 0.875, 'train': 0.7758007117437722}
{'validation': 0.2857142857142857, 'id_test': 0.7202797202797203, 'ood_test': 0.8240740740740741, 'ood_validation': 0.8611111111111112, 'train': 0.8451957295373665}
{'validation': 0.42857142857142855, 'id_test': 0.6713286713286714, 'ood_test': 0.6805555555555556, 'ood_validation': 0.7083333333333334, 'train': 0.7508896797153025}
{'validation': 0.5714285714285714, 'id_test': 0.7552447552447552, 'ood_test': 0.8055555555555556, 'ood_validation': 0.7916666666666666, 'train': 0.7437722419928826}
Model: saint
{'validation': 0.2857142857142857, 'id_test': 0.5172413793103449, 'ood_test': 0.5047619047619047, 'ood_validation': 0.5428571428571428, 'train': 0.5140845070422535}
{'validation': 0.2857142857142857, 'id_test': 0.5241379310344828, 'ood_test': 0.5047619047619047, 'ood_validation': 0.5714285714285714, 'train': 0.4859154929577465}
{'validation': 0.2857142857142857, 'id_test': 0.5793103448275863, 'ood_test': 0.5047619047619047, 'ood_validation': 0.44285714285714284, 'train': 0.6232394366197183}
{'validation': 0.7142857142857143, 'id_test': 0.5517241379310345, 'ood_test': 0.49523809523809526, 'ood_validation': 0.42857142857142855, 'train': 0.6038732394366197}
{'validation': 0.7142857142857143, 'id_test': 0.5724137931034483, 'ood_test': 0.5047619047619047, 'ood_validation': 0.5285714285714286, 'train': 0.647887323943662}
{'validation': 1.0, 'id_test': 0.5793103448275863, 'ood_test': 0.5095238095238095, 'ood_validation': 0.5142857142857142, 'train': 0.6267605633802817}
{'validation': 0.42857142857142855, 'id_test': 0.5517241379310345, 'ood_test': 0.49523809523809526, 'ood_validation': 0.44285714285714284, 'train': 0.6461267605633803}
{'validation': 0.7142857142857143, 'id_test': 0.496551724137931, 'ood_test': 0.49523809523809526, 'ood_validation': 0.42857142857142855, 'train': 0.5757042253521126}
{'validation': 0.5714285714285714, 'id_test': 0.6344827586206897, 'ood_test': 0.5285714285714286, 'ood_validation': 0.6285714285714286, 'train': 0.6549295774647887}
{'validation': 0.5714285714285714, 'id_test': 0.5103448275862069, 'ood_test': 0.5, 'ood_validation': 0.42857142857142855, 'train': 0.5915492957746479}
Model: tabtransformer
{'validation': 0.5714285714285714, 'id_test': 0.684931506849315, 'ood_test': 0.4830917874396135, 'ood_validation': 0.6521739130434783, 'train': 0.7373029772329247}
{'validation': 0.5714285714285714, 'id_test': 0.6506849315068494, 'ood_test': 0.41545893719806765, 'ood_validation': 0.6376811594202898, 'train': 0.7425569176882661}
{'validation': 0.5714285714285714, 'id_test': 0.678082191780822, 'ood_test': 0.6183574879227053, 'ood_validation': 0.7391304347826086, 'train': 0.7810858143607706}
{'validation': 0.5714285714285714, 'id_test': 0.773972602739726, 'ood_test': 0.6666666666666666, 'ood_validation': 0.7101449275362319, 'train': 0.7933450087565674}
{'validation': 0.7142857142857143, 'id_test': 0.684931506849315, 'ood_test': 0.5942028985507246, 'ood_validation': 0.6956521739130435, 'train': 0.8126094570928196}
{'validation': 0.5714285714285714, 'id_test': 0.6712328767123288, 'ood_test': 0.5893719806763285, 'ood_validation': 0.6666666666666666, 'train': 0.8056042031523643}
{'validation': 0.8571428571428571, 'id_test': 0.7123287671232876, 'ood_test': 0.6908212560386473, 'ood_validation': 0.7536231884057971, 'train': 0.8353765323992994}
{'validation': 0.7142857142857143, 'id_test': 0.7397260273972602, 'ood_test': 0.6666666666666666, 'ood_validation': 0.6666666666666666, 'train': 0.8371278458844134}
{'validation': 0.7142857142857143, 'id_test': 0.7671232876712328, 'ood_test': 0.6570048309178744, 'ood_validation': 0.6956521739130435, 'train': 0.8476357267950964}
{'validation': 0.5714285714285714, 'id_test': 0.7191780821917808, 'ood_test': 0.6376811594202898, 'ood_validation': 0.6956521739130435, 'train': 0.8143607705779334}
Model: vrex
{'validation': 0.42857142857142855, 'id_test': 0.4652777777777778, 'ood_test': 0.7122641509433962, 'ood_validation': 0.5915492957746479, '0': 0.3944954128440367, '1': 0.5137614678899083, '2': 0.680672268907563, '4': 0.6017699115044248, '6': 0.23275862068965517}
{'validation': 0.42857142857142855, 'id_test': 0.6319444444444444, 'ood_test': 0.5471698113207547, 'ood_validation': 0.647887323943662, '0': 0.8990825688073395, '1': 0.7981651376146789, '2': 0.7142857142857143, '4': 0.39823008849557523, '6': 0.7758620689655172}
{'validation': 0.7142857142857143, 'id_test': 0.5763888888888888, 'ood_test': 0.419811320754717, 'ood_validation': 0.30985915492957744, '0': 0.7247706422018348, '1': 0.6055045871559633, '2': 0.42016806722689076, '4': 0.6902654867256637, '6': 0.3448275862068966}
{'validation': 0.7142857142857143, 'id_test': 0.8194444444444444, 'ood_test': 0.5377358490566038, 'ood_validation': 0.6056338028169014, '0': 0.9541284403669725, '1': 0.9174311926605505, '2': 0.8067226890756303, '4': 0.6991150442477876, '6': 0.9310344827586207}
{'validation': 0.5714285714285714, 'id_test': 0.6388888888888888, 'ood_test': 0.4669811320754717, 'ood_validation': 0.6197183098591549, '0': 0.7247706422018348, '1': 0.6513761467889908, '2': 0.48739495798319327, '4': 0.6371681415929203, '6': 0.9051724137931034}
{'validation': 0.7142857142857143, 'id_test': 0.8541666666666666, 'ood_test': 0.660377358490566, 'ood_validation': 0.676056338028169, '0': 0.944954128440367, '1': 0.926605504587156, '2': 0.8151260504201681, '4': 0.7876106194690266, '6': 0.9655172413793104}
{'validation': 0.42857142857142855, 'id_test': 0.4444444444444444, 'ood_test': 0.6179245283018868, 'ood_validation': 0.5211267605633803, '0': 0.27522935779816515, '1': 0.3944954128440367, '2': 0.5882352941176471, '4': 0.6017699115044248, '6': 0.23275862068965517}
{'validation': 0.5714285714285714, 'id_test': 0.5763888888888888, 'ood_test': 0.37264150943396224, 'ood_validation': 0.4788732394366197, '0': 0.7247706422018348, '1': 0.6055045871559633, '2': 0.4117647058823529, '4': 0.45132743362831856, '6': 0.7844827586206896}
{'validation': 0.5714285714285714, 'id_test': 0.7222222222222222, 'ood_test': 0.5660377358490566, 'ood_validation': 0.6197183098591549, '0': 0.7247706422018348, '1': 0.6055045871559633, '2': 0.4117647058823529, '4': 0.8849557522123894, '6': 0.9568965517241379}
{'validation': 0.5714285714285714, 'id_test': 0.7222222222222222, 'ood_test': 0.5801886792452831, 'ood_validation': 0.5915492957746479, '0': 0.7247706422018348, '1': 0.6055045871559633, '2': 0.4117647058823529, '4': 0.8230088495575221, '6': 0.9482758620689655}
Model: xgb
{'ood_test': 0.6113744075829384}
Model: ib_erm
{'validation': 0.6666666666666666, 'id_test': 0.5428571428571428, 'ood_test': 0.4298245614035088, 'ood_validation': 0.6233766233766234, '0': 0.8907563025210085, '1': 0.7980769230769231, '2': 0.26666666666666666, '4': 0.22321428571428573, '6': 0.8623853211009175}
{'validation': 0.3333333333333333, 'id_test': 0.5571428571428572, 'ood_test': 0.6359649122807017, 'ood_validation': 0.4805194805194805, '0': 0.2773109243697479, '1': 0.33653846153846156, '2': 0.9333333333333333, '4': 0.7946428571428571, '6': 0.1559633027522936}
{'validation': 0.6666666666666666, 'id_test': 0.5357142857142857, 'ood_test': 0.5307017543859649, 'ood_validation': 0.6233766233766234, '0': 0.8319327731092437, '1': 0.7692307692307693, '2': 0.2571428571428571, '4': 0.24107142857142858, '6': 0.8990825688073395}
{'validation': 0.5, 'id_test': 0.6642857142857143, 'ood_test': 0.6403508771929824, 'ood_validation': 0.7272727272727273, '0': 0.8907563025210085, '1': 0.9519230769230769, '2': 0.5142857142857142, '4': 0.23214285714285715, '6': 0.926605504587156}
{'validation': 0.3333333333333333, 'id_test': 0.6071428571428571, 'ood_test': 0.5657894736842105, 'ood_validation': 0.44155844155844154, '0': 0.4369747899159664, '1': 0.5961538461538461, '2': 0.8666666666666667, '4': 0.9285714285714286, '6': 0.1559633027522936}
{'validation': 0.5, 'id_test': 0.6071428571428571, 'ood_test': 0.5350877192982456, 'ood_validation': 0.6493506493506493, '0': 0.8991596638655462, '1': 0.9615384615384616, '2': 0.49523809523809526, '4': 0.20535714285714285, '6': 0.8440366972477065}
{'validation': 0.5, 'id_test': 0.5785714285714286, 'ood_test': 0.6535087719298246, 'ood_validation': 0.6493506493506493, '0': 0.9327731092436975, '1': 0.9519230769230769, '2': 0.45714285714285713, '4': 0.7142857142857143, '6': 0.6146788990825688}
{'validation': 0.5, 'id_test': 0.6071428571428571, 'ood_test': 0.5921052631578947, 'ood_validation': 0.45454545454545453, '0': 0.680672268907563, '1': 0.8557692307692307, '2': 0.6857142857142857, '4': 0.8214285714285714, '6': 0.1559633027522936}
{'validation': 0.5, 'id_test': 0.6214285714285714, 'ood_test': 0.5175438596491229, 'ood_validation': 0.6233766233766234, '0': 0.9327731092436975, '1': 0.9615384615384616, '2': 0.6, '4': 0.20535714285714285, '6': 0.8440366972477065}
{'validation': 0.3333333333333333, 'id_test': 0.6285714285714286, 'ood_test': 0.5789473684210527, 'ood_validation': 0.45454545454545453, '0': 0.8487394957983193, '1': 0.9423076923076923, '2': 0.6476190476190476, '4': 0.7946428571428571, '6': 0.1559633027522936}
Model: ib_irm
{'validation': 0.7142857142857143, 'id_test': 0.6428571428571429, 'ood_test': 0.504424778761062, 'ood_validation': 0.5131578947368421, '0': 0.6972477064220184, '1': 0.7022900763358778, '2': 0.7692307692307693, '4': 0.6320754716981132, '6': 0.35964912280701755}
{'validation': 0.8571428571428571, 'id_test': 0.6142857142857143, 'ood_test': 0.6814159292035398, 'ood_validation': 0.618421052631579, '0': 0.6697247706422018, '1': 0.6870229007633588, '2': 0.7252747252747253, '4': 0.7358490566037735, '6': 0.8421052631578947}
{'validation': 0.7142857142857143, 'id_test': 0.7357142857142858, 'ood_test': 0.5088495575221239, 'ood_validation': 0.5, '0': 0.8623853211009175, '1': 0.8091603053435115, '2': 0.9120879120879121, '4': 0.6037735849056604, '6': 0.35964912280701755}
{'validation': 0.7142857142857143, 'id_test': 0.7285714285714285, 'ood_test': 0.47345132743362833, 'ood_validation': 0.47368421052631576, '0': 0.8899082568807339, '1': 0.8778625954198473, '2': 0.945054945054945, '4': 0.6132075471698113, '6': 0.41228070175438597}
{'validation': 0.5714285714285714, 'id_test': 0.5785714285714286, 'ood_test': 0.6238938053097345, 'ood_validation': 0.6447368421052632, '0': 0.5963302752293578, '1': 0.48091603053435117, '2': 0.4835164835164835, '4': 0.8113207547169812, '6': 0.8333333333333334}
{'validation': 0.5714285714285714, 'id_test': 0.6357142857142857, 'ood_test': 0.4646017699115044, 'ood_validation': 0.5263157894736842, '0': 0.6972477064220184, '1': 0.6030534351145038, '2': 0.6373626373626373, '4': 0.6509433962264151, '6': 0.47368421052631576}
{'validation': 1.0, 'id_test': 0.7428571428571429, 'ood_test': 0.6902654867256637, 'ood_validation': 0.6973684210526315, '0': 0.7247706422018348, '1': 0.6259541984732825, '2': 0.7252747252747253, '4': 0.8867924528301887, '6': 0.8947368421052632}
{'validation': 0.7142857142857143, 'id_test': 0.7357142857142858, 'ood_test': 0.6814159292035398, 'ood_validation': 0.7236842105263158, '0': 0.6697247706422018, '1': 0.6259541984732825, '2': 0.5934065934065934, '4': 0.8867924528301887, '6': 0.8508771929824561}
{'validation': 0.8571428571428571, 'id_test': 0.7071428571428572, 'ood_test': 0.668141592920354, 'ood_validation': 0.6710526315789473, '0': 0.7155963302752294, '1': 0.5267175572519084, '2': 0.6153846153846154, '4': 0.8679245283018868, '6': 0.8771929824561403}
{'validation': 1.0, 'id_test': 0.8928571428571429, 'ood_test': 0.6902654867256637, 'ood_validation': 0.6710526315789473, '0': 0.9908256880733946, '1': 0.9618320610687023, '2': 0.978021978021978, '4': 0.9433962264150944, '6': 0.9298245614035088}
Model: causirl_coral
{'validation': 0.6666666666666666, 'id_test': 0.6, 'ood_test': 0.3246753246753247, 'ood_validation': 0.4230769230769231, '0': 0.5384615384615384, '1': 0.5151515151515151, '2': 0.5666666666666667, '4': 0.5350877192982456, '6': 0.5277777777777778}
{'validation': 0.3333333333333333, 'id_test': 0.35714285714285715, 'ood_test': 0.6406926406926406, 'ood_validation': 0.6538461538461539, '0': 0.46153846153846156, '1': 0.48484848484848486, '2': 0.43333333333333335, '4': 0.43859649122807015, '6': 0.4722222222222222}
{'validation': 0.3333333333333333, 'id_test': 0.45, 'ood_test': 0.6363636363636364, 'ood_validation': 0.6666666666666666, '0': 0.5673076923076923, '1': 0.6565656565656566, '2': 0.5583333333333333, '4': 0.43859649122807015, '6': 0.4722222222222222}
{'validation': 0.8333333333333334, 'id_test': 0.8, 'ood_test': 0.7359307359307359, 'ood_validation': 0.782051282051282, '0': 0.8173076923076923, '1': 0.8787878787878788, '2': 0.7083333333333334, '4': 0.7807017543859649, '6': 0.8981481481481481}
{'validation': 0.8333333333333334, 'id_test': 0.7071428571428572, 'ood_test': 0.5021645021645021, 'ood_validation': 0.5384615384615384, '0': 0.8269230769230769, '1': 0.7777777777777778, '2': 0.7916666666666666, '4': 0.5614035087719298, '6': 0.5277777777777778}
{'validation': 0.3333333333333333, 'id_test': 0.6357142857142857, 'ood_test': 0.7316017316017316, 'ood_validation': 0.7692307692307693, '0': 0.6634615384615384, '1': 0.8080808080808081, '2': 0.75, '4': 0.7456140350877193, '6': 0.7222222222222222}
{'validation': 0.3333333333333333, 'id_test': 0.6357142857142857, 'ood_test': 0.7056277056277056, 'ood_validation': 0.7435897435897436, '0': 0.5769230769230769, '1': 0.7676767676767676, '2': 0.675, '4': 0.7456140350877193, '6': 0.7407407407407407}
{'validation': 0.6666666666666666, 'id_test': 0.6357142857142857, 'ood_test': 0.6233766233766234, 'ood_validation': 0.6282051282051282, '0': 0.9326923076923077, '1': 0.9595959595959596, '2': 0.95, '4': 0.43859649122807015, '6': 0.4722222222222222}
{'validation': 0.5, 'id_test': 0.5357142857142857, 'ood_test': 0.6883116883116883, 'ood_validation': 0.7051282051282052, '0': 0.46153846153846156, '1': 0.48484848484848486, '2': 0.43333333333333335, '4': 0.6842105263157895, '6': 0.6759259259259259}
{'validation': 0.5, 'id_test': 0.7571428571428571, 'ood_test': 0.7359307359307359, 'ood_validation': 0.7692307692307693, '0': 0.5865384615384616, '1': 0.7373737373737373, '2': 0.675, '4': 0.8859649122807017, '6': 0.8148148148148148}
Model: causirl_mmd
{'validation': 0.8571428571428571, 'id_test': 0.5517241379310345, 'ood_test': 0.6105769230769231, 'ood_validation': 0.7285714285714285, '0': 0.7747747747747747, '1': 0.6974789915966386, '2': 0.3902439024390244, '4': 0.9894736842105263, '6': 0.03278688524590164}
{'validation': 0.7142857142857143, 'id_test': 0.5517241379310345, 'ood_test': 0.5480769230769231, 'ood_validation': 0.6142857142857143, '0': 0.972972972972973, '1': 0.7226890756302521, '2': 0.032520325203252036, '4': 0.9894736842105263, '6': 0.03278688524590164}
{'validation': 0.2857142857142857, 'id_test': 0.45517241379310347, 'ood_test': 0.4423076923076923, 'ood_validation': 0.2857142857142857, '0': 0.09009009009009009, '1': 0.37815126050420167, '2': 0.8861788617886179, '4': 0.010526315789473684, '6': 0.9672131147540983}
{'validation': 0.7142857142857143, 'id_test': 0.5793103448275863, 'ood_test': 0.5144230769230769, 'ood_validation': 0.45714285714285713, '0': 0.972972972972973, '1': 0.7226890756302521, '2': 0.032520325203252036, '4': 0.4, '6': 0.7786885245901639}
{'validation': 0.42857142857142855, 'id_test': 0.5586206896551724, 'ood_test': 0.46153846153846156, 'ood_validation': 0.3, '0': 0.972972972972973, '1': 0.7226890756302521, '2': 0.032520325203252036, '4': 0.010526315789473684, '6': 0.9672131147540983}
{'validation': 0.42857142857142855, 'id_test': 0.5586206896551724, 'ood_test': 0.4567307692307692, 'ood_validation': 0.32857142857142857, '0': 0.9819819819819819, '1': 0.7563025210084033, '2': 0.04065040650406504, '4': 0.010526315789473684, '6': 0.9672131147540983}
{'validation': 0.7142857142857143, 'id_test': 0.5517241379310345, 'ood_test': 0.4519230769230769, 'ood_validation': 0.5, '0': 0.972972972972973, '1': 0.7226890756302521, '2': 0.032520325203252036, '4': 0.9894736842105263, '6': 0.03278688524590164}
{'validation': 0.5714285714285714, 'id_test': 0.6, 'ood_test': 0.4375, 'ood_validation': 0.5285714285714286, '0': 0.954954954954955, '1': 0.9159663865546218, '2': 0.0975609756097561, '4': 0.9894736842105263, '6': 0.03278688524590164}
{'validation': 0.7142857142857143, 'id_test': 0.5655172413793104, 'ood_test': 0.4951923076923077, 'ood_validation': 0.5, '0': 1.0, '1': 0.7310924369747899, '2': 0.04065040650406504, '4': 1.0, '6': 0.18032786885245902}
{'validation': 0.42857142857142855, 'id_test': 0.5586206896551724, 'ood_test': 0.3894230769230769, 'ood_validation': 0.2714285714285714, '0': 1.0, '1': 0.7394957983193278, '2': 0.032520325203252036, '4': 0.010526315789473684, '6': 0.9672131147540983}
