Model: aldro
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8356807511737089, 'ood_validation': 0.676056338028169, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8215962441314554, 'ood_validation': 0.676056338028169, 'train': 0.8743362831858407}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8497652582159625, 'ood_validation': 0.6901408450704225, 'train': 0.8902654867256637}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8403755868544601, 'ood_validation': 0.676056338028169, 'train': 0.8884955752212389}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8356807511737089, 'ood_validation': 0.676056338028169, 'train': 0.9132743362831859}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8262910798122066, 'ood_validation': 0.676056338028169, 'train': 0.8902654867256637}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8075117370892019, 'ood_validation': 0.647887323943662, 'train': 0.8955752212389381}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, 'train': 0.8920353982300885}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.9132743362831859}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8356807511737089, 'ood_validation': 0.6901408450704225, 'train': 0.9256637168141593}
Model: dann
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.784037558685446, 'ood_validation': 0.647887323943662, '0': 0.8090909090909091, '1': 0.8148148148148148, '2': 0.8455284552845529, '4': 0.8376068376068376, '6': 0.8130841121495327}
{'validation': 0.7142857142857143, 'id_test': 0.8194444444444444, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6619718309859155, '0': 0.8454545454545455, '1': 0.8148148148148148, '2': 0.7886178861788617, '4': 0.8547008547008547, '6': 0.794392523364486}
{'validation': 0.8571428571428571, 'id_test': 0.6805555555555556, 'ood_test': 0.8403755868544601, 'ood_validation': 0.7183098591549296, '0': 0.6454545454545455, '1': 0.6574074074074074, '2': 0.7886178861788617, '4': 0.8632478632478633, '6': 0.8411214953271028}
{'validation': 0.7142857142857143, 'id_test': 0.6041666666666666, 'ood_test': 0.784037558685446, 'ood_validation': 0.6901408450704225, '0': 0.6363636363636364, '1': 0.6666666666666666, '2': 0.7886178861788617, '4': 0.7606837606837606, '6': 0.6915887850467289}
{'validation': 0.8571428571428571, 'id_test': 0.6597222222222222, 'ood_test': 0.7887323943661971, 'ood_validation': 0.6901408450704225, '0': 0.7181818181818181, '1': 0.6944444444444444, '2': 0.7967479674796748, '4': 0.7692307692307693, '6': 0.719626168224299}
{'validation': 0.8571428571428571, 'id_test': 0.7013888888888888, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7183098591549296, '0': 0.8181818181818182, '1': 0.7407407407407407, '2': 0.8373983739837398, '4': 0.811965811965812, '6': 0.7570093457943925}
{'validation': 0.8571428571428571, 'id_test': 0.6736111111111112, 'ood_test': 0.7370892018779343, 'ood_validation': 0.5633802816901409, '0': 0.8090909090909091, '1': 0.7962962962962963, '2': 0.8373983739837398, '4': 0.6837606837606838, '6': 0.4205607476635514}
{'validation': 0.8571428571428571, 'id_test': 0.7361111111111112, 'ood_test': 0.7370892018779343, 'ood_validation': 0.5915492957746479, '0': 0.7909090909090909, '1': 0.8055555555555556, '2': 0.8455284552845529, '4': 0.7863247863247863, '6': 0.616822429906542}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8403755868544601, 'ood_validation': 0.6619718309859155, '0': 0.8454545454545455, '1': 0.8518518518518519, '2': 0.8861788617886179, '4': 0.811965811965812, '6': 0.794392523364486}
{'validation': 0.8571428571428571, 'id_test': 0.7152777777777778, 'ood_test': 0.812206572769953, 'ood_validation': 0.6619718309859155, '0': 0.7818181818181819, '1': 0.8148148148148148, '2': 0.8373983739837398, '4': 0.7350427350427351, '6': 0.719626168224299}
Model: deepcoral
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.6388888888888888, 'ood_test': 0.7464788732394366, 'ood_validation': 0.647887323943662, '0': 0.7272727272727273, '1': 0.6666666666666666, '2': 0.7723577235772358, '4': 0.7948717948717948, '6': 0.6261682242990654}
{'validation': 0.42857142857142855, 'id_test': 0.4097222222222222, 'ood_test': 0.6854460093896714, 'ood_validation': 0.5492957746478874, '0': 0.33636363636363636, '1': 0.39814814814814814, '2': 0.6504065040650406, '4': 0.6495726495726496, '6': 0.3177570093457944}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.4652777777777778, 'ood_test': 0.7464788732394366, 'ood_validation': 0.6197183098591549, '0': 0.45454545454545453, '1': 0.46296296296296297, '2': 0.7235772357723578, '4': 0.7350427350427351, '6': 0.45794392523364486}
{'validation': 0.8571428571428571, 'id_test': 0.7222222222222222, 'ood_test': 0.8215962441314554, 'ood_validation': 0.676056338028169, '0': 0.7909090909090909, '1': 0.8425925925925926, '2': 0.8373983739837398, '4': 0.8803418803418803, '6': 0.8785046728971962}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6410256410256411, '6': 0.29906542056074764}
{'validation': 0.5714285714285714, 'id_test': 0.4305555555555556, 'ood_test': 0.7136150234741784, 'ood_validation': 0.5915492957746479, '0': 0.35454545454545455, '1': 0.42592592592592593, '2': 0.6910569105691057, '4': 0.7008547008547008, '6': 0.4205607476635514}
Model: expgrad
{'ood_test': 0.7981220657276995}
Model: ft_transformer
{'validation': 0.5714285714285714, 'id_test': 0.6388888888888888, 'ood_test': 0.3474178403755869, 'ood_validation': 0.4647887323943662, 'train': 0.5433628318584071}
{'validation': 0.7142857142857143, 'id_test': 0.7708333333333334, 'ood_test': 0.5586854460093896, 'ood_validation': 0.6056338028169014, 'train': 0.6654867256637168}
{'validation': 0.7142857142857143, 'id_test': 0.7847222222222222, 'ood_test': 0.7370892018779343, 'ood_validation': 0.6197183098591549, 'train': 0.7699115044247787}
{'validation': 0.7142857142857143, 'id_test': 0.8055555555555556, 'ood_test': 0.676056338028169, 'ood_validation': 0.5492957746478874, 'train': 0.7415929203539823}
{'validation': 0.5714285714285714, 'id_test': 0.8125, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6901408450704225, 'train': 0.8070796460176991}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6901408450704225, 'train': 0.8247787610619469}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, 'train': 0.831858407079646}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7323943661971831, 'train': 0.8513274336283185}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7464788732394366, 'train': 0.8477876106194691}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7323943661971831, 'train': 0.8513274336283185}
Model: group_dro
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7699530516431925, 'ood_validation': 0.6901408450704225, 'train': 0.8513274336283185}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8450704225352113, 'ood_validation': 0.7323943661971831, 'train': 0.8690265486725663}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7605633802816901, 'train': 0.8920353982300885}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.7511737089201878, 'ood_validation': 0.6338028169014085, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.7934272300469484, 'ood_validation': 0.7323943661971831, 'train': 0.8778761061946903}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.7934272300469484, 'ood_validation': 0.7183098591549296, 'train': 0.8867256637168142}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8309859154929577, 'ood_validation': 0.676056338028169, 'train': 0.9168141592920354}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8215962441314554, 'ood_validation': 0.704225352112676, 'train': 0.9061946902654867}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7323943661971831, 'train': 0.9150442477876106}
Model: irm
{'validation': 0.42857142857142855, 'id_test': 0.4305555555555556, 'ood_test': 0.676056338028169, 'ood_validation': 0.5774647887323944, '0': 0.35454545454545455, '1': 0.4074074074074074, '2': 0.6504065040650406, '4': 0.6495726495726496, '6': 0.35514018691588783}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7934272300469484, 'ood_validation': 0.704225352112676, '0': 0.8727272727272727, '1': 0.9166666666666666, '2': 0.8861788617886179, '4': 0.8888888888888888, '6': 0.8691588785046729}
{'validation': 0.42857142857142855, 'id_test': 0.3819444444444444, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.42592592592592593, '2': 0.6829268292682927, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, '0': 0.8545454545454545, '1': 0.8981481481481481, '2': 0.8699186991869918, '4': 0.905982905982906, '6': 0.8411214953271028}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8450704225352113, 'ood_validation': 0.7464788732394366, '0': 0.9090909090909091, '1': 0.8425925925925926, '2': 0.8780487804878049, '4': 0.9145299145299145, '6': 0.8504672897196262}
{'validation': 0.7142857142857143, 'id_test': 0.7013888888888888, 'ood_test': 0.7699530516431925, 'ood_validation': 0.647887323943662, '0': 0.7818181818181819, '1': 0.8518518518518519, '2': 0.8699186991869918, '4': 0.8632478632478633, '6': 0.7102803738317757}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6619718309859155, '0': 0.8636363636363636, '1': 0.9074074074074074, '2': 0.8943089430894309, '4': 0.9230769230769231, '6': 0.822429906542056}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7323943661971831, '0': 0.8818181818181818, '1': 0.9537037037037037, '2': 0.9024390243902439, '4': 0.9401709401709402, '6': 0.9065420560747663}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.8215962441314554, 'ood_validation': 0.647887323943662, '0': 0.8727272727272727, '1': 0.9259259259259259, '2': 0.8943089430894309, '4': 0.9316239316239316, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.7222222222222222, 'ood_test': 0.7605633802816901, 'ood_validation': 0.6197183098591549, '0': 0.8272727272727273, '1': 0.9166666666666666, '2': 0.8943089430894309, '4': 0.8803418803418803, '6': 0.7850467289719626}
Model: label_group_dro
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.7887323943661971, 'ood_validation': 0.6619718309859155, 'train': 0.8495575221238938}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.863716814159292}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.7793427230046949, 'ood_validation': 0.647887323943662, 'train': 0.8460176991150442}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8215962441314554, 'ood_validation': 0.704225352112676, 'train': 0.8672566371681416}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8544600938967136, 'ood_validation': 0.676056338028169, 'train': 0.8973451327433628}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8215962441314554, 'ood_validation': 0.704225352112676, 'train': 0.8761061946902655}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.879646017699115}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8075117370892019, 'ood_validation': 0.647887323943662, 'train': 0.8867256637168142}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6619718309859155, 'train': 0.911504424778761}
{'validation': 1.0, 'id_test': 0.8263888888888888, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6619718309859155, 'train': 0.9274336283185841}
Model: lightgbm
{'ood_test': 0.8028169014084507}
Model: mixup
{'validation': 0.8571428571428571, 'id_test': 0.6944444444444444, 'ood_test': 0.784037558685446, 'ood_validation': 0.6338028169014085, '0': 0.6909090909090909, '1': 0.75, '2': 0.8617886178861789, '4': 0.7435897435897436, '6': 0.6542056074766355}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.784037558685446, 'ood_validation': 0.647887323943662, '0': 0.8090909090909091, '1': 0.8333333333333334, '2': 0.8699186991869918, '4': 0.811965811965812, '6': 0.7570093457943925}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.7699530516431925, 'ood_validation': 0.6619718309859155, '0': 0.8363636363636363, '1': 0.8518518518518519, '2': 0.8617886178861789, '4': 0.7863247863247863, '6': 0.7476635514018691}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8075117370892019, 'ood_validation': 0.647887323943662, '0': 0.9090909090909091, '1': 0.8796296296296297, '2': 0.8780487804878049, '4': 0.8717948717948718, '6': 0.8411214953271028}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7323943661971831, '0': 0.8727272727272727, '1': 0.8796296296296297, '2': 0.9105691056910569, '4': 0.8974358974358975, '6': 0.8411214953271028}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.784037558685446, 'ood_validation': 0.6901408450704225, '0': 0.8727272727272727, '1': 0.8518518518518519, '2': 0.8699186991869918, '4': 0.811965811965812, '6': 0.6915887850467289}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6901408450704225, '0': 0.8363636363636363, '1': 0.8703703703703703, '2': 0.8780487804878049, '4': 0.8632478632478633, '6': 0.7289719626168224}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.7981220657276995, 'ood_validation': 0.7183098591549296, '0': 0.9090909090909091, '1': 0.9444444444444444, '2': 0.9186991869918699, '4': 0.8803418803418803, '6': 0.8598130841121495}
{'validation': 1.0, 'id_test': 0.8402777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6619718309859155, '0': 0.9090909090909091, '1': 0.9259259259259259, '2': 0.9186991869918699, '4': 0.8974358974358975, '6': 0.8411214953271028}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8028169014084507, 'ood_validation': 0.676056338028169, '0': 0.8818181818181818, '1': 0.8981481481481481, '2': 0.8861788617886179, '4': 0.905982905982906, '6': 0.8317757009345794}
Model: mlp
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6901408450704225, 'train': 0.8672566371681416}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7464788732394366, 'ood_validation': 0.5915492957746479, 'train': 0.8407079646017699}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.7934272300469484, 'ood_validation': 0.7183098591549296, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6901408450704225, 'train': 0.8619469026548673}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8955752212389381}
{'validation': 1.0, 'id_test': 0.8541666666666666, 'ood_test': 0.7605633802816901, 'ood_validation': 0.6197183098591549, 'train': 0.8902654867256637}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7464788732394366, 'train': 0.904424778761062}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.812206572769953, 'ood_validation': 0.6619718309859155, 'train': 0.9132743362831859}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8028169014084507, 'ood_validation': 0.676056338028169, 'train': 0.9309734513274336}
{'validation': 0.7142857142857143, 'id_test': 0.7638888888888888, 'ood_test': 0.7934272300469484, 'ood_validation': 0.7323943661971831, 'train': 0.904424778761062}
Model: mmd
{'validation': 0.5714285714285714, 'id_test': 0.625, 'ood_test': 0.3333333333333333, 'ood_validation': 0.4507042253521127, '0': 0.6909090909090909, '1': 0.6018518518518519, '2': 0.35772357723577236, '4': 0.36752136752136755, '6': 0.7009345794392523}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.7323943661971831, 'ood_validation': 0.6197183098591549, '0': 0.8363636363636363, '1': 0.7777777777777778, '2': 0.7723577235772358, '4': 0.717948717948718, '6': 0.794392523364486}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3181818181818182, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.7142857142857143, 'id_test': 0.7638888888888888, 'ood_test': 0.8262910798122066, 'ood_validation': 0.676056338028169, '0': 0.7909090909090909, '1': 0.8148148148148148, '2': 0.8780487804878049, '4': 0.8376068376068376, '6': 0.794392523364486}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6901408450704225, '0': 0.8727272727272727, '1': 0.8055555555555556, '2': 0.8455284552845529, '4': 0.8290598290598291, '6': 0.7663551401869159}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7887323943661971, 'ood_validation': 0.676056338028169, '0': 0.9, '1': 0.9166666666666666, '2': 0.8536585365853658, '4': 0.9145299145299145, '6': 0.822429906542056}
{'validation': 1.0, 'id_test': 0.7916666666666666, 'ood_test': 0.7746478873239436, 'ood_validation': 0.6197183098591549, '0': 0.8727272727272727, '1': 0.8981481481481481, '2': 0.8373983739837398, '4': 0.8547008547008547, '6': 0.8317757009345794}
{'validation': 0.7142857142857143, 'id_test': 0.5416666666666666, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5633802816901409, '0': 0.6272727272727273, '1': 0.7129629629629629, '2': 0.8130081300813008, '4': 0.6410256410256411, '6': 0.32710280373831774}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, '0': 0.9181818181818182, '1': 0.9351851851851852, '2': 0.8861788617886179, '4': 0.9401709401709402, '6': 0.8691588785046729}
{'validation': 0.5714285714285714, 'id_test': 0.5347222222222222, 'ood_test': 0.6995305164319249, 'ood_validation': 0.6619718309859155, '0': 0.6727272727272727, '1': 0.5833333333333334, '2': 0.7479674796747967, '4': 0.7863247863247863, '6': 0.4392523364485981}
Model: node
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8497652582159625, 'ood_validation': 0.6901408450704225, 'train': 0.8407079646017699}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8356807511737089, 'ood_validation': 0.676056338028169, 'train': 0.8530973451327434}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7887323943661971, 'train': 0.8513274336283185}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.704225352112676, 'train': 0.8495575221238938}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7323943661971831, 'train': 0.8530973451327434}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.812206572769953, 'ood_validation': 0.7605633802816901, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.7746478873239436, 'ood_validation': 0.7464788732394366, 'train': 0.8336283185840708}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7183098591549296, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7183098591549296, 'train': 0.8690265486725663}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6901408450704225, 'train': 0.879646017699115}
Model: resnet
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8028169014084507, 'ood_validation': 0.7183098591549296, 'train': 0.8584070796460177}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.812206572769953, 'ood_validation': 0.647887323943662, 'train': 0.8513274336283185}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.7887323943661971, 'ood_validation': 0.6619718309859155, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7323943661971831, 'train': 0.8672566371681416}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8309859154929577, 'ood_validation': 0.676056338028169, 'train': 0.8690265486725663}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, 'train': 0.8530973451327434}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8450704225352113, 'ood_validation': 0.6901408450704225, 'train': 0.8672566371681416}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8450704225352113, 'ood_validation': 0.6619718309859155, 'train': 0.8584070796460177}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.676056338028169, 'train': 0.8743362831858407}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.647887323943662, 'train': 0.8725663716814159}
Model: saint
{'validation': 0.5714285714285714, 'id_test': 0.625, 'ood_test': 0.3568075117370892, 'ood_validation': 0.43661971830985913, 'train': 0.5486725663716814}
{'validation': 0.7142857142857143, 'id_test': 0.7569444444444444, 'ood_test': 0.7417840375586855, 'ood_validation': 0.676056338028169, 'train': 0.7628318584070797}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.755868544600939, 'ood_validation': 0.676056338028169, 'train': 0.7663716814159292}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6901408450704225, 'train': 0.784070796460177}
{'validation': 0.7142857142857143, 'id_test': 0.8055555555555556, 'ood_test': 0.7183098591549296, 'ood_validation': 0.6197183098591549, 'train': 0.8353982300884956}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7464788732394366, 'ood_validation': 0.6338028169014085, 'train': 0.8513274336283185}
{'validation': 0.7142857142857143, 'id_test': 0.8194444444444444, 'ood_test': 0.7323943661971831, 'ood_validation': 0.6197183098591549, 'train': 0.8389380530973451}
{'validation': 0.7142857142857143, 'id_test': 0.8055555555555556, 'ood_test': 0.7089201877934272, 'ood_validation': 0.6197183098591549, 'train': 0.8495575221238938}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.7887323943661971, 'ood_validation': 0.676056338028169, 'train': 0.8194690265486726}
{'validation': 0.7142857142857143, 'id_test': 0.7916666666666666, 'ood_test': 0.7793427230046949, 'ood_validation': 0.6619718309859155, 'train': 0.8548672566371681}
Model: tabtransformer
{'validation': 0.5714285714285714, 'id_test': 0.7569444444444444, 'ood_test': 0.7981220657276995, 'ood_validation': 0.704225352112676, 'train': 0.7893805309734513}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8028169014084507, 'ood_validation': 0.647887323943662, 'train': 0.8460176991150442}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6901408450704225, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6619718309859155, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6619718309859155, 'train': 0.8619469026548673}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.812206572769953, 'ood_validation': 0.6619718309859155, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.784037558685446, 'ood_validation': 0.6901408450704225, 'train': 0.8548672566371681}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, 'train': 0.8725663716814159}
Model: vrex
{'validation': 0.5714285714285714, 'id_test': 0.6388888888888888, 'ood_test': 0.36619718309859156, 'ood_validation': 0.4507042253521127, '0': 0.6909090909090909, '1': 0.6203703703703703, '2': 0.3902439024390244, '4': 0.36752136752136755, '6': 0.7009345794392523}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8544600938967136, 'ood_validation': 0.7183098591549296, '0': 0.8727272727272727, '1': 0.8796296296296297, '2': 0.8373983739837398, '4': 0.8376068376068376, '6': 0.8691588785046729}
{'validation': 0.5714285714285714, 'id_test': 0.8055555555555556, 'ood_test': 0.704225352112676, 'ood_validation': 0.5492957746478874, '0': 0.8909090909090909, '1': 0.8981481481481481, '2': 0.8455284552845529, '4': 0.7435897435897436, '6': 0.8037383177570093}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8356807511737089, 'ood_validation': 0.6197183098591549, '0': 0.9272727272727272, '1': 0.8796296296296297, '2': 0.8699186991869918, '4': 0.8888888888888888, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.8309859154929577, 'ood_validation': 0.6901408450704225, '0': 0.7454545454545455, '1': 0.8425925925925926, '2': 0.8536585365853658, '4': 0.811965811965812, '6': 0.7757009345794392}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, '0': 0.9181818181818182, '1': 0.8981481481481481, '2': 0.8861788617886179, '4': 0.8888888888888888, '6': 0.8037383177570093}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, '0': 0.9181818181818182, '1': 0.9351851851851852, '2': 0.8780487804878049, '4': 0.8290598290598291, '6': 0.7383177570093458}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, '0': 0.9, '1': 0.8240740740740741, '2': 0.8048780487804879, '4': 0.8717948717948718, '6': 0.8691588785046729}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8028169014084507, 'ood_validation': 0.5774647887323944, '0': 0.9090909090909091, '1': 0.8518518518518519, '2': 0.8373983739837398, '4': 0.8290598290598291, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.812206572769953, 'ood_validation': 0.7183098591549296, '0': 0.9272727272727272, '1': 0.9074074074074074, '2': 0.9105691056910569, '4': 0.8974358974358975, '6': 0.8504672897196262}
Model: xgb
{'ood_test': 0.7981220657276995}
Model: ib_erm
{'validation': 0.8571428571428571, 'id_test': 0.7361111111111112, 'ood_test': 0.8028169014084507, 'ood_validation': 0.7323943661971831, '0': 0.8181818181818182, '1': 0.8333333333333334, '2': 0.8455284552845529, '4': 0.8205128205128205, '6': 0.7850467289719626}
{'validation': 0.5714285714285714, 'id_test': 0.5, 'ood_test': 0.7089201877934272, 'ood_validation': 0.5492957746478874, '0': 0.6727272727272727, '1': 0.6018518518518519, '2': 0.7642276422764228, '4': 0.6666666666666666, '6': 0.3364485981308411}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.647887323943662, '0': 0.8909090909090909, '1': 0.8981481481481481, '2': 0.8861788617886179, '4': 0.8888888888888888, '6': 0.8504672897196262}
{'validation': 0.42857142857142855, 'id_test': 0.3958333333333333, 'ood_test': 0.6854460093896714, 'ood_validation': 0.5774647887323944, '0': 0.3181818181818182, '1': 0.4166666666666667, '2': 0.6504065040650406, '4': 0.6666666666666666, '6': 0.35514018691588783}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6901408450704225, '0': 0.8818181818181818, '1': 0.8796296296296297, '2': 0.9024390243902439, '4': 0.8717948717948718, '6': 0.7850467289719626}
{'validation': 0.8571428571428571, 'id_test': 0.7222222222222222, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7605633802816901, '0': 0.7454545454545455, '1': 0.7407407407407407, '2': 0.8780487804878049, '4': 0.9487179487179487, '6': 0.8130841121495327}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, '0': 0.9, '1': 0.9074074074074074, '2': 0.9105691056910569, '4': 0.9316239316239316, '6': 0.8691588785046729}
{'validation': 0.8571428571428571, 'id_test': 0.7430555555555556, 'ood_test': 0.8075117370892019, 'ood_validation': 0.7464788732394366, '0': 0.8272727272727273, '1': 0.8333333333333334, '2': 0.8780487804878049, '4': 0.8717948717948718, '6': 0.7476635514018691}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.8450704225352113, 'ood_validation': 0.7605633802816901, '0': 0.9545454545454546, '1': 0.9351851851851852, '2': 0.8943089430894309, '4': 0.9316239316239316, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.8450704225352113, 'ood_validation': 0.7605633802816901, '0': 0.9090909090909091, '1': 0.9351851851851852, '2': 0.926829268292683, '4': 0.9230769230769231, '6': 0.8504672897196262}
Model: ib_irm
{'validation': 0.8571428571428571, 'id_test': 0.7013888888888888, 'ood_test': 0.7934272300469484, 'ood_validation': 0.7183098591549296, '0': 0.7181818181818181, '1': 0.7314814814814815, '2': 0.7886178861788617, '4': 0.8803418803418803, '6': 0.794392523364486}
{'validation': 0.8571428571428571, 'id_test': 0.6180555555555556, 'ood_test': 0.7230046948356808, 'ood_validation': 0.6901408450704225, '0': 0.7454545454545455, '1': 0.7592592592592593, '2': 0.7967479674796748, '4': 0.7350427350427351, '6': 0.4392523364485981}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.784037558685446, 'ood_validation': 0.6619718309859155, '0': 0.8454545454545455, '1': 0.8333333333333334, '2': 0.8617886178861789, '4': 0.8290598290598291, '6': 0.7663551401869159}
{'validation': 0.7142857142857143, 'id_test': 0.625, 'ood_test': 0.704225352112676, 'ood_validation': 0.6619718309859155, '0': 0.7363636363636363, '1': 0.7685185185185185, '2': 0.8292682926829268, '4': 0.6923076923076923, '6': 0.4672897196261682}
{'validation': 0.7142857142857143, 'id_test': 0.6041666666666666, 'ood_test': 0.7887323943661971, 'ood_validation': 0.7323943661971831, '0': 0.5181818181818182, '1': 0.5833333333333334, '2': 0.7642276422764228, '4': 0.8632478632478633, '6': 0.7476635514018691}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8309859154929577, 'ood_validation': 0.6619718309859155, '0': 0.8818181818181818, '1': 0.8888888888888888, '2': 0.8861788617886179, '4': 0.9230769230769231, '6': 0.8598130841121495}
{'validation': 0.7142857142857143, 'id_test': 0.7777777777777778, 'ood_test': 0.812206572769953, 'ood_validation': 0.6338028169014085, '0': 0.9363636363636364, '1': 0.9166666666666666, '2': 0.9105691056910569, '4': 0.8461538461538461, '6': 0.7757009345794392}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, '0': 0.9272727272727272, '1': 0.9537037037037037, '2': 0.926829268292683, '4': 0.905982905982906, '6': 0.8037383177570093}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.7934272300469484, 'ood_validation': 0.704225352112676, '0': 0.9181818181818182, '1': 0.9166666666666666, '2': 0.9186991869918699, '4': 0.9145299145299145, '6': 0.8317757009345794}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.8356807511737089, 'ood_validation': 0.676056338028169, '0': 0.9454545454545454, '1': 0.9351851851851852, '2': 0.8861788617886179, '4': 0.9230769230769231, '6': 0.8598130841121495}
Model: causirl_coral
{'validation': 0.7142857142857143, 'id_test': 0.7847222222222222, 'ood_test': 0.6103286384976526, 'ood_validation': 0.5492957746478874, '0': 0.8545454545454545, '1': 0.8148148148148148, '2': 0.7398373983739838, '4': 0.5982905982905983, '6': 0.7570093457943925}
{'validation': 0.42857142857142855, 'id_test': 0.3888888888888889, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5774647887323944, '0': 0.3090909090909091, '1': 0.4074074074074074, '2': 0.6341463414634146, '4': 0.6666666666666666, '6': 0.34579439252336447}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, '0': 0.8636363636363636, '1': 0.8333333333333334, '2': 0.8455284552845529, '4': 0.8717948717948718, '6': 0.8317757009345794}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6901408450704225, '0': 0.8636363636363636, '1': 0.8611111111111112, '2': 0.8455284552845529, '4': 0.8717948717948718, '6': 0.7850467289719626}
{'validation': 0.8571428571428571, 'id_test': 0.7291666666666666, 'ood_test': 0.8028169014084507, 'ood_validation': 0.7183098591549296, '0': 0.7818181818181819, '1': 0.75, '2': 0.8536585365853658, '4': 0.7948717948717948, '6': 0.7383177570093458}
{'validation': 0.5714285714285714, 'id_test': 0.3888888888888889, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5633802816901409, '0': 0.32727272727272727, '1': 0.42592592592592593, '2': 0.6504065040650406, '4': 0.6324786324786325, '6': 0.308411214953271}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.8309859154929577, 'ood_validation': 0.676056338028169, '0': 0.8636363636363636, '1': 0.8888888888888888, '2': 0.9024390243902439, '4': 0.905982905982906, '6': 0.8504672897196262}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6713615023474179, 'ood_validation': 0.5492957746478874, '0': 0.3181818181818182, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.3177570093457944}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7464788732394366, '0': 0.9, '1': 0.9629629629629629, '2': 0.9349593495934959, '4': 0.8888888888888888, '6': 0.9158878504672897}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, '0': 0.9636363636363636, '1': 0.9444444444444444, '2': 0.9349593495934959, '4': 0.9316239316239316, '6': 0.9065420560747663}
Model: causirl_mmd
{'validation': 0.5714285714285714, 'id_test': 0.5416666666666666, 'ood_test': 0.6854460093896714, 'ood_validation': 0.5633802816901409, '0': 0.6272727272727273, '1': 0.6018518518518519, '2': 0.7317073170731707, '4': 0.6581196581196581, '6': 0.3364485981308411}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.4097222222222222, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.38181818181818183, '1': 0.48148148148148145, '2': 0.6747967479674797, '4': 0.6495726495726496, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.6458333333333334, 'ood_test': 0.755868544600939, 'ood_validation': 0.704225352112676, '0': 0.6181818181818182, '1': 0.6851851851851852, '2': 0.7723577235772358, '4': 0.8205128205128205, '6': 0.6448598130841121}
{'validation': 0.7142857142857143, 'id_test': 0.7083333333333334, 'ood_test': 0.8028169014084507, 'ood_validation': 0.7183098591549296, '0': 0.7727272727272727, '1': 0.8333333333333334, '2': 0.9024390243902439, '4': 0.9230769230769231, '6': 0.8037383177570093}
{'validation': 0.5714285714285714, 'id_test': 0.4513888888888889, 'ood_test': 0.6854460093896714, 'ood_validation': 0.5492957746478874, '0': 0.44545454545454544, '1': 0.5370370370370371, '2': 0.6991869918699187, '4': 0.6752136752136753, '6': 0.37383177570093457}
{'validation': 0.7142857142857143, 'id_test': 0.4305555555555556, 'ood_test': 0.6666666666666666, 'ood_validation': 0.6056338028169014, '0': 0.4090909090909091, '1': 0.4722222222222222, '2': 0.7073170731707317, '4': 0.6837606837606838, '6': 0.34579439252336447}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.7699530516431925, 'ood_validation': 0.7464788732394366, '0': 0.7818181818181819, '1': 0.8425925925925926, '2': 0.8861788617886179, '4': 0.8461538461538461, '6': 0.8037383177570093}
