Model: aldro
{'validation': 0.5714285714285714, 'id_test': 0.7569444444444444, 'ood_test': 0.6103286384976526, 'ood_validation': 0.5211267605633803, 'train': 0.7504424778761062}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.784037558685446, 'ood_validation': 0.676056338028169, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8497652582159625, 'ood_validation': 0.6901408450704225, 'train': 0.879646017699115}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8215962441314554, 'ood_validation': 0.704225352112676, 'train': 0.8884955752212389}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6619718309859155, 'train': 0.9097345132743363}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.8403755868544601, 'ood_validation': 0.7183098591549296, 'train': 0.879646017699115}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7323943661971831, 'train': 0.8920353982300885}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7183098591549296, 'train': 0.9292035398230089}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.911504424778761}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.7793427230046949, 'ood_validation': 0.7323943661971831, 'train': 0.9132743362831859}
Model: dann
{'validation': 0.7142857142857143, 'id_test': 0.7986111111111112, 'ood_test': 0.6807511737089202, 'ood_validation': 0.5492957746478874, '0': 0.8454545454545455, '1': 0.8240740740740741, '2': 0.7723577235772358, '4': 0.6324786324786325, '6': 0.7476635514018691}
{'validation': 0.8571428571428571, 'id_test': 0.75, 'ood_test': 0.6619718309859155, 'ood_validation': 0.6056338028169014, '0': 0.7545454545454545, '1': 0.7037037037037037, '2': 0.6341463414634146, '4': 0.7094017094017094, '6': 0.8130841121495327}
{'validation': 0.8571428571428571, 'id_test': 0.6944444444444444, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6338028169014085, '0': 0.6909090909090909, '1': 0.7314814814814815, '2': 0.8130081300813008, '4': 0.7948717948717948, '6': 0.7850467289719626}
{'validation': 0.5714285714285714, 'id_test': 0.4930555555555556, 'ood_test': 0.7276995305164319, 'ood_validation': 0.6197183098591549, '0': 0.5545454545454546, '1': 0.6111111111111112, '2': 0.7560975609756098, '4': 0.6837606837606838, '6': 0.514018691588785}
{'validation': 0.5714285714285714, 'id_test': 0.4791666666666667, 'ood_test': 0.6854460093896714, 'ood_validation': 0.5774647887323944, '0': 0.5727272727272728, '1': 0.6111111111111112, '2': 0.7073170731707317, '4': 0.6581196581196581, '6': 0.411214953271028}
{'validation': 0.5714285714285714, 'id_test': 0.4791666666666667, 'ood_test': 0.6901408450704225, 'ood_validation': 0.5492957746478874, '0': 0.5, '1': 0.5648148148148148, '2': 0.6910569105691057, '4': 0.6666666666666666, '6': 0.40186915887850466}
{'validation': 0.5714285714285714, 'id_test': 0.5555555555555556, 'ood_test': 0.7417840375586855, 'ood_validation': 0.5774647887323944, '0': 0.43636363636363634, '1': 0.5, '2': 0.7154471544715447, '4': 0.7350427350427351, '6': 0.5981308411214953}
{'validation': 0.7142857142857143, 'id_test': 0.6319444444444444, 'ood_test': 0.7605633802816901, 'ood_validation': 0.6338028169014085, '0': 0.6, '1': 0.5555555555555556, '2': 0.7479674796747967, '4': 0.7863247863247863, '6': 0.6355140186915887}
{'validation': 0.8571428571428571, 'id_test': 0.6805555555555556, 'ood_test': 0.7887323943661971, 'ood_validation': 0.6901408450704225, '0': 0.7363636363636363, '1': 0.6851851851851852, '2': 0.8130081300813008, '4': 0.8632478632478633, '6': 0.6915887850467289}
{'validation': 0.8571428571428571, 'id_test': 0.7291666666666666, 'ood_test': 0.8309859154929577, 'ood_validation': 0.6197183098591549, '0': 0.8181818181818182, '1': 0.8148148148148148, '2': 0.8455284552845529, '4': 0.8888888888888888, '6': 0.7476635514018691}
Model: deepcoral
{'validation': 0.42857142857142855, 'id_test': 0.3819444444444444, 'ood_test': 0.6619718309859155, 'ood_validation': 0.5352112676056338, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.308411214953271}
{'validation': 0.8571428571428571, 'id_test': 0.75, 'ood_test': 0.7887323943661971, 'ood_validation': 0.5492957746478874, '0': 0.7909090909090909, '1': 0.8148148148148148, '2': 0.8617886178861789, '4': 0.7777777777777778, '6': 0.7009345794392523}
{'validation': 0.8571428571428571, 'id_test': 0.6527777777777778, 'ood_test': 0.7511737089201878, 'ood_validation': 0.6619718309859155, '0': 0.7636363636363637, '1': 0.7407407407407407, '2': 0.8292682926829268, '4': 0.7606837606837606, '6': 0.6448598130841121}
{'validation': 0.8571428571428571, 'id_test': 0.7291666666666666, 'ood_test': 0.8169014084507042, 'ood_validation': 0.647887323943662, '0': 0.8727272727272727, '1': 0.8518518518518519, '2': 0.8373983739837398, '4': 0.8034188034188035, '6': 0.7102803738317757}
{'validation': 0.5714285714285714, 'id_test': 0.6527777777777778, 'ood_test': 0.6995305164319249, 'ood_validation': 0.5774647887323944, '0': 0.8181818181818182, '1': 0.8425925925925926, '2': 0.8617886178861789, '4': 0.6752136752136753, '6': 0.35514018691588783}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7887323943661971, 'ood_validation': 0.704225352112676, '0': 0.8727272727272727, '1': 0.8796296296296297, '2': 0.8699186991869918, '4': 0.8888888888888888, '6': 0.8411214953271028}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, '0': 0.9272727272727272, '1': 0.9351851851851852, '2': 0.9024390243902439, '4': 0.8888888888888888, '6': 0.8691588785046729}
{'validation': 0.5714285714285714, 'id_test': 0.6666666666666666, 'ood_test': 0.7136150234741784, 'ood_validation': 0.6197183098591549, '0': 0.8909090909090909, '1': 0.9074074074074074, '2': 0.8699186991869918, '4': 0.717948717948718, '6': 0.4766355140186916}
{'validation': 0.42857142857142855, 'id_test': 0.5902777777777778, 'ood_test': 0.6572769953051644, 'ood_validation': 0.5492957746478874, '0': 0.7818181818181819, '1': 0.8148148148148148, '2': 0.8861788617886179, '4': 0.6324786324786325, '6': 0.308411214953271}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6619718309859155, '0': 0.8363636363636363, '1': 0.8796296296296297, '2': 0.8861788617886179, '4': 0.8547008547008547, '6': 0.8878504672897196}
Model: expgrad
{'ood_test': 0.7981220657276995}
Model: ft_transformer
{'validation': 0.5714285714285714, 'id_test': 0.6527777777777778, 'ood_test': 0.3755868544600939, 'ood_validation': 0.4507042253521127, 'train': 0.552212389380531}
{'validation': 0.7142857142857143, 'id_test': 0.7430555555555556, 'ood_test': 0.755868544600939, 'ood_validation': 0.676056338028169, 'train': 0.7752212389380531}
{'validation': 0.7142857142857143, 'id_test': 0.6458333333333334, 'ood_test': 0.755868544600939, 'ood_validation': 0.6338028169014085, 'train': 0.7221238938053097}
{'validation': 0.7142857142857143, 'id_test': 0.8055555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, 'train': 0.831858407079646}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7183098591549296, 'train': 0.831858407079646}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, 'train': 0.8460176991150442}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, 'train': 0.8513274336283185}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8548672566371681}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.812206572769953, 'ood_validation': 0.6901408450704225, 'train': 0.8495575221238938}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7183098591549296, 'train': 0.8477876106194691}
Model: group_dro
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.812206572769953, 'ood_validation': 0.7183098591549296, 'train': 0.863716814159292}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8309859154929577, 'ood_validation': 0.704225352112676, 'train': 0.8725663716814159}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7323943661971831, 'train': 0.8778761061946903}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7464788732394366, 'train': 0.8902654867256637}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8309859154929577, 'ood_validation': 0.6901408450704225, 'train': 0.8902654867256637}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.812206572769953, 'ood_validation': 0.6901408450704225, 'train': 0.8920353982300885}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8309859154929577, 'ood_validation': 0.6901408450704225, 'train': 0.8884955752212389}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7793427230046949, 'ood_validation': 0.6338028169014085, 'train': 0.8938053097345132}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, 'train': 0.9008849557522124}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8075117370892019, 'ood_validation': 0.704225352112676, 'train': 0.9132743362831859}
Model: irm
{'validation': 0.8571428571428571, 'id_test': 0.7430555555555556, 'ood_test': 0.7464788732394366, 'ood_validation': 0.676056338028169, '0': 0.8272727272727273, '1': 0.8055555555555556, '2': 0.8536585365853658, '4': 0.7777777777777778, '6': 0.7009345794392523}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6619718309859155, '0': 0.8090909090909091, '1': 0.7962962962962963, '2': 0.8536585365853658, '4': 0.7692307692307693, '6': 0.7570093457943925}
{'validation': 0.5714285714285714, 'id_test': 0.6041666666666666, 'ood_test': 0.7605633802816901, 'ood_validation': 0.6619718309859155, '0': 0.6181818181818182, '1': 0.6481481481481481, '2': 0.7804878048780488, '4': 0.811965811965812, '6': 0.6074766355140186}
{'validation': 0.42857142857142855, 'id_test': 0.4513888888888889, 'ood_test': 0.7183098591549296, 'ood_validation': 0.5211267605633803, '0': 0.44545454545454544, '1': 0.4537037037037037, '2': 0.6910569105691057, '4': 0.6752136752136753, '6': 0.4953271028037383}
{'validation': 0.5714285714285714, 'id_test': 0.6597222222222222, 'ood_test': 0.7746478873239436, 'ood_validation': 0.6056338028169014, '0': 0.7636363636363637, '1': 0.7407407407407407, '2': 0.8373983739837398, '4': 0.7863247863247863, '6': 0.6635514018691588}
{'validation': 0.5714285714285714, 'id_test': 0.5208333333333334, 'ood_test': 0.7417840375586855, 'ood_validation': 0.6338028169014085, '0': 0.6, '1': 0.5833333333333334, '2': 0.7642276422764228, '4': 0.717948717948718, '6': 0.5794392523364486}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, '0': 0.7818181818181819, '1': 0.8055555555555556, '2': 0.8211382113821138, '4': 0.8803418803418803, '6': 0.8317757009345794}
{'validation': 0.5714285714285714, 'id_test': 0.4861111111111111, 'ood_test': 0.6995305164319249, 'ood_validation': 0.5915492957746479, '0': 0.4909090909090909, '1': 0.6203703703703703, '2': 0.7804878048780488, '4': 0.7350427350427351, '6': 0.4953271028037383}
{'validation': 0.5714285714285714, 'id_test': 0.6666666666666666, 'ood_test': 0.784037558685446, 'ood_validation': 0.647887323943662, '0': 0.7272727272727273, '1': 0.7962962962962963, '2': 0.8373983739837398, '4': 0.8290598290598291, '6': 0.7289719626168224}
{'validation': 0.42857142857142855, 'id_test': 0.4027777777777778, 'ood_test': 0.6948356807511737, 'ood_validation': 0.5774647887323944, '0': 0.39090909090909093, '1': 0.5092592592592593, '2': 0.7073170731707317, '4': 0.7008547008547008, '6': 0.4205607476635514}
Model: label_group_dro
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8215962441314554, 'ood_validation': 0.647887323943662, 'train': 0.8725663716814159}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.8831858407079646}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8403755868544601, 'ood_validation': 0.7183098591549296, 'train': 0.8619469026548673}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.7793427230046949, 'ood_validation': 0.704225352112676, 'train': 0.863716814159292}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7183098591549296, 'train': 0.8654867256637168}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7183098591549296, 'train': 0.8814159292035398}
{'validation': 0.7142857142857143, 'id_test': 0.8402777777777778, 'ood_test': 0.8309859154929577, 'ood_validation': 0.704225352112676, 'train': 0.9026548672566371}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8403755868544601, 'ood_validation': 0.7183098591549296, 'train': 0.9061946902654867}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, 'train': 0.904424778761062}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8685446009389671, 'ood_validation': 0.6901408450704225, 'train': 0.9097345132743363}
Model: lightgbm
{'ood_test': 0.8028169014084507}
Model: mixup
{'validation': 0.8571428571428571, 'id_test': 0.6805555555555556, 'ood_test': 0.784037558685446, 'ood_validation': 0.6901408450704225, '0': 0.7727272727272727, '1': 0.6944444444444444, '2': 0.8536585365853658, '4': 0.7521367521367521, '6': 0.6822429906542056}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7183098591549296, '0': 0.7909090909090909, '1': 0.8240740740740741, '2': 0.8373983739837398, '4': 0.8803418803418803, '6': 0.794392523364486}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8309859154929577, 'ood_validation': 0.6901408450704225, '0': 0.8636363636363636, '1': 0.8796296296296297, '2': 0.8536585365853658, '4': 0.8888888888888888, '6': 0.822429906542056}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.812206572769953, 'ood_validation': 0.6197183098591549, '0': 0.8818181818181818, '1': 0.8888888888888888, '2': 0.8455284552845529, '4': 0.8803418803418803, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8450704225352113, 'ood_validation': 0.6619718309859155, '0': 0.8272727272727273, '1': 0.8703703703703703, '2': 0.8699186991869918, '4': 0.8803418803418803, '6': 0.822429906542056}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6619718309859155, '0': 0.8454545454545455, '1': 0.8703703703703703, '2': 0.8536585365853658, '4': 0.8974358974358975, '6': 0.8130841121495327}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.784037558685446, 'ood_validation': 0.6197183098591549, '0': 0.8727272727272727, '1': 0.9074074074074074, '2': 0.8373983739837398, '4': 0.8803418803418803, '6': 0.8411214953271028}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, '0': 0.8909090909090909, '1': 0.9351851851851852, '2': 0.8943089430894309, '4': 0.9230769230769231, '6': 0.8317757009345794}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6197183098591549, '0': 0.8818181818181818, '1': 0.8796296296296297, '2': 0.8617886178861789, '4': 0.8974358974358975, '6': 0.8691588785046729}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8403755868544601, 'ood_validation': 0.676056338028169, '0': 0.8727272727272727, '1': 0.8981481481481481, '2': 0.9105691056910569, '4': 0.9145299145299145, '6': 0.897196261682243}
Model: mlp
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.812206572769953, 'ood_validation': 0.7183098591549296, 'train': 0.8495575221238938}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8028169014084507, 'ood_validation': 0.7183098591549296, 'train': 0.8725663716814159}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, 'train': 0.8672566371681416}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, 'train': 0.8884955752212389}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, 'train': 0.9008849557522124}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, 'train': 0.9061946902654867}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8403755868544601, 'ood_validation': 0.7183098591549296, 'train': 0.911504424778761}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.812206572769953, 'ood_validation': 0.6619718309859155, 'train': 0.9026548672566371}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6619718309859155, 'train': 0.8920353982300885}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8215962441314554, 'ood_validation': 0.704225352112676, 'train': 0.9327433628318584}
Model: mmd
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.7291666666666666, 'ood_test': 0.7981220657276995, 'ood_validation': 0.676056338028169, '0': 0.8, '1': 0.7407407407407407, '2': 0.8211382113821138, '4': 0.8290598290598291, '6': 0.7383177570093458}
{'validation': 0.5714285714285714, 'id_test': 0.6597222222222222, 'ood_test': 0.7323943661971831, 'ood_validation': 0.647887323943662, '0': 0.7636363636363637, '1': 0.7870370370370371, '2': 0.8536585365853658, '4': 0.6923076923076923, '6': 0.4953271028037383}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8075117370892019, 'ood_validation': 0.7183098591549296, '0': 0.9090909090909091, '1': 0.8518518518518519, '2': 0.8455284552845529, '4': 0.8888888888888888, '6': 0.822429906542056}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8309859154929577, 'ood_validation': 0.6197183098591549, '0': 0.9090909090909091, '1': 0.8796296296296297, '2': 0.8943089430894309, '4': 0.8974358974358975, '6': 0.8317757009345794}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.8215962441314554, 'ood_validation': 0.676056338028169, '0': 0.8454545454545455, '1': 0.8888888888888888, '2': 0.8861788617886179, '4': 0.8803418803418803, '6': 0.8037383177570093}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6338028169014085, '0': 0.8363636363636363, '1': 0.8518518518518519, '2': 0.8861788617886179, '4': 0.8803418803418803, '6': 0.822429906542056}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8028169014084507, 'ood_validation': 0.704225352112676, '0': 0.8818181818181818, '1': 0.8981481481481481, '2': 0.8943089430894309, '4': 0.8547008547008547, '6': 0.8411214953271028}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, '0': 0.8909090909090909, '1': 0.9629629629629629, '2': 0.9105691056910569, '4': 0.905982905982906, '6': 0.8878504672897196}
Model: node
{'validation': 0.7142857142857143, 'id_test': 0.8611111111111112, 'ood_test': 0.7887323943661971, 'ood_validation': 0.6619718309859155, 'train': 0.8371681415929203}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6619718309859155, 'train': 0.8407079646017699}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7183098591549296, 'train': 0.8442477876106195}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8215962441314554, 'ood_validation': 0.676056338028169, 'train': 0.8654867256637168}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.812206572769953, 'ood_validation': 0.6338028169014085, 'train': 0.8530973451327434}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6197183098591549, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.647887323943662, 'train': 0.8654867256637168}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6619718309859155, 'train': 0.8725663716814159}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6619718309859155, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8544600938967136, 'ood_validation': 0.6901408450704225, 'train': 0.8814159292035398}
Model: resnet
{'validation': 0.8571428571428571, 'id_test': 0.875, 'ood_test': 0.812206572769953, 'ood_validation': 0.6338028169014085, 'train': 0.8530973451327434}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8028169014084507, 'ood_validation': 0.676056338028169, 'train': 0.8389380530973451}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7323943661971831, 'train': 0.8530973451327434}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7183098591549296, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6619718309859155, 'train': 0.8548672566371681}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6619718309859155, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8215962441314554, 'ood_validation': 0.676056338028169, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8075117370892019, 'ood_validation': 0.647887323943662, 'train': 0.8761061946902655}
Model: saint
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, 'train': 0.46371681415929206}
{'validation': 0.7142857142857143, 'id_test': 0.8055555555555556, 'ood_test': 0.7370892018779343, 'ood_validation': 0.5774647887323944, 'train': 0.8106194690265487}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7746478873239436, 'train': 0.8460176991150442}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.7887323943661971, 'ood_validation': 0.704225352112676, 'train': 0.8513274336283185}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7183098591549296, 'train': 0.8548672566371681}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8591549295774648, 'ood_validation': 0.7887323943661971, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.7183098591549296, 'ood_validation': 0.6056338028169014, 'train': 0.7805309734513274}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6619718309859155, 'train': 0.8619469026548673}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8403755868544601, 'ood_validation': 0.704225352112676, 'train': 0.8619469026548673}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7746478873239436, 'train': 0.8672566371681416}
Model: tabtransformer
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, 'train': 0.46371681415929206}
{'validation': 0.8571428571428571, 'id_test': 0.7361111111111112, 'ood_test': 0.8169014084507042, 'ood_validation': 0.647887323943662, 'train': 0.8053097345132744}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7183098591549296, 'train': 0.831858407079646}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8075117370892019, 'ood_validation': 0.647887323943662, 'train': 0.8584070796460177}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8403755868544601, 'ood_validation': 0.6901408450704225, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.8548672566371681}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, 'train': 0.8654867256637168}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8309859154929577, 'ood_validation': 0.6619718309859155, 'train': 0.8619469026548673}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6619718309859155, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.784037558685446, 'ood_validation': 0.647887323943662, 'train': 0.8707964601769912}
Model: vrex
{'validation': 0.5714285714285714, 'id_test': 0.75, 'ood_test': 0.5492957746478874, 'ood_validation': 0.4647887323943662, '0': 0.8272727272727273, '1': 0.7870370370370371, '2': 0.7073170731707317, '4': 0.48717948717948717, '6': 0.7476635514018691}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, '0': 0.8909090909090909, '1': 0.8703703703703703, '2': 0.8455284552845529, '4': 0.8034188034188035, '6': 0.822429906542056}
{'validation': 0.42857142857142855, 'id_test': 0.3958333333333333, 'ood_test': 0.6619718309859155, 'ood_validation': 0.5774647887323944, '0': 0.3, '1': 0.3888888888888889, '2': 0.6341463414634146, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.3958333333333333, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5633802816901409, '0': 0.33636363636363636, '1': 0.4537037037037037, '2': 0.6829268292682927, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.6384976525821596, 'ood_validation': 0.5352112676056338, '0': 0.7727272727272727, '1': 0.7129629629629629, '2': 0.5691056910569106, '4': 0.6837606837606838, '6': 0.8130841121495327}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7652582159624414, 'ood_validation': 0.6056338028169014, '0': 0.9, '1': 0.8796296296296297, '2': 0.8292682926829268, '4': 0.7692307692307693, '6': 0.8317757009345794}
{'validation': 0.7142857142857143, 'id_test': 0.6319444444444444, 'ood_test': 0.7605633802816901, 'ood_validation': 0.6619718309859155, '0': 0.5909090909090909, '1': 0.5740740740740741, '2': 0.7723577235772358, '4': 0.7435897435897436, '6': 0.6822429906542056}
{'validation': 0.7142857142857143, 'id_test': 0.625, 'ood_test': 0.7699530516431925, 'ood_validation': 0.7183098591549296, '0': 0.6090909090909091, '1': 0.6574074074074074, '2': 0.7967479674796748, '4': 0.7777777777777778, '6': 0.7476635514018691}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7323943661971831, '0': 0.8727272727272727, '1': 0.8981481481481481, '2': 0.8861788617886179, '4': 0.905982905982906, '6': 0.8878504672897196}
Model: xgb
{'ood_test': 0.7981220657276995}
Model: ib_erm
{'validation': 0.7142857142857143, 'id_test': 0.6597222222222222, 'ood_test': 0.7605633802816901, 'ood_validation': 0.6619718309859155, '0': 0.7363636363636363, '1': 0.7777777777777778, '2': 0.8130081300813008, '4': 0.7435897435897436, '6': 0.6822429906542056}
{'validation': 0.7142857142857143, 'id_test': 0.5902777777777778, 'ood_test': 0.7136150234741784, 'ood_validation': 0.5070422535211268, '0': 0.7909090909090909, '1': 0.75, '2': 0.8373983739837398, '4': 0.717948717948718, '6': 0.38317757009345793}
{'validation': 0.5714285714285714, 'id_test': 0.4513888888888889, 'ood_test': 0.7183098591549296, 'ood_validation': 0.5774647887323944, '0': 0.37272727272727274, '1': 0.48148148148148145, '2': 0.7317073170731707, '4': 0.7692307692307693, '6': 0.48598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.6736111111111112, 'ood_test': 0.7417840375586855, 'ood_validation': 0.704225352112676, '0': 0.8181818181818182, '1': 0.8425925925925926, '2': 0.8861788617886179, '4': 0.8205128205128205, '6': 0.6635514018691588}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.7793427230046949, 'ood_validation': 0.6338028169014085, '0': 0.8181818181818182, '1': 0.8518518518518519, '2': 0.8455284552845529, '4': 0.8717948717948718, '6': 0.7850467289719626}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, '0': 0.9181818181818182, '1': 0.9537037037037037, '2': 0.8943089430894309, '4': 0.8974358974358975, '6': 0.794392523364486}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.7746478873239436, 'ood_validation': 0.6338028169014085, '0': 0.9, '1': 0.8888888888888888, '2': 0.8861788617886179, '4': 0.8034188034188035, '6': 0.6728971962616822}
{'validation': 0.8571428571428571, 'id_test': 0.7222222222222222, 'ood_test': 0.7370892018779343, 'ood_validation': 0.647887323943662, '0': 0.7454545454545455, '1': 0.8148148148148148, '2': 0.8211382113821138, '4': 0.7948717948717948, '6': 0.6728971962616822}
{'validation': 0.7142857142857143, 'id_test': 0.6458333333333334, 'ood_test': 0.7417840375586855, 'ood_validation': 0.5774647887323944, '0': 0.8545454545454545, '1': 0.8611111111111112, '2': 0.8699186991869918, '4': 0.7692307692307693, '6': 0.4766355140186916}
{'validation': 0.8571428571428571, 'id_test': 0.7430555555555556, 'ood_test': 0.7981220657276995, 'ood_validation': 0.676056338028169, '0': 0.9, '1': 0.9259259259259259, '2': 0.9024390243902439, '4': 0.8717948717948718, '6': 0.6915887850467289}
Model: ib_irm
{'validation': 0.7142857142857143, 'id_test': 0.6666666666666666, 'ood_test': 0.7511737089201878, 'ood_validation': 0.6901408450704225, '0': 0.7, '1': 0.7685185185185185, '2': 0.8455284552845529, '4': 0.7264957264957265, '6': 0.6448598130841121}
{'validation': 0.8571428571428571, 'id_test': 0.75, 'ood_test': 0.7511737089201878, 'ood_validation': 0.6338028169014085, '0': 0.8272727272727273, '1': 0.8240740740740741, '2': 0.8373983739837398, '4': 0.7863247863247863, '6': 0.6635514018691588}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7323943661971831, '0': 0.8636363636363636, '1': 0.8611111111111112, '2': 0.8780487804878049, '4': 0.8376068376068376, '6': 0.8130841121495327}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6901408450704225, '0': 0.8545454545454545, '1': 0.8518518518518519, '2': 0.8536585365853658, '4': 0.8974358974358975, '6': 0.8598130841121495}
{'validation': 0.7142857142857143, 'id_test': 0.5069444444444444, 'ood_test': 0.6995305164319249, 'ood_validation': 0.5774647887323944, '0': 0.4636363636363636, '1': 0.5555555555555556, '2': 0.7723577235772358, '4': 0.6837606837606838, '6': 0.34579439252336447}
{'validation': 0.5714285714285714, 'id_test': 0.5972222222222222, 'ood_test': 0.7136150234741784, 'ood_validation': 0.5633802816901409, '0': 0.7636363636363637, '1': 0.7962962962962963, '2': 0.8780487804878049, '4': 0.6666666666666666, '6': 0.3925233644859813}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6901408450704225, '0': 0.9090909090909091, '1': 0.9074074074074074, '2': 0.9186991869918699, '4': 0.8461538461538461, '6': 0.7850467289719626}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6619718309859155, '0': 0.8454545454545455, '1': 0.8796296296296297, '2': 0.9105691056910569, '4': 0.8803418803418803, '6': 0.7289719626168224}
{'validation': 0.8571428571428571, 'id_test': 0.7152777777777778, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6901408450704225, '0': 0.6909090909090909, '1': 0.7592592592592593, '2': 0.8861788617886179, '4': 0.9316239316239316, '6': 0.8130841121495327}
{'validation': 0.42857142857142855, 'id_test': 0.6597222222222222, 'ood_test': 0.7699530516431925, 'ood_validation': 0.6619718309859155, '0': 0.7272727272727273, '1': 0.8148148148148148, '2': 0.8943089430894309, '4': 0.811965811965812, '6': 0.6355140186915887}
Model: causirl_coral
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.755868544600939, 'ood_validation': 0.6901408450704225, '0': 0.8272727272727273, '1': 0.8055555555555556, '2': 0.7560975609756098, '4': 0.7435897435897436, '6': 0.7663551401869159}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.755868544600939, 'ood_validation': 0.6901408450704225, '0': 0.7181818181818181, '1': 0.7777777777777778, '2': 0.8536585365853658, '4': 0.8376068376068376, '6': 0.8037383177570093}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.8075117370892019, 'ood_validation': 0.7464788732394366, '0': 0.7454545454545455, '1': 0.7592592592592593, '2': 0.8048780487804879, '4': 0.8632478632478633, '6': 0.8037383177570093}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.7699530516431925, 'ood_validation': 0.6338028169014085, '0': 0.8727272727272727, '1': 0.8703703703703703, '2': 0.8292682926829268, '4': 0.8632478632478633, '6': 0.8317757009345794}
{'validation': 0.42857142857142855, 'id_test': 0.4930555555555556, 'ood_test': 0.676056338028169, 'ood_validation': 0.5492957746478874, '0': 0.6, '1': 0.5833333333333334, '2': 0.7398373983739838, '4': 0.6410256410256411, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.8309859154929577, 'ood_validation': 0.676056338028169, '0': 0.8181818181818182, '1': 0.7870370370370371, '2': 0.8699186991869918, '4': 0.8717948717948718, '6': 0.7757009345794392}
{'validation': 0.42857142857142855, 'id_test': 0.3958333333333333, 'ood_test': 0.6807511737089202, 'ood_validation': 0.5774647887323944, '0': 0.3181818181818182, '1': 0.39814814814814814, '2': 0.6504065040650406, '4': 0.6495726495726496, '6': 0.35514018691588783}
{'validation': 0.42857142857142855, 'id_test': 0.4305555555555556, 'ood_test': 0.6948356807511737, 'ood_validation': 0.5774647887323944, '0': 0.3181818181818182, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6837606837606838, '6': 0.45794392523364486}
{'validation': 0.42857142857142855, 'id_test': 0.3819444444444444, 'ood_test': 0.6854460093896714, 'ood_validation': 0.5633802816901409, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6581196581196581, '6': 0.308411214953271}
Model: causirl_mmd
{'validation': 0.42857142857142855, 'id_test': 0.3819444444444444, 'ood_test': 0.676056338028169, 'ood_validation': 0.5492957746478874, '0': 0.32727272727272727, '1': 0.4351851851851852, '2': 0.6585365853658537, '4': 0.6239316239316239, '6': 0.308411214953271}
{'validation': 0.7142857142857143, 'id_test': 0.6597222222222222, 'ood_test': 0.7370892018779343, 'ood_validation': 0.6338028169014085, '0': 0.7636363636363637, '1': 0.7592592592592593, '2': 0.8699186991869918, '4': 0.717948717948718, '6': 0.5233644859813084}
{'validation': 0.8571428571428571, 'id_test': 0.6944444444444444, 'ood_test': 0.7276995305164319, 'ood_validation': 0.5915492957746479, '0': 0.7818181818181819, '1': 0.75, '2': 0.8292682926829268, '4': 0.7264957264957265, '6': 0.5233644859813084}
{'validation': 0.42857142857142855, 'id_test': 0.4444444444444444, 'ood_test': 0.6807511737089202, 'ood_validation': 0.5492957746478874, '0': 0.4909090909090909, '1': 0.5462962962962963, '2': 0.6991869918699187, '4': 0.6495726495726496, '6': 0.32710280373831774}
{'validation': 1.0, 'id_test': 0.8125, 'ood_test': 0.7652582159624414, 'ood_validation': 0.6197183098591549, '0': 0.9, '1': 0.9166666666666666, '2': 0.8780487804878049, '4': 0.8888888888888888, '6': 0.7757009345794392}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.812206572769953, 'ood_validation': 0.6197183098591549, '0': 0.9363636363636364, '1': 0.8981481481481481, '2': 0.8699186991869918, '4': 0.905982905982906, '6': 0.8317757009345794}
{'validation': 0.42857142857142855, 'id_test': 0.4652777777777778, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5774647887323944, '0': 0.42727272727272725, '1': 0.5370370370370371, '2': 0.7235772357723578, '4': 0.6923076923076923, '6': 0.32710280373831774}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6338028169014085, '0': 0.9363636363636364, '1': 0.9351851851851852, '2': 0.9105691056910569, '4': 0.8803418803418803, '6': 0.8785046728971962}
{'validation': 0.7142857142857143, 'id_test': 0.7083333333333334, 'ood_test': 0.7464788732394366, 'ood_validation': 0.5633802816901409, '0': 0.8909090909090909, '1': 0.8703703703703703, '2': 0.8699186991869918, '4': 0.8034188034188035, '6': 0.5607476635514018}
{'validation': 1.0, 'id_test': 0.7777777777777778, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, '0': 0.9272727272727272, '1': 0.9351851851851852, '2': 0.9024390243902439, '4': 0.9230769230769231, '6': 0.8504672897196262}
