Model: aldro
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6338028169014085, 'train': 0.8477876106194691}
{'validation': 0.7142857142857143, 'id_test': 0.8541666666666666, 'ood_test': 0.812206572769953, 'ood_validation': 0.6338028169014085, 'train': 0.8867256637168142}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7887323943661971, 'ood_validation': 0.676056338028169, 'train': 0.8920353982300885}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, 'train': 0.8761061946902655}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8075117370892019, 'ood_validation': 0.647887323943662, 'train': 0.8991150442477877}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8215962441314554, 'ood_validation': 0.676056338028169, 'train': 0.9309734513274336}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6338028169014085, 'train': 0.9274336283185841}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, 'train': 0.9557522123893806}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6901408450704225, 'train': 0.9026548672566371}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.9433628318584071}
Model: dann
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7464788732394366, '0': 0.8454545454545455, '1': 0.8240740740740741, '2': 0.8780487804878049, '4': 0.7777777777777778, '6': 0.8317757009345794}
{'validation': 0.7142857142857143, 'id_test': 0.7152777777777778, 'ood_test': 0.7981220657276995, 'ood_validation': 0.5915492957746479, '0': 0.8090909090909091, '1': 0.8148148148148148, '2': 0.8617886178861789, '4': 0.8290598290598291, '6': 0.8411214953271028}
{'validation': 0.8571428571428571, 'id_test': 0.7291666666666666, 'ood_test': 0.784037558685446, 'ood_validation': 0.704225352112676, '0': 0.8545454545454545, '1': 0.8518518518518519, '2': 0.8699186991869918, '4': 0.7692307692307693, '6': 0.7102803738317757}
{'validation': 0.8571428571428571, 'id_test': 0.4375, 'ood_test': 0.6995305164319249, 'ood_validation': 0.6197183098591549, '0': 0.38181818181818183, '1': 0.4166666666666667, '2': 0.6666666666666666, '4': 0.6581196581196581, '6': 0.40186915887850466}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.4513888888888889, 'ood_test': 0.6995305164319249, 'ood_validation': 0.5774647887323944, '0': 0.4636363636363636, '1': 0.5555555555555556, '2': 0.6910569105691057, '4': 0.6666666666666666, '6': 0.38317757009345793}
{'validation': 0.7142857142857143, 'id_test': 0.7569444444444444, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6197183098591549, '0': 0.9, '1': 0.8240740740740741, '2': 0.8861788617886179, '4': 0.8034188034188035, '6': 0.822429906542056}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.812206572769953, 'ood_validation': 0.676056338028169, '0': 0.9090909090909091, '1': 0.8888888888888888, '2': 0.9024390243902439, '4': 0.8547008547008547, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, '0': 0.9, '1': 0.9074074074074074, '2': 0.9024390243902439, '4': 0.8803418803418803, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6901408450704225, '0': 0.7909090909090909, '1': 0.8425925925925926, '2': 0.8617886178861789, '4': 0.8803418803418803, '6': 0.8598130841121495}
Model: deepcoral
{'validation': 0.5714285714285714, 'id_test': 0.625, 'ood_test': 0.3333333333333333, 'ood_validation': 0.4507042253521127, '0': 0.6909090909090909, '1': 0.6018518518518519, '2': 0.35772357723577236, '4': 0.36752136752136755, '6': 0.7009345794392523}
{'validation': 0.8571428571428571, 'id_test': 0.6319444444444444, 'ood_test': 0.6807511737089202, 'ood_validation': 0.5915492957746479, '0': 0.6, '1': 0.5833333333333334, '2': 0.7642276422764228, '4': 0.6324786324786325, '6': 0.6822429906542056}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.812206572769953, 'ood_validation': 0.6901408450704225, '0': 0.9181818181818182, '1': 0.9074074074074074, '2': 0.8943089430894309, '4': 0.8461538461538461, '6': 0.8504672897196262}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.5714285714285714, 'id_test': 0.4166666666666667, 'ood_test': 0.704225352112676, 'ood_validation': 0.5633802816901409, '0': 0.33636363636363636, '1': 0.42592592592592593, '2': 0.6504065040650406, '4': 0.6666666666666666, '6': 0.38317757009345793}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6901408450704225, '0': 0.9454545454545454, '1': 0.8888888888888888, '2': 0.9024390243902439, '4': 0.905982905982906, '6': 0.8411214953271028}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, '0': 0.9636363636363636, '1': 0.8981481481481481, '2': 0.8943089430894309, '4': 0.9230769230769231, '6': 0.8598130841121495}
Model: expgrad
{'ood_test': 0.8215962441314554}
Model: ft_transformer
{'validation': 0.5714285714285714, 'id_test': 0.625, 'ood_test': 0.3333333333333333, 'ood_validation': 0.4507042253521127, 'train': 0.536283185840708}
{'validation': 0.5714285714285714, 'id_test': 0.6388888888888888, 'ood_test': 0.3474178403755869, 'ood_validation': 0.4507042253521127, 'train': 0.5469026548672566}
{'validation': 0.5714285714285714, 'id_test': 0.6875, 'ood_test': 0.431924882629108, 'ood_validation': 0.4507042253521127, 'train': 0.6141592920353982}
{'validation': 0.7142857142857143, 'id_test': 0.7222222222222222, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6619718309859155, 'train': 0.7876106194690266}
{'validation': 0.7142857142857143, 'id_test': 0.8541666666666666, 'ood_test': 0.7511737089201878, 'ood_validation': 0.6619718309859155, 'train': 0.8088495575221238}
{'validation': 0.7142857142857143, 'id_test': 0.8472222222222222, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.8371681415929203}
{'validation': 0.7142857142857143, 'id_test': 0.8541666666666666, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6338028169014085, 'train': 0.8477876106194691}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8403755868544601, 'ood_validation': 0.6901408450704225, 'train': 0.8495575221238938}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, 'train': 0.8513274336283185}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8215962441314554, 'ood_validation': 0.704225352112676, 'train': 0.8442477876106195}
Model: group_dro
{'validation': 0.7142857142857143, 'id_test': 0.8125, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8477876106194691}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6901408450704225, 'train': 0.8743362831858407}
{'validation': 0.7142857142857143, 'id_test': 0.8472222222222222, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6056338028169014, 'train': 0.8743362831858407}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6901408450704225, 'train': 0.8849557522123894}
{'validation': 0.7142857142857143, 'id_test': 0.8611111111111112, 'ood_test': 0.7887323943661971, 'ood_validation': 0.6338028169014085, 'train': 0.8389380530973451}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.9008849557522124}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7183098591549296, 'train': 0.8973451327433628}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.812206572769953, 'ood_validation': 0.7464788732394366, 'train': 0.8955752212389381}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, 'train': 0.9168141592920354}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6901408450704225, 'train': 0.9256637168141593}
Model: irm
{'validation': 0.8571428571428571, 'id_test': 0.6805555555555556, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, '0': 0.7454545454545455, '1': 0.6574074074074074, '2': 0.8292682926829268, '4': 0.8205128205128205, '6': 0.7850467289719626}
{'validation': 0.8571428571428571, 'id_test': 0.5972222222222222, 'ood_test': 0.7230046948356808, 'ood_validation': 0.6338028169014085, '0': 0.5545454545454546, '1': 0.7685185185185185, '2': 0.7398373983739838, '4': 0.7094017094017094, '6': 0.5233644859813084}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.7981220657276995, 'ood_validation': 0.7323943661971831, '0': 0.8818181818181818, '1': 0.8611111111111112, '2': 0.8861788617886179, '4': 0.905982905982906, '6': 0.8317757009345794}
{'validation': 0.7142857142857143, 'id_test': 0.625, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6901408450704225, '0': 0.8, '1': 0.7222222222222222, '2': 0.8455284552845529, '4': 0.7350427350427351, '6': 0.514018691588785}
{'validation': 0.42857142857142855, 'id_test': 0.4097222222222222, 'ood_test': 0.676056338028169, 'ood_validation': 0.5352112676056338, '0': 0.41818181818181815, '1': 0.5555555555555556, '2': 0.7073170731707317, '4': 0.6410256410256411, '6': 0.308411214953271}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, '0': 0.8454545454545455, '1': 0.8425925925925926, '2': 0.8780487804878049, '4': 0.9145299145299145, '6': 0.897196261682243}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6901408450704225, '0': 0.9363636363636364, '1': 0.9722222222222222, '2': 0.943089430894309, '4': 0.8974358974358975, '6': 0.8785046728971962}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6901408450704225, '0': 0.8727272727272727, '1': 0.7870370370370371, '2': 0.8617886178861789, '4': 0.9487179487179487, '6': 0.8130841121495327}
{'validation': 0.7142857142857143, 'id_test': 0.8125, 'ood_test': 0.7793427230046949, 'ood_validation': 0.6901408450704225, '0': 0.9363636363636364, '1': 0.8703703703703703, '2': 0.9024390243902439, '4': 0.9401709401709402, '6': 0.9065420560747663}
{'validation': 0.5714285714285714, 'id_test': 0.7638888888888888, 'ood_test': 0.7699530516431925, 'ood_validation': 0.6901408450704225, '0': 0.9454545454545454, '1': 0.9074074074074074, '2': 0.9105691056910569, '4': 0.8547008547008547, '6': 0.8130841121495327}
Model: label_group_dro
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8450704225352113, 'ood_validation': 0.7464788732394366, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7323943661971831, 'train': 0.8725663716814159}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, 'train': 0.8690265486725663}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, 'train': 0.8761061946902655}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7323943661971831, 'train': 0.9026548672566371}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.812206572769953, 'ood_validation': 0.6619718309859155, 'train': 0.8584070796460177}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7183098591549296, 'train': 0.8991150442477877}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8403755868544601, 'ood_validation': 0.704225352112676, 'train': 0.9238938053097345}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8356807511737089, 'ood_validation': 0.647887323943662, 'train': 0.9327433628318584}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, 'train': 0.9327433628318584}
Model: lightgbm
{'ood_test': 0.8075117370892019}
Model: mixup
{'validation': 0.7142857142857143, 'id_test': 0.6666666666666666, 'ood_test': 0.7887323943661971, 'ood_validation': 0.676056338028169, '0': 0.7, '1': 0.7129629629629629, '2': 0.8455284552845529, '4': 0.7948717948717948, '6': 0.7102803738317757}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.7981220657276995, 'ood_validation': 0.704225352112676, '0': 0.8454545454545455, '1': 0.8333333333333334, '2': 0.8455284552845529, '4': 0.8717948717948718, '6': 0.7850467289719626}
{'validation': 0.7142857142857143, 'id_test': 0.8472222222222222, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6197183098591549, '0': 0.8818181818181818, '1': 0.8796296296296297, '2': 0.8861788617886179, '4': 0.8205128205128205, '6': 0.9065420560747663}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.7981220657276995, 'ood_validation': 0.7323943661971831, '0': 0.7454545454545455, '1': 0.8240740740740741, '2': 0.7723577235772358, '4': 0.8547008547008547, '6': 0.822429906542056}
{'validation': 0.8571428571428571, 'id_test': 0.7430555555555556, 'ood_test': 0.7793427230046949, 'ood_validation': 0.6619718309859155, '0': 0.8545454545454545, '1': 0.8055555555555556, '2': 0.8536585365853658, '4': 0.8034188034188035, '6': 0.6915887850467289}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6338028169014085, '0': 0.9454545454545454, '1': 0.9537037037037037, '2': 0.9024390243902439, '4': 0.8803418803418803, '6': 0.8691588785046729}
{'validation': 1.0, 'id_test': 0.8125, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6197183098591549, '0': 0.9363636363636364, '1': 0.9259259259259259, '2': 0.8699186991869918, '4': 0.8717948717948718, '6': 0.897196261682243}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8028169014084507, 'ood_validation': 0.676056338028169, '0': 0.9454545454545454, '1': 0.9259259259259259, '2': 0.8617886178861789, '4': 0.8974358974358975, '6': 0.897196261682243}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8215962441314554, 'ood_validation': 0.676056338028169, '0': 0.8818181818181818, '1': 0.8611111111111112, '2': 0.8861788617886179, '4': 0.8717948717948718, '6': 0.8691588785046729}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, '0': 0.990909090909091, '1': 0.9537037037037037, '2': 0.8861788617886179, '4': 0.9230769230769231, '6': 0.8878504672897196}
Model: mlp
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7323943661971831, 'train': 0.8761061946902655}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7183098591549296, 'train': 0.8619469026548673}
{'validation': 0.7142857142857143, 'id_test': 0.8263888888888888, 'ood_test': 0.8028169014084507, 'ood_validation': 0.647887323943662, 'train': 0.8955752212389381}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7981220657276995, 'ood_validation': 0.7183098591549296, 'train': 0.9026548672566371}
{'validation': 0.7142857142857143, 'id_test': 0.8402777777777778, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6338028169014085, 'train': 0.8884955752212389}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8075117370892019, 'ood_validation': 0.647887323943662, 'train': 0.9150442477876106}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.8075117370892019, 'ood_validation': 0.7183098591549296, 'train': 0.8920353982300885}
{'validation': 0.7142857142857143, 'id_test': 0.8472222222222222, 'ood_test': 0.7934272300469484, 'ood_validation': 0.647887323943662, 'train': 0.9008849557522124}
{'validation': 0.7142857142857143, 'id_test': 0.8402777777777778, 'ood_test': 0.7746478873239436, 'ood_validation': 0.647887323943662, 'train': 0.9238938053097345}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6901408450704225, 'train': 0.9380530973451328}
Model: mmd
{'validation': 0.7142857142857143, 'id_test': 0.5277777777777778, 'ood_test': 0.7887323943661971, 'ood_validation': 0.7183098591549296, '0': 0.36363636363636365, '1': 0.4166666666666667, '2': 0.6666666666666666, '4': 0.8034188034188035, '6': 0.6822429906542056}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6410256410256411, '6': 0.38317757009345793}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.812206572769953, 'ood_validation': 0.7323943661971831, '0': 0.9090909090909091, '1': 0.8240740740740741, '2': 0.8536585365853658, '4': 0.8461538461538461, '6': 0.8130841121495327}
{'validation': 0.42857142857142855, 'id_test': 0.3888888888888889, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5633802816901409, '0': 0.33636363636363636, '1': 0.4166666666666667, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.7142857142857143, 'id_test': 0.7013888888888888, 'ood_test': 0.8075117370892019, 'ood_validation': 0.704225352112676, '0': 0.7181818181818181, '1': 0.7685185185185185, '2': 0.8130081300813008, '4': 0.8632478632478633, '6': 0.794392523364486}
{'validation': 0.42857142857142855, 'id_test': 0.4583333333333333, 'ood_test': 0.7089201877934272, 'ood_validation': 0.5633802816901409, '0': 0.41818181818181815, '1': 0.49074074074074076, '2': 0.7479674796747967, '4': 0.6666666666666666, '6': 0.37383177570093457}
{'validation': 0.42857142857142855, 'id_test': 0.4444444444444444, 'ood_test': 0.6713615023474179, 'ood_validation': 0.5633802816901409, '0': 0.4, '1': 0.5925925925925926, '2': 0.7235772357723578, '4': 0.6410256410256411, '6': 0.3177570093457944}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.7887323943661971, 'ood_validation': 0.676056338028169, '0': 0.9818181818181818, '1': 0.9074074074074074, '2': 0.9105691056910569, '4': 0.8888888888888888, '6': 0.8785046728971962}
{'validation': 0.7142857142857143, 'id_test': 0.6736111111111112, 'ood_test': 0.7511737089201878, 'ood_validation': 0.647887323943662, '0': 0.7, '1': 0.7962962962962963, '2': 0.8211382113821138, '4': 0.7521367521367521, '6': 0.5327102803738317}
Model: node
{'validation': 0.7142857142857143, 'id_test': 0.8125, 'ood_test': 0.6525821596244131, 'ood_validation': 0.6056338028169014, 'train': 0.7486725663716814}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8403755868544601, 'ood_validation': 0.6901408450704225, 'train': 0.8442477876106195}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.812206572769953, 'ood_validation': 0.6901408450704225, 'train': 0.8495575221238938}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7464788732394366, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7605633802816901, 'train': 0.863716814159292}
{'validation': 0.8571428571428571, 'id_test': 0.8680555555555556, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8725663716814159}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7464788732394366, 'train': 0.8743362831858407}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7323943661971831, 'train': 0.8814159292035398}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, 'train': 0.8938053097345132}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.812206572769953, 'ood_validation': 0.6901408450704225, 'train': 0.8849557522123894}
Model: resnet
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8356807511737089, 'ood_validation': 0.6901408450704225, 'train': 0.8530973451327434}
{'validation': 0.7142857142857143, 'id_test': 0.8263888888888888, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6197183098591549, 'train': 0.8336283185840708}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8075117370892019, 'ood_validation': 0.647887323943662, 'train': 0.8584070796460177}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6619718309859155, 'train': 0.8654867256637168}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8215962441314554, 'ood_validation': 0.676056338028169, 'train': 0.879646017699115}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6619718309859155, 'train': 0.8690265486725663}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, 'train': 0.8672566371681416}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.647887323943662, 'train': 0.8619469026548673}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, 'train': 0.8761061946902655}
{'validation': 0.7142857142857143, 'id_test': 0.8263888888888888, 'ood_test': 0.7652582159624414, 'ood_validation': 0.5915492957746479, 'train': 0.8460176991150442}
Model: saint
{'validation': 0.5714285714285714, 'id_test': 0.7430555555555556, 'ood_test': 0.5352112676056338, 'ood_validation': 0.5211267605633803, 'train': 0.7451327433628319}
{'validation': 0.7142857142857143, 'id_test': 0.7708333333333334, 'ood_test': 0.784037558685446, 'ood_validation': 0.647887323943662, 'train': 0.8088495575221238}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.7934272300469484, 'ood_validation': 0.7183098591549296, 'train': 0.8141592920353983}
{'validation': 0.5714285714285714, 'id_test': 0.7777777777777778, 'ood_test': 0.7370892018779343, 'ood_validation': 0.647887323943662, 'train': 0.8141592920353983}
{'validation': 0.7142857142857143, 'id_test': 0.8263888888888888, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7464788732394366, 'train': 0.8513274336283185}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7464788732394366, 'train': 0.8584070796460177}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7323943661971831, 'train': 0.8761061946902655}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8028169014084507, 'ood_validation': 0.704225352112676, 'train': 0.8442477876106195}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7183098591549296, 'train': 0.8743362831858407}
{'validation': 0.7142857142857143, 'id_test': 0.8402777777777778, 'ood_test': 0.8028169014084507, 'ood_validation': 0.704225352112676, 'train': 0.8672566371681416}
Model: tabtransformer
{'validation': 0.5714285714285714, 'id_test': 0.625, 'ood_test': 0.3333333333333333, 'ood_validation': 0.4507042253521127, 'train': 0.536283185840708}
{'validation': 0.7142857142857143, 'id_test': 0.8541666666666666, 'ood_test': 0.7699530516431925, 'ood_validation': 0.6338028169014085, 'train': 0.8141592920353983}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8028169014084507, 'ood_validation': 0.647887323943662, 'train': 0.8424778761061947}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.812206572769953, 'ood_validation': 0.676056338028169, 'train': 0.8477876106194691}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8530973451327434}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, 'train': 0.8548672566371681}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, 'train': 0.8460176991150442}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.812206572769953, 'ood_validation': 0.6901408450704225, 'train': 0.8477876106194691}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6901408450704225, 'train': 0.8548672566371681}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8584070796460177}
Model: vrex
{'validation': 0.8571428571428571, 'id_test': 0.7430555555555556, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6197183098591549, '0': 0.8090909090909091, '1': 0.7870370370370371, '2': 0.8292682926829268, '4': 0.7863247863247863, '6': 0.7383177570093458}
{'validation': 0.42857142857142855, 'id_test': 0.4236111111111111, 'ood_test': 0.6713615023474179, 'ood_validation': 0.5633802816901409, '0': 0.38181818181818183, '1': 0.48148148148148145, '2': 0.6747967479674797, '4': 0.6410256410256411, '6': 0.3177570093457944}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.7981220657276995, 'ood_validation': 0.676056338028169, '0': 0.8545454545454545, '1': 0.8425925925925926, '2': 0.8780487804878049, '4': 0.7606837606837606, '6': 0.7570093457943925}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8356807511737089, 'ood_validation': 0.6901408450704225, '0': 0.8818181818181818, '1': 0.8518518518518519, '2': 0.8048780487804879, '4': 0.8803418803418803, '6': 0.794392523364486}
{'validation': 0.7142857142857143, 'id_test': 0.6944444444444444, 'ood_test': 0.7417840375586855, 'ood_validation': 0.5774647887323944, '0': 0.9363636363636364, '1': 0.9351851851851852, '2': 0.8455284552845529, '4': 0.717948717948718, '6': 0.5046728971962616}
{'validation': 1.0, 'id_test': 0.8263888888888888, 'ood_test': 0.7464788732394366, 'ood_validation': 0.5774647887323944, '0': 0.9636363636363636, '1': 0.9537037037037037, '2': 0.8699186991869918, '4': 0.811965811965812, '6': 0.8691588785046729}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8169014084507042, 'ood_validation': 0.647887323943662, '0': 0.9181818181818182, '1': 0.9166666666666666, '2': 0.8780487804878049, '4': 0.9316239316239316, '6': 0.897196261682243}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6619718309859155, '0': 0.9363636363636364, '1': 0.9166666666666666, '2': 0.9105691056910569, '4': 0.8547008547008547, '6': 0.8785046728971962}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8215962441314554, 'ood_validation': 0.676056338028169, '0': 0.9454545454545454, '1': 0.9074074074074074, '2': 0.9024390243902439, '4': 0.8803418803418803, '6': 0.8691588785046729}
{'validation': 0.8571428571428571, 'id_test': 0.8611111111111112, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6056338028169014, '0': 0.9090909090909091, '1': 0.8796296296296297, '2': 0.9105691056910569, '4': 0.8461538461538461, '6': 0.897196261682243}
Model: xgb
{'ood_test': 0.8215962441314554}
Model: ib_erm
{'validation': 0.5714285714285714, 'id_test': 0.4791666666666667, 'ood_test': 0.7230046948356808, 'ood_validation': 0.6197183098591549, '0': 0.5818181818181818, '1': 0.5648148148148148, '2': 0.7560975609756098, '4': 0.6666666666666666, '6': 0.4205607476635514}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8309859154929577, 'ood_validation': 0.676056338028169, '0': 0.8727272727272727, '1': 0.8981481481481481, '2': 0.8373983739837398, '4': 0.8376068376068376, '6': 0.822429906542056}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.7981220657276995, 'ood_validation': 0.647887323943662, '0': 0.9363636363636364, '1': 0.9074074074074074, '2': 0.9024390243902439, '4': 0.8717948717948718, '6': 0.8691588785046729}
{'validation': 0.8571428571428571, 'id_test': 0.7430555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7323943661971831, '0': 0.8181818181818182, '1': 0.75, '2': 0.8536585365853658, '4': 0.8632478632478633, '6': 0.8317757009345794}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.7981220657276995, 'ood_validation': 0.676056338028169, '0': 0.7636363636363637, '1': 0.7962962962962963, '2': 0.8780487804878049, '4': 0.8547008547008547, '6': 0.8130841121495327}
{'validation': 0.7142857142857143, 'id_test': 0.8333333333333334, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, '0': 0.9727272727272728, '1': 0.9444444444444444, '2': 0.9024390243902439, '4': 0.905982905982906, '6': 0.8691588785046729}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.8028169014084507, 'ood_validation': 0.704225352112676, '0': 0.8909090909090909, '1': 0.8703703703703703, '2': 0.9024390243902439, '4': 0.9230769230769231, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.784037558685446, 'ood_validation': 0.6901408450704225, '0': 0.9727272727272728, '1': 0.9537037037037037, '2': 0.9512195121951219, '4': 0.8888888888888888, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7746478873239436, 'ood_validation': 0.7183098591549296, '0': 0.9090909090909091, '1': 0.9166666666666666, '2': 0.9349593495934959, '4': 0.9316239316239316, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7887323943661971, 'ood_validation': 0.6901408450704225, '0': 0.9727272727272728, '1': 0.9814814814814815, '2': 0.943089430894309, '4': 0.8888888888888888, '6': 0.8785046728971962}
Model: ib_irm
{'validation': 0.7142857142857143, 'id_test': 0.8263888888888888, 'ood_test': 0.8028169014084507, 'ood_validation': 0.647887323943662, '0': 0.8818181818181818, '1': 0.8703703703703703, '2': 0.8536585365853658, '4': 0.7863247863247863, '6': 0.8317757009345794}
{'validation': 0.42857142857142855, 'id_test': 0.3819444444444444, 'ood_test': 0.6948356807511737, 'ood_validation': 0.5633802816901409, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6410256410256411, '6': 0.4205607476635514}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.784037558685446, 'ood_validation': 0.704225352112676, '0': 0.8727272727272727, '1': 0.8518518518518519, '2': 0.8292682926829268, '4': 0.8034188034188035, '6': 0.7476635514018691}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, '0': 0.9272727272727272, '1': 0.8796296296296297, '2': 0.9024390243902439, '4': 0.905982905982906, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, '0': 0.9090909090909091, '1': 0.8425925925925926, '2': 0.8943089430894309, '4': 0.8803418803418803, '6': 0.8130841121495327}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6901408450704225, '0': 0.8818181818181818, '1': 0.8240740740740741, '2': 0.8617886178861789, '4': 0.9145299145299145, '6': 0.8504672897196262}
{'validation': 0.7142857142857143, 'id_test': 0.7916666666666666, 'ood_test': 0.8309859154929577, 'ood_validation': 0.676056338028169, '0': 0.8727272727272727, '1': 0.8796296296296297, '2': 0.8699186991869918, '4': 0.9230769230769231, '6': 0.8785046728971962}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8450704225352113, 'ood_validation': 0.7183098591549296, '0': 0.9363636363636364, '1': 0.9351851851851852, '2': 0.9105691056910569, '4': 0.9401709401709402, '6': 0.8785046728971962}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6619718309859155, '0': 0.9090909090909091, '1': 0.9166666666666666, '2': 0.9105691056910569, '4': 0.9230769230769231, '6': 0.9626168224299065}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, '0': 0.9818181818181818, '1': 0.8981481481481481, '2': 0.9349593495934959, '4': 0.9401709401709402, '6': 0.9252336448598131}
Model: causirl_coral
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.3819444444444444, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.33636363636363636, '1': 0.4074074074074074, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5633802816901409, '0': 0.3181818181818182, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.4097222222222222, 'ood_test': 0.6713615023474179, 'ood_validation': 0.5492957746478874, '0': 0.34545454545454546, '1': 0.46296296296296297, '2': 0.6666666666666666, '4': 0.6495726495726496, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.3819444444444444, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.33636363636363636, '1': 0.4166666666666667, '2': 0.6747967479674797, '4': 0.6410256410256411, '6': 0.29906542056074764}
{'validation': 0.7142857142857143, 'id_test': 0.7291666666666666, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6901408450704225, '0': 0.7818181818181819, '1': 0.7129629629629629, '2': 0.8211382113821138, '4': 0.8888888888888888, '6': 0.822429906542056}
Model: causirl_mmd
{'validation': 0.7142857142857143, 'id_test': 0.6666666666666666, 'ood_test': 0.7089201877934272, 'ood_validation': 0.5774647887323944, '0': 0.7, '1': 0.7685185185185185, '2': 0.8211382113821138, '4': 0.6752136752136753, '6': 0.48598130841121495}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.7142857142857143, 'id_test': 0.6736111111111112, 'ood_test': 0.7887323943661971, 'ood_validation': 0.7183098591549296, '0': 0.5181818181818182, '1': 0.7222222222222222, '2': 0.7804878048780488, '4': 0.8205128205128205, '6': 0.7383177570093458}
{'validation': 0.7142857142857143, 'id_test': 0.7430555555555556, 'ood_test': 0.7464788732394366, 'ood_validation': 0.6901408450704225, '0': 0.8727272727272727, '1': 0.8518518518518519, '2': 0.8780487804878049, '4': 0.811965811965812, '6': 0.7383177570093458}
{'validation': 0.7142857142857143, 'id_test': 0.7083333333333334, 'ood_test': 0.7699530516431925, 'ood_validation': 0.6901408450704225, '0': 0.7363636363636363, '1': 0.7685185185185185, '2': 0.8373983739837398, '4': 0.8803418803418803, '6': 0.8037383177570093}
{'validation': 0.8571428571428571, 'id_test': 0.7430555555555556, 'ood_test': 0.8028169014084507, 'ood_validation': 0.704225352112676, '0': 0.8272727272727273, '1': 0.8240740740740741, '2': 0.9024390243902439, '4': 0.905982905982906, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.755868544600939, 'ood_validation': 0.6338028169014085, '0': 0.9, '1': 0.7962962962962963, '2': 0.8780487804878049, '4': 0.811965811965812, '6': 0.8598130841121495}
{'validation': 0.5714285714285714, 'id_test': 0.7638888888888888, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6901408450704225, '0': 0.9545454545454546, '1': 0.8888888888888888, '2': 0.9105691056910569, '4': 0.9230769230769231, '6': 0.7757009345794392}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8075117370892019, 'ood_validation': 0.7183098591549296, '0': 0.8545454545454545, '1': 0.7870370370370371, '2': 0.8943089430894309, '4': 0.9145299145299145, '6': 0.9065420560747663}
{'validation': 0.7142857142857143, 'id_test': 0.7708333333333334, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6197183098591549, '0': 0.8909090909090909, '1': 0.8888888888888888, '2': 0.9105691056910569, '4': 0.8547008547008547, '6': 0.794392523364486}