Model: aldro
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8743362831858407}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7605633802816901, 'train': 0.8991150442477877}
{'validation': 0.7142857142857143, 'id_test': 0.8263888888888888, 'ood_test': 0.8309859154929577, 'ood_validation': 0.6338028169014085, 'train': 0.8849557522123894}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6619718309859155, 'train': 0.9097345132743363}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.9168141592920354}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8403755868544601, 'ood_validation': 0.7183098591549296, 'train': 0.8973451327433628}
{'validation': 1.0, 'id_test': 0.8125, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6619718309859155, 'train': 0.9292035398230089}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, 'train': 0.9168141592920354}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.7887323943661971, 'ood_validation': 0.676056338028169, 'train': 0.9185840707964602}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8356807511737089, 'ood_validation': 0.704225352112676, 'train': 0.9362831858407079}
Model: dann
{'validation': 0.5714285714285714, 'id_test': 0.6875, 'ood_test': 0.7887323943661971, 'ood_validation': 0.7183098591549296, '0': 0.6636363636363637, '1': 0.6944444444444444, '2': 0.7967479674796748, '4': 0.7692307692307693, '6': 0.8504672897196262}
{'validation': 0.7142857142857143, 'id_test': 0.6666666666666666, 'ood_test': 0.7323943661971831, 'ood_validation': 0.5774647887323944, '0': 0.8, '1': 0.7592592592592593, '2': 0.8130081300813008, '4': 0.7094017094017094, '6': 0.48598130841121495}
{'validation': 0.42857142857142855, 'id_test': 0.4027777777777778, 'ood_test': 0.704225352112676, 'ood_validation': 0.5352112676056338, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6666666666666666, '6': 0.3644859813084112}
{'validation': 0.7142857142857143, 'id_test': 0.4375, 'ood_test': 0.6995305164319249, 'ood_validation': 0.5915492957746479, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.7008547008547008, '6': 0.4672897196261682}
{'validation': 0.42857142857142855, 'id_test': 0.4722222222222222, 'ood_test': 0.6995305164319249, 'ood_validation': 0.5492957746478874, '0': 0.44545454545454544, '1': 0.5092592592592593, '2': 0.6666666666666666, '4': 0.6581196581196581, '6': 0.411214953271028}
{'validation': 0.5714285714285714, 'id_test': 0.5625, 'ood_test': 0.7089201877934272, 'ood_validation': 0.6056338028169014, '0': 0.6909090909090909, '1': 0.6944444444444444, '2': 0.7073170731707317, '4': 0.6495726495726496, '6': 0.4392523364485981}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.7934272300469484, 'ood_validation': 0.647887323943662, '0': 0.8090909090909091, '1': 0.8148148148148148, '2': 0.8373983739837398, '4': 0.7692307692307693, '6': 0.719626168224299}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6619718309859155, '0': 0.8, '1': 0.7870370370370371, '2': 0.8130081300813008, '4': 0.8290598290598291, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.8309859154929577, 'ood_validation': 0.676056338028169, '0': 0.8727272727272727, '1': 0.8518518518518519, '2': 0.8292682926829268, '4': 0.8376068376068376, '6': 0.8317757009345794}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8262910798122066, 'ood_validation': 0.7183098591549296, '0': 0.8909090909090909, '1': 0.8981481481481481, '2': 0.8861788617886179, '4': 0.8717948717948718, '6': 0.8598130841121495}
Model: deepcoral
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.784037558685446, 'ood_validation': 0.6338028169014085, '0': 0.8454545454545455, '1': 0.8518518518518519, '2': 0.8699186991869918, '4': 0.7606837606837606, '6': 0.7570093457943925}
{'validation': 0.8571428571428571, 'id_test': 0.7291666666666666, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, '0': 0.6909090909090909, '1': 0.75, '2': 0.8373983739837398, '4': 0.8717948717948718, '6': 0.8317757009345794}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.7142857142857143, 'id_test': 0.7638888888888888, 'ood_test': 0.6901408450704225, 'ood_validation': 0.5070422535211268, '0': 0.9, '1': 0.9166666666666666, '2': 0.8943089430894309, '4': 0.6153846153846154, '6': 0.7663551401869159}
{'validation': 0.7142857142857143, 'id_test': 0.7291666666666666, 'ood_test': 0.7699530516431925, 'ood_validation': 0.6197183098591549, '0': 0.7818181818181819, '1': 0.8055555555555556, '2': 0.8536585365853658, '4': 0.7863247863247863, '6': 0.8504672897196262}
{'validation': 0.42857142857142855, 'id_test': 0.3888888888888889, 'ood_test': 0.6854460093896714, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.3177570093457944}
{'validation': 0.8571428571428571, 'id_test': 0.6180555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7323943661971831, '0': 0.5818181818181818, '1': 0.5370370370370371, '2': 0.7723577235772358, '4': 0.8461538461538461, '6': 0.8785046728971962}
{'validation': 0.7142857142857143, 'id_test': 0.5694444444444444, 'ood_test': 0.7511737089201878, 'ood_validation': 0.704225352112676, '0': 0.6363636363636364, '1': 0.6759259259259259, '2': 0.8130081300813008, '4': 0.8205128205128205, '6': 0.5887850467289719}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, '0': 0.9454545454545454, '1': 0.9074074074074074, '2': 0.8861788617886179, '4': 0.905982905982906, '6': 0.8598130841121495}
Model: expgrad
{'ood_test': 0.8215962441314554}
Model: ft_transformer
{'validation': 0.42857142857142855, 'id_test': 0.6319444444444444, 'ood_test': 0.676056338028169, 'ood_validation': 0.5633802816901409, 'train': 0.6814159292035398}
{'validation': 0.5714285714285714, 'id_test': 0.6944444444444444, 'ood_test': 0.5164319248826291, 'ood_validation': 0.5070422535211268, 'train': 0.6070796460176991}
{'validation': 0.7142857142857143, 'id_test': 0.6944444444444444, 'ood_test': 0.7511737089201878, 'ood_validation': 0.647887323943662, 'train': 0.7646017699115044}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6197183098591549, 'train': 0.815929203539823}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8215962441314554, 'ood_validation': 0.647887323943662, 'train': 0.8353982300884956}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8309859154929577, 'ood_validation': 0.676056338028169, 'train': 0.8442477876106195}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7323943661971831, 'train': 0.8548672566371681}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7183098591549296, 'train': 0.8407079646017699}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8460176991150442}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7323943661971831, 'train': 0.8530973451327434}
Model: group_dro
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7464788732394366, 'train': 0.8424778761061947}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.7981220657276995, 'ood_validation': 0.704225352112676, 'train': 0.8513274336283185}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8672566371681416}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8902654867256637}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8450704225352113, 'ood_validation': 0.676056338028169, 'train': 0.8920353982300885}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8262910798122066, 'ood_validation': 0.676056338028169, 'train': 0.911504424778761}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, 'train': 0.9238938053097345}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6619718309859155, 'train': 0.9097345132743363}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.784037558685446, 'ood_validation': 0.647887323943662, 'train': 0.8991150442477877}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, 'train': 0.8849557522123894}
Model: irm
{'validation': 0.42857142857142855, 'id_test': 0.4305555555555556, 'ood_test': 0.6807511737089202, 'ood_validation': 0.5492957746478874, '0': 0.35454545454545455, '1': 0.5, '2': 0.6910569105691057, '4': 0.6410256410256411, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7793427230046949, 'ood_validation': 0.6619718309859155, '0': 0.9090909090909091, '1': 0.9166666666666666, '2': 0.8861788617886179, '4': 0.8376068376068376, '6': 0.8504672897196262}
{'validation': 0.7142857142857143, 'id_test': 0.6736111111111112, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6901408450704225, '0': 0.6545454545454545, '1': 0.6203703703703703, '2': 0.8211382113821138, '4': 0.8461538461538461, '6': 0.8037383177570093}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6410256410256411, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6197183098591549, '0': 0.8, '1': 0.8148148148148148, '2': 0.8861788617886179, '4': 0.905982905982906, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, '0': 0.8272727272727273, '1': 0.8796296296296297, '2': 0.9349593495934959, '4': 0.8803418803418803, '6': 0.8785046728971962}
{'validation': 0.7142857142857143, 'id_test': 0.5069444444444444, 'ood_test': 0.7136150234741784, 'ood_validation': 0.6056338028169014, '0': 0.5, '1': 0.5462962962962963, '2': 0.7479674796747967, '4': 0.8205128205128205, '6': 0.5233644859813084}
{'validation': 0.8571428571428571, 'id_test': 0.6597222222222222, 'ood_test': 0.7464788732394366, 'ood_validation': 0.704225352112676, '0': 0.5545454545454546, '1': 0.5555555555555556, '2': 0.8048780487804879, '4': 0.8547008547008547, '6': 0.7289719626168224}
{'validation': 0.8571428571428571, 'id_test': 0.6875, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6619718309859155, '0': 0.7818181818181819, '1': 0.6944444444444444, '2': 0.8455284552845529, '4': 0.9145299145299145, '6': 0.9065420560747663}
{'validation': 0.8571428571428571, 'id_test': 0.7222222222222222, 'ood_test': 0.8075117370892019, 'ood_validation': 0.704225352112676, '0': 0.8090909090909091, '1': 0.6944444444444444, '2': 0.8455284552845529, '4': 0.9230769230769231, '6': 0.9719626168224299}
Model: label_group_dro
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.7981220657276995, 'ood_validation': 0.647887323943662, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8403755868544601, 'ood_validation': 0.7323943661971831, 'train': 0.8654867256637168}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.7934272300469484, 'ood_validation': 0.704225352112676, 'train': 0.8778761061946903}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, 'train': 0.9061946902654867}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, 'train': 0.9185840707964602}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.8356807511737089, 'ood_validation': 0.676056338028169, 'train': 0.9256637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7183098591549296, 'train': 0.9203539823008849}
{'validation': 1.0, 'id_test': 0.7986111111111112, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.9345132743362832}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6619718309859155, 'train': 0.9362831858407079}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.7981220657276995, 'ood_validation': 0.7183098591549296, 'train': 0.9557522123893806}
Model: lightgbm
{'ood_test': 0.8075117370892019}
Model: mixup
{'validation': 0.7142857142857143, 'id_test': 0.5833333333333334, 'ood_test': 0.755868544600939, 'ood_validation': 0.676056338028169, '0': 0.41818181818181815, '1': 0.5, '2': 0.7479674796747967, '4': 0.7435897435897436, '6': 0.6728971962616822}
{'validation': 0.8571428571428571, 'id_test': 0.7152777777777778, 'ood_test': 0.7089201877934272, 'ood_validation': 0.6338028169014085, '0': 0.8363636363636363, '1': 0.8148148148148148, '2': 0.8130081300813008, '4': 0.7777777777777778, '6': 0.6448598130841121}
{'validation': 1.0, 'id_test': 0.8125, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6619718309859155, '0': 0.8545454545454545, '1': 0.8703703703703703, '2': 0.8699186991869918, '4': 0.8376068376068376, '6': 0.897196261682243}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.784037558685446, 'ood_validation': 0.676056338028169, '0': 0.8454545454545455, '1': 0.8518518518518519, '2': 0.8780487804878049, '4': 0.8376068376068376, '6': 0.8785046728971962}
{'validation': 0.8571428571428571, 'id_test': 0.6736111111111112, 'ood_test': 0.7887323943661971, 'ood_validation': 0.704225352112676, '0': 0.7363636363636363, '1': 0.7314814814814815, '2': 0.7967479674796748, '4': 0.7777777777777778, '6': 0.7663551401869159}
{'validation': 0.7142857142857143, 'id_test': 0.6527777777777778, 'ood_test': 0.7183098591549296, 'ood_validation': 0.6619718309859155, '0': 0.8636363636363636, '1': 0.8518518518518519, '2': 0.8373983739837398, '4': 0.6923076923076923, '6': 0.4766355140186916}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.7699530516431925, 'ood_validation': 0.6901408450704225, '0': 0.9, '1': 0.9166666666666666, '2': 0.9024390243902439, '4': 0.8290598290598291, '6': 0.794392523364486}
{'validation': 0.7142857142857143, 'id_test': 0.8472222222222222, 'ood_test': 0.7887323943661971, 'ood_validation': 0.6197183098591549, '0': 0.9272727272727272, '1': 0.9074074074074074, '2': 0.8861788617886179, '4': 0.8632478632478633, '6': 0.897196261682243}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6056338028169014, '0': 0.9636363636363636, '1': 0.9444444444444444, '2': 0.8943089430894309, '4': 0.905982905982906, '6': 0.9345794392523364}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7934272300469484, 'ood_validation': 0.5915492957746479, '0': 0.9272727272727272, '1': 0.9074074074074074, '2': 0.9105691056910569, '4': 0.905982905982906, '6': 0.9065420560747663}
Model: mlp
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.812206572769953, 'ood_validation': 0.676056338028169, 'train': 0.8548672566371681}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7323943661971831, 'train': 0.8725663716814159}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7934272300469484, 'ood_validation': 0.704225352112676, 'train': 0.8654867256637168}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, 'train': 0.8884955752212389}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.7981220657276995, 'ood_validation': 0.704225352112676, 'train': 0.8938053097345132}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.812206572769953, 'ood_validation': 0.7183098591549296, 'train': 0.9185840707964602}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8403755868544601, 'ood_validation': 0.704225352112676, 'train': 0.9203539823008849}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8262910798122066, 'ood_validation': 0.6901408450704225, 'train': 0.9203539823008849}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8262910798122066, 'ood_validation': 0.676056338028169, 'train': 0.9132743362831859}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8028169014084507, 'ood_validation': 0.704225352112676, 'train': 0.9168141592920354}
Model: mmd
{'validation': 0.5714285714285714, 'id_test': 0.4305555555555556, 'ood_test': 0.6854460093896714, 'ood_validation': 0.5492957746478874, '0': 0.37272727272727274, '1': 0.4444444444444444, '2': 0.7073170731707317, '4': 0.6666666666666666, '6': 0.4485981308411215}
{'validation': 0.7142857142857143, 'id_test': 0.6111111111111112, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6901408450704225, '0': 0.7090909090909091, '1': 0.6481481481481481, '2': 0.8130081300813008, '4': 0.8376068376068376, '6': 0.7009345794392523}
{'validation': 0.5714285714285714, 'id_test': 0.5833333333333334, 'ood_test': 0.6995305164319249, 'ood_validation': 0.5492957746478874, '0': 0.5545454545454546, '1': 0.6759259259259259, '2': 0.7560975609756098, '4': 0.6923076923076923, '6': 0.5046728971962616}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, '0': 0.8545454545454545, '1': 0.8518518518518519, '2': 0.8455284552845529, '4': 0.8461538461538461, '6': 0.8504672897196262}
{'validation': 0.5714285714285714, 'id_test': 0.5277777777777778, 'ood_test': 0.6854460093896714, 'ood_validation': 0.5211267605633803, '0': 0.6090909090909091, '1': 0.6111111111111112, '2': 0.7723577235772358, '4': 0.6324786324786325, '6': 0.3364485981308411}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, '0': 0.8727272727272727, '1': 0.8888888888888888, '2': 0.9024390243902439, '4': 0.8888888888888888, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7183098591549296, '0': 0.8818181818181818, '1': 0.8796296296296297, '2': 0.8699186991869918, '4': 0.9230769230769231, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, '0': 0.9363636363636364, '1': 0.9259259259259259, '2': 0.8861788617886179, '4': 0.8717948717948718, '6': 0.8317757009345794}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6901408450704225, '0': 0.9454545454545454, '1': 0.8796296296296297, '2': 0.9024390243902439, '4': 0.9145299145299145, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.755868544600939, 'ood_validation': 0.647887323943662, '0': 0.8909090909090909, '1': 0.8888888888888888, '2': 0.8699186991869918, '4': 0.8803418803418803, '6': 0.8504672897196262}
Model: node
{'validation': 0.7142857142857143, 'id_test': 0.8472222222222222, 'ood_test': 0.7981220657276995, 'ood_validation': 0.704225352112676, 'train': 0.8424778761061947}
{'validation': 0.7142857142857143, 'id_test': 0.8541666666666666, 'ood_test': 0.812206572769953, 'ood_validation': 0.6338028169014085, 'train': 0.8389380530973451}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7183098591549296, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.812206572769953, 'ood_validation': 0.676056338028169, 'train': 0.863716814159292}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, 'train': 0.8619469026548673}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8601769911504424}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7464788732394366, 'train': 0.8725663716814159}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7323943661971831, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, 'train': 0.879646017699115}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.812206572769953, 'ood_validation': 0.676056338028169, 'train': 0.8778761061946903}
Model: resnet
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.7934272300469484, 'ood_validation': 0.7464788732394366, 'train': 0.8283185840707965}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6901408450704225, 'train': 0.8477876106194691}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6901408450704225, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8356807511737089, 'ood_validation': 0.7183098591549296, 'train': 0.8513274336283185}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7183098591549296, 'train': 0.8654867256637168}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8309859154929577, 'ood_validation': 0.7323943661971831, 'train': 0.863716814159292}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8215962441314554, 'ood_validation': 0.676056338028169, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8125, 'ood_test': 0.8215962441314554, 'ood_validation': 0.7183098591549296, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8403755868544601, 'ood_validation': 0.6338028169014085, 'train': 0.8761061946902655}
{'validation': 0.8571428571428571, 'id_test': 0.875, 'ood_test': 0.8215962441314554, 'ood_validation': 0.6901408450704225, 'train': 0.8761061946902655}
Model: saint
{'validation': 0.5714285714285714, 'id_test': 0.5416666666666666, 'ood_test': 0.676056338028169, 'ood_validation': 0.5492957746478874, 'train': 0.6}
{'validation': 0.7142857142857143, 'id_test': 0.7708333333333334, 'ood_test': 0.7699530516431925, 'ood_validation': 0.7323943661971831, 'train': 0.8176991150442477}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.7887323943661971, 'ood_validation': 0.6619718309859155, 'train': 0.8424778761061947}
{'validation': 0.7142857142857143, 'id_test': 0.8125, 'ood_test': 0.7511737089201878, 'ood_validation': 0.6056338028169014, 'train': 0.8442477876106195}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.8356807511737089, 'ood_validation': 0.704225352112676, 'train': 0.8477876106194691}
{'validation': 0.7142857142857143, 'id_test': 0.8055555555555556, 'ood_test': 0.8169014084507042, 'ood_validation': 0.6901408450704225, 'train': 0.856637168141593}
{'validation': 0.7142857142857143, 'id_test': 0.8125, 'ood_test': 0.7511737089201878, 'ood_validation': 0.6197183098591549, 'train': 0.8371681415929203}
{'validation': 0.8571428571428571, 'id_test': 0.8472222222222222, 'ood_test': 0.8262910798122066, 'ood_validation': 0.704225352112676, 'train': 0.8867256637168142}
{'validation': 0.5714285714285714, 'id_test': 0.8333333333333334, 'ood_test': 0.755868544600939, 'ood_validation': 0.6197183098591549, 'train': 0.8601769911504424}
{'validation': 0.7142857142857143, 'id_test': 0.8125, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6901408450704225, 'train': 0.8672566371681416}
Model: tabtransformer
{'validation': 0.5714285714285714, 'id_test': 0.7916666666666666, 'ood_test': 0.7464788732394366, 'ood_validation': 0.5915492957746479, 'train': 0.7964601769911505}
{'validation': 0.8571428571428571, 'id_test': 0.8263888888888888, 'ood_test': 0.7793427230046949, 'ood_validation': 0.676056338028169, 'train': 0.856637168141593}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.7981220657276995, 'ood_validation': 0.676056338028169, 'train': 0.8690265486725663}
{'validation': 0.8571428571428571, 'id_test': 0.8194444444444444, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8333333333333334, 'ood_test': 0.8028169014084507, 'ood_validation': 0.6619718309859155, 'train': 0.8690265486725663}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.8075117370892019, 'ood_validation': 0.676056338028169, 'train': 0.8761061946902655}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.812206572769953, 'ood_validation': 0.6901408450704225, 'train': 0.8690265486725663}
{'validation': 0.8571428571428571, 'id_test': 0.8541666666666666, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, 'train': 0.8778761061946903}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6901408450704225, 'train': 0.8707964601769912}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.7934272300469484, 'ood_validation': 0.6901408450704225, 'train': 0.8761061946902655}
Model: vrex
{'validation': 0.42857142857142855, 'id_test': 0.3958333333333333, 'ood_test': 0.676056338028169, 'ood_validation': 0.5070422535211268, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.7264957264957265, '6': 0.5327102803738317}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.7981220657276995, 'ood_validation': 0.704225352112676, '0': 0.8, '1': 0.8055555555555556, '2': 0.8130081300813008, '4': 0.8034188034188035, '6': 0.7476635514018691}
{'validation': 0.8571428571428571, 'id_test': 0.7013888888888888, 'ood_test': 0.7793427230046949, 'ood_validation': 0.6197183098591549, '0': 0.7090909090909091, '1': 0.6481481481481481, '2': 0.7560975609756098, '4': 0.8205128205128205, '6': 0.7009345794392523}
{'validation': 0.8571428571428571, 'id_test': 0.8055555555555556, 'ood_test': 0.812206572769953, 'ood_validation': 0.704225352112676, '0': 0.9090909090909091, '1': 0.8703703703703703, '2': 0.8536585365853658, '4': 0.8376068376068376, '6': 0.7289719626168224}
{'validation': 0.7142857142857143, 'id_test': 0.8194444444444444, 'ood_test': 0.8215962441314554, 'ood_validation': 0.647887323943662, '0': 0.9, '1': 0.8796296296296297, '2': 0.8292682926829268, '4': 0.8034188034188035, '6': 0.8785046728971962}
{'validation': 0.8571428571428571, 'id_test': 0.7569444444444444, 'ood_test': 0.8028169014084507, 'ood_validation': 0.704225352112676, '0': 0.8272727272727273, '1': 0.8333333333333334, '2': 0.7967479674796748, '4': 0.905982905982906, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.755868544600939, 'ood_validation': 0.5633802816901409, '0': 0.9363636363636364, '1': 0.9351851851851852, '2': 0.8292682926829268, '4': 0.8290598290598291, '6': 0.8598130841121495}
{'validation': 0.7142857142857143, 'id_test': 0.8194444444444444, 'ood_test': 0.7887323943661971, 'ood_validation': 0.5352112676056338, '0': 0.9, '1': 0.8796296296296297, '2': 0.8373983739837398, '4': 0.8547008547008547, '6': 0.8878504672897196}
{'validation': 0.8571428571428571, 'id_test': 0.8402777777777778, 'ood_test': 0.8169014084507042, 'ood_validation': 0.647887323943662, '0': 0.9181818181818182, '1': 0.8981481481481481, '2': 0.8780487804878049, '4': 0.905982905982906, '6': 0.8691588785046729}
{'validation': 0.5714285714285714, 'id_test': 0.5902777777777778, 'ood_test': 0.7793427230046949, 'ood_validation': 0.676056338028169, '0': 0.41818181818181815, '1': 0.5185185185185185, '2': 0.6991869918699187, '4': 0.7948717948717948, '6': 0.794392523364486}
Model: xgb
{'ood_test': 0.8215962441314554}
Model: ib_erm
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.7981220657276995, 'ood_validation': 0.6901408450704225, '0': 0.8272727272727273, '1': 0.8888888888888888, '2': 0.8373983739837398, '4': 0.8803418803418803, '6': 0.8037383177570093}
{'validation': 0.42857142857142855, 'id_test': 0.4027777777777778, 'ood_test': 0.6854460093896714, 'ood_validation': 0.6197183098591549, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6747967479674797, '4': 0.6581196581196581, '6': 0.3644859813084112}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.755868544600939, 'ood_validation': 0.6619718309859155, '0': 0.9090909090909091, '1': 0.8240740740740741, '2': 0.8536585365853658, '4': 0.8461538461538461, '6': 0.7757009345794392}
{'validation': 0.5714285714285714, 'id_test': 0.4722222222222222, 'ood_test': 0.6807511737089202, 'ood_validation': 0.5492957746478874, '0': 0.6818181818181818, '1': 0.5833333333333334, '2': 0.7804878048780488, '4': 0.6410256410256411, '6': 0.29906542056074764}
{'validation': 0.5714285714285714, 'id_test': 0.7013888888888888, 'ood_test': 0.7981220657276995, 'ood_validation': 0.647887323943662, '0': 0.9272727272727272, '1': 0.7314814814814815, '2': 0.8943089430894309, '4': 0.8547008547008547, '6': 0.6635514018691588}
{'validation': 0.8571428571428571, 'id_test': 0.75, 'ood_test': 0.8169014084507042, 'ood_validation': 0.676056338028169, '0': 0.8545454545454545, '1': 0.7962962962962963, '2': 0.8617886178861789, '4': 0.8717948717948718, '6': 0.8411214953271028}
{'validation': 0.7142857142857143, 'id_test': 0.7222222222222222, 'ood_test': 0.7605633802816901, 'ood_validation': 0.6338028169014085, '0': 0.7545454545454545, '1': 0.7592592592592593, '2': 0.8455284552845529, '4': 0.9145299145299145, '6': 0.7850467289719626}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.7934272300469484, 'ood_validation': 0.676056338028169, '0': 0.8909090909090909, '1': 0.8703703703703703, '2': 0.9024390243902439, '4': 0.8974358974358975, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.7986111111111112, 'ood_test': 0.7746478873239436, 'ood_validation': 0.704225352112676, '0': 0.8818181818181818, '1': 0.8796296296296297, '2': 0.8861788617886179, '4': 0.9401709401709402, '6': 0.9252336448598131}
{'validation': 0.5714285714285714, 'id_test': 0.6736111111111112, 'ood_test': 0.7464788732394366, 'ood_validation': 0.6056338028169014, '0': 0.8454545454545455, '1': 0.8703703703703703, '2': 0.9349593495934959, '4': 0.8461538461538461, '6': 0.6355140186915887}
Model: ib_irm
{'validation': 0.7142857142857143, 'id_test': 0.7986111111111112, 'ood_test': 0.7934272300469484, 'ood_validation': 0.704225352112676, '0': 0.8, '1': 0.8611111111111112, '2': 0.8455284552845529, '4': 0.7777777777777778, '6': 0.8317757009345794}
{'validation': 0.8571428571428571, 'id_test': 0.7222222222222222, 'ood_test': 0.7652582159624414, 'ood_validation': 0.6901408450704225, '0': 0.7545454545454545, '1': 0.7222222222222222, '2': 0.8211382113821138, '4': 0.8290598290598291, '6': 0.7383177570093458}
{'validation': 0.7142857142857143, 'id_test': 0.5277777777777778, 'ood_test': 0.7089201877934272, 'ood_validation': 0.647887323943662, '0': 0.36363636363636365, '1': 0.5, '2': 0.6829268292682927, '4': 0.7264957264957265, '6': 0.5514018691588785}
{'validation': 0.8571428571428571, 'id_test': 0.7638888888888888, 'ood_test': 0.8028169014084507, 'ood_validation': 0.7183098591549296, '0': 0.8454545454545455, '1': 0.8611111111111112, '2': 0.8617886178861789, '4': 0.8888888888888888, '6': 0.8317757009345794}
{'validation': 0.8571428571428571, 'id_test': 0.7361111111111112, 'ood_test': 0.7793427230046949, 'ood_validation': 0.704225352112676, '0': 0.8272727272727273, '1': 0.8240740740740741, '2': 0.8780487804878049, '4': 0.8803418803418803, '6': 0.822429906542056}
{'validation': 0.8571428571428571, 'id_test': 0.7708333333333334, 'ood_test': 0.8075117370892019, 'ood_validation': 0.6619718309859155, '0': 0.9181818181818182, '1': 0.9074074074074074, '2': 0.9186991869918699, '4': 0.9487179487179487, '6': 0.8691588785046729}
{'validation': 0.7142857142857143, 'id_test': 0.7916666666666666, 'ood_test': 0.784037558685446, 'ood_validation': 0.704225352112676, '0': 0.9181818181818182, '1': 0.9259259259259259, '2': 0.9105691056910569, '4': 0.8888888888888888, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.7887323943661971, 'ood_validation': 0.6619718309859155, '0': 0.9090909090909091, '1': 0.8981481481481481, '2': 0.9186991869918699, '4': 0.905982905982906, '6': 0.8504672897196262}
{'validation': 0.8571428571428571, 'id_test': 0.7916666666666666, 'ood_test': 0.7652582159624414, 'ood_validation': 0.6619718309859155, '0': 0.9363636363636364, '1': 0.9537037037037037, '2': 0.9105691056910569, '4': 0.9401709401709402, '6': 0.9158878504672897}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.7793427230046949, 'ood_validation': 0.6901408450704225, '0': 0.9454545454545454, '1': 0.9537037037037037, '2': 0.9512195121951219, '4': 0.9316239316239316, '6': 0.8411214953271028}
Model: causirl_coral
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.5714285714285714, 'id_test': 0.4583333333333333, 'ood_test': 0.6713615023474179, 'ood_validation': 0.5633802816901409, '0': 0.4636363636363636, '1': 0.5462962962962963, '2': 0.6991869918699187, '4': 0.7350427350427351, '6': 0.40186915887850466}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6713615023474179, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6713615023474179, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.5714285714285714, 'id_test': 0.4097222222222222, 'ood_test': 0.7089201877934272, 'ood_validation': 0.6197183098591549, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6666666666666666, '6': 0.38317757009345793}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
Model: causirl_mmd
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6504065040650406, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3090909090909091, '1': 0.39814814814814814, '2': 0.6422764227642277, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.7142857142857143, 'id_test': 0.6527777777777778, 'ood_test': 0.7887323943661971, 'ood_validation': 0.7183098591549296, '0': 0.6818181818181818, '1': 0.6203703703703703, '2': 0.7804878048780488, '4': 0.8547008547008547, '6': 0.794392523364486}
{'validation': 0.8571428571428571, 'id_test': 0.6944444444444444, 'ood_test': 0.7136150234741784, 'ood_validation': 0.6619718309859155, '0': 0.8545454545454545, '1': 0.8055555555555556, '2': 0.8130081300813008, '4': 0.7435897435897436, '6': 0.6728971962616822}
{'validation': 0.42857142857142855, 'id_test': 0.375, 'ood_test': 0.6666666666666666, 'ood_validation': 0.5492957746478874, '0': 0.3181818181818182, '1': 0.39814814814814814, '2': 0.6504065040650406, '4': 0.6324786324786325, '6': 0.29906542056074764}
{'validation': 0.8571428571428571, 'id_test': 0.7777777777777778, 'ood_test': 0.8169014084507042, 'ood_validation': 0.704225352112676, '0': 0.9272727272727272, '1': 0.8888888888888888, '2': 0.9105691056910569, '4': 0.905982905982906, '6': 0.8411214953271028}
{'validation': 0.7142857142857143, 'id_test': 0.625, 'ood_test': 0.812206572769953, 'ood_validation': 0.676056338028169, '0': 0.4727272727272727, '1': 0.48148148148148145, '2': 0.6666666666666666, '4': 0.905982905982906, '6': 0.8598130841121495}
{'validation': 0.8571428571428571, 'id_test': 0.7847222222222222, 'ood_test': 0.8169014084507042, 'ood_validation': 0.7464788732394366, '0': 0.9, '1': 0.8888888888888888, '2': 0.8861788617886179, '4': 0.905982905982906, '6': 0.897196261682243}
