Model: aldro
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7743362831858407, 'ood_validation': 0.7894736842105263, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7743362831858407, 'ood_validation': 0.7894736842105263, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7743362831858407, 'ood_validation': 0.7894736842105263, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7743362831858407, 'ood_validation': 0.7894736842105263, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7743362831858407, 'ood_validation': 0.7894736842105263, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7743362831858407, 'ood_validation': 0.7894736842105263, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7743362831858407, 'ood_validation': 0.7894736842105263, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7743362831858407, 'ood_validation': 0.7894736842105263, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7743362831858407, 'ood_validation': 0.7894736842105263, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7743362831858407, 'ood_validation': 0.7894736842105263, 'train': 1.0}
Model: dann
{'validation': 0.7142857142857143, 'id_test': 0.541095890410959, 'ood_test': 0.2647058823529412, 'ood_validation': 0.2463768115942029, '0': 1.0, '1': 0.9922480620155039, '2': 0.95, '4': 0.1271186440677966, '6': 0.0}
{'validation': 0.8571428571428571, 'id_test': 0.8835616438356164, 'ood_test': 0.7450980392156863, 'ood_validation': 0.8115942028985508, '0': 1.0, '1': 0.9922480620155039, '2': 0.95, '4': 0.576271186440678, '6': 0.925}
{'validation': 1.0, 'id_test': 0.9726027397260274, 'ood_test': 0.8970588235294118, 'ood_validation': 0.9130434782608695, '0': 1.0, '1': 0.9922480620155039, '2': 0.98, '4': 0.8728813559322034, '6': 1.0}
{'validation': 0.7142857142857143, 'id_test': 0.547945205479452, 'ood_test': 0.31862745098039214, 'ood_validation': 0.34782608695652173, '0': 1.0, '1': 0.9922480620155039, '2': 0.97, '4': 0.1271186440677966, '6': 0.0}
{'validation': 1.0, 'id_test': 0.9794520547945206, 'ood_test': 0.9117647058823529, 'ood_validation': 0.8985507246376812, '0': 1.0, '1': 1.0, '2': 0.97, '4': 0.8813559322033898, '6': 1.0}
{'validation': 1.0, 'id_test': 0.9726027397260274, 'ood_test': 0.8872549019607843, 'ood_validation': 0.8840579710144928, '0': 1.0, '1': 0.9922480620155039, '2': 0.95, '4': 0.8813559322033898, '6': 1.0}
{'validation': 0.8571428571428571, 'id_test': 0.8698630136986302, 'ood_test': 0.7450980392156863, 'ood_validation': 0.7101449275362319, '0': 1.0, '1': 0.9922480620155039, '2': 0.95, '4': 0.559322033898305, '6': 0.9833333333333333}
{'validation': 0.8571428571428571, 'id_test': 0.547945205479452, 'ood_test': 0.30392156862745096, 'ood_validation': 0.2608695652173913, '0': 1.0, '1': 0.9922480620155039, '2': 0.95, '4': 0.19491525423728814, '6': 0.0}
{'validation': 1.0, 'id_test': 0.9726027397260274, 'ood_test': 0.9068627450980392, 'ood_validation': 0.8985507246376812, '0': 1.0, '1': 0.9922480620155039, '2': 0.95, '4': 0.8813559322033898, '6': 1.0}
{'validation': 1.0, 'id_test': 0.9794520547945206, 'ood_test': 0.9264705882352942, 'ood_validation': 0.9130434782608695, '0': 1.0, '1': 0.9922480620155039, '2': 0.99, '4': 0.8898305084745762, '6': 1.0}
Model: deepcoral
{'validation': 0.42857142857142855, 'id_test': 0.5815602836879432, 'ood_test': 0.23873873873873874, 'ood_validation': 0.22666666666666666, '0': 1.0, '1': 1.0, '2': 0.9534883720930233, '4': 0.0, '6': 0.0}
{'validation': 0.5714285714285714, 'id_test': 0.41134751773049644, 'ood_test': 0.7612612612612613, 'ood_validation': 0.7733333333333333, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7612612612612613, 'ood_validation': 0.7733333333333333, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7927927927927928, 'ood_validation': 0.7733333333333333, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 0.42857142857142855, 'id_test': 0.5886524822695035, 'ood_test': 0.23873873873873874, 'ood_validation': 0.22666666666666666, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.42857142857142855, 'id_test': 0.5886524822695035, 'ood_test': 0.23873873873873874, 'ood_validation': 0.22666666666666666, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.42857142857142855, 'id_test': 0.5886524822695035, 'ood_test': 0.23873873873873874, 'ood_validation': 0.22666666666666666, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7612612612612613, 'ood_validation': 0.7733333333333333, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7612612612612613, 'ood_validation': 0.7733333333333333, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7612612612612613, 'ood_validation': 0.7733333333333333, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
Model: expgrad
{'ood_test': 0.8728070175438597}
Model: ft_transformer
{'validation': 0.42857142857142855, 'id_test': 0.5734265734265734, 'ood_test': 0.22685185185185186, 'ood_validation': 0.2054794520547945, 'train': 0.6256684491978609}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7407407407407407, 'ood_validation': 0.6986301369863014, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8055555555555556, 'ood_validation': 0.7534246575342466, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8703703703703703, 'ood_validation': 0.8082191780821918, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8703703703703703, 'ood_validation': 0.821917808219178, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.875, 'ood_validation': 0.8082191780821918, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.875, 'ood_validation': 0.8082191780821918, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.875, 'ood_validation': 0.821917808219178, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.875, 'ood_validation': 0.821917808219178, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.875, 'ood_validation': 0.8082191780821918, 'train': 1.0}
Model: group_dro
{'validation': 1.0, 'id_test': 0.9858156028368794, 'ood_test': 0.7991071428571429, 'ood_validation': 0.8, 'train': 0.9891500904159132}
{'validation': 1.0, 'id_test': 0.9858156028368794, 'ood_test': 0.8571428571428571, 'ood_validation': 0.8533333333333334, 'train': 0.9927667269439421}
{'validation': 1.0, 'id_test': 0.9858156028368794, 'ood_test': 0.8660714285714286, 'ood_validation': 0.8933333333333333, 'train': 0.9909584086799277}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8526785714285714, 'ood_validation': 0.8666666666666667, 'train': 0.9963833634719711}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8883928571428571, 'ood_validation': 0.8933333333333333, 'train': 0.9963833634719711}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.9196428571428571, 'ood_validation': 0.92, 'train': 0.9963833634719711}
{'validation': 1.0, 'id_test': 0.9929078014184397, 'ood_test': 0.9776785714285714, 'ood_validation': 0.9866666666666667, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.9330357142857143, 'ood_validation': 0.9333333333333333, 'train': 0.9963833634719711}
{'validation': 1.0, 'id_test': 0.9929078014184397, 'ood_test': 0.9955357142857143, 'ood_validation': 0.9866666666666667, 'train': 1.0}
{'validation': 1.0, 'id_test': 0.9929078014184397, 'ood_test': 0.9955357142857143, 'ood_validation': 0.9866666666666667, 'train': 1.0}
Model: irm
{'validation': 1.0, 'id_test': 0.9793103448275862, 'ood_test': 0.638095238095238, 'ood_validation': 0.6714285714285714, '0': 1.0, '1': 1.0, '2': 0.8910891089108911, '4': 1.0, '6': 1.0}
{'validation': 0.7142857142857143, 'id_test': 0.8689655172413793, 'ood_test': 0.5619047619047619, 'ood_validation': 0.5714285714285714, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.9924242424242424, '6': 0.3305785123966942}
{'validation': 0.7142857142857143, 'id_test': 0.6206896551724138, 'ood_test': 0.11428571428571428, 'ood_validation': 0.14285714285714285, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.2196969696969697, '6': 0.0}
{'validation': 0.7142857142857143, 'id_test': 0.8137931034482758, 'ood_test': 0.3761904761904762, 'ood_validation': 0.42857142857142855, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 0.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.6095238095238096, 'ood_validation': 0.6714285714285714, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.6333333333333333, 'ood_validation': 0.6857142857142857, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 0.7142857142857143, 'id_test': 0.6413793103448275, 'ood_test': 0.14285714285714285, 'ood_validation': 0.12857142857142856, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.24242424242424243, '6': 0.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.680952380952381, 'ood_validation': 0.7142857142857143, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 0.7142857142857143, 'id_test': 0.5724137931034483, 'ood_test': 0.35714285714285715, 'ood_validation': 0.3142857142857143, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.7142857142857143, 'id_test': 0.5724137931034483, 'ood_test': 0.35714285714285715, 'ood_validation': 0.3142857142857143, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
Model: label_group_dro
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7647058823529411, 'ood_validation': 0.7941176470588235, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7647058823529411, 'ood_validation': 0.7941176470588235, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7647058823529411, 'ood_validation': 0.7941176470588235, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7647058823529411, 'ood_validation': 0.7941176470588235, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7647058823529411, 'ood_validation': 0.7941176470588235, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7647058823529411, 'ood_validation': 0.7941176470588235, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7647058823529411, 'ood_validation': 0.7941176470588235, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7647058823529411, 'ood_validation': 0.7941176470588235, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7647058823529411, 'ood_validation': 0.7941176470588235, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7647058823529411, 'ood_validation': 0.7941176470588235, 'train': 1.0}
Model: lightgbm
{'ood_test': 0.7376237623762376}
Model: mixup
{'validation': 0.8333333333333334, 'id_test': 0.9629629629629629, 'ood_test': 0.8340080971659919, 'ood_validation': 0.8433734939759037, '0': 0.9763779527559056, '1': 1.0, '2': 1.0, '4': 0.5959595959595959, '6': 0.9327731092436975}
{'validation': 0.6666666666666666, 'id_test': 0.8074074074074075, 'ood_test': 1.0, 'ood_validation': 1.0, '0': 0.18110236220472442, '1': 0.6853932584269663, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 0.6666666666666666, 'id_test': 0.8592592592592593, 'ood_test': 1.0, 'ood_validation': 1.0, '0': 0.4094488188976378, '1': 0.8426966292134831, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 0.8333333333333334, 'id_test': 0.9925925925925926, 'ood_test': 0.9757085020242915, 'ood_validation': 0.963855421686747, '0': 0.9606299212598425, '1': 0.9887640449438202, '2': 1.0, '4': 0.9595959595959596, '6': 0.9663865546218487}
{'validation': 0.8333333333333334, 'id_test': 0.9851851851851852, 'ood_test': 0.9352226720647774, 'ood_validation': 0.927710843373494, '0': 0.9606299212598425, '1': 0.9550561797752809, '2': 1.0, '4': 0.9393939393939394, '6': 0.9327731092436975}
{'validation': 1.0, 'id_test': 0.9481481481481482, 'ood_test': 1.0, 'ood_validation': 1.0, '0': 0.9921259842519685, '1': 1.0, '2': 1.0, '4': 1.0, '6': 0.7394957983193278}
{'validation': 0.8333333333333334, 'id_test': 0.9703703703703703, 'ood_test': 0.9676113360323887, 'ood_validation': 0.9518072289156626, '0': 0.9606299212598425, '1': 0.9438202247191011, '2': 1.0, '4': 0.9595959595959596, '6': 0.9495798319327731}
{'validation': 0.8333333333333334, 'id_test': 0.8518518518518519, 'ood_test': 0.97165991902834, 'ood_validation': 0.9759036144578314, '0': 0.9606299212598425, '1': 0.9213483146067416, '2': 1.0, '4': 1.0, '6': 0.3949579831932773}
{'validation': 0.8333333333333334, 'id_test': 0.9481481481481482, 'ood_test': 0.9190283400809717, 'ood_validation': 0.9036144578313253, '0': 0.9606299212598425, '1': 0.898876404494382, '2': 0.9894736842105263, '4': 0.797979797979798, '6': 0.9327731092436975}
{'validation': 0.8333333333333334, 'id_test': 0.762962962962963, 'ood_test': 0.7611336032388664, 'ood_validation': 0.7831325301204819, '0': 0.9606299212598425, '1': 0.898876404494382, '2': 1.0, '4': 1.0, '6': 0.06722689075630252}
Model: mlp
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7071129707112971, 'ood_validation': 0.7125, 'train': 0.994413407821229}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7322175732217573, 'ood_validation': 0.7625, 'train': 0.994413407821229}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7280334728033473, 'ood_validation': 0.775, 'train': 0.994413407821229}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7782426778242678, 'ood_validation': 0.8, 'train': 0.9962756052141527}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.799163179916318, 'ood_validation': 0.8, 'train': 0.9962756052141527}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7907949790794979, 'ood_validation': 0.8, 'train': 0.9962756052141527}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.6861924686192469, 'ood_validation': 0.6875, 'train': 0.994413407821229}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.6861924686192469, 'ood_validation': 0.6875, 'train': 0.994413407821229}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.6903765690376569, 'ood_validation': 0.6875, 'train': 0.994413407821229}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7364016736401674, 'ood_validation': 0.775, 'train': 0.994413407821229}
Model: mmd
{'validation': 0.5714285714285714, 'id_test': 0.5704225352112676, 'ood_test': 0.3150684931506849, 'ood_validation': 0.1917808219178082, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.7142857142857143, 'id_test': 0.8591549295774648, 'ood_test': 0.684931506849315, 'ood_validation': 0.6027397260273972, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.2773109243697479, '6': 0.8981481481481481}
{'validation': 0.5714285714285714, 'id_test': 0.5704225352112676, 'ood_test': 0.3150684931506849, 'ood_validation': 0.1917808219178082, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.5714285714285714, 'id_test': 0.5704225352112676, 'ood_test': 0.3150684931506849, 'ood_validation': 0.1917808219178082, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.5714285714285714, 'id_test': 0.7112676056338029, 'ood_test': 0.7351598173515982, 'ood_validation': 0.684931506849315, '0': 0.0, '1': 1.0, '2': 1.0, '4': 0.6050420168067226, '6': 0.8981481481481481}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.684931506849315, 'ood_validation': 0.821917808219178, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.6940639269406392, 'ood_validation': 0.821917808219178, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.6986301369863014, 'ood_validation': 0.821917808219178, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7625570776255708, 'ood_validation': 0.8356164383561644, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7808219178082192, 'ood_validation': 0.7945205479452054, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
Model: node
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.8137254901960784, 'ood_validation': 0.7971014492753623, 'train': 0.9947735191637631}
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.8774509803921569, 'ood_validation': 0.8840579710144928, 'train': 0.9947735191637631}
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.9019607843137255, 'ood_validation': 0.9130434782608695, 'train': 0.9947735191637631}
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.8970588235294118, 'ood_validation': 0.8985507246376812, 'train': 0.9947735191637631}
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.9117647058823529, 'ood_validation': 0.927536231884058, 'train': 0.9947735191637631}
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.9264705882352942, 'ood_validation': 0.9420289855072463, 'train': 0.9947735191637631}
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.946078431372549, 'ood_validation': 0.9130434782608695, 'train': 0.9947735191637631}
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.9558823529411765, 'ood_validation': 0.9710144927536232, 'train': 0.9947735191637631}
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.9705882352941176, 'ood_validation': 0.9565217391304348, 'train': 0.9947735191637631}
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.9754901960784313, 'ood_validation': 0.9855072463768116, 'train': 0.9947735191637631}
Model: resnet
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.9855072463768116, 'ood_validation': 1.0, 'train': 1.0}
{'validation': 1.0, 'id_test': 0.9931506849315068, 'ood_test': 0.8695652173913043, 'ood_validation': 0.8985507246376812, 'train': 0.9929947460595446}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.9951690821256038, 'ood_validation': 1.0, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.9951690821256038, 'ood_validation': 0.9710144927536232, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 1.0, 'ood_validation': 1.0, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 1.0, 'ood_validation': 1.0, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 1.0, 'ood_validation': 1.0, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 1.0, 'ood_validation': 1.0, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 1.0, 'ood_validation': 1.0, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 1.0, 'ood_validation': 1.0, 'train': 1.0}
Model: saint
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8240740740740741, 'ood_validation': 0.7808219178082192, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8240740740740741, 'ood_validation': 0.7808219178082192, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8240740740740741, 'ood_validation': 0.7808219178082192, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8240740740740741, 'ood_validation': 0.7808219178082192, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8240740740740741, 'ood_validation': 0.7808219178082192, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8240740740740741, 'ood_validation': 0.7808219178082192, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8240740740740741, 'ood_validation': 0.7808219178082192, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8240740740740741, 'ood_validation': 0.7808219178082192, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8240740740740741, 'ood_validation': 0.7808219178082192, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8240740740740741, 'ood_validation': 0.7808219178082192, 'train': 1.0}
Model: tabtransformer
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7904761904761904, 'ood_validation': 0.7428571428571429, 'train': 0.9911971830985915}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7952380952380952, 'ood_validation': 0.7428571428571429, 'train': 0.9911971830985915}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7952380952380952, 'ood_validation': 0.7428571428571429, 'train': 0.9911971830985915}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8047619047619048, 'ood_validation': 0.7571428571428571, 'train': 0.9911971830985915}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8285714285714286, 'ood_validation': 0.7714285714285715, 'train': 0.9911971830985915}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.8666666666666667, 'ood_validation': 0.8142857142857143, 'train': 0.9929577464788732}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.9, 'ood_validation': 0.8571428571428571, 'train': 0.9911971830985915}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.9142857142857143, 'ood_validation': 0.8714285714285714, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.9095238095238095, 'ood_validation': 0.8714285714285714, 'train': 1.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.9380952380952381, 'ood_validation': 0.9, 'train': 1.0}
Model: vrex
{'validation': 0.5714285714285714, 'id_test': 0.4444444444444444, 'ood_test': 0.6952380952380952, 'ood_validation': 0.676056338028169, '0': 0.0, '1': 0.0, '2': 0.008771929824561403, '4': 0.924812030075188, '6': 1.0}
{'validation': 0.0, 'id_test': 0.027777777777777776, 'ood_test': 0.38571428571428573, 'ood_validation': 0.4225352112676056, '0': 0.0, '1': 0.0, '2': 0.008771929824561403, '4': 0.07518796992481203, '6': 0.0}
{'validation': 0.5714285714285714, 'id_test': 0.4444444444444444, 'ood_test': 0.6952380952380952, 'ood_validation': 0.676056338028169, '0': 0.0, '1': 0.0, '2': 0.008771929824561403, '4': 0.924812030075188, '6': 1.0}
{'validation': 0.5714285714285714, 'id_test': 0.4583333333333333, 'ood_test': 0.9952380952380953, 'ood_validation': 0.9859154929577465, '0': 0.0, '1': 0.0, '2': 0.008771929824561403, '4': 1.0, '6': 1.0}
{'validation': 0.5714285714285714, 'id_test': 0.4444444444444444, 'ood_test': 0.719047619047619, 'ood_validation': 0.7323943661971831, '0': 0.0, '1': 0.0, '2': 0.008771929824561403, '4': 0.924812030075188, '6': 1.0}
{'validation': 0.0, 'id_test': 0.027777777777777776, 'ood_test': 0.3142857142857143, 'ood_validation': 0.30985915492957744, '0': 0.0, '1': 0.0, '2': 0.008771929824561403, '4': 0.07518796992481203, '6': 0.0}
{'validation': 0.5714285714285714, 'id_test': 0.4583333333333333, 'ood_test': 0.9952380952380953, 'ood_validation': 0.971830985915493, '0': 0.0, '1': 0.0, '2': 0.008771929824561403, '4': 1.0, '6': 1.0}
{'validation': 0.5714285714285714, 'id_test': 0.4583333333333333, 'ood_test': 0.9952380952380953, 'ood_validation': 0.9859154929577465, '0': 0.0, '1': 0.0, '2': 0.008771929824561403, '4': 1.0, '6': 1.0}
{'validation': 0.5714285714285714, 'id_test': 0.4444444444444444, 'ood_test': 0.9952380952380953, 'ood_validation': 0.9859154929577465, '0': 0.0, '1': 0.0, '2': 0.008771929824561403, '4': 0.9323308270676691, '6': 1.0}
{'validation': 0.5714285714285714, 'id_test': 0.4444444444444444, 'ood_test': 0.9238095238095239, 'ood_validation': 0.9295774647887324, '0': 0.0, '1': 0.0, '2': 0.008771929824561403, '4': 0.924812030075188, '6': 1.0}
Model: xgb
{'ood_test': 0.7194570135746606}
Model: ib_erm
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7926267281105991, 'ood_validation': 0.6986301369863014, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 1.0}
{'validation': 0.2857142857142857, 'id_test': 0.07692307692307693, 'ood_test': 0.35944700460829493, 'ood_validation': 0.3835616438356164, '0': 0.0, '1': 0.0, '2': 0.0, '4': 0.02912621359223301, '6': 0.40601503759398494}
{'validation': 0.2857142857142857, 'id_test': 0.6573426573426573, 'ood_test': 0.2857142857142857, 'ood_validation': 0.2465753424657534, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.2857142857142857, 'id_test': 0.6573426573426573, 'ood_test': 0.2857142857142857, 'ood_validation': 0.2465753424657534, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.2857142857142857, 'id_test': 0.6363636363636364, 'ood_test': 0.2857142857142857, 'ood_validation': 0.2465753424657534, '0': 0.9622641509433962, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.2857142857142857, 'id_test': 0.6573426573426573, 'ood_test': 0.2857142857142857, 'ood_validation': 0.2465753424657534, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.2857142857142857, 'id_test': 0.6573426573426573, 'ood_test': 0.2857142857142857, 'ood_validation': 0.2465753424657534, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.2857142857142857, 'id_test': 0.4965034965034965, 'ood_test': 0.2857142857142857, 'ood_validation': 0.2465753424657534, '0': 0.1509433962264151, '1': 0.9557522123893806, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.0, 'id_test': 0.09090909090909091, 'ood_test': 0.2857142857142857, 'ood_validation': 0.2465753424657534, '0': 0.0, '1': 0.0, '2': 0.2571428571428571, '4': 0.0, '6': 0.0}
{'validation': 0.0, 'id_test': 0.0, 'ood_test': 0.2857142857142857, 'ood_validation': 0.2465753424657534, '0': 0.0, '1': 0.0, '2': 0.0761904761904762, '4': 0.0, '6': 0.0}
Model: ib_irm
{'validation': 0.0, 'id_test': 0.0, 'ood_test': 0.3119266055045872, 'ood_validation': 0.3424657534246575, '0': 0.0, '1': 0.0, '2': 0.04854368932038835, '4': 0.0, '6': 0.0}
{'validation': 0.5714285714285714, 'id_test': 0.4225352112676056, 'ood_test': 0.6926605504587156, 'ood_validation': 0.7123287671232876, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 1.0}
{'validation': 0.5714285714285714, 'id_test': 0.4225352112676056, 'ood_test': 0.6926605504587156, 'ood_validation': 0.7123287671232876, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 1.0}
{'validation': 0.14285714285714285, 'id_test': 0.11971830985915492, 'ood_test': 0.22018348623853212, 'ood_validation': 0.1917808219178082, '0': 0.0, '1': 0.0, '2': 0.02912621359223301, '4': 0.35, '6': 0.0}
{'validation': 0.0, 'id_test': 0.04225352112676056, 'ood_test': 0.25229357798165136, 'ood_validation': 0.2328767123287671, '0': 0.0, '1': 0.056074766355140186, '2': 0.11650485436893204, '4': 0.0, '6': 0.0}
{'validation': 0.5714285714285714, 'id_test': 0.4507042253521127, 'ood_test': 0.6926605504587156, 'ood_validation': 0.7123287671232876, '0': 0.0, '1': 0.04672897196261682, '2': 0.0970873786407767, '4': 1.0, '6': 1.0}
{'validation': 0.42857142857142855, 'id_test': 0.23943661971830985, 'ood_test': 0.1834862385321101, 'ood_validation': 0.1780821917808219, '0': 0.05128205128205128, '1': 0.102803738317757, '2': 0.13592233009708737, '4': 0.75, '6': 0.0}
{'validation': 0.14285714285714285, 'id_test': 0.09154929577464789, 'ood_test': 0.1834862385321101, 'ood_validation': 0.1780821917808219, '0': 0.15384615384615385, '1': 0.14953271028037382, '2': 0.1553398058252427, '4': 0.14166666666666666, '6': 0.0}
{'validation': 0.42857142857142855, 'id_test': 0.2676056338028169, 'ood_test': 0.6926605504587156, 'ood_validation': 0.7123287671232876, '0': 0.1111111111111111, '1': 0.1308411214953271, '2': 0.11650485436893204, '4': 1.0, '6': 0.008849557522123894}
{'validation': 0.7142857142857143, 'id_test': 0.5, 'ood_test': 0.6926605504587156, 'ood_validation': 0.7123287671232876, '0': 0.17094017094017094, '1': 0.14953271028037382, '2': 0.1553398058252427, '4': 1.0, '6': 1.0}
Model: causirl_coral
{'validation': 0.2857142857142857, 'id_test': 0.3586206896551724, 'ood_test': 0.7836538461538461, 'ood_validation': 0.7571428571428571, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 1.0}
{'validation': 0.2857142857142857, 'id_test': 0.3586206896551724, 'ood_test': 0.7836538461538461, 'ood_validation': 0.7571428571428571, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 1.0}
{'validation': 0.7142857142857143, 'id_test': 0.6413793103448275, 'ood_test': 0.21634615384615385, 'ood_validation': 0.24285714285714285, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.2857142857142857, 'id_test': 0.3586206896551724, 'ood_test': 0.7836538461538461, 'ood_validation': 0.7571428571428571, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 1.0}
{'validation': 0.2857142857142857, 'id_test': 0.3586206896551724, 'ood_test': 0.7836538461538461, 'ood_validation': 0.7571428571428571, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 1.0}
{'validation': 0.2857142857142857, 'id_test': 0.3586206896551724, 'ood_test': 0.7836538461538461, 'ood_validation': 0.7571428571428571, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 1.0}
{'validation': 0.7142857142857143, 'id_test': 0.6551724137931034, 'ood_test': 0.2644230769230769, 'ood_validation': 0.3, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.043478260869565216, '6': 0.0}
{'validation': 0.2857142857142857, 'id_test': 0.3586206896551724, 'ood_test': 0.7836538461538461, 'ood_validation': 0.7571428571428571, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 1.0}
{'validation': 0.0, 'id_test': 0.0, 'ood_test': 0.27403846153846156, 'ood_validation': 0.2857142857142857, '0': 0.0, '1': 0.0, '2': 0.0, '4': 0.0, '6': 0.0}
{'validation': 0.2857142857142857, 'id_test': 0.23448275862068965, 'ood_test': 0.7836538461538461, 'ood_validation': 0.7571428571428571, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 0.391304347826087}
Model: causirl_mmd
{'validation': 0.5714285714285714, 'id_test': 0.4444444444444444, 'ood_test': 0.7523809523809524, 'ood_validation': 0.7887323943661971, '0': 0.0, '1': 0.0, '2': 0.0, '4': 1.0, '6': 1.0}
{'validation': 0.42857142857142855, 'id_test': 0.5555555555555556, 'ood_test': 0.24761904761904763, 'ood_validation': 0.2112676056338028, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.42857142857142855, 'id_test': 0.5555555555555556, 'ood_test': 0.24761904761904763, 'ood_validation': 0.2112676056338028, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 1.0, 'id_test': 1.0, 'ood_test': 0.7523809523809524, 'ood_validation': 0.7887323943661971, '0': 1.0, '1': 1.0, '2': 0.990990990990991, '4': 1.0, '6': 1.0}
{'validation': 0.42857142857142855, 'id_test': 0.5555555555555556, 'ood_test': 0.24285714285714285, 'ood_validation': 0.19718309859154928, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.5714285714285714, 'id_test': 0.5, 'ood_test': 0.7523809523809524, 'ood_validation': 0.7887323943661971, '0': 0.13274336283185842, '1': 0.11904761904761904, '2': 0.08108108108108109, '4': 1.0, '6': 1.0}
{'validation': 0.42857142857142855, 'id_test': 0.5555555555555556, 'ood_test': 0.14285714285714285, 'ood_validation': 0.18309859154929578, '0': 1.0, '1': 1.0, '2': 1.0, '4': 0.0, '6': 0.0}
{'validation': 0.7142857142857143, 'id_test': 0.7430555555555556, 'ood_test': 0.3761904761904762, 'ood_validation': 0.39436619718309857, '0': 1.0, '1': 1.0, '2': 1.0, '4': 1.0, '6': 0.0}
{'validation': 1.0, 'id_test': 0.875, 'ood_test': 0.7523809523809524, 'ood_validation': 0.7887323943661971, '0': 1.0, '1': 1.0, '2': 0.3333333333333333, '4': 1.0, '6': 1.0}
{'validation': 1.0, 'id_test': 0.9027777777777778, 'ood_test': 0.7523809523809524, 'ood_validation': 0.7887323943661971, '0': 1.0, '1': 1.0, '2': 0.5315315315315315, '4': 1.0, '6': 1.0}
