Checkpoint name: cifar100_resnet_1_0_forget_[0, 1]_num_400_lr_0_0001_bs_256_ls_ce_wd_0_1_seed_10
[Logging in cifar100_resnet_1_0_forget_[0, 1]_num_400_lr_0_0001_bs_256_ls_ce_wd_0_1_seed_10_training]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353   251 19825 30759 29729
 31082 19591 20216 17928 27252 33141 27811  7482 12094 24208 38794 28166
 21188 11946 10287 12588  8013 19241 21333 20387 16137  8855 26872 24630
 35947 39010 34150 26599 25140 17774  1073 18866 30668 21119 15839 13886
  5896 33982 33563   810 15502 17508  9307  2644 30617 13699 39935  3338
 39546  6711 19081 11622 26924 13996  5139 25054  3760 30280 39636  6155
 30403 37127 22528  5444  5987 28612 35535 24245  7002  3820 11696 13097
 27068 12492 28743  9787 36354 37138 19503 26390  7557 26786 17683 20007
  8897  1702 33681 15850 23501  4390 31614  5417 19364 25932 31229 31030
 15037 21767  6472 32967  5066 20610  4655 16161  2538 24956 36133 27596
 30603 15081  7592 17892 23084  4479 24553 16920  3973 35392 29965 10463
 36118 13356 32034  5818 28389 23575  2629 23411  2884 12223 16361 34368
 35896 21114 26212 17385 23008 11582  2853 36094 34174 35283 33580  9752
 33044  8862 10230 36194  3010 27820 33297 29436 29513  2120 22027 12754
  1112 39738  3517 37591 10548 22759 11977 36602  1999 34618 25504 29196
 18571 13224  2782 31575 16108 34337 18030  2985 31530 28037 20599 32061
 32702 15947 31109 39064  7615 28852 33504 13252  1328 33488 25706  8032
  4627 24803  3333 32556]
forget Class: [0, 1]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: forget
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353   251 19825 30759 29729
 31082 19591 20216 17928 27252 33141 27811  7482 12094 24208 38794 28166
 21188 11946 10287 12588  8013 19241 21333 20387 16137  8855 26872 24630
 35947 39010 34150 26599 25140 17774  1073 18866 30668 21119 15839 13886
  5896 33982 33563   810 15502 17508  9307  2644 30617 13699 39935  3338
 39546  6711 19081 11622 26924 13996  5139 25054  3760 30280 39636  6155
 30403 37127 22528  5444  5987 28612 35535 24245  7002  3820 11696 13097
 27068 12492 28743  9787 36354 37138 19503 26390  7557 26786 17683 20007
  8897  1702 33681 15850 23501  4390 31614  5417 19364 25932 31229 31030
 15037 21767  6472 32967  5066 20610  4655 16161  2538 24956 36133 27596
 30603 15081  7592 17892 23084  4479 24553 16920  3973 35392 29965 10463
 36118 13356 32034  5818 28389 23575  2629 23411  2884 12223 16361 34368
 35896 21114 26212 17385 23008 11582  2853 36094 34174 35283 33580  9752
 33044  8862 10230 36194  3010 27820 33297 29436 29513  2120 22027 12754
  1112 39738  3517 37591 10548 22759 11977 36602  1999 34618 25504 29196
 18571 13224  2782 31575 16108 34337 18030  2985 31530 28037 20599 32061
 32702 15947 31109 39064  7615 28852 33504 13252  1328 33488 25706  8032
  4627 24803  3333 32556]
Number of Classes: 100
ResNet18(
  (conv1): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
  (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (layer1): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer2): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 128, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(64, 128, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer3): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(128, 256, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer4): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (linear): Linear(in_features=512, out_features=100, bias=True)
)
==> unlearning ...
Computing current moments on test set
Computed moments: 10.932028585815429,8.130016621589661,-1.7629506289070531
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.912 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.550 on forgotten vs unseen images
Accuracy on test set: 1.3 , Racc: 1.2 , Uacc: 6.5
Forgetting epoch 0
Resetting retain iterator...
delta_val_loss: 6.984560966491699
delta_first_moment: 8.130016326904297
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.831 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.611 on forgotten vs unseen images
Accuracy on test set: 1.1 , Racc: 1.2 , Uacc: 0.8
Forgetting epoch 1
delta_val_loss: 3.609656810760498
delta_first_moment: 8.130016326904297
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.553 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.614 on forgotten vs unseen images
Accuracy on test set: 1.4 , Racc: 1.4 , Uacc: 0.0
Forgetting epoch 2
delta_val_loss: -1.7902898788452148
delta_first_moment: 8.130016326904297
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.619 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.613 on forgotten vs unseen images
Accuracy on test set: 1.5 , Racc: 1.5 , Uacc: 0.0
Forgetting epoch 3
delta_val_loss: -5.7440690994262695
delta_first_moment: 8.130016326904297
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.786 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.617 on forgotten vs unseen images
Accuracy on test set: 1.6 , Racc: 1.7 , Uacc: 0.0
Forgetting epoch 4
delta_val_loss: -10.573721885681152
delta_first_moment: 8.130016326904297
delta_second_moment: nan
64
64
64
64
64
64
16
Computing current moments on test set
Computed moments: 15.606887133789062,37.56390982666016,1.0136871846571431
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.825 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.574 on forgotten vs unseen images
Accuracy on test set: 1.7 , Racc: 1.7 , Uacc: 0.0
Forgetting epoch 5
delta_val_loss: -12.988429069519043
delta_first_moment: 37.56391143798828
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.896 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.596 on forgotten vs unseen images
Accuracy on test set: 1.7 , Racc: 1.7 , Uacc: 0.0
Forgetting epoch 6
delta_val_loss: -19.543895721435547
delta_first_moment: 37.56391143798828
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.919 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.575 on forgotten vs unseen images
Accuracy on test set: 1.7 , Racc: 1.8 , Uacc: 0.0
Forgetting epoch 7
delta_val_loss: -26.321205139160156
delta_first_moment: 37.56391143798828
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.938 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.595 on forgotten vs unseen images
Accuracy on test set: 1.7 , Racc: 1.7 , Uacc: 0.0
Forgetting epoch 8
delta_val_loss: -33.92491149902344
delta_first_moment: 37.56391143798828
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.945 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.570 on forgotten vs unseen images
Accuracy on test set: 1.7 , Racc: 1.8 , Uacc: 0.0
Forgetting epoch 9
delta_val_loss: -41.13799285888672
delta_first_moment: 37.56391143798828
delta_second_moment: nan
64
64
64
64
64
64
16
Computing current moments on test set
Computed moments: 28.723250988769532,158.50196850585937,1.9720439255665145
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.961 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.554 on forgotten vs unseen images
Accuracy on test set: 1.7 , Racc: 1.7 , Uacc: 0.0
Forgetting epoch 10
delta_val_loss: -44.620399475097656
delta_first_moment: 158.50196838378906
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.971 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.564 on forgotten vs unseen images
Accuracy on test set: 1.6 , Racc: 1.7 , Uacc: 0.0
Forgetting epoch 11
delta_val_loss: -60.55882263183594
delta_first_moment: 158.50196838378906
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.940 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.550 on forgotten vs unseen images
Accuracy on test set: 1.6 , Racc: 1.7 , Uacc: 0.0
Forgetting epoch 12
delta_val_loss: -78.15116119384766
delta_first_moment: 158.50196838378906
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.956 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.526 on forgotten vs unseen images
Accuracy on test set: 1.6 , Racc: 1.7 , Uacc: 0.0
Forgetting epoch 13
delta_val_loss: -96.66436767578125
delta_first_moment: 158.50196838378906
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.943 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.545 on forgotten vs unseen images
Accuracy on test set: 1.6 , Racc: 1.7 , Uacc: 0.0
Forgetting epoch 14
delta_val_loss: -123.61897277832031
delta_first_moment: 158.50196838378906
delta_second_moment: nan
64
64
64
64
64
64
16
Computing current moments on test set
Computed moments: 71.34100423583985,1186.614005078125,2.922119286569362
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.943 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.532 on forgotten vs unseen images
Accuracy on test set: 1.6 , Racc: 1.7 , Uacc: 0.0
Forgetting epoch 15
delta_val_loss: -114.24497985839844
delta_first_moment: 1186.614013671875
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.951 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.545 on forgotten vs unseen images
Accuracy on test set: 1.6 , Racc: 1.8 , Uacc: 0.0
Forgetting epoch 16
delta_val_loss: -153.1569366455078
delta_first_moment: 1186.614013671875
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.910 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.497 on forgotten vs unseen images
Accuracy on test set: 1.2 , Racc: 1.2 , Uacc: 0.0
Forgetting epoch 17
delta_val_loss: -215.923828125
delta_first_moment: 1186.614013671875
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.931 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.500 on forgotten vs unseen images
Accuracy on test set: 1.0 , Racc: 1.0 , Uacc: 0.0
Forgetting epoch 18
delta_val_loss: -332.34002685546875
delta_first_moment: 1186.614013671875
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.946 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.500 on forgotten vs unseen images
Accuracy on test set: 1.0 , Racc: 1.0 , Uacc: 0.0
Forgetting epoch 19
delta_val_loss: -436.2052307128906
delta_first_moment: 1186.614013671875
delta_second_moment: nan
64
64
64
64
64
64
16
Computing current moments on test set
Computed moments: 321.7227853027344,9458.6515515625,1.6592328646011114
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.940 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.500 on forgotten vs unseen images
Accuracy on test set: 1.0 , Racc: 1.0 , Uacc: 0.0
Forgetting epoch 20
delta_val_loss: -327.806396484375
delta_first_moment: 9458.6513671875
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.967 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.500 on forgotten vs unseen images
Accuracy on test set: 1.0 , Racc: 1.0 , Uacc: 0.0
Forgetting epoch 21
delta_val_loss: -658.3643798828125
delta_first_moment: 9458.6513671875
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.986 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.500 on forgotten vs unseen images
Accuracy on test set: 1.0 , Racc: 1.0 , Uacc: 0.0
Forgetting epoch 22
delta_val_loss: -825.368896484375
delta_first_moment: 9458.6513671875
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.965 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.500 on forgotten vs unseen images
Accuracy on test set: 1.0 , Racc: 1.0 , Uacc: 0.0
Forgetting epoch 23
delta_val_loss: -1636.5850830078125
delta_first_moment: 9458.6513671875
delta_second_moment: nan
64
64
64
64
64
64
16
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True]
The MIA_loss has an accuracy of 0.926 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.500 on forgotten vs unseen images
Accuracy on test set: 1.0 , Racc: 1.0 , Uacc: 0.0
Forgetting epoch 24
delta_val_loss: -2561.82080078125
delta_first_moment: 9458.6513671875
delta_second_moment: nan
64
64
64
64
64
64
16
Accuracy on test set: 1.0 , Racc: 1.0 , Uacc: 0.0
Checkpoint name: cifar100_resnet_1_0_forget_[0, 1]_num_400_lr_0_0001_bs_128_ls_ce_wd_0_1_seed_10
[Logging in cifar100_resnet_1_0_forget_[0, 1]_num_400_lr_0_0001_bs_128_ls_ce_wd_0_1_seed_10_training]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353   251 19825 30759 29729
 31082 19591 20216 17928 27252 33141 27811  7482 12094 24208 38794 28166
 21188 11946 10287 12588  8013 19241 21333 20387 16137  8855 26872 24630
 35947 39010 34150 26599 25140 17774  1073 18866 30668 21119 15839 13886
  5896 33982 33563   810 15502 17508  9307  2644 30617 13699 39935  3338
 39546  6711 19081 11622 26924 13996  5139 25054  3760 30280 39636  6155
 30403 37127 22528  5444  5987 28612 35535 24245  7002  3820 11696 13097
 27068 12492 28743  9787 36354 37138 19503 26390  7557 26786 17683 20007
  8897  1702 33681 15850 23501  4390 31614  5417 19364 25932 31229 31030
 15037 21767  6472 32967  5066 20610  4655 16161  2538 24956 36133 27596
 30603 15081  7592 17892 23084  4479 24553 16920  3973 35392 29965 10463
 36118 13356 32034  5818 28389 23575  2629 23411  2884 12223 16361 34368
 35896 21114 26212 17385 23008 11582  2853 36094 34174 35283 33580  9752
 33044  8862 10230 36194  3010 27820 33297 29436 29513  2120 22027 12754
  1112 39738  3517 37591 10548 22759 11977 36602  1999 34618 25504 29196
 18571 13224  2782 31575 16108 34337 18030  2985 31530 28037 20599 32061
 32702 15947 31109 39064  7615 28852 33504 13252  1328 33488 25706  8032
  4627 24803  3333 32556]
forget Class: [0, 1]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: forget
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353   251 19825 30759 29729
 31082 19591 20216 17928 27252 33141 27811  7482 12094 24208 38794 28166
 21188 11946 10287 12588  8013 19241 21333 20387 16137  8855 26872 24630
 35947 39010 34150 26599 25140 17774  1073 18866 30668 21119 15839 13886
  5896 33982 33563   810 15502 17508  9307  2644 30617 13699 39935  3338
 39546  6711 19081 11622 26924 13996  5139 25054  3760 30280 39636  6155
 30403 37127 22528  5444  5987 28612 35535 24245  7002  3820 11696 13097
 27068 12492 28743  9787 36354 37138 19503 26390  7557 26786 17683 20007
  8897  1702 33681 15850 23501  4390 31614  5417 19364 25932 31229 31030
 15037 21767  6472 32967  5066 20610  4655 16161  2538 24956 36133 27596
 30603 15081  7592 17892 23084  4479 24553 16920  3973 35392 29965 10463
 36118 13356 32034  5818 28389 23575  2629 23411  2884 12223 16361 34368
 35896 21114 26212 17385 23008 11582  2853 36094 34174 35283 33580  9752
 33044  8862 10230 36194  3010 27820 33297 29436 29513  2120 22027 12754
  1112 39738  3517 37591 10548 22759 11977 36602  1999 34618 25504 29196
 18571 13224  2782 31575 16108 34337 18030  2985 31530 28037 20599 32061
 32702 15947 31109 39064  7615 28852 33504 13252  1328 33488 25706  8032
  4627 24803  3333 32556]
Number of Classes: 100
logs/cifar100_resnet_1_0_forget_[0, 1]_num_400_lr_0_0001_bs_128_ls_ce_wd_0_1_seed_10_resume_cp1304

  0%|          | 0/20 [00:00<?, ?it/s]
  5%|▌         | 1/20 [01:09<21:54, 69.16s/it]
 10%|█         | 2/20 [02:11<19:35, 65.31s/it]
 15%|█▌        | 3/20 [03:17<18:32, 65.43s/it]
 20%|██        | 4/20 [04:20<17:09, 64.36s/it]
 25%|██▌       | 5/20 [05:25<16:08, 64.59s/it]
 30%|███       | 6/20 [06:30<15:06, 64.75s/it]
 35%|███▌      | 7/20 [07:33<13:55, 64.29s/it]
 40%|████      | 8/20 [08:37<12:50, 64.21s/it]
 45%|████▌     | 9/20 [09:40<11:43, 63.99s/it]
 50%|█████     | 10/20 [10:48<10:49, 64.93s/it]
 55%|█████▌    | 11/20 [11:49<09:35, 63.95s/it]
 60%|██████    | 12/20 [13:01<08:50, 66.36s/it]
 65%|██████▌   | 13/20 [14:08<07:45, 66.53s/it]
 70%|███████   | 14/20 [15:19<06:47, 67.92s/it]
 75%|███████▌  | 15/20 [16:29<05:42, 68.48s/it]
 80%|████████  | 16/20 [17:36<04:31, 67.92s/it]
 85%|████████▌ | 17/20 [18:42<03:21, 67.32s/it]
 90%|█████████ | 18/20 [19:52<02:16, 68.39s/it]
 95%|█████████▌| 19/20 [21:04<01:09, 69.35s/it]
100%|██████████| 20/20 [22:17<00:00, 70.49s/it]
100%|██████████| 20/20 [22:17<00:00, 66.88s/it]
==> scrub unlearning ...
Accuracy on test set: 1.2200 , Racc: 1.1061 , Uacc: 5.0000
==> scrub unlearning ...
Accuracy on test set: 0.9900 , Racc: 0.8939 , Uacc: 7.0000
==> scrub unlearning ...
Accuracy on test set: 1.3900 , Racc: 1.3965 , Uacc: 1.2500
==> scrub unlearning ...
Accuracy on test set: 1.5200 , Racc: 1.4268 , Uacc: 0.0000
==> scrub unlearning ...
Accuracy on test set: 1.6800 , Racc: 1.4747 , Uacc: 0.5000
==> scrub unlearning ...
Accuracy on test set: 1.5600 , Racc: 1.4091 , Uacc: 0.0000
==> scrub unlearning ...
Accuracy on test set: 1.8800 , Racc: 1.6338 , Uacc: 0.0000
==> scrub unlearning ...
Accuracy on test set: 2.5400 , Racc: 2.5328 , Uacc: 0.0000
==> scrub unlearning ...
Accuracy on test set: 3.2800 , Racc: 3.0682 , Uacc: 2.5000
==> scrub unlearning ...
Accuracy on test set: 3.6400 , Racc: 3.4798 , Uacc: 1.0000
==> scrub unlearning ...
Accuracy on test set: 5.0700 , Racc: 5.0152 , Uacc: 1.7500
==> scrub unlearning ...
Accuracy on test set: 6.3200 , Racc: 6.2525 , Uacc: 0.7500
==> scrub unlearning ...
Accuracy on test set: 6.3200 , Racc: 6.4040 , Uacc: 0.5000
==> scrub unlearning ...
Accuracy on test set: 6.7000 , Racc: 6.7525 , Uacc: 0.5000
==> scrub unlearning ...
Accuracy on test set: 6.9100 , Racc: 7.0177 , Uacc: 1.2500
==> scrub unlearning ...
Accuracy on test set: 6.7100 , Racc: 6.6086 , Uacc: 0.7500
==> scrub unlearning ...
Accuracy on test set: 7.4600 , Racc: 7.2045 , Uacc: 1.0000
==> scrub unlearning ...
Accuracy on test set: 7.9900 , Racc: 8.0025 , Uacc: 1.0000
==> scrub unlearning ...
Accuracy on test set: 8.3100 , Racc: 8.1288 , Uacc: 1.2500
==> scrub unlearning ...
Accuracy on test set: 8.2400 , Racc: 8.4672 , Uacc: 5.2500
Checkpoint name: cifar100_resnet_1_0_forget_[0, 1]_num_400_lr_0_0001_bs_256_ls_ce_wd_0_1_seed_10
[Logging in cifar100_resnet_1_0_forget_[0, 1]_num_400_lr_0_0001_bs_256_ls_ce_wd_0_1_seed_10_training]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353   251 19825 30759 29729
 31082 19591 20216 17928 27252 33141 27811  7482 12094 24208 38794 28166
 21188 11946 10287 12588  8013 19241 21333 20387 16137  8855 26872 24630
 35947 39010 34150 26599 25140 17774  1073 18866 30668 21119 15839 13886
  5896 33982 33563   810 15502 17508  9307  2644 30617 13699 39935  3338
 39546  6711 19081 11622 26924 13996  5139 25054  3760 30280 39636  6155
 30403 37127 22528  5444  5987 28612 35535 24245  7002  3820 11696 13097
 27068 12492 28743  9787 36354 37138 19503 26390  7557 26786 17683 20007
  8897  1702 33681 15850 23501  4390 31614  5417 19364 25932 31229 31030
 15037 21767  6472 32967  5066 20610  4655 16161  2538 24956 36133 27596
 30603 15081  7592 17892 23084  4479 24553 16920  3973 35392 29965 10463
 36118 13356 32034  5818 28389 23575  2629 23411  2884 12223 16361 34368
 35896 21114 26212 17385 23008 11582  2853 36094 34174 35283 33580  9752
 33044  8862 10230 36194  3010 27820 33297 29436 29513  2120 22027 12754
  1112 39738  3517 37591 10548 22759 11977 36602  1999 34618 25504 29196
 18571 13224  2782 31575 16108 34337 18030  2985 31530 28037 20599 32061
 32702 15947 31109 39064  7615 28852 33504 13252  1328 33488 25706  8032
  4627 24803  3333 32556]
forget Class: [0, 1]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: forget
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353   251 19825 30759 29729
 31082 19591 20216 17928 27252 33141 27811  7482 12094 24208 38794 28166
 21188 11946 10287 12588  8013 19241 21333 20387 16137  8855 26872 24630
 35947 39010 34150 26599 25140 17774  1073 18866 30668 21119 15839 13886
  5896 33982 33563   810 15502 17508  9307  2644 30617 13699 39935  3338
 39546  6711 19081 11622 26924 13996  5139 25054  3760 30280 39636  6155
 30403 37127 22528  5444  5987 28612 35535 24245  7002  3820 11696 13097
 27068 12492 28743  9787 36354 37138 19503 26390  7557 26786 17683 20007
  8897  1702 33681 15850 23501  4390 31614  5417 19364 25932 31229 31030
 15037 21767  6472 32967  5066 20610  4655 16161  2538 24956 36133 27596
 30603 15081  7592 17892 23084  4479 24553 16920  3973 35392 29965 10463
 36118 13356 32034  5818 28389 23575  2629 23411  2884 12223 16361 34368
 35896 21114 26212 17385 23008 11582  2853 36094 34174 35283 33580  9752
 33044  8862 10230 36194  3010 27820 33297 29436 29513  2120 22027 12754
  1112 39738  3517 37591 10548 22759 11977 36602  1999 34618 25504 29196
 18571 13224  2782 31575 16108 34337 18030  2985 31530 28037 20599 32061
 32702 15947 31109 39064  7615 28852 33504 13252  1328 33488 25706  8032
  4627 24803  3333 32556]
Number of Classes: 100
ResNet18(
  (conv1): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
  (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (layer1): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer2): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 128, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(64, 128, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer3): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(128, 256, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer4): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (linear): Linear(in_features=512, out_features=100, bias=True)
)
Traceback (most recent call last):
  File "main_forget_sparse.py", line 556, in <module>
    state_chkpt = torch.load(os.path.join(args.resume,
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 771, in load
    with _open_file_like(f, 'rb') as opened_file:
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 270, in _open_file_like
    return _open_file(name_or_buffer, mode)
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 251, in __init__
    super(_open_file, self).__init__(open(name, mode))
FileNotFoundError: [Errno 2] No such file or directory: '/storage/4T_add/grok-adversarial/models/Resnet-CIFAR100_3407_800000/checkpoint_s_500000.pt'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "main_forget_sparse.py", line 559, in <module>
    state_chkpt = torch.load(os.path.join(args.resume,
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 771, in load
    with _open_file_like(f, 'rb') as opened_file:
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 270, in _open_file_like
    return _open_file(name_or_buffer, mode)
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 251, in __init__
    super(_open_file, self).__init__(open(name, mode))
FileNotFoundError: [Errno 2] No such file or directory: '/storage/4T_add/grok-adversarial/models/Resnet-CIFAR100_3407_800000/checkpoint-s:500000.pt'
Checkpoint name: cifar100_resnet_1_0_forget_[0, 1]_num_400_lr_0_0001_bs_128_ls_ce_wd_0_1_seed_10
[Logging in cifar100_resnet_1_0_forget_[0, 1]_num_400_lr_0_0001_bs_128_ls_ce_wd_0_1_seed_10_training]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353   251 19825 30759 29729
 31082 19591 20216 17928 27252 33141 27811  7482 12094 24208 38794 28166
 21188 11946 10287 12588  8013 19241 21333 20387 16137  8855 26872 24630
 35947 39010 34150 26599 25140 17774  1073 18866 30668 21119 15839 13886
  5896 33982 33563   810 15502 17508  9307  2644 30617 13699 39935  3338
 39546  6711 19081 11622 26924 13996  5139 25054  3760 30280 39636  6155
 30403 37127 22528  5444  5987 28612 35535 24245  7002  3820 11696 13097
 27068 12492 28743  9787 36354 37138 19503 26390  7557 26786 17683 20007
  8897  1702 33681 15850 23501  4390 31614  5417 19364 25932 31229 31030
 15037 21767  6472 32967  5066 20610  4655 16161  2538 24956 36133 27596
 30603 15081  7592 17892 23084  4479 24553 16920  3973 35392 29965 10463
 36118 13356 32034  5818 28389 23575  2629 23411  2884 12223 16361 34368
 35896 21114 26212 17385 23008 11582  2853 36094 34174 35283 33580  9752
 33044  8862 10230 36194  3010 27820 33297 29436 29513  2120 22027 12754
  1112 39738  3517 37591 10548 22759 11977 36602  1999 34618 25504 29196
 18571 13224  2782 31575 16108 34337 18030  2985 31530 28037 20599 32061
 32702 15947 31109 39064  7615 28852 33504 13252  1328 33488 25706  8032
  4627 24803  3333 32556]
forget Class: [0, 1]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: forget
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353   251 19825 30759 29729
 31082 19591 20216 17928 27252 33141 27811  7482 12094 24208 38794 28166
 21188 11946 10287 12588  8013 19241 21333 20387 16137  8855 26872 24630
 35947 39010 34150 26599 25140 17774  1073 18866 30668 21119 15839 13886
  5896 33982 33563   810 15502 17508  9307  2644 30617 13699 39935  3338
 39546  6711 19081 11622 26924 13996  5139 25054  3760 30280 39636  6155
 30403 37127 22528  5444  5987 28612 35535 24245  7002  3820 11696 13097
 27068 12492 28743  9787 36354 37138 19503 26390  7557 26786 17683 20007
  8897  1702 33681 15850 23501  4390 31614  5417 19364 25932 31229 31030
 15037 21767  6472 32967  5066 20610  4655 16161  2538 24956 36133 27596
 30603 15081  7592 17892 23084  4479 24553 16920  3973 35392 29965 10463
 36118 13356 32034  5818 28389 23575  2629 23411  2884 12223 16361 34368
 35896 21114 26212 17385 23008 11582  2853 36094 34174 35283 33580  9752
 33044  8862 10230 36194  3010 27820 33297 29436 29513  2120 22027 12754
  1112 39738  3517 37591 10548 22759 11977 36602  1999 34618 25504 29196
 18571 13224  2782 31575 16108 34337 18030  2985 31530 28037 20599 32061
 32702 15947 31109 39064  7615 28852 33504 13252  1328 33488 25706  8032
  4627 24803  3333 32556]
Number of Classes: 100
Traceback (most recent call last):
  File "main.py", line 297, in <module>
    state_chkpt = torch.load(os.path.join(args.resume,
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 771, in load
    with _open_file_like(f, 'rb') as opened_file:
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 270, in _open_file_like
    return _open_file(name_or_buffer, mode)
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 251, in __init__
    super(_open_file, self).__init__(open(name, mode))
FileNotFoundError: [Errno 2] No such file or directory: '/storage/4T_add/grok-adversarial/models/Resnet-CIFAR100_3407_800000/checkpoint_s_500000.pt'
Checkpoint name: cifar100_resnet_1_0_forget_[0, 1]_num_200_lr_0_0001_bs_256_ls_ce_wd_0_1_seed_10
[Logging in cifar100_resnet_1_0_forget_[0, 1]_num_200_lr_0_0001_bs_256_ls_ce_wd_0_1_seed_10_training]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353]
forget Class: [0, 1]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: forget
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353]
Number of Classes: 100
ResNet18(
  (conv1): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
  (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (layer1): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer2): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 128, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(64, 128, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer3): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(128, 256, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer4): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (linear): Linear(in_features=512, out_features=100, bias=True)
)
==> unlearning ...
Computing current moments on test set
Computed moments: 10.932028585815429,8.130016621589661,-1.7629506289070531
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.927 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.585 on forgotten vs unseen images
Accuracy on test set: 1.3 , Racc: 1.3 , Uacc: 6.5
Forgetting epoch 0
Resetting retain iterator...
delta_val_loss: 6.9022111892700195
delta_first_moment: 8.130016326904297
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.887 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.542 on forgotten vs unseen images
Accuracy on test set: 1.2 , Racc: 1.2 , Uacc: 2.5
Forgetting epoch 1
delta_val_loss: 5.021730422973633
delta_first_moment: 8.130016326904297
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.767 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.615 on forgotten vs unseen images
Accuracy on test set: 1.2 , Racc: 1.1 , Uacc: 0.5
Forgetting epoch 2
delta_val_loss: 1.7043094635009766
delta_first_moment: 8.130016326904297
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.593 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.630 on forgotten vs unseen images
Accuracy on test set: 1.2 , Racc: 1.2 , Uacc: 0.0
Forgetting epoch 3
delta_val_loss: -0.12439346313476562
delta_first_moment: 8.130016326904297
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.497 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.648 on forgotten vs unseen images
Accuracy on test set: 1.4 , Racc: 1.3 , Uacc: 0.0
Forgetting epoch 4
delta_val_loss: -3.062859535217285
delta_first_moment: 8.130016326904297
delta_second_moment: nan
64
64
64
8
Computing current moments on test set
Computed moments: 13.460705395507812,25.732861810302733,1.142199375882438
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.613 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.635 on forgotten vs unseen images
Accuracy on test set: 1.4 , Racc: 1.3 , Uacc: 0.0
Forgetting epoch 5
delta_val_loss: -2.7221784591674805
delta_first_moment: 25.73286247253418
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.680 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.615 on forgotten vs unseen images
Accuracy on test set: 1.4 , Racc: 1.3 , Uacc: 0.0
Forgetting epoch 6
delta_val_loss: -6.053219795227051
delta_first_moment: 25.73286247253418
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.732 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.595 on forgotten vs unseen images
Accuracy on test set: 1.4 , Racc: 1.4 , Uacc: 0.0
Forgetting epoch 7
delta_val_loss: -9.17032527923584
delta_first_moment: 25.73286247253418
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.740 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.590 on forgotten vs unseen images
Accuracy on test set: 1.5 , Racc: 1.5 , Uacc: 0.0
Forgetting epoch 8
delta_val_loss: -12.182393074035645
delta_first_moment: 25.73286247253418
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.768 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.603 on forgotten vs unseen images
Accuracy on test set: 1.5 , Racc: 1.4 , Uacc: 0.0
Forgetting epoch 9
delta_val_loss: -16.16843032836914
delta_first_moment: 25.73286247253418
delta_second_moment: nan
64
64
64
8
Computing current moments on test set
Computed moments: 17.043726220703125,50.45200598144531,1.2804162696425758
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.828 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.640 on forgotten vs unseen images
Accuracy on test set: 1.5 , Racc: 1.5 , Uacc: 0.0
Forgetting epoch 10
delta_val_loss: -14.040042877197266
delta_first_moment: 50.45200729370117
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.868 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.630 on forgotten vs unseen images
Accuracy on test set: 1.5 , Racc: 1.5 , Uacc: 0.0
Forgetting epoch 11
delta_val_loss: -16.729768753051758
delta_first_moment: 50.45200729370117
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.868 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.597 on forgotten vs unseen images
Accuracy on test set: 1.4 , Racc: 1.5 , Uacc: 0.0
Forgetting epoch 12
delta_val_loss: -22.795446395874023
delta_first_moment: 50.45200729370117
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.823 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.530 on forgotten vs unseen images
Accuracy on test set: 1.4 , Racc: 1.5 , Uacc: 0.0
Forgetting epoch 13
delta_val_loss: -25.911996841430664
delta_first_moment: 50.45200729370117
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.870 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.560 on forgotten vs unseen images
Accuracy on test set: 1.4 , Racc: 1.5 , Uacc: 0.0
Forgetting epoch 14
delta_val_loss: -31.36033821105957
delta_first_moment: 50.45200729370117
delta_second_moment: nan
64
64
64
8
Computing current moments on test set
Computed moments: 24.390337173461916,115.84184331054688,1.4785531577353805
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.905 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.517 on forgotten vs unseen images
Accuracy on test set: 1.4 , Racc: 1.5 , Uacc: 0.0
Forgetting epoch 15
delta_val_loss: -28.920122146606445
delta_first_moment: 115.84184265136719
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.895 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.490 on forgotten vs unseen images
Accuracy on test set: 1.3 , Racc: 1.4 , Uacc: 0.0
Forgetting epoch 16
delta_val_loss: -34.892784118652344
delta_first_moment: 115.84184265136719
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.915 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.490 on forgotten vs unseen images
Accuracy on test set: 1.3 , Racc: 1.4 , Uacc: 0.0
Forgetting epoch 17
delta_val_loss: -44.84032440185547
delta_first_moment: 115.84184265136719
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.903 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.515 on forgotten vs unseen images
Accuracy on test set: 1.3 , Racc: 1.3 , Uacc: 0.0
Forgetting epoch 18
delta_val_loss: -53.95729064941406
delta_first_moment: 115.84184265136719
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.950 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.545 on forgotten vs unseen images
Accuracy on test set: 1.2 , Racc: 1.4 , Uacc: 0.0
Forgetting epoch 19
delta_val_loss: -60.44682312011719
delta_first_moment: 115.84184265136719
delta_second_moment: nan
64
64
64
8
Computing current moments on test set
Computed moments: 37.63409572753906,244.62572080078124,2.6236334231400615
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.960 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.570 on forgotten vs unseen images
Accuracy on test set: 1.2 , Racc: 1.3 , Uacc: 0.0
Forgetting epoch 20
delta_val_loss: -64.59629821777344
delta_first_moment: 244.62571716308594
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.970 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.522 on forgotten vs unseen images
Accuracy on test set: 1.2 , Racc: 1.3 , Uacc: 0.0
Forgetting epoch 21
delta_val_loss: -64.93019104003906
delta_first_moment: 244.62571716308594
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.965 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.518 on forgotten vs unseen images
Accuracy on test set: 1.3 , Racc: 1.3 , Uacc: 0.0
Forgetting epoch 22
delta_val_loss: -71.08329772949219
delta_first_moment: 244.62571716308594
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.970 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.570 on forgotten vs unseen images
Accuracy on test set: 1.3 , Racc: 1.4 , Uacc: 0.0
Forgetting epoch 23
delta_val_loss: -93.6436767578125
delta_first_moment: 244.62571716308594
delta_second_moment: nan
64
64
64
8
NaN in ft_samples_mia: False
[ True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True  True  True  True  True  True  True  True  True
  True  True  True  True]
The MIA_loss has an accuracy of 0.965 on forgotten vs unseen images
The MIA_entropy has an accuracy of 0.565 on forgotten vs unseen images
Accuracy on test set: 1.4 , Racc: 1.5 , Uacc: 0.0
Forgetting epoch 24
delta_val_loss: -117.72837829589844
delta_first_moment: 244.62571716308594
delta_second_moment: nan
64
64
64
8
Accuracy on test set: 1.3 , Racc: 1.4 , Uacc: 0.0
Checkpoint name: cifar100_resnet_1_0_forget_[0, 1]_num_200_lr_0_0001_bs_128_ls_ce_wd_0_1_seed_10
[Logging in cifar100_resnet_1_0_forget_[0, 1]_num_200_lr_0_0001_bs_128_ls_ce_wd_0_1_seed_10_training]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353]
forget Class: [0, 1]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: forget
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353]
Number of Classes: 100
logs/cifar100_resnet_1_0_forget_[0, 1]_num_200_lr_0_0001_bs_128_ls_ce_wd_0_1_seed_10_resume_cp1304

  0%|          | 0/20 [00:00<?, ?it/s]
  5%|▌         | 1/20 [01:00<19:06, 60.35s/it]
 10%|█         | 2/20 [02:01<18:18, 61.02s/it]
 15%|█▌        | 3/20 [03:04<17:33, 61.96s/it]
 20%|██        | 4/20 [04:03<16:11, 60.72s/it]
 25%|██▌       | 5/20 [05:07<15:25, 61.69s/it]
 30%|███       | 6/20 [06:08<14:24, 61.73s/it]
 35%|███▌      | 7/20 [07:14<13:39, 63.04s/it]
 40%|████      | 8/20 [08:19<12:44, 63.67s/it]
 45%|████▌     | 9/20 [09:24<11:43, 63.94s/it]
 50%|█████     | 10/20 [10:25<10:31, 63.13s/it]
 55%|█████▌    | 11/20 [11:32<09:38, 64.31s/it]
 60%|██████    | 12/20 [12:42<08:48, 66.08s/it]
 65%|██████▌   | 13/20 [13:47<07:40, 65.81s/it]
 70%|███████   | 14/20 [14:54<06:36, 66.07s/it]
 75%|███████▌  | 15/20 [16:07<05:41, 68.21s/it]
 80%|████████  | 16/20 [17:17<04:34, 68.56s/it]
 85%|████████▌ | 17/20 [18:30<03:29, 69.98s/it]
 90%|█████████ | 18/20 [19:46<02:23, 71.85s/it]
 95%|█████████▌| 19/20 [20:58<01:11, 71.95s/it]
100%|██████████| 20/20 [22:10<00:00, 71.98s/it]
100%|██████████| 20/20 [22:10<00:00, 66.54s/it]
==> scrub unlearning ...
Accuracy on test set: 1.2200 , Racc: 1.1106 , Uacc: 3.5000
==> scrub unlearning ...
Accuracy on test set: 1.1700 , Racc: 1.0226 , Uacc: 14.0000
==> scrub unlearning ...
Accuracy on test set: 1.3600 , Racc: 1.3492 , Uacc: 4.0000
==> scrub unlearning ...
Accuracy on test set: 1.6100 , Racc: 1.5477 , Uacc: 1.0000
==> scrub unlearning ...
Accuracy on test set: 1.9000 , Racc: 1.6382 , Uacc: 10.0000
==> scrub unlearning ...
Accuracy on test set: 1.9300 , Racc: 1.5704 , Uacc: 16.5000
==> scrub unlearning ...
Accuracy on test set: 2.1200 , Racc: 1.7286 , Uacc: 35.0000
==> scrub unlearning ...
Accuracy on test set: 2.5300 , Racc: 2.3116 , Uacc: 32.0000
==> scrub unlearning ...
Accuracy on test set: 3.4000 , Racc: 3.0276 , Uacc: 35.0000
==> scrub unlearning ...
Accuracy on test set: 3.8400 , Racc: 3.4648 , Uacc: 34.5000
==> scrub unlearning ...
Accuracy on test set: 4.9700 , Racc: 4.6734 , Uacc: 18.0000
==> scrub unlearning ...
Accuracy on test set: 6.2300 , Racc: 6.2965 , Uacc: 16.5000
==> scrub unlearning ...
Accuracy on test set: 6.3400 , Racc: 6.3568 , Uacc: 10.5000
==> scrub unlearning ...
Accuracy on test set: 6.3900 , Racc: 6.4573 , Uacc: 12.0000
==> scrub unlearning ...
Accuracy on test set: 6.8600 , Racc: 6.8065 , Uacc: 19.5000
==> scrub unlearning ...
Accuracy on test set: 6.4800 , Racc: 6.5578 , Uacc: 15.0000
==> scrub unlearning ...
Accuracy on test set: 7.1300 , Racc: 7.1985 , Uacc: 13.0000
==> scrub unlearning ...
Accuracy on test set: 7.7800 , Racc: 7.9573 , Uacc: 17.5000
==> scrub unlearning ...
Accuracy on test set: 8.0200 , Racc: 7.7839 , Uacc: 12.0000
==> scrub unlearning ...
Accuracy on test set: 8.5700 , Racc: 8.6709 , Uacc: 17.0000
Checkpoint name: cifar100_resnet_1_0_forget_[0, 1]_num_200_lr_0_0001_bs_256_ls_ce_wd_0_1_seed_10
[Logging in cifar100_resnet_1_0_forget_[0, 1]_num_200_lr_0_0001_bs_256_ls_ce_wd_0_1_seed_10_training]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353]
forget Class: [0, 1]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: forget
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353]
Number of Classes: 100
ResNet18(
  (conv1): Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
  (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
  (layer1): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer2): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(64, 128, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(64, 128, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer3): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(128, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(128, 256, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (layer4): Sequential(
    (0): _ResBlock(
      (bn1): BatchNorm2d(256, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))
      (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (shortcut): Sequential(
        (0): Conv2d(256, 512, kernel_size=(1, 1), stride=(2, 2), bias=False)
      )
    )
    (1): _ResBlock(
      (bn1): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv1): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
      (bn2): BatchNorm2d(512, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True)
      (conv2): Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))
    )
  )
  (linear): Linear(in_features=512, out_features=100, bias=True)
)
Traceback (most recent call last):
  File "main_forget_sparse.py", line 556, in <module>
    state_chkpt = torch.load(os.path.join(args.resume,
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 771, in load
    with _open_file_like(f, 'rb') as opened_file:
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 270, in _open_file_like
    return _open_file(name_or_buffer, mode)
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 251, in __init__
    super(_open_file, self).__init__(open(name, mode))
FileNotFoundError: [Errno 2] No such file or directory: '/storage/4T_add/grok-adversarial/models/Resnet-CIFAR100_3407_800000/checkpoint_s_500000.pt'

During handling of the above exception, another exception occurred:

Traceback (most recent call last):
  File "main_forget_sparse.py", line 559, in <module>
    state_chkpt = torch.load(os.path.join(args.resume,
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 771, in load
    with _open_file_like(f, 'rb') as opened_file:
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 270, in _open_file_like
    return _open_file(name_or_buffer, mode)
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 251, in __init__
    super(_open_file, self).__init__(open(name, mode))
FileNotFoundError: [Errno 2] No such file or directory: '/storage/4T_add/grok-adversarial/models/Resnet-CIFAR100_3407_800000/checkpoint-s:500000.pt'
Checkpoint name: cifar100_resnet_1_0_forget_[0, 1]_num_200_lr_0_0001_bs_128_ls_ce_wd_0_1_seed_10
[Logging in cifar100_resnet_1_0_forget_[0, 1]_num_200_lr_0_0001_bs_128_ls_ce_wd_0_1_seed_10_training]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: train
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353]
forget Class: [0, 1]
Files already downloaded and verified
Files already downloaded and verified
confuse mode: False
split mode: forget
Replacing indexes [15338 29579  4126  8315   903 37224 39736 16028 12397  4436   579 32852
 37528 38428  7530 26956 27023 32189  3241 22377 32457 32450 34417 27974
  2028 13724 13451 30857  7528 18501 38266  5010  2765  4733  8988 35537
 22720 36827 15273 16037 27110 11636 15418 34399  9609 16979 33780  5725
 31276  4066 33456 28677 27027   221 20110 21811  4686 26283 35600 11872
 15123  4765 24989  4979 28846 10733 21020 16489 39138 33602 17168 13944
 17806  8249 18486  4196 22661 10689 27228 31635 28761  9804 27730  9690
  1700 22913 10051 16165  6758 31988  3811  9138 35595  7883 39157  4881
  1595   280 36256 22893 21137 24784 10832  5715 20926 33999 21846 20947
 11596 11053  6350  7108 32428 16422  5213 35542 20818 17981 21791  1813
 34398 39742  8784  5650 19565 29415 36350 23161 10394 18137  6454 29019
 28113  9492 29261 16752 35880 19934 28809  6047 11761 27537  2972 18786
 36805 29986  9779  1462 21054  1585 23654 17526 13134 33315  7279 38803
 21105 13914  2033 15860 13659 22489 14458 11165 25628 24069 12811 24688
 12700   625 35879 38480 34610 28239 24471 13046 13100 29306 30595 11697
 35844  7911 34867 36566 20941 24676 32943  3401 11185 35311 32729 26997
 27298 34216 13323 10370 19145  7412 17223   353]
Number of Classes: 100
Traceback (most recent call last):
  File "main.py", line 297, in <module>
    state_chkpt = torch.load(os.path.join(args.resume,
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 771, in load
    with _open_file_like(f, 'rb') as opened_file:
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 270, in _open_file_like
    return _open_file(name_or_buffer, mode)
  File "/home/yuanbangliang/anaconda3/envs/grokkingUnlearning/lib/python3.8/site-packages/torch/serialization.py", line 251, in __init__
    super(_open_file, self).__init__(open(name, mode))
FileNotFoundError: [Errno 2] No such file or directory: '/storage/4T_add/grok-adversarial/models/Resnet-CIFAR100_3407_800000/checkpoint_s_500000.pt'
