supp_mat/
└── experiment_1: ### The experiment studying the robustness of our base architecture to in-distribution alteration operators
    ├── checkpoints_training: ### Our trained checkpoints (1 to 8 epochs) for each training dataset (dataset-1 to dataset-4)
    │   ├── on-dataset-1-3M-snippets
    │   │   ├── batch_log.log
    │   │   ├── best-model.info
    │   │   ├── optimus_train.py
    │   │   └── train.log
    │   ├── on-dataset-2-1.5M-snippets
    │   │   ├── batch_log.log
    │   │   ├── best-model.info
    │   │   ├── optimus_train.py
    │   │   └── train.log
    │   ├── on-dataset-3-750K-snippets
    │   │   ├── batch_log.log
    │   │   ├── best-model.info
    │   │   ├── optimus_train.py
    │   │   └── train.log
    │   └── on-dataset-4-375K-snippets
    │       ├── batch_log.log
    │       ├── best-model.info
    │       ├── optimus_train.py
    │       └── train.log
    ├── datasets: ### Our training datasets (1 to 4) and our base in distribution benchmark
    │   ├── base-in-distribution-benchmark
    │   │   ├── 3_determinism_filtering.py
    │   │   ├── 4_data_preparation.py
    │   │   ├── tinypy_code_tracer_tokenizer.py
    │   │   └── tinypy_code_tracing_generator.py
    │   ├── dataset-1-3M-snippets
    │   │   ├── data_preparation.py
    │   │   ├── determinism_filtering.py
    │   │   ├── tinypy_code_tracer_tokenizer.py
    │   │   └── tinypy_code_tracing_generator.py
    │   ├── dataset-2-1.5M-snippets
    │   │   ├── data_preparation.py
    │   │   ├── extract_snippets.py
    │   │   └── tinypy_code_tracer_tokenizer.py
    │   ├── dataset-3-750K-snippets
    │   │   ├── data_preparation.py
    │   │   ├── extract_snippets.py
    │   │   └── tinypy_code_tracer_tokenizer.py
    │   └── dataset-4-375K-snippets
    │       ├── data_preparation.py
    │       ├── extract_snippets.py
    │       └── tinypy_code_tracer_tokenizer.py
    └── evaluations: ### The evalutions of each checkpoint from each training dataset on the robustness in-distribution benchmarks
        ├── robustness_on_correct_instances
        │   ├── on-dataset-1
        │   │   ├── clones_creation.py
        │   │   ├── indistribution_perturbator.py
        │   │   ├── optimus_eval.py
        │   │   ├── runall_robustness.py
        │   │   ├── tinypy_code_tracer.py
        │   │   └── tinypy_code_tracer_tokenizer.py
        │   ├── on-dataset-2
        │   │   ├── clones_creation.py
        │   │   ├── indistribution_perturbator.py
        │   │   ├── optimus_eval.py
        │   │   ├── runall_robustness.py
        │   │   ├── tinypy_code_tracer.py
        │   │   └── tinypy_code_tracer_tokenizer.py
        │   ├── on-dataset-3
        │   │   ├── clones_creation.py
        │   │   ├── indistribution_perturbator.py
        │   │   ├── optimus_eval.py
        │   │   ├── runall_robustness.py
        │   │   ├── tinypy_code_tracer.py
        │   │   └── tinypy_code_tracer_tokenizer.py
        │   ├── on-dataset-4
        │   │   ├── clones_creation.py
        │   │   ├── indistribution_perturbator.py
        │   │   ├── optimus_eval.py
        │   │   ├── runall_robustness.py
        │   │   ├── tinypy_code_tracer.py
        │   │   └── tinypy_code_tracer_tokenizer.py
        │   └── results_summary.ipynb
        └── robustness_on_whole_benchmark
            ├── on-dataset-1
            │   ├── indistribution_perturbator.py
            │   ├── optimus_eval.py
            │   ├── runall_robustness.py
            │   ├── tinypy_code_tracer.py
            │   └── tinypy_code_tracer_tokenizer.py
            ├── on-dataset-2
            │   ├── indistribution_perturbator.py
            │   ├── optimus_eval.py
            │   ├── runall_robustness.py
            │   ├── tinypy_code_tracer.py
            │   └── tinypy_code_tracer_tokenizer.py
            ├── on-dataset-3
            │   ├── indistribution_perturbator.py
            │   ├── optimus_eval.py
            │   ├── runall_robustness.py
            │   ├── tinypy_code_tracer.py
            │   └── tinypy_code_tracer_tokenizer.py
            ├── on-dataset-4
            │   ├── indistribution_perturbator.py
            │   ├── optimus_eval.py
            │   ├── runall_robustness.py
            │   ├── tinypy_code_tracer.py
            │   └── tinypy_code_tracer_tokenizer.py
            └── results_summary.ipynb

23 directories, 79 files
