#!/bin/bash
#SBATCH --job-name=inference_3b2
#SBATCH --output=gptj_output/normal_zero.txt
#SBATCH --error=gptj_error/normal_zero.txt
#SBATCH --ntasks=1
#SBATCH --time=24:00:00
#SBATCH --mem=32Gb
#SBATCH --partition=unkillable
#SBATCH -c 2
#SBATCH --gres=gpu:1 
#SBATCH --constraint=80gb


python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'dbpedia' \
    --num_seeds 3 \
    --all_shots 0 \
    --subsample_test_set 500 

python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'dbpedia' \
    --num_seeds 3 \
    --all_shots 4 \
    --subsample_test_set 500 

python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'agnews' \
    --num_seeds 3 \
    --all_shots 0 \
    --subsample_test_set 500 

python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'agnews' \
    --num_seeds 3 \
    --all_shots 4 \
    --subsample_test_set 500 

python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'sst2' \
    --num_seeds 3 \
    --all_shots 0 \
    --subsample_test_set 500 

python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'sst2' \
    --num_seeds 3 \
    --all_shots 4 \
    --subsample_test_set 500 


python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'trec' \
    --num_seeds 3 \
    --all_shots 0 \
    --subsample_test_set 500 

python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'trec' \
    --num_seeds 3 \
    --all_shots 4 \
    --subsample_test_set 500 

python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'cb' \
    --num_seeds 3 \
    --all_shots 0 \
    --subsample_test_set 500 

python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'cb' \
    --num_seeds 3 \
    --all_shots 4 \
    --subsample_test_set 500 

python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'rte' \
    --num_seeds 3 \
    --all_shots 0 \
    --subsample_test_set 500 

python processing_dataset_allrank_15.py \
    --model 'EleutherAI/gpt-j-6b' \
    --dataset 'rte' \
    --num_seeds 3 \
    --all_shots 4 \
    --subsample_test_set 500 
# python processing_dataset_allrank_15.py \
#     --model 'openlm-research/open_llama_3b' \
#     --dataset 'trec' \
#     --num_seeds 2 \
#     --all_shots 0 \
#     --subsample_test_set 500 


# python processing_dataset_allrank_15.py \
#     --model 'openlm-research/open_llama_3b' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 


# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-7b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 


# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-7b-hf' \
#     --dataset 'trec' \
#     --num_seeds 5 \
#     --all_shots 0 \
#     --subsample_test_set 500 



# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-7b-hf' \
#     --dataset 'trec' \
#     --num_seeds 6 \
#     --all_shots 0 \
#     --subsample_test_set 500 




# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-13b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500  --load_in_8bit


# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-13b-hf' \
#     --dataset 'trec' \
#     --num_seeds 8 \
#     --all_shots 0 \
#     --subsample_test_set 500  --load_in_8bit



# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-13b-hf' \
#     --dataset 'trec' \
#     --num_seeds 9 \
#     --all_shots 0 \
#     --subsample_test_set 500  --load_in_8bit



# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-30b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500  --load_in_8bit


# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-30b-hf' \
#     --dataset 'trec' \
#     --num_seeds 31 \
#     --all_shots 0 \
#     --subsample_test_set 500  --load_in_8bit



# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-30b-hf' \
#     --dataset 'trec' \
#     --num_seeds 32 \
#     --all_shots 0 \
#     --subsample_test_set 500  --load_in_8bit





# python processing_dataset_allrank_15.py \
#     --model 'openlm-research/open_llama_3b' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --nonfixed_random


# # python processing_dataset_allrank_15.py \
# #     --model 'openlm-research/open_llama_3b' \
# #     --dataset 'trec' \
# #     --num_seeds 2 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --nonfixed_random


# # python processing_dataset_allrank_15.py \
# #     --model 'openlm-research/open_llama_3b' \
# #     --dataset 'trec' \
# #     --num_seeds 3 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --nonfixed_random


# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-7b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --nonfixed_random


# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-7b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 5 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --nonfixed_random



# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-7b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 6 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --nonfixed_random




# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-13b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --nonfixed_random --load_in_8bit


# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-13b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 8 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --nonfixed_random --load_in_8bit



# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-13b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 9 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --nonfixed_random --load_in_8bit



# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-30b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --nonfixed_random --load_in_8bit


# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-30b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 31 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --nonfixed_random --load_in_8bit



# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-30b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 32 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --nonfixed_random --load_in_8bit


# python processing_dataset_allrank_15.py \
#     --model 'openlm-research/open_llama_3b' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --same_random


# # python processing_dataset_allrank_15.py \
# #     --model 'openlm-research/open_llama_3b' \
# #     --dataset 'trec' \
# #     --num_seeds 2 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --same_random


# # python processing_dataset_allrank_15.py \
# #     --model 'openlm-research/open_llama_3b' \
# #     --dataset 'trec' \
# #     --num_seeds 3 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --same_random


# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-7b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --same_random


# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-7b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 5 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --same_random



# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-7b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 6 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --same_random




# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-13b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --same_random --load_in_8bit


# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-13b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 8 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --same_random --load_in_8bit



# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-13b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 9 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --same_random --load_in_8bit



# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-30b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --same_random --load_in_8bit


# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-30b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 31 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --same_random --load_in_8bit



# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-30b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 32 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --same_random --load_in_8bit




# python processing_dataset_allrank_15.py \
#     --model 'openlm-research/open_llama_3b' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --revert_random


# # python processing_dataset_allrank_15.py \
# #     --model 'openlm-research/open_llama_3b' \
# #     --dataset 'trec' \
# #     --num_seeds 2 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --revert_random


# # python processing_dataset_allrank_15.py \
# #     --model 'openlm-research/open_llama_3b' \
# #     --dataset 'trec' \
# #     --num_seeds 3 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --revert_random


# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-7b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --revert_random


# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-7b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 5 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --revert_random



# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-7b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 6 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --revert_random




# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-13b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --revert_random --load_in_8bit


# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-13b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 8 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --revert_random --load_in_8bit



# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-13b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 9 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --revert_random --load_in_8bit



# python processing_dataset_allrank_15.py \
#     --model 'decapoda-research/llama-30b-hf' \
#     --dataset 'trec' \
#     --num_seeds 3 \
#     --all_shots 0 \
#     --subsample_test_set 500 --revert_random --load_in_8bit


# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-30b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 31 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --revert_random --load_in_8bit



# # python processing_dataset_allrank_15.py \
# #     --model 'decapoda-research/llama-30b-hf' \
# #     --dataset 'trec' \
# #     --num_seeds 32 \
# #     --all_shots 0 \
# #     --subsample_test_set 500 --revert_random --load_in_8bit