#!/bin/bash

set -x 

export OPENAI_API_KEY="your api key"
export OPENAI_BASE_URL="your api base url"
MODEL_NAME="gpt-4o"


# 默认数据目录
DATA_DIR="data/bench4opt_mix"
SAMPLE_ID=""  # 默认为空，表示测试所有样本
FILE_NAME="test.jsonl"  # 默认文件名
OUTPUT_FILENAME=""  # 输出文件名，如果为空则使用默认名称

# 解析参数
while getopts "d:s:f:o:" opt; do
    case $opt in
        d) DATA_DIR="$OPTARG";;
        s) SAMPLE_ID="--sample_id $OPTARG";;
        f) FILE_NAME="$OPTARG";;
        o) OUTPUT_FILENAME="$OPTARG";;
    esac
done

# 使用固定的文件名支持断点重续
if [ -z "$OUTPUT_FILENAME" ]; then
    FIXED_FILENAME="test_pipeline_model_${MODEL_NAME//\//-}_resume.json"
    LOG_FILENAME="test_pipeline_model_${MODEL_NAME//\//-}_resume.log"
else
    FIXED_FILENAME="$OUTPUT_FILENAME"
    LOG_FILENAME="${OUTPUT_FILENAME%.json}.log"
fi

mkdir -p outputs

# 使用支持断点重续的脚本
python -m tests.test_full_pipeline_resume \
    --model_name $MODEL_NAME \
    --save_path outputs/$FIXED_FILENAME \
    --save_interval 1 \
    --data_dir $DATA_DIR \
    2>&1 | tee outputs/$LOG_FILENAME
