PPO_PROPS_PARAMS = {
    'Swimmer-v4': {
        2: {
            'num_steps': 2048,
            'props_num_steps': 512,
            'lr': 1e-3,
            'props_lr': 1e-4,
            'props_lambda': 0.1,
            'props_target_kl': 0.03,
            'props_clip_coef': 0.1,
        },
        4: {
            'num_steps': 2048,
            'props_num_steps': 512,
            'lr': 1e-3,
            'props_lr': 1e-3,
            'props_lambda': 0.3,
            'props_target_kl': 0.05,
            'props_clip_coef': 0.1,
        },
        8: {
            'num_steps': 2048,
            'props_num_steps': 256,
            'lr': 1e-3,
            'props_lr': 1e-4,
            'props_lambda': 0.1,
            'props_target_kl': 0.03,
            'props_clip_coef': 0.1,
        }
    },
    'HalfCheetah-v4': {
        2: {
            'num_steps': 2048,
            'props_num_steps': 512,
            'lr': 1e-4,
            'props_lr': 1e-3,
            'props_lambda': 0.3,
            'props_target_kl': 0.03,
            'props_clip_coef': 0.1,
        },
        4: {
            'num_steps': 2048,
            'props_num_steps': 512,
            'lr': 1e-4,
            'props_lr': 1e-3,
            'props_lambda': 0.1,
            'props_target_kl': 0.05,
            'props_clip_coef': 0.1,
        },
        8: {
            'num_steps': 2048,
            'props_num_steps': 512,
            'lr': 1e-4,
            'props_lr': 1e-3,
            'props_lambda': 0.1,
            'props_target_kl': 0.03,
            'props_clip_coef': 0.1,
        },
    },
    'Hopper-v4': {
        2: {
            'num_steps': 1024,
            'lr': 1e-4,
            'props_num_steps': 256,
            'props_lr': 1e-3,
            'props_lambda': 0.3,
            'props_target_kl': 0.03,
            'props_clip_coef': 0.1,
        },
        4: {
            'num_steps': 1024,
            'lr': 1e-4,
            'props_num_steps': 256,
            'props_lr': 1e-3,
            'props_lambda': 0.3,
            'props_target_kl': 0.03,
            'props_clip_coef': 0.1,
        },
        8: {
            'num_steps': 1024,
            'lr': 1e-4,
            'props_num_steps': 256,
            'props_lr': 1e-3,
            'props_lambda': 0.3,
            'props_target_kl': 0.03,
            'props_clip_coef': 0.1,
        },
    },
    'Walker2d-v4': {
        2: {
            'num_steps': 2048,
            'lr': 1e-3,
            'props_num_steps': 256,
            'props_lr': 1e-4,
            'props_lambda': 0.3,
            'props_target_kl': 0.05,
            'props_clip_coef': 0.1,
        },
        4: {
            'num_steps': 2048,
            'lr': 1e-3,
            'props_num_steps': 256,
            'props_lr': 1e-4,
            'props_lambda': 0.1,
            'props_target_kl': 0.05,
            'props_clip_coef': 0.1,
        },
        8: {
            'num_steps': 2048,
            'lr': 1e-3,
            'props_num_steps': 512,
            'props_lr': 1e-3,
            'props_lambda': 0.3,
            'props_target_kl': 0.03,
            'props_clip_coef': 0.1,
        },

    },
    'Ant-v4': {
        2: {
            'num_steps': 1024,
            'lr': 1e-4,
            'props_num_steps': 256,
            'props_lr': 1e-4,
            'props_lambda': 0.3,
            'props_target_kl': 0.03,
            'props_clip_coef': 0.1,
        },
        4: {
            'num_steps': 1024,
            'lr': 1e-4,
            'props_num_steps': 256,
            'props_lr': 1e-3,
            'props_lambda': 0.1,
            'props_target_kl': 0.03,
            'props_clip_coef': 0.1,
        },
        8: {
            'num_steps': 1024,
            'lr': 1e-4,
            'props_num_steps': 256,
            'props_lr': 1e-3,
            'props_lambda': 0.3,
            'props_target_kl': 0.05,
            'props_clip_coef': 0.1,
        }
    },
    'Humanoid-v4': {
        2: {
            'num_steps': 8192,
            'props_num_steps': 256,
            'lr': 1e-4,
            'props_lr': 1e-4,
            'props_lambda': 0.1,
            'props_target_kl': 0.1,
            'props_clip_coef': 0.1,
        },
        4: {
            'num_steps': 8192,
            'props_num_steps': 256,
            'lr': 1e-4,
            'props_lr': 1e-4,
            'props_lambda': 0.1,
            'props_target_kl': 0.1,
            'props_clip_coef': 0.1,
        },
        8: {
            'num_steps': 8192,
            'props_num_steps': 256,
            'lr': 1e-4,
            'props_lr': 1e-4,
            'props_lambda': 0.1,
            'props_target_kl': 0.1,
            'props_clip_coef': 0.1,
        },
    }
}

