
################################ bipedalwalker
python -m train --xpid=ued-BipedalWalker-Adversarial-v0-paired-lr0.0003-epoch5-mb32-v0.5-gc0.5-henv0.01-ha0.001-tl_0 --env_name=BipedalWalker-Adversarial-v0 --use_gae=True --gamma=0.99 --gae_lambda=0.9 --seed=1 --num_control_points=12 --recurrent_arch=lstm --recurrent_agent=False --recurrent_adversary_env=False --recurrent_hidden_size=1 --use_global_critic=False --lr=0.0003 --num_steps=2048 --num_processes=32 --num_env_steps=1000000000 --ppo_epoch=5 --num_mini_batch=32 --entropy_coef=0.001 --value_loss_coef=0.5 --clip_param=0.2 --clip_value_loss=False --adv_entropy_coef=0.01 --max_grad_norm=0.5 --algo=ppo --ued_algo=paired --use_plr=True --level_replay_prob=0.5 --level_replay_rho=0.5 --level_replay_seed_buffer_size=128 --level_replay_score_transform=rank --level_replay_temperature=0.1 --staleness_coef=0.5 --no_exploratory_grad_updates=True --use_editor=False --level_editor_prob=0 --level_editor_method=random --num_edits=0 --base_levels=batch --log_interval=10 --screenshot_interval=200 --log_grad_norm=True --normalize_returns=True --checkpoint_basis=student_grad_updates --archive_interval=5000 --reward_shaping=True --use_categorical_adv=True --use_skip=False --choose_start_pos=False --sparse_rewards=False --handle_timelimits=True --level_replay_strategy=positive_value_loss --adv_max_grad_norm=0.5 --adv_ppo_epoch=8 --adv_num_mini_batch=4 --adv_normalize_returns=True --adv_use_popart=False --level_replay_strategy=positive_value_loss --test_env_names=BipedalWalker-v3,BipedalWalkerHardcore-v3,BipedalWalker-Med-Stairs-v0,BipedalWalker-Med-PitGap-v0,BipedalWalker-Med-StumpHeight-v0,BipedalWalker-Med-Roughness-v0 --log_dir=./logs/accel --test_interval=100 --test_num_episodes=10 --test_num_processes=2 --log_plr_buffer_stats=True --log_replay_complexity=True --checkpoint=True --new_algo=True --log_action_complexity=False --level_replay_seed_buffer_priority=diversity_support  --repre_strategy=combine > run_walker_combine_state_seed1.txtlevel_replay_seed_buffer_priority=diversity_support 


######################################maze 
python -m train --xpid=ued-MultiGrid-GoalLastVariableBlocksAdversarialEnv-v0-domain_randomization-noexpgrad-lstm256a-lr0.0001-epoch5-mb1-v0.5-gc0.5-henv0.0-ha0.0-plr0.5-rho0.5-n4000-st0.3-positive_value_loss-rank-t0.3-tl_0 --env_name=MultiGrid-GoalLastVariableBlocksAdversarialEnv-v0 --use_gae=True --gamma=0.995 --gae_lambda=0.95 --seed=1 --num_control_points=12 --recurrent_arch=lstm --recurrent_agent=True --recurrent_adversary_env=False --recurrent_hidden_size=256 --use_global_critic=False --lr=0.0001 --num_steps=256 --num_processes=32 --num_env_steps=100000000 --ppo_epoch=5 --num_mini_batch=1 --entropy_coef=0.0 --value_loss_coef=0.5 --clip_param=0.2 --clip_value_loss=True --adv_entropy_coef=0.0 --max_grad_norm=0.5 --algo=ppo --ued_algo=paired --use_plr=True --level_replay_prob=0.5 --level_replay_rho=0.5 --level_replay_seed_buffer_size=256 --level_replay_score_transform=rank --level_replay_temperature=0.3 --staleness_coef=0.3 --no_exploratory_grad_updates=True --use_editor=False --level_editor_prob=0 --level_editor_method=random --num_edits=0 --base_levels=batch --log_interval=25 --screenshot_interval=1000 --log_grad_norm=False --handle_timelimits=True --level_replay_strategy=grounded_signed_value_loss --log_dir=./logs/dcd --log_action_complexity=True --archive_interval=30518 --log_plr_buffer_stats=True --log_replay_complexity=True --reject_unsolvable_seeds=False --new_algo=True --log_action_complexity=False --level_replay_seed_buffer_priority=diversity_support --diversity_coef=0.3 --diversity_transform=rank_diversity --diversity_temperature=0.8 --checkpoint=True --repre_strategy=combine 


################## car_racing
python -m train --xpid=ued-CarRacing-Bezier-Adversarial-v0_12pts-paired-lr0.0003-epoch8-mb4-v0.5-gc0.5-no_clipv-gamma-0.99-lambda0.9-gclip0.2-henv0.0-ha0.0-tl_0 --env_name=CarRacing-Bezier-Adversarial-v0 --use_gae=True --gamma=0.99 --gae_lambda=0.9 --seed=985 --num_control_points=12 --recurrent_arch=lstm --recurrent_agent=False --recurrent_adversary_env=False --recurrent_hidden_size=1 --use_global_critic=False --lr=0.0003 --num_steps=125 --num_processes=16 --num_env_steps=5500000 --ppo_epoch=8 --num_mini_batch=4 --entropy_coef=0.0 --value_loss_coef=0.5 --clip_param=0.2 --clip_value_loss=False --adv_entropy_coef=0.0 --max_grad_norm=0.5 --algo=ppo --ued_algo=paired --use_plr=False --level_replay_prob=0.5 --level_replay_rho=0.5 --level_replay_seed_buffer_size=256 --level_replay_score_transform=power --level_replay_temperature=1.0 --staleness_coef=0.3 --no_exploratory_grad_updates=True --use_editor=False --level_editor_prob=0 --level_editor_method=random --num_edits=0 --base_levels=batch --log_interval=10 --screenshot_interval=200 --log_grad_norm=True --grayscale=False --crop_frame=False --num_action_repeat=8 --frame_stack=4 --normalize_returns=True --use_popart=False --handle_timelimits=True --reward_shaping=True --use_categorical_adv=True --use_skip=False --choose_start_pos=False --sparse_rewards=False --adv_max_grad_norm=0.5 --adv_ppo_epoch=8 --adv_num_mini_batch=4 --adv_normalize_returns=True --adv_use_popart=False --test_env_names=CarRacing-Vanilla-v0,CarRacingF1-Italy-v0,CarRacingF1-Singapore-v0,CarRacingF1-Germany-v0 --log_dir=./logs/dcd --test_interval=100 --test_num_episodes=5 --test_num_processes=5 --log_plr_buffer_stats=True --log_replay_complexity=True --checkpoint=True --archive_interval=1250 --log_action_complexity=False --new_algo=True --log_action_complexity=False --level_replay_seed_buffer_priority=diversity_support --diversity_coef=0.5--diversity_transform=rank_diversity --diversity_temperature=1.0 --no_cuda=True





