Iteration                Wall_Time                Samples                  Train_Return             Train_Paths              Test_Return              Test_Paths               Critic_Loss              Critic_Steps             Actor_Loss               Actor_Steps              Adv_Mean                 Adv_Std                  Adv_Weights_Min          Adv_Weights_Mean         Adv_Weights_Max          

0                        0.0008424106571409437    2115                     -158.5852751878971       12                       -899.0927472274594       32                       0.015003318925505703     206                      1.8971034034201557       1027                     -9.254881                18.19691                 0.04287765               93.984535                114908.42                

50                       0.10007825639512803      109476                   -131.61268909701403      932                      -245.92432673278725      32                       0.005175807999401557     10622                    1.784801971644367        53017                    0.94765013               10.246341                3.6870126e-05            10.540487                102593.55                

100                      0.29548592097229426      244001                   -8.185199947476328       205                      20.926448957855097       32                       0.0006274089166328769    23752                    1.7169476922461604       118620                   0.015962457              3.4637082                2.0729255e-17            1830.4733                69496536.0               

150                      0.5070983207888073       393967                   78.62801989285788        150                      204.10006215127848       32                       7.264138717496761e-05    38384                    1.6980710390891638       191780                   0.030139938              1.148964                 1.16884165e-08           2961.56                  119510990.0              

200                      0.6894002878665924       544117                   109.97264258107676       150                      211.07129921656647       32                       5.1489919932629064e-05   53034                    1.464452291755546        265030                   0.06957344               0.9838032                2.3462655e-06            271.9263                 5247377.5                

250                      0.8624131458335452       687070                   116.40476960688066       152                      224.9926643403274        32                       0.00030953025146555983   66988                    1.1903664442459472       334769                   0.010929328              2.4335635                1.377759e-06             2771619.5                38915736000.0            

300                      1.030010630554623        827857                   125.99661797121507       155                      221.08590819161566       32                       0.0007569216191768646    80732                    1.1531205307590506       403450                   0.052819066              3.7473955                3.8396843e-06            103523.04                3759630300.0             

350                      1.198252539171113        970126                   120.87372131168009       152                      226.46494657173923       32                       0.00037593758146917453   94618                    1.13756582631186         472854                   -0.047085658             2.6249886                1.9650914e-08            1275779.6                29298870000.0            

400                      1.3639339765575198       1110725                  123.91228583609528       152                      215.9712047982092        32                       0.0005681945500520309    108341                   1.0690111388118602       541444                   0.08297338               3.0909038                9.434976e-06             154690850.0              6320848000000.0          

450                      1.5291743245389726       1251304                  121.68222276609032       150                      219.42523402046814       32                       0.0004569187811210294    122063                   1.0973861954724828       610026                   0.05059306               2.9786592                3.4577142e-16            10562.303                93756960.0               

500                      1.6915109403265847       1389862                  127.10016771118076       150                      219.27946361192676       32                       0.00024209391274210496   135590                   1.0810443177227609       677624                   0.03349569               2.2455137                1.1751836e-08            976730.44                21601573000.0            

550                      1.8536013699240155       1528422                  126.6663831873151        152                      224.74269111765307       32                       0.0002328617447013155    149116                   1.0613148164134438       745220                   0.07643737               2.0525513                1.9908412e-10            1732157.4                24982956000.0            

600                      2.015848354233636        1667711                  125.85844884169093       151                      215.25688360625412       32                       0.0005709444465189634    162714                   1.0247732173500723       813172                   0.01159163               3.348496                 4.323561e-14             24021.264                406169400.0              

650                      2.181986133257548        1809409                  126.41945611622025       150                      220.40300674432507       32                       0.00033692724482957707   176546                   0.9904175372456395       882300                   0.14526519               2.623963                 4.66867e-08              938590.7                 27514660000.0            

700                      2.340357863108317        1947981                  132.17698994185508       151                      223.60228389380208       32                       0.00042540112147965934   190074                   0.980996943659343        949903                   0.028059307              2.7818809                2.440782e-08             115529.766               4136547800.0             

750                      2.499358372820748        2084716                  134.19395024057897       158                      216.85889902094664       32                       0.0008495114362280523    203423                   1.012852212430674        1016607                  -0.2622419               4.17097                  2.0249673e-14            129.6906                 1467557.5                

800                      2.6515009665489195       2216757                  137.36492534632913       154                      229.1664977011656        32                       0.0004185977127027074    216318                   1.0288050034466911       1081023                  0.13478595               2.8923137                1.16968915e-08           9017.219                 289428130.0              

850                      2.8100272330972884       2354556                  132.22540942761893       154                      222.24958849299807       32                       0.0003169508676183709    229770                   0.9762651890029492       1148249                  0.026577728              2.5363655                1.5681843e-08            642577.4                 16656431000.0            

900                      2.966884124411477        2491050                  132.02091780537117       155                      227.1733372539522        32                       0.00041124501834550407   243095                   0.9488364574445393       1214833                  0.19369145               2.762642                 5.0736587e-10            62963.387                1037419400.0             

950                      3.122788089050187        2628451                  133.11938573882284       154                      230.84294054896117       32                       0.0006704918862202875    256510                   0.9231905263438567       1281865                  -0.06543143              3.529593                 7.617244e-15             45597.35                 1626772200.0             

1000                     3.271757480369674        2759954                  134.26145754160086       154                      212.11847333415372       32                       0.0011782951934157678    269351                   0.8972207774286685       1346018                  -0.18232092              4.7905707                7.491194e-13             24.280066                89934.98                 

1050                     3.4140500762727526       2887013                  157.29439558750462       169                      218.95788279425082       32                       0.002328273021813595     281764                   0.8198607411346024       1407998                  -0.2409444               6.6853347                5.3645124e-08            680.14624                1126310.5                

1100                     3.538257151246071        3001740                  213.10168543200467       309                      210.57393781044433       32                       0.003994314247751471     292963                   0.6146043405024963       1463890                  0.6535892                8.556178                 1.672332e-08             6.6826653                21934.002                

1150                     3.647711728811264        3110212                  231.36788561496545       486                      228.99278792562222       32                       0.0013433241903191746    303536                   0.5945117260305356       1516642                  -0.18624964              5.1380615                1.4568346e-16            13.16349                 189414.92                

1200                     3.7570801413059236       3218593                  233.17721599966094       503                      226.072235858184         32                       0.0008165965815192288    314094                   0.5906088819781553       1569341                  0.1268804                4.1095977                0.00031228442            57.49402                 1197272.8                

1250                     3.865729033748309        3327893                  232.92022589209714       521                      233.25116468148173       32                       0.001273360712961717     324742                   0.6097253972833807       1622480                  0.04416339               4.93581                  2.1455702e-14            2.1742485                7565.8164                

1300                     3.9725881458653345       3436175                  234.47656793937327       532                      234.01230784807254       32                       0.0009330693775644669    335290                   0.53299940033987         1675116                  0.20786601               4.2288423                2.4245984e-15            2.462693                 8086.309                 

1350                     4.0807905350791085       3544857                  237.7766718633476        540                      233.67364398421307       32                       0.0009439231818942932    345878                   0.5759665696039767       1727946                  -0.06096846              4.3029084                1.38183565e-17           82.36543                 1186983.9                

1400                     4.187237766385079        3652653                  235.88691185321883       541                      236.72077842784924       32                       0.0007564224233137113    356377                   0.5345979124948842       1780342                  0.12303211               3.8388379                2.6426049e-12            2.721455                 7506.2515                

1450                     4.29370234741105         3760108                  237.93767889714286       548                      226.42675306241844       32                       0.0009641484380355609    366846                   0.5326630089670567       1832572                  0.22468963               4.347037                 7.935128e-17             12.568675                410533.9                 

1500                     4.400020906262927        3867506                  236.19593771962005       555                      239.47467737741928       32                       0.0008304920689813022    377305                   0.5707656800040143       1884769                  0.023061672              4.085959                 7.15813e-18              2.0629566                3393.4631                

1550                     4.506563098430633        3974461                  236.70077430598155       554                      237.11211021443575       32                       0.0008705328953893561    387723                   0.5423642391223086       1936747                  -0.023665333             4.136268                 2.6222946e-16            2.081756                 6744.332                 

1600                     4.611792733669281        4081949                  233.59564916101144       562                      237.4306917032307        32                       0.0012666689693380934    398188                   0.562595360432196        1988982                  -0.06335531              4.9572563                4.233009e-15             2.7231688                33979.92                 

1650                     4.718215785755051        4189337                  236.62745876361367       565                      234.29517237104446       32                       0.0010329175229166069    408644                   0.5090089209655881       2041163                  0.028252413              4.613233                 2.532885e-16             3.1385481                42817.145                

1700                     4.824859175946977        4297092                  237.93615845551324       566                      231.83733989322684       32                       0.0005175330212726686    419137                   0.592266230620155        2093526                  0.01526506               3.1564338                0.0014288925             2.243955                 597.5187                 

1750                     4.930707520577642        4404409                  236.19862070975142       569                      238.83674030755395       32                       0.001360659213627086     429585                   0.5578731994029347       2145670                  -0.2673446               5.0824814                8.7711826e-13            15.702684                123642.8                 

1800                     5.03810557378663         4512061                  235.48129585100918       570                      235.89928344462876       32                       0.0011757964934777775    440067                   0.544487329393543        2197983                  -0.1809394               4.707805                 7.225878e-15             4.965825                 80712.97                 

1850                     5.143485435711013        4619245                  237.01470994090212       571                      237.3023154092484        32                       0.0005349288532389931    450504                   0.5452555338541667       2250065                  -0.106701985             3.1864839                0.002559498              2.6966453                6850.161                 

1900                     5.251360098587142        4727983                  234.34750215412888       575                      234.19253024472306       32                       0.0009570504302409158    461093                   0.5311561325591005       2302903                  0.14448552               4.469056                 9.254004e-10             22.10485                 286659.0                 

1950                     5.3583425382110805       4835868                  238.98204831192106       579                      231.55394399349439       32                       0.000822775885819248     471597                   0.5095233019444945       2355321                  0.039981462              3.9393103                1.1988652e-19            1.8342642                145.72037                

2000                     5.464199001789093        4943299                  236.24966212627928       586                      234.19078314006885       32                       0.0008307142534117768    482054                   0.5348039562575483       2407518                  0.27489704               3.9770565                1.1577071e-17            2.7006764                20342.63                 

2050                     5.571863079004817        5051147                  237.17084718550507       591                      236.469472782279         32                       0.0005346584361269727    492556                   0.5490772205085332       2459913                  0.1175003                3.1918437                0.006771502              2.5046818                3045.634                 

2100                     5.678510551850001        5159194                  238.10844335922835       586                      233.27981013773731       32                       0.0013700167240180406    503078                   0.49662869633244383      2512411                  -0.030413752             5.226889                 3.842295e-14             3.6027439                37672.617                

2150                     5.7860406504737005       5267116                  238.53094107030068       599                      239.26159150390964       32                       0.0005108593263436313    513581                   0.5231587687336591       2564835                  0.037959807              3.1299956                0.0036947601             2.496884                 1440.5187                

2200                     5.893284837471114        5374953                  235.46095273259817       590                      237.75127514884798       32                       0.0010459053401763623    524084                   0.5098853998726796       2617229                  -0.08390674              4.566172                 6.2575505e-17            1.9006093                2624.3616                

2250                     5.999309871991476        5482530                  239.37734101033553       592                      238.37479338544452       32                       0.0006048023007636847    534559                   0.48966228428171643      2669494                  0.04625819               3.3085907                0.0033984436             2.773118                 2252.1868                

2300                     6.107024422221714        5590742                  238.0161614175699        598                      233.8666066257483        32                       0.0007626544510092691    545092                   0.512749546922548        2722064                  0.05502825               3.8169584                5.2472013e-13            443609.22                16716712000.0            

2350                     6.212640718354119        5698163                  238.4875371415621        599                      241.17923542036976       32                       0.0009660219037255576    555548                   0.4820236390923521       2774247                  -0.22661708              4.284825                 1.0020802e-17            27049.088                1335280600.0             

2400                     6.319736306667328        5805865                  240.83014783808403       601                      240.06535064895914       32                       0.0005346716242136011    566030                   0.46404206649116847      2826565                  0.12033832               3.1821747                0.003846322              2.6170926                452.771                  

2450                     6.425253958304723        5912957                  237.58512262688714       592                      237.70479187040874       32                       0.0009468890450618885    576456                   0.47290661293008573      2878587                  0.07029406               4.2248707                6.440124e-17             2.4104474                7273.997                 

2500                     6.531212656233046        6020142                  237.8250702649021        601                      241.44363223503981       32                       0.0012534149721557019    586892                   0.46413551413086895      2930652                  -0.19291504              4.9265256                3.5986273e-14            1.9494957                4156.9214                

2550                     6.636864734623167        6127623                  237.71232827628586       599                      238.18542829087252       32                       0.0011321541695099957    597355                   0.4553521474202474       2982861                  -0.015421986             4.728125                 1.1840334e-14            4.278943                 53605.305                

2600                     6.742971536715825        6235571                  239.00716091257922       597                      228.86231268842792       32                       0.000951380119091127     607865                   0.48460731580999267      3035304                  -0.018933255             4.3278174                1.0674518e-13            10.85713                 299226.84                

2650                     6.849314021865527        6342368                  238.26577984456208       598                      232.75366276795424       32                       0.0011383024523559126    618263                   0.4438360785695829       3087183                  -0.09389756              4.8485456                1.5339249e-15            10.919006                228261.1                 

2700                     6.954662911163436        6449671                  239.32774716795026       598                      239.53710792622482       32                       0.0011271440458518486    628707                   0.4581014845106337       3139311                  0.051324874              4.685233                 8.922049e-16             1.6139787                296.31525                

2750                     7.0606864456335705       6556647                  237.47682613530648       600                      240.90923285221362       32                       0.0006394879448981513    639119                   0.4862815623974982       3191279                  0.07664666               3.4919667                0.0034706362             20817.314                1033804700.0             

2800                     7.167714153925578        6664430                  237.30957225766613       601                      238.6037024954134        32                       0.001467204630657395     649609                   0.48316988895195273      3243636                  0.09599379               5.311653                 1.1475888e-11            62.267326                1291937.2                

2850                     7.274144001205762        6772275                  238.34172882687506       607                      233.05684133352347       32                       0.0009297172610576337    660107                   0.48340157728928784      3296024                  -0.3182116               4.276934                 8.8485657e-16            1.9670792                4403.554                 

2900                     7.380373483233981        6879731                  237.37695835512656       602                      241.9226822211087        32                       0.001540592271987706     670566                   0.46191665440389557      3348223                  -0.16138028              5.4131947                2.977916e-13             40.978428                1098250.8                

2950                     7.486697168946266        6986744                  239.75242424681622       595                      240.4734511526017        32                       0.0006277660774712515    680983                   0.4813140384734623       3400205                  0.23627613               3.4830437                0.00048308275            2.5089788                2463.9597                

3000                     7.592954511178864        7094363                  238.15607414890866       604                      231.26772217844612       32                       0.0005887422780945615    691458                   0.4823515053951379       3452485                  0.116044365              3.3246417                0.00602681               2.7294605                4904.061                 

3050                     7.699697556694349        7201823                  237.55134452864303       604                      239.9748935319961        32                       0.0010185409688724663    701920                   0.479117582786286        3504685                  -0.12476636              4.5646996                3.6928829e-16            4.676256                 149811.67                

3100                     7.8062082523107525       7308965                  237.87790865386972       608                      239.19523712872203       32                       0.0007436683644419131    712348                   0.49078608204825014      3556729                  0.010720454              3.6400745                3.2104755e-13            8538.755                 418427650.0              

3150                     7.911286247836219        7415557                  237.319460658453         608                      232.4217555583188        32                       0.0006714288275040204    722723                   0.4542175779789538       3608502                  0.06719753               3.8016684                5.1831854e-08            2.3810704                4461.4614                

3200                     8.01843605419            7522126                  237.79802984245336       610                      228.93855445161932       32                       0.0007349679283067292    733097                   0.4760737699620864       3660267                  -0.12926058              3.9001174                1.5225677e-16            22.007296                560025.06                

3250                     8.124174325532383        7629306                  238.65924209878338       608                      239.87290137048288       32                       0.0008875986038170424    743527                   0.4646447982863401       3712329                  -0.14880356              4.237262                 3.251307e-17             11.39566                 432073.8                 

3300                     8.231273233625624        7736762                  238.12932666171807       611                      239.27794296356703       32                       0.0008822663370611632    753989                   0.47684875669036897      3764527                  -0.047493257             4.204757                 3.9533838e-13            775.24347                37856820.0               

3350                     8.338156195018026        7843975                  236.27124958420487       610                      236.1143965134255        32                       0.0011561359657625261    764422                   0.5003669145127881       3816602                  -0.25538236              4.734669                 6.464304e-14             5.158093                 97117.875                

3400                     8.444087615410487        7951427                  238.74777903847422       609                      237.2875597326949        32                       0.0012411115882552672    774885                   0.4717579692350779       3868798                  -0.03682351              5.0197144                1.114488e-14             5.845979                 170007.88                

3450                     8.550532175170051        8058107                  238.9153428613016        606                      238.49058379375398       32                       0.0011984248511233734    785269                   0.47352300995024876      3920613                  -0.17658739              4.754057                 4.3559982e-15            15.397185                205242.97                

3500                     8.656234977841377        8165434                  237.04407819328742       612                      236.13791642264732       32                       0.0017694149075484858    795716                   0.45603907038321         3972744                  0.5181303                5.7729053                8.830303e-13             3.18021                  30939.984                

3550                     8.763079074621201        8272385                  239.9712854351037        607                      240.23464607437185       32                       0.0006046690619908846    806127                   0.46121448531574266      4024692                  -0.07581209              3.329493                 0.006845546              2.6678646                2358.694                 

3600                     8.870038734475772        8380306                  239.20869986063855       606                      234.34155348612518       32                       0.0009552371279101505    816632                   0.4393454562412219       4077119                  0.23885463               4.2455707                2.1088973e-17            2.324291                 11885.549                

3650                     8.974453328516748        8488203                  239.7431074877713        613                      242.30476500806552       32                       0.0005881218901742691    827132                   0.4790064010330026       4129528                  -0.05258254              3.4508085                0.0003119582             3.777339                 28055.113                

3700                     9.078922276563114        8596454                  238.457293767894         611                      237.9292968569699        32                       0.0013623285632562863    837667                   0.44445763176651365      4182112                  0.3369904                5.174033                 2.5414493e-13            293.45032                12337096.0               

3750                     9.178853476577334        8704028                  240.0785612084943        616                      243.22695349840205       32                       0.0011481888410521716    848139                   0.461479022778177        4234362                  -0.1674738               4.670147                 2.0550246e-14            1.7054819                2531.7478                

3800                     9.27116951783498         8810720                  239.5693250071834        612                      243.88939517997346       32                       0.0008926176911846722    858523                   0.44451982695981507      4286184                  0.021930244              4.197587                 2.5043596e-16            5.2066965                109548.87                

3850                     9.361745831105445        8918326                  238.07903650369747       620                      236.53178868313947       32                       0.0015865316930806861    868995                   0.4370213042144631       4338446                  0.31221035               5.512443                 7.6896666e-14            5.348241                 45264.043                

3900                     9.453770460817548        9025300                  239.71299107521668       616                      247.6290449627062        32                       0.0011309825855752697    879405                   0.47853959677875907      4390402                  -0.113572665             4.562921                 2.378055e-16             16.134748                565302.5                 

3950                     9.545036973953247        9133276                  240.0816001879541        625                      236.69096087227564       32                       0.0007802517315663329    889912                   0.4316844257113034       4442841                  0.14297199               4.023539                 4.3549637e-17            21.953762                583404.56                

4000                     9.63659739865197         9240806                  239.83378756076698       620                      235.11090426002386       32                       0.0007053935556735807    900377                   0.4750057175929444       4495069                  -0.15585144              3.486778                 0.0018460883             15.877091                532135.94                

4050                     9.727796906034152        9347752                  236.96086235865377       622                      238.4482260033489        32                       0.001223787446232403     910785                   0.4281115471088383       4547006                  0.42436227               5.027477                 9.595941e-13             6.7575903                100298.15                

4100                     9.818134231766065        9454790                  236.51211954408996       622                      227.83675549007566       32                       0.0019564715218661453    921202                   0.44291736817855154      4598991                  -0.4891754               6.0891223                5.5703017e-15            2.00926                  10367.996                

4150                     9.90960159599781         9561676                  237.53845003316826       622                      244.9955754917044        32                       0.0013384421666463215    931607                   0.43128028172125354      4650900                  0.223292                 5.098835                 2.8293627e-13            4565.1396                225949630.0              

4200                     10.000268400046561       9669104                  235.88836759894937       627                      238.87550944855874       32                       0.001252441350803819     942060                   0.4418080505314105       4703077                  0.28525537               4.915451                 1.1306269e-15            143.58885                2229873.8                

4250                     10.09152620640066        9776180                  239.48217241199416       623                      237.24654432843548       32                       0.0008511441863245434    952479                   0.44878171791734245      4755085                  -0.12264269              3.9961944                1.0003463e-13            52.42928                 795954.6                 

4300                     10.182987576060825       9883133                  237.18807620172146       623                      237.69563893118482       32                       0.0008973694429164979    962887                   0.49316283821359774      4807027                  -0.42159718              4.1923013                4.9981625e-14            23.526844                639396.1                 

4350                     10.274742586745155       9990313                  237.88156049386038       617                      239.99453132964993       32                       0.0007492619402268354    973320                   0.4608065436868107       4859088                  -0.20179826              3.8719976                1.0522134e-07            29.4741                  1190434.6                

4400                     10.366242780221834       10097371                 237.54826609917825       622                      239.08729697259997       32                       0.0020810875339784484    983738                   0.4411823855608529       4911083                  0.16827653               6.291578                 5.496632e-12             5.1455073                47240.605                

4450                     10.45853225522571        10204811                 236.6709906430014        627                      238.87468374646278       32                       0.001612367580563242     994196                   0.44059413864121655      4963263                  -0.26440847              5.617189                 7.954411e-15             5.2846346                71039.54                 

4500                     10.54969657169448        10312439                 237.56952662171574       626                      236.60844742878          32                       0.001320821223872723     1004668                  0.4557507820242815       5015534                  0.11647862               5.024184                 3.481794e-14             1178.564                 46282756.0               

4550                     10.641447378396988       10419699                 237.7563310175783        627                      238.5760168813021        32                       0.0015727254477414217    1015107                  0.43363689075816764      5067625                  0.017402362              5.5917983                1.0512799e-12            1.8115357                2218.283                 

4600                     10.733465240531498       10527221                 238.92654582756083       627                      236.62426295893545       32                       0.0015276631094374746    1025568                  0.4521420279424373       5119842                  0.17548119               5.3389554                1.5923107e-13            16.75514                 706015.1                 

4650                     10.824480126765039       10633825                 241.04322553185872       615                      217.37510178856522       32                       0.0005919366010597774    1035939                  0.4325861176990327       5171616                  0.23657498               3.4904807                0.0016272068             2.9373739                13785.335                
