Time	Iteration	AverageReward	StdRewards	MaxRewardRollout	MinRewardRollout	timesteps	gradnorms	maxnorms
7.618988990783691	0	95.747111949611	9.827808826491461	140.56122211366892	78.43672743439674	0	0.0	0
16.32367467880249	10	249.78982542693615	3.1290258037135525	257.2583074569702	241.9388466477394	96663	0.909090909090909	0.09901475429766744
27.817981958389282	20	252.76370334029198	3.060312635789168	259.99734830856323	244.9769959449768	238141	0.9523809523809522	0.09901475429766744
41.95478701591492	30	254.02888615250586	3.56425779746307	263.05998063087463	246.65508258342743	419315	0.9677419354838709	0.09901475429766744
57.338027000427246	40	255.01029052853585	3.1858334834895965	263.43548798561096	246.97776234149933	616724	0.9756097560975608	0.09901475429766744
72.68784856796265	50	258.3595221912861	3.03586246765174	265.7253214120865	251.70015382766724	823712	0.980392156862745	0.09901475429766744
88.51619672775269	60	264.16502284288407	3.1400191270775455	271.26833140850067	257.27676993608475	1033370	0.983606557377049	0.09901475429766744
104.19380116462708	70	267.70440076470373	3.0870747898515427	275.1905264854431	259.9818027019501	1241575	0.9859154929577463	0.09901475429766744
119.91492915153503	80	271.2844598317146	2.821474506984865	278.28549206256866	264.5510753393173	1452168	0.9876543209876542	0.09901475429766744
136.1724350452423	90	273.54870132625103	3.4004183515918163	281.9700744152069	265.2099469900131	1670814	0.9890109890109888	0.09901475429766744
152.6675193309784	100	277.26260778665545	2.9767540732370588	284.30792903900146	270.75778448581696	1892272	0.99009900990099	0.09901475429766744
168.85772514343262	110	280.0847207957506	2.4828989650514806	286.946137547493	275.4370480775833	2117564	0.9909909909909909	0.09901475429766744
185.61940789222717	120	283.71181384444236	2.6899911836640142	289.96142756938934	277.00654804706573	2348762	0.9917355371900826	0.09901475429766744
202.7984881401062	130	286.4321385127306	3.4739070839111883	295.0284937620163	280.4037549495697	2582279	0.9923664122137402	0.09901475429766744
220.49339365959167	140	296.67414098739624	3.145199588833068	303.3551307916641	290.122789978981	2825305	0.9929078014184395	0.09901475429766744
238.40592885017395	150	304.8769967025518	3.541756571728862	313.25986182689667	296.2811938524246	3073422	0.9933774834437085	0.09901475429766744
256.6685152053833	160	315.5181090903282	3.2808721858181755	322.9919253587723	307.7641283273697	3325874	0.9937888198757763	0.09901475429766744
275.82667112350464	170	328.88063509345056	3.487292850415117	338.5399934053421	321.47061467170715	3585237	0.9941520467836256	0.09901475429766744
295.22607469558716	180	361.6065615671873	3.0371062491668437	368.6554740667343	355.6308546066284	3856142	0.9944751381215468	0.09901475429766744
315.35387539863586	190	370.5713722670078	3.028306678169607	377.295801281929	363.1756501197815	4135780	0.994764397905759	0.09901475429766744
335.6807699203491	200	372.5026996552944	3.2075323093756993	378.8990001678467	364.7113802433014	4417259	0.9950248756218905	0.09901475429766744
356.5184054374695	210	379.5122501671314	3.3417604904472777	387.03382217884064	372.1426182985306	4700822	0.9952606635071088	0.09901475429766744
377.22043895721436	220	378.5871927064657	2.7531240926724085	383.7996515035629	371.5307513475418	4985533	0.9954751131221719	0.09901475429766744
397.83198404312134	230	382.9157529103756	2.8982782718341005	389.7445709705353	376.6741065979004	5272551	0.9956709956709956	0.09901475429766744
418.45377707481384	240	386.24702206492424	2.2419414786026968	391.692303776741	380.99357509613037	5554804	0.9958506224066389	0.09901475429766744
439.33432269096375	250	385.100086812973	2.53296237049138	392.04060888290405	379.5527880191803	5839264	0.99601593625498	0.09901475429766744
460.1829867362976	260	387.16482298493383	2.11155172828099	393.577246427536	382.54029405117035	6125707	0.9961685823754787	0.09901475429766744
481.18880701065063	270	391.36319580793383	2.3400333625881733	398.20446813106537	387.109650850296	6413256	0.9963099630996308	0.09901475429766744
502.14447140693665	280	387.4694623553753	2.78145843224049	394.61900532245636	380.90468752384186	6699920	0.9964412811387898	0.09901475429766744
523.4923672676086	290	390.347398622036	2.262337997066537	396.5966987609863	384.9203954935074	6991825	0.9965635738831613	0.09901475429766744
544.6211888790131	300	389.22268784165385	2.0448527632434894	395.46516931056976	385.33681213855743	7280003	0.9966777408637871	0.09901475429766744
565.5282638072968	310	386.7919285750389	2.4283401711914436	393.8775427341461	381.1188442707062	7564206	0.9967845659163985	0.09901475429766744
585.9744958877563	320	386.9014552927017	2.3813891495276858	391.29848194122314	381.7656738758087	7845469	0.996884735202492	0.09901475429766744
607.0205132961273	330	386.8502663111687	2.195615013206961	391.4722419977188	382.9840614795685	8130044	0.996978851963746	0.09901475429766744
628.4131171703339	340	385.7140419661999	2.2389444498806967	391.4527499675751	380.7950060367584	8419284	0.9970674486803517	0.09901475429766744
649.1422829627991	350	384.5083111023903	2.279593456767096	390.4122533798218	379.1494104862213	8709070	0.997150997150997	0.09901475429766744
670.38947057724	360	382.6204908311367	2.2530475460951394	387.6216857433319	378.4195154905319	9000249	0.9972299168975067	0.09901475429766744
691.0615417957306	370	383.87541880965233	2.411017185607016	390.6641170978546	378.4927771091461	9288409	0.9973045822102424	0.09901475429766744
712.4931929111481	380	382.145279365778	2.0056017460327484	387.07617259025574	377.86527490615845	9576813	0.9973753280839893	0.09901475429766744
734.5191602706909	390	383.9960945987701	2.3144459142019067	390.00807106494904	379.0856555700302	9874563	0.9974424552429666	0.09901475429766744
756.1470158100128	400	383.806868904829	2.4059781262553717	389.8106412887573	378.44820272922516	10172168	0.9975062344139649	0.09901475429766744
777.3941476345062	410	384.6124511766434	2.558923198890416	391.6202280521393	379.284520983696	10469147	0.997566909975669	0.09901475429766744
799.0757944583893	420	384.66888133049014	2.7446832668625705	393.60189950466156	379.4566671848297	10766496	0.9976247030878859	0.09901475429766744
821.2182810306549	430	383.73566260933876	2.6978069113999568	389.5287103652954	378.59397971630096	11071542	0.9976798143851506	0.09901475429766744
843.347585439682	440	385.8812270200253	2.9688690622561578	393.50276505947113	379.05097818374634	11377472	0.9977324263038547	0.09901475429766744
866.2246463298798	450	385.07583224833013	2.578671947391006	391.38831436634064	379.61107313632965	11689443	0.9977827050997782	0.09901475429766744
887.9271721839905	460	386.74311966896056	2.578444519604215	393.18797492980957	381.0685452222824	11997361	0.9978308026030368	0.09901475429766744
910.1475973129272	470	384.3207322347164	3.1879051533272738	393.37248957157135	378.1294332742691	12304936	0.9978768577494691	0.09901475429766744
933.0619239807129	480	383.70129402279855	2.6973154715704033	390.2624360322952	377.69717824459076	12614949	0.9979209979209978	0.09901475429766744
955.5575692653656	490	384.06580363988877	2.924703444324802	391.2919350862503	377.3279381990433	12926421	0.9979633401221994	0.09901475429766744
978.2411181926727	500	385.77004378437994	3.058648765850768	396.92960345745087	380.3117833137512	13237443	0.9980039920159679	0.09901475429766744
998.3529288768768	510	382.72055317640303	2.6507057705594637	390.1777495145798	376.58445966243744	13550165	0.9980430528375732	0.09901475429766744
1020.9339802265167	520	385.0664242792129	3.13022392563013	392.01140439510345	379.18674516677856	13862359	0.9980806142034547	0.09901475429766744
1044.1598308086395	530	384.8982636499405	2.980970416758275	392.8021936416626	378.3189899921417	14176040	0.998116760828625	0.09901475429766744
1067.5904767513275	540	386.8278106582165	3.059175266612691	395.67385226488113	379.92521154880524	14494137	0.9981515711645099	0.09901475429766744
1090.4971904754639	550	389.1703545188904	2.7257621823059597	396.7350870370865	383.42425870895386	14813143	0.9981851179673319	0.09901475429766744
1113.8160183429718	560	389.7498020160198	3.260610532736678	398.42143988609314	382.7130353450775	15139636	0.998217468805704	0.09901475429766744
1137.9420297145844	570	390.16319620609283	3.1807682080455466	398.8381782770157	383.2315785884857	15467755	0.998248686514886	0.09901475429766744
1161.430424451828	580	389.35970015525817	3.52648257309679	398.78554767370224	382.8565762042999	15795225	0.9982788296041306	0.09901475429766744
1184.9512214660645	590	388.9903716570139	3.486779943808639	399.0453707575798	382.6482642889023	16122150	0.9983079526226732	0.09901475429766744
1208.8025960922241	600	391.7821130120754	3.0877649114646637	402.7089054584503	386.6818665266037	16451247	0.9983361064891845	0.09901475429766744
1232.9530725479126	610	389.6684539496899	3.1435897396538937	398.30432188510895	383.71418058872223	16778887	0.9983633387888705	0.09901475429766744
1257.44637799263	620	390.7973380577564	3.3061687046776553	400.10307532548904	385.38528859615326	17109995	0.9983896940418677	0.09901475429766744
1282.0136969089508	630	390.624566526413	3.883645435414854	408.8227518796921	383.68387269973755	17447109	0.9984152139461171	0.09901475429766744
1306.7516298294067	640	393.4711825120449	2.909924593733781	401.7678817510605	386.59662556648254	17784250	0.9984399375975037	0.09901475429766744
1331.6084835529327	650	395.5614912945032	4.4262037824257785	413.9058949947357	389.22690308094025	18123975	0.998463901689708	0.09901475429766744
1356.8261687755585	660	397.14931242465974	3.3531734316140573	405.53836023807526	390.33462488651276	18469686	0.9984871406959152	0.09901475429766744
1382.6736204624176	670	394.65812490940095	2.6023347863789716	400.16699481010437	388.5636308193207	18814992	0.998509687034277	0.09901475429766744
1408.4071345329285	680	400.69152943253516	2.574197621526727	406.2330244779587	394.9028995037079	19161193	0.9985315712187958	0.09901475429766744
1434.0219523906708	690	399.17242660164834	3.3056147688345896	406.1327597498894	392.20273900032043	19510381	0.9985528219971055	0.09901475429766744
1460.4904234409332	700	400.10663312733175	3.5678610707042737	412.8545178771019	393.2870075702667	19860883	0.9985734664764621	0.09901475429766744
1487.377726316452	710	402.4815933853388	3.0385405133207364	412.2853528857231	396.8117763996124	20226149	0.9985935302390997	0.09901475429766744
1513.6791727542877	720	402.06896725893023	2.7221545743829663	411.2420457601547	396.6256524324417	20586082	0.9986130374479888	0.09901475429766744
1540.2424590587616	730	399.750276491642	2.6537409714440847	408.75015836954117	394.5192891359329	20948363	0.9986320109439123	0.09901475429766744
1566.4173619747162	740	399.79685589671135	2.7771914942441303	406.42874681949615	393.3963669538498	21310237	0.9986504723346827	0.09901475429766744
1592.7758033275604	750	404.3221013569832	2.6925470514905308	410.83062517642975	399.0177254676819	21679156	0.9986684420772302	0.09901475429766744
1619.8405504226685	760	403.08245147526264	2.6909013374562885	410.03947216272354	397.0458859205246	22044096	0.9986859395532193	0.09901475429766744
1646.59796667099	770	406.7779054558277	2.6117994957380577	414.6601769924164	400.1908267736435	22414869	0.9987029831387807	0.09901475429766744
1674.6114156246185	780	404.1841312038898	2.5035714277084757	409.3621490597725	398.67617976665497	22798193	0.9987195902688859	0.09901475429766744
1702.5661613941193	790	405.2494471222162	2.428124096023074	411.3745665550232	399.27463006973267	23179895	0.9987357774968393	0.09901475429766744
1727.8586492538452	800	410.5746818459034	2.2065009404846174	416.2453738451004	406.3193379640579	23567039	0.9987515605493132	0.09901475429766744
1757.503585100174	810	419.0894121438265	2.399823708294094	429.1595453619957	414.17151868343353	23967627	0.9987669543773118	0.09901475429766744
1786.8156356811523	820	418.0078876143694	2.470099269000482	423.8777495622635	412.2095170021057	24377183	0.9987819732034103	0.09901475429766744
1818.2154471874237	830	422.34087775707246	2.309563952445813	428.08673226833344	418.01846635341644	24804389	0.9987966305655835	0.09901475429766744
1849.764846086502	840	423.0503883689642	2.8494083521225466	431.9263606071472	417.43284809589386	25231835	0.9988109393579071	0.09901475429766744
1880.952401638031	850	422.1116732800007	2.5564687797727172	427.77595990896225	416.008092880249	25660440	0.99882491186839	0.09901475429766744
1912.484888792038	860	425.7719538807869	2.620077159493991	432.6965591907501	419.6812776327133	26090553	0.9988385598141695	0.09901475429766744
1944.6651301383972	870	431.6471860855818	3.104843999263178	438.4375636577606	425.1202561855316	26540114	0.9988518943742823	0.09901475429766744
1977.3083338737488	880	427.6793317091465	2.4747565855069307	434.7393915653229	422.85130870342255	26978556	0.9988649262202042	0.09901475429766744
2009.1796820163727	890	420.6300826871395	2.6442759993896994	427.022230386734	415.24949872493744	27414703	0.9988776655443321	0.09901475429766744
2041.0048871040344	900	435.58202566862104	3.1062098975887564	443.8731665611267	428.9773905277252	27858135	0.9988901220865704	0.09901475429766744
2074.1849896907806	910	430.3910239475965	3.4567940332185967	440.860183596611	423.95023584365845	28306458	0.9989023051591657	0.09901475429766744
2106.7884232997894	920	432.921365942359	3.66121817330513	445.9658398628235	425.9445468187332	28752070	0.9989142236699239	0.09901475429766744
2139.6965465545654	930	438.6657457524538	4.551460067878502	457.59642946720123	430.690376996994	29195344	0.9989258861439312	0.09901475429766744
2175.412455558777	940	443.35413561463355	4.869391553854753	467.0880460739136	435.7884074449539	29673057	0.9989373007438893	0.09901475429766744
2210.9730455875397	950	441.0458172303438	4.485931219352658	458.6611613035202	431.4650866985321	30160667	0.9989484752891692	0.09901475429766744
2245.90003156662	960	448.33652763962743	4.247511163272993	465.3800286054611	438.8850872516632	30634960	0.9989594172736731	0.09901475429766744
2282.0323388576508	970	452.94922049701216	5.708431027952952	474.06871795654297	442.5432139635086	31131513	0.9989701338825951	0.09901475429766744
2317.2397327423096	980	450.8249962884188	4.319768188393099	468.4896731376648	442.9970245361328	31608266	0.9989806320081548	0.09901475429766744
2351.466668367386	990	447.39768974840644	4.6724818703803415	466.5199455022812	439.1361780166626	32085234	0.9989909182643792	0.09901475429766744
2387.6072273254395	1000	455.1651302623749	4.453964778913482	472.1947875022888	447.2752403020859	32562213	0.9990009990009989	0.09901475429766744
2423.8595476150513	1010	470.52510393857955	5.4717689429402325	495.95464849472046	458.7499358057976	33062385	0.9990009990009989	0.09901475429766744
2460.367244243622	1020	461.5757489156723	4.526067876975853	470.9903131723404	451.21879398822784	33573706	0.9990009990009989	0.09901475429766744
2498.832213163376	1030	467.4725766682625	5.247735386967932	481.6765892505646	455.6757358312607	34093816	0.9990009990009989	0.09901475429766744
2536.855851650238	1040	466.12787611484526	6.258654625429168	487.10335087776184	453.08445179462433	34613975	0.9990009990009989	0.09901475429766744
2573.670213699341	1050	475.45039994835855	5.784861942437521	496.08050656318665	465.24240720272064	35123052	0.9990009990009989	0.09901475429766744
2612.533400297165	1060	472.1924799710512	4.962296324474578	487.70450484752655	461.3965244293213	35661186	0.9990009990009989	0.09901475429766744
2652.673463344574	1070	476.95694789350034	5.529270920738739	500.3079558610916	466.628546833992	36210306	0.9990009990009989	0.09901475429766744
2692.8468930721283	1080	475.3914829081297	8.242664502499007	517.3607170581818	463.75999641418457	36754418	0.9990009990009989	0.09901475429766744
2731.497091293335	1090	492.13017670929435	8.452674402077433	526.3685156106949	476.30129313468933	37302054	0.9990009990009989	0.09901475429766744
2773.606358766556	1100	487.4005016565323	9.72566971809175	523.333869934082	473.59585005044937	37870634	0.9990009990009989	0.09901475429766744
2812.602862596512	1110	502.22693209171297	11.109193336338409	564.5227674245834	487.13452196121216	38440026	0.9990009990009989	0.09901475429766744
2855.2888956069946	1120	506.56066631376746	10.823046774339675	553.7193800210953	486.99412178993225	39022869	0.9990009990009989	0.09901475429766744
2898.8516130447388	1130	507.8142004084587	14.417704640660531	564.0240162611008	485.55140393972397	39618637	0.9990009990009989	0.09901475429766744
2942.3168292045593	1140	509.3618158739805	14.60967153945346	561.2837485074997	482.47430485486984	40210649	0.9990009990009989	0.09901475429766744
2984.7112398147583	1150	504.4554981815815	16.30352704825612	568.1824001073837	476.01209330558777	40798545	0.9990009990009989	0.09901475429766744
3028.5061695575714	1160	506.48296351075174	16.814324596821688	569.773091673851	476.5034611225128	41400332	0.9990009990009989	0.09901475429766744
3074.869446516037	1170	542.3936654889584	26.532276184729042	662.8759877681732	497.19663512706757	42040169	0.9990009990009989	0.09901475429766744
3118.8361797332764	1180	513.1367809945345	20.673468006300638	588.8440184593201	479.5117798447609	42653801	0.9990009990009989	0.09901475429766744
3164.0810589790344	1190	519.8608682215214	27.95146717216998	623.9043174982071	473.03024077415466	43277440	0.9990009990009989	0.09901475429766744
3210.0112149715424	1200	553.6977054262161	27.93230784728638	638.0639208555222	496.41883212327957	43915933	0.9990009990009989	0.09901475429766744
3260.0801904201508	1210	556.2719633698464	25.770744252560124	651.3934595584869	508.8435696363449	44605045	0.9990009990009989	0.09901475429766744
3307.419474363327	1220	548.0670741963387	27.056830641239905	632.8205449581146	501.8178784251213	45274444	0.9990009990009989	0.09901475429766744
3356.865846633911	1230	572.0771996563673	35.03034297263858	686.7735171318054	511.033089697361	45950898	0.9990009990009989	0.09901475429766744
3407.577523469925	1240	561.6180047810078	25.803914349352976	685.4125247001648	509.5966884493828	46654421	0.9990009990009989	0.09901475429766744
3457.778012275696	1250	560.1979795068503	35.829739678998266	693.0813916921616	493.8498409986496	47364935	0.9990009990009989	0.09901475429766744
3508.7546706199646	1260	595.0787231349946	38.51120550615116	726.9181838035583	515.5357450246811	48070595	0.9990009990009989	0.09901475429766744
3559.72407579422	1270	595.4535370635987	45.62755203603358	763.9534635543823	526.2198087573051	48794434	0.9990009990009989	0.09901475429766744
3611.910441160202	1280	597.3989847409725	33.04482496565527	747.9379237890244	522.6223499774933	49524357	0.9990009990009989	0.09901475429766744
