3
1
2
20
20
ReLU
ReLU
tanh
0.03911953791975975
-0.009890657849609852
-0.04101584851741791
0.49174726009368896
0.047098308801651
-0.020946327596902847
-0.046460848301649094
0.07437896728515625
0.022460628300905228
-0.0056849280372262
-0.023352302610874176
0.1484130471944809
-0.04981290549039841
0.012578321620821953
0.05235312134027481
0.43435144424438477
0.06259115785360336
-0.015791146084666252
-0.06590962409973145
0.41639798879623413
-0.01991366781294346
0.005038954317569733
0.0206429623067379
0.39100882411003113
0.06430219113826752
-0.01722986437380314
-0.06768672913312912
0.1904159039258957
-0.000413751055020839
0.00010646439477568492
0.0004143154656048864
0.012517371214926243
-0.015424980781972408
0.0039083026349544525
0.01586882211267948
0.3908287584781647
-0.006027424242347479
0.001562220510095358
0.006166755221784115
0.03684411197900772
-0.04747209697961807
0.01198621466755867
0.0498688705265522
0.6214137077331543
1.2445548232993003e-38
2.1285086082292704e-38
2.592616837925646e-38
-0.11220856755971909
-0.05091436952352524
0.012856165878474712
0.05352325364947319
0.3927996754646301
0.03387247398495674
-0.008565311320126057
-0.03544799983501434
0.20632943511009216
-0.003962235059589148
0.001052680192515254
0.003988243173807859
0.13471144437789917
-1.5621109155713473e-38
-2.799626736424651e-38
0.0
-0.09606461226940155
-2.2669249468995757e-38
1.4378832843717165e-38
2.6536276915041915e-38
-0.12503047287464142
0.014410807751119137
-0.0036880364641547203
-0.014923634938895702
0.08463141322135925
0.033400360494852066
-0.00844602845609188
-0.034942325204610825
0.26005715131759644
2.954734781882608e-38
1.7266770250142645e-38
-1.8305425283586378e-38
-0.0820746123790741
-0.044000688940286636
-0.05325886234641075
-0.025121858343482018
0.05605337768793106
-0.07068447023630142
0.022099701687693596
-0.0729067251086235
0.00044398335739970207
0.016979772597551346
0.006658440921455622
0.053432073444128036
-7.698407316510296e-37
0.05730432644486427
-0.038093749433755875
0.00429504131898284
-1.4688090334379604e-36
5.94503765769834e-37
-0.01611102931201458
-0.03751777857542038
-7.838252867510335e-37
0.11986342817544937
-8.714269333600769e-37
6.698241635882295e-37
-1.3061156360783485e-36
5.981289809489809e-37
9.110066869576454e-37
5.559999179227864e-38
4.944644630407487e-37
-5.231756784866876e-38
-1.6209671774726977e-36
-9.19925312690973e-37
1.2304640385653128e-37
2.983159840971744e-38
6.585467825966485e-37
-1.9746548650267307e-37
1.4478271785342583e-37
2.0976866281169067e-37
9.868015532256735e-37
-6.268424160516873e-37
-7.109876759205656e-37
-9.049773817123274e-37
-0.11723508685827255
-0.16117386519908905
-0.19493739306926727
-0.09205053746700287
0.20587103068828583
-0.2589806020259857
0.0813949853181839
-0.26693660020828247
0.0016359062865376472
0.06265374273061752
0.02430964820086956
0.1961941123008728
1.0983274227810942e-37
0.21044930815696716
-0.1394609957933426
0.01575927808880806
-8.116949383912375e-37
-4.230020080504552e-37
-0.05904153734445572
-0.13743862509727478
-7.776168843515872e-37
0.5025389194488525
0.1551632434129715
0.1873500496149063
0.08858764916658401
-0.19786259531974792
0.24922864139080048
-0.07815700024366379
0.25651079416275024
-0.0015266258269548416
-0.06013087183237076
-0.02336058020591736
-0.1884765774011612
1.081060107425849e-36
-0.20228663086891174
0.13422705233097076
-0.015142425894737244
4.5107017323630925e-37
5.361315459892246e-37
0.05679973587393761
0.13229893147945404
1.9612162558084277e-36
0.2881247103214264
5.023444687730943e-37
4.6436985211966523e-38
4.006184511084706e-37
-4.8212720715307875e-37
-7.34598366743341e-37
-1.744579907695795e-36
-2.0943395202361836e-36
-5.8316557963528905e-37
-3.3827524295004518e-37
1.058268761420358e-36
1.7557209255312157e-37
-8.735969056892163e-37
2.151372950674365e-37
1.8085397882873182e-37
9.858309130157927e-37
2.2955256223174548e-36
-7.551981716337296e-37
1.2306948604483564e-38
-3.7486399784303246e-37
8.137349599059893e-37
-0.05915762856602669
-0.16517578065395355
-0.19961337745189667
-0.09433072060346603
0.21098890900611877
-0.2654121220111847
0.08342043310403824
-0.2735104262828827
0.0016662805574014783
0.06421548873186111
0.02496996708214283
0.2010740488767624
-2.2776019163407443e-36
0.21568448841571808
-0.14292047917842865
0.016148366034030914
-8.678419634728254e-38
3.5877814524902873e-37
-0.06052367761731148
-0.14084863662719727
5.59603855786051e-37
0.5112060904502869
-0.1035696342587471
-0.1252680867910385
-0.05916202440857887
0.1322198063135147
-0.1664077341556549
0.05225213244557381
-0.1715610921382904
0.001043589087203145
0.04021801799535751
0.01567305624485016
0.12600655853748322
1.2237252503023134e-37
0.13515882194042206
-0.0896354541182518
0.010131602175533772
5.496214539417096e-37
-2.398780378133943e-37
-0.03792755305767059
-0.08831393718719482
-9.182949635848636e-37
0.28436723351478577
4.25812766141361e-37
-7.166680690586544e-37
-3.8430123853281295e-37
2.9986782685811857e-37
1.5969466348750766e-37
-1.2930332929816154e-36
-5.501004065464281e-37
6.014360901663383e-37
8.910669048543415e-37
-7.545326333358893e-37
6.690536960613806e-37
-4.115448572814829e-37
-8.54250377303769e-37
2.9217216474135183e-37
6.3480241911076424e-37
-1.0914903418386131e-36
8.92433495958302e-37
-6.790055608095874e-37
8.54612338302298e-37
1.1460426444262485e-37
-0.055969130247831345
-0.04465052857995033
-0.05380604416131973
-0.025495877489447594
0.05688747763633728
-0.07173577696084976
0.02249467745423317
-0.07398443669080734
0.000459780654637143
0.01723421923816204
0.006744924001395702
0.054232046008110046
5.103881910076239e-37
0.05818392336368561
-0.03864805027842522
0.004373984877020121
-7.800154589070027e-37
-4.725273485791103e-37
-0.016344860196113586
-0.038083385676145554
1.0570479053566874e-36
0.11904263496398926
-4.602342616190358e-37
5.603595704426675e-37
-4.7558567687230535e-37
2.650575775552769e-37
4.573574070821647e-37
3.488615259597966e-37
1.99925045567256e-37
2.132183008984515e-37
-7.99366740496841e-37
3.4537455728194614e-37
-1.8461716024948225e-37
1.8874015027432045e-36
-2.1582556803156197e-37
-9.001754793971054e-37
-2.649603386522405e-37
3.5152545039241663e-37
-2.13401424823847e-36
6.330660645784255e-37
-7.082054818975565e-37
-9.288851029679888e-37
-0.03595319390296936
0.1770002394914627
0.2134300023317337
0.10099751502275467
-0.2253163456916809
0.2841615080833435
-0.08891633152961731
0.2923212945461273
-0.0017332049319520593
-0.06837493926286697
-0.026603790000081062
-0.2145739197731018
-2.5353054122929183e-38
-0.23036231100559235
0.15302932262420654
-0.017208389937877655
-4.841407161008855e-38
-8.53869762220083e-37
0.06476502120494843
0.1508551985025406
6.3881161248991155e-37
0.3208584189414978
3.4420156957381683e-37
-2.1420073443620806e-37
5.835624722019367e-37
4.805914288777296e-37
-2.902537310917526e-37
-5.7231168225001475e-37
8.673322719849935e-37
4.590785154872116e-37
2.613714227085135e-38
-1.1875954711031372e-36
-3.753442956942767e-37
2.7366957676383495e-37
-7.972835814101634e-37
-6.297505251495067e-37
2.705981323170138e-37
-5.877801787925755e-37
5.890201821984627e-37
-9.166583815031848e-38
-5.685097016773841e-37
-9.089699837176571e-37
-0.0820314809679985
-7.143139324801396e-37
2.637973281891772e-37
1.6293440948508806e-37
2.3741125925912317e-37
9.95553368389808e-37
-5.68322263994796e-37
1.9465423515470776e-37
-1.0849409642864395e-36
-4.381496632966241e-37
5.001951235573498e-37
4.000283362991741e-37
-9.6361775396707e-37
-1.1593100486033742e-36
3.949095387440358e-37
-3.7000747851886494e-37
3.6724591160925074e-37
-3.5375562250358344e-37
-2.1204856420275943e-37
2.707207739586115e-37
-3.637729334952681e-37
-0.06392630189657211
0.12991863489151
0.1563527137041092
0.07410375773906708
-0.16557402908802032
0.20861801505088806
-0.06539752334356308
0.2146872878074646
-0.00133902404922992
-0.050310079008340836
-0.01967933028936386
-0.1576749086380005
7.559542898643038e-37
-0.16928522288799286
0.11230384558439255
-0.012740757316350937
-4.371879017138133e-37
-4.124136623293643e-37
0.04752061516046524
0.11070763319730759
-6.268701729716686e-37
0.18964439630508423
0.21698053181171417
0.261140912771225
0.12372877448797226
-0.2762686312198639
0.34830719232559204
-0.10908297449350357
0.35822397470474243
-0.0022268430329859257
-0.08390254527330399
-0.03279261291027069
-0.2630191147327423
-8.954941111705908e-37
-0.28247591853141785
0.18748965859413147
-0.02118987962603569
-5.759443411266041e-37
5.349938710023963e-37
0.0793231949210167
0.18482832610607147
-6.604562255153007e-37
0.27907121181488037
7.858141888978068e-37
-5.045108986197159e-37
-6.581498900300009e-37
1.9371085412359378e-36
-1.0236030140151576e-36
5.1695223174692824e-37
1.199355795597463e-36
5.474307648160736e-37
-1.054203785151943e-36
1.2558509480591401e-36
7.032841665323986e-37
1.363405111771931e-37
-1.1381901265645791e-36
-1.613172998468695e-37
-7.220254236643593e-37
-3.379550518561408e-37
-2.5328061684558257e-37
1.6733774888589293e-37
-6.477910882077541e-37
-6.978374875573838e-37
-0.042790014296770096
1.043265226918648e-36
1.0825301031460888e-36
4.043303450054267e-37
-3.770478822633257e-38
8.891602663334547e-32
1.9569543354486425e-37
2.4062047937095672e-37
3.246524246408159e-37
9.807133261825276e-37
-7.611410223689925e-37
-8.673899382193974e-37
-9.048740667791496e-37
-1.4157343944757616e-36
9.18359445734998e-37
7.811674383485548e-37
7.691237152528039e-37
-5.530424158566965e-37
-4.900377051400081e-37
-7.260754676963386e-37
-9.126469908880454e-37
-0.06698465347290039
0.19656002521514893
0.2363729029893875
0.11214829981327057
-0.25036707520484924
0.31560054421424866
-0.09885196387767792
0.32467252016067505
-0.0020131273195147514
-0.07603428512811661
-0.02968667261302471
-0.23845157027244568
8.325735232033127e-37
-0.25597184896469116
0.1699318289756775
-0.01916421204805374
0.0
-2.3026519761045233e-37
0.0719170793890953
0.16751137375831604
7.98673221071265e-37
0.23830115795135498
-0.03991159051656723
-0.04809786379337311
-0.0228109173476696
0.05081135407090187
-0.06411392241716385
0.02006474696099758
-0.0661686509847641
0.00040989674744196236
0.015404039062559605
0.006013357546180487
0.048449426889419556
6.764338081847568e-37
0.0519406758248806
-0.03456446900963783
0.003846441861242056
-6.701329425074404e-37
1.5198832011332644e-36
-0.014612172730267048
-0.03406817466020584
-3.139523337749859e-37
0.12006378173828125
0.1856725513935089
0.22392219305038452
0.10596562176942825
-0.2366037517786026
0.2981497347354889
-0.09344050288200378
0.30676767230033875
-0.0018392272759228945
-0.07188087701797485
-0.028052449226379395
-0.2253129929304123
-3.708502306256976e-37
-0.2419029027223587
0.16055773198604584
-0.018100472167134285
2.1739002696284014e-36
2.3244770315305666e-37
0.06794802844524384
0.15825684368610382
1.0631322760264595e-36
0.2958723306655884
-0.07524698972702026
2.2242884512786738e-37
-0.27586594223976135
0.2653887867927551
1.9859309456133368e-37
-0.2827235162258148
-0.17719903588294983
1.7798484824899604e-37
-0.07635851204395294
1.6342171382865394e-37
0.3024393320083618
-3.2384209297525385e-37
1.4104778660971618e-37
0.22210820019245148
0.37067610025405884
2.5669373148916924e-37
1.635151299894797e-37
0.33594441413879395
-0.06820515543222427
0.31741848587989807
0.016027573496103287
0
10
