215
GatherV2
2
2
211
2
2
768
2
99
128
-------------------
213
GatherV2
2
0
210
2
30522
768
2
99
128
-------------------
214
Add
2
213
1
3
99
128
768
3
99
128
768
-------------------
216
Add
2
214
215
3
99
128
768
3
99
128
768
-------------------
217
Sum
1
216
3
99
128
768
-------------------
220
Divide
2
217
218
2
99
128
2
99
128
-------------------
224
Subtract
2
216
220
3
99
128
768
3
99
128
768
-------------------
226
Power
2
224
154
3
99
128
768
3
99
128
768
-------------------
227
Sum
1
226
3
99
128
768
-------------------
230
Divide
2
227
228
2
99
128
2
99
128
-------------------
234
Add
2
158
230
3
99
128
1
3
99
128
1
-------------------
235
Sqrt
1
234
3
99
128
1
-------------------
238
Divide
2
224
235
3
99
128
768
3
99
128
768
-------------------
240
Multiply
2
238
3
3
99
128
768
3
99
128
768
-------------------
242
Add
2
240
4
3
99
128
768
3
99
128
768
-------------------
243
Dot
2
242
133
3
99
128
768
2
768
2304
-------------------
245
Add
2
243
6
3
99
128
2304
3
99
128
2304
-------------------
265
Subtract
2
151
212
4
99
1
1
128
4
99
1
1
128
-------------------
268
Multiply
2
265
152
4
99
1
1
128
4
99
1
1
128
-------------------
256
BatchMatMul
2
245
245
4
99
12
128
64
4
99
12
64
128
-------------------
259
Divide
2
256
162
4
99
12
128
128
4
99
12
128
128
-------------------
271
Add
2
259
268
4
99
12
128
128
4
99
12
128
128
-------------------
1411
SoftmaxBasic
1
271
4
99
12
128
128
-------------------
1412
SoftmaxBasic
2
271
1411
4
99
12
128
128
3
99
12
128
-------------------
1413
SoftmaxBasic
1
1412
4
99
12
128
128
-------------------
1414
SoftmaxBasic
2
1412
1413
4
99
12
128
128
3
99
12
128
-------------------
280
BatchMatMul
2
1414
245
4
99
12
128
128
4
99
12
128
64
-------------------
284
Dot
2
55
280
3
99
128
768
2
768
768
-------------------
286
Add
2
284
8
3
99
128
768
3
99
128
768
-------------------
287
Add
2
286
242
3
99
128
768
3
99
128
768
-------------------
288
Sum
1
287
3
99
128
768
-------------------
291
Divide
2
288
289
2
99
128
2
99
128
-------------------
295
Subtract
2
287
291
3
99
128
768
3
99
128
768
-------------------
297
Power
2
295
154
3
99
128
768
3
99
128
768
-------------------
298
Sum
1
297
3
99
128
768
-------------------
301
Divide
2
298
299
2
99
128
2
99
128
-------------------
305
Add
2
158
301
3
99
128
1
3
99
128
1
-------------------
306
Sqrt
1
305
3
99
128
1
-------------------
309
Divide
2
295
306
3
99
128
768
3
99
128
768
-------------------
311
Multiply
2
309
9
3
99
128
768
3
99
128
768
-------------------
313
Add
2
311
10
3
99
128
768
3
99
128
768
-------------------
314
Dot
2
313
109
3
99
128
768
2
768
3072
-------------------
316
Add
2
314
12
3
99
128
3072
3
99
128
3072
-------------------
317
Relu
1
316
3
99
128
3072
-------------------
318
Dot
2
317
209
3
99
128
3072
2
3072
768
-------------------
320
Add
2
318
14
3
99
128
768
3
99
128
768
-------------------
321
Add
2
320
313
3
99
128
768
3
99
128
768
-------------------
322
Sum
1
321
3
99
128
768
-------------------
325
Divide
2
322
323
2
99
128
2
99
128
-------------------
329
Subtract
2
321
325
3
99
128
768
3
99
128
768
-------------------
331
Power
2
329
154
3
99
128
768
3
99
128
768
-------------------
332
Sum
1
331
3
99
128
768
-------------------
335
Divide
2
332
333
2
99
128
2
99
128
-------------------
339
Add
2
158
335
3
99
128
1
3
99
128
1
-------------------
340
Sqrt
1
339
3
99
128
1
-------------------
343
Divide
2
329
340
3
99
128
768
3
99
128
768
-------------------
345
Multiply
2
343
15
3
99
128
768
3
99
128
768
-------------------
347
Add
2
345
99
3
99
128
768
3
99
128
768
-------------------
348
Dot
2
347
208
3
99
128
768
2
768
2304
-------------------
350
Add
2
348
18
3
99
128
2304
3
99
128
2304
-------------------
361
BatchMatMul
2
350
350
4
99
12
128
64
4
99
12
64
128
-------------------
364
Divide
2
361
162
4
99
12
128
128
4
99
12
128
128
-------------------
367
Add
2
364
268
4
99
12
128
128
4
99
12
128
128
-------------------
1415
SoftmaxBasic
1
367
4
99
12
128
128
-------------------
1416
SoftmaxBasic
2
367
1415
4
99
12
128
128
3
99
12
128
-------------------
1417
SoftmaxBasic
1
1416
4
99
12
128
128
-------------------
1418
SoftmaxBasic
2
1416
1417
4
99
12
128
128
3
99
12
128
-------------------
376
BatchMatMul
2
1418
350
4
99
12
128
128
4
99
12
128
64
-------------------
380
Dot
2
207
376
3
99
128
768
2
768
768
-------------------
382
Add
2
380
20
3
99
128
768
3
99
128
768
-------------------
383
Add
2
382
347
3
99
128
768
3
99
128
768
-------------------
384
Sum
1
383
3
99
128
768
-------------------
387
Divide
2
384
385
2
99
128
2
99
128
-------------------
391
Subtract
2
383
387
3
99
128
768
3
99
128
768
-------------------
393
Power
2
391
154
3
99
128
768
3
99
128
768
-------------------
394
Sum
1
393
3
99
128
768
-------------------
397
Divide
2
394
395
2
99
128
2
99
128
-------------------
401
Add
2
158
397
3
99
128
1
3
99
128
1
-------------------
402
Sqrt
1
401
3
99
128
1
-------------------
405
Divide
2
391
402
3
99
128
768
3
99
128
768
-------------------
407
Multiply
2
405
21
3
99
128
768
3
99
128
768
-------------------
409
Add
2
407
22
3
99
128
768
3
99
128
768
-------------------
410
Dot
2
409
206
3
99
128
768
2
768
3072
-------------------
412
Add
2
410
24
3
99
128
3072
3
99
128
3072
-------------------
413
Relu
1
412
3
99
128
3072
-------------------
414
Dot
2
413
205
3
99
128
3072
2
3072
768
-------------------
416
Add
2
414
26
3
99
128
768
3
99
128
768
-------------------
417
Add
2
416
409
3
99
128
768
3
99
128
768
-------------------
418
Sum
1
417
3
99
128
768
-------------------
421
Divide
2
418
419
2
99
128
2
99
128
-------------------
425
Subtract
2
417
421
3
99
128
768
3
99
128
768
-------------------
427
Power
2
425
154
3
99
128
768
3
99
128
768
-------------------
428
Sum
1
427
3
99
128
768
-------------------
431
Divide
2
428
429
2
99
128
2
99
128
-------------------
435
Add
2
158
431
3
99
128
1
3
99
128
1
-------------------
436
Sqrt
1
435
3
99
128
1
-------------------
439
Divide
2
425
436
3
99
128
768
3
99
128
768
-------------------
441
Multiply
2
439
27
3
99
128
768
3
99
128
768
-------------------
443
Add
2
441
28
3
99
128
768
3
99
128
768
-------------------
444
Dot
2
443
204
3
99
128
768
2
768
2304
-------------------
446
Add
2
444
30
3
99
128
2304
3
99
128
2304
-------------------
457
BatchMatMul
2
446
446
4
99
12
128
64
4
99
12
64
128
-------------------
460
Divide
2
457
162
4
99
12
128
128
4
99
12
128
128
-------------------
463
Add
2
460
268
4
99
12
128
128
4
99
12
128
128
-------------------
1419
SoftmaxBasic
1
463
4
99
12
128
128
-------------------
1420
SoftmaxBasic
2
463
1419
4
99
12
128
128
3
99
12
128
-------------------
1421
SoftmaxBasic
1
1420
4
99
12
128
128
-------------------
1422
SoftmaxBasic
2
1420
1421
4
99
12
128
128
3
99
12
128
-------------------
472
BatchMatMul
2
1422
446
4
99
12
128
128
4
99
12
128
64
-------------------
476
Dot
2
203
472
3
99
128
768
2
768
768
-------------------
478
Add
2
476
32
3
99
128
768
3
99
128
768
-------------------
479
Add
2
478
443
3
99
128
768
3
99
128
768
-------------------
480
Sum
1
479
3
99
128
768
-------------------
483
Divide
2
480
481
2
99
128
2
99
128
-------------------
487
Subtract
2
479
483
3
99
128
768
3
99
128
768
-------------------
489
Power
2
487
154
3
99
128
768
3
99
128
768
-------------------
490
Sum
1
489
3
99
128
768
-------------------
493
Divide
2
490
491
2
99
128
2
99
128
-------------------
497
Add
2
158
493
3
99
128
1
3
99
128
1
-------------------
498
Sqrt
1
497
3
99
128
1
-------------------
501
Divide
2
487
498
3
99
128
768
3
99
128
768
-------------------
503
Multiply
2
501
33
3
99
128
768
3
99
128
768
-------------------
505
Add
2
503
34
3
99
128
768
3
99
128
768
-------------------
506
Dot
2
505
202
3
99
128
768
2
768
3072
-------------------
508
Add
2
506
36
3
99
128
3072
3
99
128
3072
-------------------
509
Relu
1
508
3
99
128
3072
-------------------
510
Dot
2
509
201
3
99
128
3072
2
3072
768
-------------------
512
Add
2
510
38
3
99
128
768
3
99
128
768
-------------------
513
Add
2
512
505
3
99
128
768
3
99
128
768
-------------------
514
Sum
1
513
3
99
128
768
-------------------
517
Divide
2
514
515
2
99
128
2
99
128
-------------------
521
Subtract
2
513
517
3
99
128
768
3
99
128
768
-------------------
523
Power
2
521
154
3
99
128
768
3
99
128
768
-------------------
524
Sum
1
523
3
99
128
768
-------------------
527
Divide
2
524
525
2
99
128
2
99
128
-------------------
531
Add
2
158
527
3
99
128
1
3
99
128
1
-------------------
532
Sqrt
1
531
3
99
128
1
-------------------
535
Divide
2
521
532
3
99
128
768
3
99
128
768
-------------------
537
Multiply
2
535
39
3
99
128
768
3
99
128
768
-------------------
539
Add
2
537
40
3
99
128
768
3
99
128
768
-------------------
540
Dot
2
539
200
3
99
128
768
2
768
2304
-------------------
542
Add
2
540
42
3
99
128
2304
3
99
128
2304
-------------------
553
BatchMatMul
2
542
542
4
99
12
128
64
4
99
12
64
128
-------------------
556
Divide
2
553
162
4
99
12
128
128
4
99
12
128
128
-------------------
559
Add
2
556
268
4
99
12
128
128
4
99
12
128
128
-------------------
1423
SoftmaxBasic
1
559
4
99
12
128
128
-------------------
1424
SoftmaxBasic
2
559
1423
4
99
12
128
128
3
99
12
128
-------------------
1425
SoftmaxBasic
1
1424
4
99
12
128
128
-------------------
1426
SoftmaxBasic
2
1424
1425
4
99
12
128
128
3
99
12
128
-------------------
568
BatchMatMul
2
1426
542
4
99
12
128
128
4
99
12
128
64
-------------------
572
Dot
2
199
568
3
99
128
768
2
768
768
-------------------
574
Add
2
572
44
3
99
128
768
3
99
128
768
-------------------
575
Add
2
574
539
3
99
128
768
3
99
128
768
-------------------
576
Sum
1
575
3
99
128
768
-------------------
579
Divide
2
576
577
2
99
128
2
99
128
-------------------
583
Subtract
2
575
579
3
99
128
768
3
99
128
768
-------------------
585
Power
2
583
154
3
99
128
768
3
99
128
768
-------------------
586
Sum
1
585
3
99
128
768
-------------------
589
Divide
2
586
587
2
99
128
2
99
128
-------------------
593
Add
2
158
589
3
99
128
1
3
99
128
1
-------------------
594
Sqrt
1
593
3
99
128
1
-------------------
597
Divide
2
583
594
3
99
128
768
3
99
128
768
-------------------
599
Multiply
2
597
45
3
99
128
768
3
99
128
768
-------------------
601
Add
2
599
46
3
99
128
768
3
99
128
768
-------------------
602
Dot
2
601
198
3
99
128
768
2
768
3072
-------------------
604
Add
2
602
48
3
99
128
3072
3
99
128
3072
-------------------
605
Relu
1
604
3
99
128
3072
-------------------
606
Dot
2
605
197
3
99
128
3072
2
3072
768
-------------------
608
Add
2
606
50
3
99
128
768
3
99
128
768
-------------------
609
Add
2
608
601
3
99
128
768
3
99
128
768
-------------------
610
Sum
1
609
3
99
128
768
-------------------
613
Divide
2
610
611
2
99
128
2
99
128
-------------------
617
Subtract
2
609
613
3
99
128
768
3
99
128
768
-------------------
619
Power
2
617
154
3
99
128
768
3
99
128
768
-------------------
620
Sum
1
619
3
99
128
768
-------------------
623
Divide
2
620
621
2
99
128
2
99
128
-------------------
627
Add
2
158
623
3
99
128
1
3
99
128
1
-------------------
628
Sqrt
1
627
3
99
128
1
-------------------
631
Divide
2
617
628
3
99
128
768
3
99
128
768
-------------------
633
Multiply
2
631
51
3
99
128
768
3
99
128
768
-------------------
635
Add
2
633
52
3
99
128
768
3
99
128
768
-------------------
636
Dot
2
635
196
3
99
128
768
2
768
2304
-------------------
638
Add
2
636
54
3
99
128
2304
3
99
128
2304
-------------------
649
BatchMatMul
2
638
638
4
99
12
128
64
4
99
12
64
128
-------------------
652
Divide
2
649
162
4
99
12
128
128
4
99
12
128
128
-------------------
655
Add
2
652
268
4
99
12
128
128
4
99
12
128
128
-------------------
1427
SoftmaxBasic
1
655
4
99
12
128
128
-------------------
1428
SoftmaxBasic
2
655
1427
4
99
12
128
128
3
99
12
128
-------------------
1429
SoftmaxBasic
1
1428
4
99
12
128
128
-------------------
1430
SoftmaxBasic
2
1428
1429
4
99
12
128
128
3
99
12
128
-------------------
664
BatchMatMul
2
1430
638
4
99
12
128
128
4
99
12
128
64
-------------------
668
Dot
2
195
664
3
99
128
768
2
768
768
-------------------
670
Add
2
668
56
3
99
128
768
3
99
128
768
-------------------
671
Add
2
670
635
3
99
128
768
3
99
128
768
-------------------
672
Sum
1
671
3
99
128
768
-------------------
675
Divide
2
672
673
2
99
128
2
99
128
-------------------
679
Subtract
2
671
675
3
99
128
768
3
99
128
768
-------------------
681
Power
2
679
154
3
99
128
768
3
99
128
768
-------------------
682
Sum
1
681
3
99
128
768
-------------------
685
Divide
2
682
683
2
99
128
2
99
128
-------------------
689
Add
2
158
685
3
99
128
1
3
99
128
1
-------------------
690
Sqrt
1
689
3
99
128
1
-------------------
693
Divide
2
679
690
3
99
128
768
3
99
128
768
-------------------
695
Multiply
2
693
57
3
99
128
768
3
99
128
768
-------------------
697
Add
2
695
58
3
99
128
768
3
99
128
768
-------------------
698
Dot
2
697
194
3
99
128
768
2
768
3072
-------------------
700
Add
2
698
60
3
99
128
3072
3
99
128
3072
-------------------
701
Relu
1
700
3
99
128
3072
-------------------
702
Dot
2
701
193
3
99
128
3072
2
3072
768
-------------------
704
Add
2
702
62
3
99
128
768
3
99
128
768
-------------------
705
Add
2
704
697
3
99
128
768
3
99
128
768
-------------------
706
Sum
1
705
3
99
128
768
-------------------
709
Divide
2
706
707
2
99
128
2
99
128
-------------------
713
Subtract
2
705
709
3
99
128
768
3
99
128
768
-------------------
715
Power
2
713
154
3
99
128
768
3
99
128
768
-------------------
716
Sum
1
715
3
99
128
768
-------------------
719
Divide
2
716
717
2
99
128
2
99
128
-------------------
723
Add
2
158
719
3
99
128
1
3
99
128
1
-------------------
724
Sqrt
1
723
3
99
128
1
-------------------
727
Divide
2
713
724
3
99
128
768
3
99
128
768
-------------------
729
Multiply
2
727
63
3
99
128
768
3
99
128
768
-------------------
731
Add
2
729
64
3
99
128
768
3
99
128
768
-------------------
732
Dot
2
731
192
3
99
128
768
2
768
2304
-------------------
734
Add
2
732
66
3
99
128
2304
3
99
128
2304
-------------------
745
BatchMatMul
2
734
734
4
99
12
128
64
4
99
12
64
128
-------------------
748
Divide
2
745
162
4
99
12
128
128
4
99
12
128
128
-------------------
751
Add
2
748
268
4
99
12
128
128
4
99
12
128
128
-------------------
1431
SoftmaxBasic
1
751
4
99
12
128
128
-------------------
1432
SoftmaxBasic
2
751
1431
4
99
12
128
128
3
99
12
128
-------------------
1433
SoftmaxBasic
1
1432
4
99
12
128
128
-------------------
1434
SoftmaxBasic
2
1432
1433
4
99
12
128
128
3
99
12
128
-------------------
760
BatchMatMul
2
1434
734
4
99
12
128
128
4
99
12
128
64
-------------------
764
Dot
2
191
760
3
99
128
768
2
768
768
-------------------
766
Add
2
764
68
3
99
128
768
3
99
128
768
-------------------
767
Add
2
766
731
3
99
128
768
3
99
128
768
-------------------
768
Sum
1
767
3
99
128
768
-------------------
771
Divide
2
768
769
2
99
128
2
99
128
-------------------
775
Subtract
2
767
771
3
99
128
768
3
99
128
768
-------------------
777
Power
2
775
154
3
99
128
768
3
99
128
768
-------------------
778
Sum
1
777
3
99
128
768
-------------------
781
Divide
2
778
779
2
99
128
2
99
128
-------------------
785
Add
2
158
781
3
99
128
1
3
99
128
1
-------------------
786
Sqrt
1
785
3
99
128
1
-------------------
789
Divide
2
775
786
3
99
128
768
3
99
128
768
-------------------
791
Multiply
2
789
69
3
99
128
768
3
99
128
768
-------------------
793
Add
2
791
70
3
99
128
768
3
99
128
768
-------------------
794
Dot
2
793
190
3
99
128
768
2
768
3072
-------------------
796
Add
2
794
72
3
99
128
3072
3
99
128
3072
-------------------
797
Relu
1
796
3
99
128
3072
-------------------
798
Dot
2
797
189
3
99
128
3072
2
3072
768
-------------------
800
Add
2
798
74
3
99
128
768
3
99
128
768
-------------------
801
Add
2
800
793
3
99
128
768
3
99
128
768
-------------------
802
Sum
1
801
3
99
128
768
-------------------
805
Divide
2
802
803
2
99
128
2
99
128
-------------------
809
Subtract
2
801
805
3
99
128
768
3
99
128
768
-------------------
811
Power
2
809
154
3
99
128
768
3
99
128
768
-------------------
812
Sum
1
811
3
99
128
768
-------------------
815
Divide
2
812
813
2
99
128
2
99
128
-------------------
819
Add
2
158
815
3
99
128
1
3
99
128
1
-------------------
820
Sqrt
1
819
3
99
128
1
-------------------
823
Divide
2
809
820
3
99
128
768
3
99
128
768
-------------------
825
Multiply
2
823
75
3
99
128
768
3
99
128
768
-------------------
827
Add
2
825
76
3
99
128
768
3
99
128
768
-------------------
828
Dot
2
827
188
3
99
128
768
2
768
2304
-------------------
830
Add
2
828
78
3
99
128
2304
3
99
128
2304
-------------------
841
BatchMatMul
2
830
830
4
99
12
128
64
4
99
12
64
128
-------------------
844
Divide
2
841
162
4
99
12
128
128
4
99
12
128
128
-------------------
847
Add
2
844
268
4
99
12
128
128
4
99
12
128
128
-------------------
1435
SoftmaxBasic
1
847
4
99
12
128
128
-------------------
1436
SoftmaxBasic
2
847
1435
4
99
12
128
128
3
99
12
128
-------------------
1437
SoftmaxBasic
1
1436
4
99
12
128
128
-------------------
1438
SoftmaxBasic
2
1436
1437
4
99
12
128
128
3
99
12
128
-------------------
856
BatchMatMul
2
1438
830
4
99
12
128
128
4
99
12
128
64
-------------------
860
Dot
2
187
856
3
99
128
768
2
768
768
-------------------
862
Add
2
860
80
3
99
128
768
3
99
128
768
-------------------
863
Add
2
862
827
3
99
128
768
3
99
128
768
-------------------
864
Sum
1
863
3
99
128
768
-------------------
867
Divide
2
864
865
2
99
128
2
99
128
-------------------
871
Subtract
2
863
867
3
99
128
768
3
99
128
768
-------------------
873
Power
2
871
154
3
99
128
768
3
99
128
768
-------------------
874
Sum
1
873
3
99
128
768
-------------------
877
Divide
2
874
875
2
99
128
2
99
128
-------------------
881
Add
2
158
877
3
99
128
1
3
99
128
1
-------------------
882
Sqrt
1
881
3
99
128
1
-------------------
885
Divide
2
871
882
3
99
128
768
3
99
128
768
-------------------
887
Multiply
2
885
81
3
99
128
768
3
99
128
768
-------------------
889
Add
2
887
82
3
99
128
768
3
99
128
768
-------------------
890
Dot
2
889
186
3
99
128
768
2
768
3072
-------------------
892
Add
2
890
84
3
99
128
3072
3
99
128
3072
-------------------
893
Relu
1
892
3
99
128
3072
-------------------
894
Dot
2
893
185
3
99
128
3072
2
3072
768
-------------------
896
Add
2
894
86
3
99
128
768
3
99
128
768
-------------------
897
Add
2
896
889
3
99
128
768
3
99
128
768
-------------------
898
Sum
1
897
3
99
128
768
-------------------
901
Divide
2
898
899
2
99
128
2
99
128
-------------------
905
Subtract
2
897
901
3
99
128
768
3
99
128
768
-------------------
907
Power
2
905
154
3
99
128
768
3
99
128
768
-------------------
908
Sum
1
907
3
99
128
768
-------------------
911
Divide
2
908
909
2
99
128
2
99
128
-------------------
915
Add
2
158
911
3
99
128
1
3
99
128
1
-------------------
916
Sqrt
1
915
3
99
128
1
-------------------
919
Divide
2
905
916
3
99
128
768
3
99
128
768
-------------------
921
Multiply
2
919
87
3
99
128
768
3
99
128
768
-------------------
923
Add
2
921
88
3
99
128
768
3
99
128
768
-------------------
924
Dot
2
923
184
3
99
128
768
2
768
2304
-------------------
926
Add
2
924
90
3
99
128
2304
3
99
128
2304
-------------------
937
BatchMatMul
2
926
926
4
99
12
128
64
4
99
12
64
128
-------------------
940
Divide
2
937
162
4
99
12
128
128
4
99
12
128
128
-------------------
943
Add
2
940
268
4
99
12
128
128
4
99
12
128
128
-------------------
1439
SoftmaxBasic
1
943
4
99
12
128
128
-------------------
1440
SoftmaxBasic
2
943
1439
4
99
12
128
128
3
99
12
128
-------------------
1441
SoftmaxBasic
1
1440
4
99
12
128
128
-------------------
1442
SoftmaxBasic
2
1440
1441
4
99
12
128
128
3
99
12
128
-------------------
952
BatchMatMul
2
1442
926
4
99
12
128
128
4
99
12
128
64
-------------------
956
Dot
2
183
952
3
99
128
768
2
768
768
-------------------
958
Add
2
956
92
3
99
128
768
3
99
128
768
-------------------
959
Add
2
958
923
3
99
128
768
3
99
128
768
-------------------
960
Sum
1
959
3
99
128
768
-------------------
963
Divide
2
960
961
2
99
128
2
99
128
-------------------
967
Subtract
2
959
963
3
99
128
768
3
99
128
768
-------------------
969
Power
2
967
154
3
99
128
768
3
99
128
768
-------------------
970
Sum
1
969
3
99
128
768
-------------------
973
Divide
2
970
971
2
99
128
2
99
128
-------------------
977
Add
2
158
973
3
99
128
1
3
99
128
1
-------------------
978
Sqrt
1
977
3
99
128
1
-------------------
981
Divide
2
967
978
3
99
128
768
3
99
128
768
-------------------
983
Multiply
2
981
93
3
99
128
768
3
99
128
768
-------------------
985
Add
2
983
94
3
99
128
768
3
99
128
768
-------------------
986
Dot
2
985
182
3
99
128
768
2
768
3072
-------------------
988
Add
2
986
96
3
99
128
3072
3
99
128
3072
-------------------
989
Relu
1
988
3
99
128
3072
-------------------
990
Dot
2
989
181
3
99
128
3072
2
3072
768
-------------------
992
Add
2
990
98
3
99
128
768
3
99
128
768
-------------------
993
Add
2
992
985
3
99
128
768
3
99
128
768
-------------------
994
Sum
1
993
3
99
128
768
-------------------
997
Divide
2
994
995
2
99
128
2
99
128
-------------------
1001
Subtract
2
993
997
3
99
128
768
3
99
128
768
-------------------
1003
Power
2
1001
154
3
99
128
768
3
99
128
768
-------------------
1004
Sum
1
1003
3
99
128
768
-------------------
1007
Divide
2
1004
1005
2
99
128
2
99
128
-------------------
1011
Add
2
158
1007
3
99
128
1
3
99
128
1
-------------------
1012
Sqrt
1
1011
3
99
128
1
-------------------
1015
Divide
2
1001
1012
3
99
128
768
3
99
128
768
-------------------
1017
Multiply
2
1015
99
3
99
128
768
3
99
128
768
-------------------
1019
Add
2
1017
100
3
99
128
768
3
99
128
768
-------------------
1020
Dot
2
1019
180
3
99
128
768
2
768
2304
-------------------
1022
Add
2
1020
102
3
99
128
2304
3
99
128
2304
-------------------
1033
BatchMatMul
2
1022
1022
4
99
12
128
64
4
99
12
64
128
-------------------
1036
Divide
2
1033
162
4
99
12
128
128
4
99
12
128
128
-------------------
1039
Add
2
1036
268
4
99
12
128
128
4
99
12
128
128
-------------------
1443
SoftmaxBasic
1
1039
4
99
12
128
128
-------------------
1444
SoftmaxBasic
2
1039
1443
4
99
12
128
128
3
99
12
128
-------------------
1445
SoftmaxBasic
1
1444
4
99
12
128
128
-------------------
1446
SoftmaxBasic
2
1444
1445
4
99
12
128
128
3
99
12
128
-------------------
1048
BatchMatMul
2
1446
1022
4
99
12
128
128
4
99
12
128
64
-------------------
1052
Dot
2
179
1048
3
99
128
768
2
768
768
-------------------
1054
Add
2
1052
104
3
99
128
768
3
99
128
768
-------------------
1055
Add
2
1054
1019
3
99
128
768
3
99
128
768
-------------------
1056
Sum
1
1055
3
99
128
768
-------------------
1059
Divide
2
1056
1057
2
99
128
2
99
128
-------------------
1063
Subtract
2
1055
1059
3
99
128
768
3
99
128
768
-------------------
1065
Power
2
1063
154
3
99
128
768
3
99
128
768
-------------------
1066
Sum
1
1065
3
99
128
768
-------------------
1069
Divide
2
1066
1067
2
99
128
2
99
128
-------------------
1073
Add
2
158
1069
3
99
128
1
3
99
128
1
-------------------
1074
Sqrt
1
1073
3
99
128
1
-------------------
1077
Divide
2
1063
1074
3
99
128
768
3
99
128
768
-------------------
1079
Multiply
2
1077
105
3
99
128
768
3
99
128
768
-------------------
1081
Add
2
1079
106
3
99
128
768
3
99
128
768
-------------------
1082
Dot
2
1081
178
3
99
128
768
2
768
3072
-------------------
1084
Add
2
1082
108
3
99
128
3072
3
99
128
3072
-------------------
1085
Relu
1
1084
3
99
128
3072
-------------------
1086
Dot
2
1085
177
3
99
128
3072
2
3072
768
-------------------
1088
Add
2
1086
110
3
99
128
768
3
99
128
768
-------------------
1089
Add
2
1088
1081
3
99
128
768
3
99
128
768
-------------------
1090
Sum
1
1089
3
99
128
768
-------------------
1093
Divide
2
1090
1091
2
99
128
2
99
128
-------------------
1097
Subtract
2
1089
1093
3
99
128
768
3
99
128
768
-------------------
1099
Power
2
1097
154
3
99
128
768
3
99
128
768
-------------------
1100
Sum
1
1099
3
99
128
768
-------------------
1103
Divide
2
1100
1101
2
99
128
2
99
128
-------------------
1107
Add
2
158
1103
3
99
128
1
3
99
128
1
-------------------
1108
Sqrt
1
1107
3
99
128
1
-------------------
1111
Divide
2
1097
1108
3
99
128
768
3
99
128
768
-------------------
1113
Multiply
2
1111
111
3
99
128
768
3
99
128
768
-------------------
1115
Add
2
1113
112
3
99
128
768
3
99
128
768
-------------------
1116
Dot
2
1115
176
3
99
128
768
2
768
2304
-------------------
1118
Add
2
1116
114
3
99
128
2304
3
99
128
2304
-------------------
1129
BatchMatMul
2
1118
1118
4
99
12
128
64
4
99
12
64
128
-------------------
1132
Divide
2
1129
162
4
99
12
128
128
4
99
12
128
128
-------------------
1135
Add
2
1132
268
4
99
12
128
128
4
99
12
128
128
-------------------
1447
SoftmaxBasic
1
1135
4
99
12
128
128
-------------------
1448
SoftmaxBasic
2
1135
1447
4
99
12
128
128
3
99
12
128
-------------------
1449
SoftmaxBasic
1
1448
4
99
12
128
128
-------------------
1450
SoftmaxBasic
2
1448
1449
4
99
12
128
128
3
99
12
128
-------------------
1144
BatchMatMul
2
1450
1118
4
99
12
128
128
4
99
12
128
64
-------------------
1148
Dot
2
175
1144
3
99
128
768
2
768
768
-------------------
1150
Add
2
1148
116
3
99
128
768
3
99
128
768
-------------------
1151
Add
2
1150
1115
3
99
128
768
3
99
128
768
-------------------
1152
Sum
1
1151
3
99
128
768
-------------------
1155
Divide
2
1152
1153
2
99
128
2
99
128
-------------------
1159
Subtract
2
1151
1155
3
99
128
768
3
99
128
768
-------------------
1161
Power
2
1159
154
3
99
128
768
3
99
128
768
-------------------
1162
Sum
1
1161
3
99
128
768
-------------------
1165
Divide
2
1162
1163
2
99
128
2
99
128
-------------------
1169
Add
2
158
1165
3
99
128
1
3
99
128
1
-------------------
1170
Sqrt
1
1169
3
99
128
1
-------------------
1173
Divide
2
1159
1170
3
99
128
768
3
99
128
768
-------------------
1175
Multiply
2
1173
117
3
99
128
768
3
99
128
768
-------------------
1177
Add
2
1175
118
3
99
128
768
3
99
128
768
-------------------
1178
Dot
2
1177
174
3
99
128
768
2
768
3072
-------------------
1180
Add
2
1178
120
3
99
128
3072
3
99
128
3072
-------------------
1181
Relu
1
1180
3
99
128
3072
-------------------
1182
Dot
2
1181
173
3
99
128
3072
2
3072
768
-------------------
1184
Add
2
1182
122
3
99
128
768
3
99
128
768
-------------------
1185
Add
2
1184
1177
3
99
128
768
3
99
128
768
-------------------
1186
Sum
1
1185
3
99
128
768
-------------------
1189
Divide
2
1186
1187
2
99
128
2
99
128
-------------------
1193
Subtract
2
1185
1189
3
99
128
768
3
99
128
768
-------------------
1195
Power
2
1193
154
3
99
128
768
3
99
128
768
-------------------
1196
Sum
1
1195
3
99
128
768
-------------------
1199
Divide
2
1196
1197
2
99
128
2
99
128
-------------------
1203
Add
2
158
1199
3
99
128
1
3
99
128
1
-------------------
1204
Sqrt
1
1203
3
99
128
1
-------------------
1207
Divide
2
1193
1204
3
99
128
768
3
99
128
768
-------------------
1209
Multiply
2
1207
123
3
99
128
768
3
99
128
768
-------------------
1211
Add
2
1209
124
3
99
128
768
3
99
128
768
-------------------
1212
Dot
2
1211
172
3
99
128
768
2
768
2304
-------------------
1214
Add
2
1212
126
3
99
128
2304
3
99
128
2304
-------------------
1225
BatchMatMul
2
1214
1214
4
99
12
128
64
4
99
12
64
128
-------------------
1228
Divide
2
1225
162
4
99
12
128
128
4
99
12
128
128
-------------------
1231
Add
2
1228
268
4
99
12
128
128
4
99
12
128
128
-------------------
1451
SoftmaxBasic
1
1231
4
99
12
128
128
-------------------
1452
SoftmaxBasic
2
1231
1451
4
99
12
128
128
3
99
12
128
-------------------
1453
SoftmaxBasic
1
1452
4
99
12
128
128
-------------------
1454
SoftmaxBasic
2
1452
1453
4
99
12
128
128
3
99
12
128
-------------------
1240
BatchMatMul
2
1454
1214
4
99
12
128
128
4
99
12
128
64
-------------------
1244
Dot
2
171
1240
3
99
128
768
2
768
768
-------------------
1246
Add
2
1244
128
3
99
128
768
3
99
128
768
-------------------
1247
Add
2
1246
1211
3
99
128
768
3
99
128
768
-------------------
1248
Sum
1
1247
3
99
128
768
-------------------
1251
Divide
2
1248
1249
2
99
128
2
99
128
-------------------
1255
Subtract
2
1247
1251
3
99
128
768
3
99
128
768
-------------------
1257
Power
2
1255
154
3
99
128
768
3
99
128
768
-------------------
1258
Sum
1
1257
3
99
128
768
-------------------
1261
Divide
2
1258
1259
2
99
128
2
99
128
-------------------
1265
Add
2
158
1261
3
99
128
1
3
99
128
1
-------------------
1266
Sqrt
1
1265
3
99
128
1
-------------------
1269
Divide
2
1255
1266
3
99
128
768
3
99
128
768
-------------------
1271
Multiply
2
1269
129
3
99
128
768
3
99
128
768
-------------------
1273
Add
2
1271
130
3
99
128
768
3
99
128
768
-------------------
1274
Dot
2
1273
170
3
99
128
768
2
768
3072
-------------------
1276
Add
2
1274
132
3
99
128
3072
3
99
128
3072
-------------------
1277
Relu
1
1276
3
99
128
3072
-------------------
1278
Dot
2
1277
169
3
99
128
3072
2
3072
768
-------------------
1280
Add
2
1278
134
3
99
128
768
3
99
128
768
-------------------
1281
Add
2
1280
1273
3
99
128
768
3
99
128
768
-------------------
1282
Sum
1
1281
3
99
128
768
-------------------
1285
Divide
2
1282
1283
2
99
128
2
99
128
-------------------
1289
Subtract
2
1281
1285
3
99
128
768
3
99
128
768
-------------------
1291
Power
2
1289
154
3
99
128
768
3
99
128
768
-------------------
1292
Sum
1
1291
3
99
128
768
-------------------
1295
Divide
2
1292
1293
2
99
128
2
99
128
-------------------
1299
Add
2
158
1295
3
99
128
1
3
99
128
1
-------------------
1300
Sqrt
1
1299
3
99
128
1
-------------------
1303
Divide
2
1289
1300
3
99
128
768
3
99
128
768
-------------------
1305
Multiply
2
1303
135
3
99
128
768
3
99
128
768
-------------------
1307
Add
2
1305
136
3
99
128
768
3
99
128
768
-------------------
1308
Dot
2
1307
168
3
99
128
768
2
768
2304
-------------------
1310
Add
2
1308
138
3
99
128
2304
3
99
128
2304
-------------------
1321
BatchMatMul
2
1310
1310
4
99
12
128
64
4
99
12
64
128
-------------------
1324
Divide
2
1321
162
4
99
12
128
128
4
99
12
128
128
-------------------
1327
Add
2
1324
268
4
99
12
128
128
4
99
12
128
128
-------------------
1455
SoftmaxBasic
1
1327
4
99
12
128
128
-------------------
1456
SoftmaxBasic
2
1327
1455
4
99
12
128
128
3
99
12
128
-------------------
1457
SoftmaxBasic
1
1456
4
99
12
128
128
-------------------
1458
SoftmaxBasic
2
1456
1457
4
99
12
128
128
3
99
12
128
-------------------
1336
BatchMatMul
2
1458
1310
4
99
12
128
128
4
99
12
128
64
-------------------
1340
Dot
2
167
1336
3
99
128
768
2
768
768
-------------------
1342
Add
2
1340
140
3
99
128
768
3
99
128
768
-------------------
1343
Add
2
1342
1307
3
99
128
768
3
99
128
768
-------------------
1344
Sum
1
1343
3
99
128
768
-------------------
1347
Divide
2
1344
1345
2
99
128
2
99
128
-------------------
1351
Subtract
2
1343
1347
3
99
128
768
3
99
128
768
-------------------
1353
Power
2
1351
154
3
99
128
768
3
99
128
768
-------------------
1354
Sum
1
1353
3
99
128
768
-------------------
1357
Divide
2
1354
1355
2
99
128
2
99
128
-------------------
1361
Add
2
158
1357
3
99
128
1
3
99
128
1
-------------------
1362
Sqrt
1
1361
3
99
128
1
-------------------
1365
Divide
2
1351
1362
3
99
128
768
3
99
128
768
-------------------
1367
Multiply
2
1365
141
3
99
128
768
3
99
128
768
-------------------
1369
Add
2
1367
142
3
99
128
768
3
99
128
768
-------------------
1370
Dot
2
1369
166
3
99
128
768
2
768
3072
-------------------
1372
Add
2
1370
144
3
99
128
3072
3
99
128
3072
-------------------
1373
Relu
1
1372
3
99
128
3072
-------------------
1374
Dot
2
1373
165
3
99
128
3072
2
3072
768
-------------------
1376
Add
2
1374
146
3
99
128
768
3
99
128
768
-------------------
1377
Add
2
1376
1369
3
99
128
768
3
99
128
768
-------------------
1378
Sum
1
1377
3
99
128
768
-------------------
1381
Divide
2
1378
1379
2
99
128
2
99
128
-------------------
1385
Subtract
2
1377
1381
3
99
128
768
3
99
128
768
-------------------
1387
Power
2
1385
154
3
99
128
768
3
99
128
768
-------------------
1388
Sum
1
1387
3
99
128
768
-------------------
1391
Divide
2
1388
1389
2
99
128
2
99
128
-------------------
1395
Add
2
158
1391
3
99
128
1
3
99
128
1
-------------------
1396
Sqrt
1
1395
3
99
128
1
-------------------
1399
Divide
2
1385
1396
3
99
128
768
3
99
128
768
-------------------
1401
Multiply
2
1399
147
3
99
128
768
3
99
128
768
-------------------
1403
Add
2
1401
148
3
99
128
768
3
99
128
768
-------------------
1404
GatherV2
2
1403
157
3
99
128
768
1
1
-------------------
1405
Dot
2
1404
149
2
99
768
2
768
768
-------------------
1407
Add
2
1405
150
2
99
768
2
99
768
-------------------
1408
Tanh
1
1407
2
99
768
-------------------