37, [s0.0-b.b, s0.0-b.g, s0.0-g.b, s0.0-g.g, s0.1-b.b, s0.1-b.g, s0.1-g.b, s0.1-g.g, s0.2-b.b, s0.2-b.g, s0.2-g.b, s0.2-g.g, s1.0-b.b, s1.0-b.g, s1.0-g.b, s1.0-g.g, s1.1-b.b, s1.1-b.g, s1.1-g.b, s1.1-g.g, s1.2-b.b, s1.2-b.g, s1.2-g.b, s1.2-g.g, s2.0-b.b, s2.0-b.g, s2.0-g.b, s2.0-g.g, s2.1-b.b, s2.1-b.g, s2.1-g.b, s2.1-g.g, s2.2-b.b, s2.2-b.g, s2.2-g.b, s2.2-g.g, exit]
1, [e1]
8, [North, South, East, West, Sample, Check0, Check1, Check2]
3, [Bad, Good, Nothing]

0, []

# Transition function (s,a,s -> p)
0,0,12 -> 1
0,1,0 -> 1
0,2,4 -> 1
0,3,0 -> 1
1,0,13 -> 1
1,1,1 -> 1
1,2,5 -> 1
1,3,1 -> 1
2,0,14 -> 1
2,1,2 -> 1
2,2,6 -> 1
2,3,2 -> 1
3,0,15 -> 1
3,1,3 -> 1
3,2,7 -> 1
3,3,3 -> 1
0,5,0 -> 1
1,5,1 -> 1
2,5,2 -> 1
3,5,3 -> 1
0,6,0 -> 1
1,6,1 -> 1
2,6,2 -> 1
3,6,3 -> 1
0,7,0 -> 1
1,7,1 -> 1
2,7,2 -> 1
3,7,3 -> 1
4,0,16 -> 1
4,1,4 -> 1
4,2,8 -> 1
4,3,0 -> 1
5,0,17 -> 1
5,1,5 -> 1
5,2,9 -> 1
5,3,1 -> 1
6,0,18 -> 1
6,1,6 -> 1
6,2,10 -> 1
6,3,2 -> 1
7,0,19 -> 1
7,1,7 -> 1
7,2,11 -> 1
7,3,3 -> 1
4,4,4 -> 1
5,4,4 -> 0
5,4,5 -> 1
6,4,4 -> 1
6,4,6 -> 0
7,4,5 -> 1
7,4,4 -> 0
7,4,7 -> 0
4,5,4 -> 1
5,5,5 -> 1
6,5,6 -> 1
7,5,7 -> 1
4,6,4 -> 1
5,6,5 -> 1
6,6,6 -> 1
7,6,7 -> 1
4,7,4 -> 1
5,7,5 -> 1
6,7,6 -> 1
7,7,7 -> 1
8,0,20 -> 1
8,1,8 -> 1
8,2,36 -> 1
8,3,4 -> 1
9,0,21 -> 1
9,1,9 -> 1
9,2,36 -> 1
9,3,5 -> 1
10,0,22 -> 1
10,1,10 -> 1
10,2,36 -> 1
10,3,6 -> 1
11,0,23 -> 1
11,1,11 -> 1
11,2,36 -> 1
11,3,7 -> 1
8,4,8 -> 1
9,4,8 -> 1
9,4,9 -> 0
10,4,8 -> 0
10,4,10 -> 1
11,4,9 -> 0
11,4,8 -> 1
11,4,11 -> 0
8,5,8 -> 1
9,5,9 -> 1
10,5,10 -> 1
11,5,11 -> 1
8,6,8 -> 1
9,6,9 -> 1
10,6,10 -> 1
11,6,11 -> 1
8,7,8 -> 1
9,7,9 -> 1
10,7,10 -> 1
11,7,11 -> 1
12,0,24 -> 1
12,1,0 -> 1
12,2,16 -> 1
12,3,12 -> 1
13,0,25 -> 1
13,1,1 -> 1
13,2,17 -> 1
13,3,13 -> 1
14,0,26 -> 1
14,1,2 -> 1
14,2,18 -> 1
14,3,14 -> 1
15,0,27 -> 1
15,1,3 -> 1
15,2,19 -> 1
15,3,15 -> 1
12,5,12 -> 1
13,5,13 -> 1
14,5,14 -> 1
15,5,15 -> 1
12,6,12 -> 1
13,6,13 -> 1
14,6,14 -> 1
15,6,15 -> 1
12,7,12 -> 1
13,7,13 -> 1
14,7,14 -> 1
15,7,15 -> 1
16,0,28 -> 1
16,1,4 -> 1
16,2,20 -> 1
16,3,12 -> 1
17,0,29 -> 1
17,1,5 -> 1
17,2,21 -> 1
17,3,13 -> 1
18,0,30 -> 1
18,1,6 -> 1
18,2,22 -> 1
18,3,14 -> 1
19,0,31 -> 1
19,1,7 -> 1
19,2,23 -> 1
19,3,15 -> 1
16,4,16 -> 1
17,4,16 -> 0
17,4,17 -> 1
18,4,16 -> 0
18,4,18 -> 1
19,4,17 -> 0
19,4,16 -> 0
19,4,19 -> 1
16,5,16 -> 1
17,5,17 -> 1
18,5,18 -> 1
19,5,19 -> 1
16,6,16 -> 1
17,6,17 -> 1
18,6,18 -> 1
19,6,19 -> 1
16,7,16 -> 1
17,7,17 -> 1
18,7,18 -> 1
19,7,19 -> 1
20,0,32 -> 1
20,1,8 -> 1
20,2,36 -> 1
20,3,16 -> 1
21,0,33 -> 1
21,1,9 -> 1
21,2,36 -> 1
21,3,17 -> 1
22,0,34 -> 1
22,1,10 -> 1
22,2,36 -> 1
22,3,18 -> 1
23,0,35 -> 1
23,1,11 -> 1
23,2,36 -> 1
23,3,19 -> 1
20,5,20 -> 1
21,5,21 -> 1
22,5,22 -> 1
23,5,23 -> 1
20,6,20 -> 1
21,6,21 -> 1
22,6,22 -> 1
23,6,23 -> 1
20,7,20 -> 1
21,7,21 -> 1
22,7,22 -> 1
23,7,23 -> 1
24,0,24 -> 1
24,1,12 -> 1
24,2,28 -> 1
24,3,24 -> 1
25,0,25 -> 1
25,1,13 -> 1
25,2,29 -> 1
25,3,25 -> 1
26,0,26 -> 1
26,1,14 -> 1
26,2,30 -> 1
26,3,26 -> 1
27,0,27 -> 1
27,1,15 -> 1
27,2,31 -> 1
27,3,27 -> 1
24,5,24 -> 1
25,5,25 -> 1
26,5,26 -> 1
27,5,27 -> 1
24,6,24 -> 1
25,6,25 -> 1
26,6,26 -> 1
27,6,27 -> 1
24,7,24 -> 1
25,7,25 -> 1
26,7,26 -> 1
27,7,27 -> 1
28,0,28 -> 1
28,1,16 -> 1
28,2,32 -> 1
28,3,24 -> 1
29,0,29 -> 1
29,1,17 -> 1
29,2,33 -> 1
29,3,25 -> 1
30,0,30 -> 1
30,1,18 -> 1
30,2,34 -> 1
30,3,26 -> 1
31,0,31 -> 1
31,1,19 -> 1
31,2,35 -> 1
31,3,27 -> 1
28,5,28 -> 1
29,5,29 -> 1
30,5,30 -> 1
31,5,31 -> 1
28,6,28 -> 1
29,6,29 -> 1
30,6,30 -> 1
31,6,31 -> 1
28,7,28 -> 1
29,7,29 -> 1
30,7,30 -> 1
31,7,31 -> 1
32,0,32 -> 1
32,1,20 -> 1
32,2,36 -> 1
32,3,28 -> 1
33,0,33 -> 1
33,1,21 -> 1
33,2,36 -> 1
33,3,29 -> 1
34,0,34 -> 1
34,1,22 -> 1
34,2,36 -> 1
34,3,30 -> 1
35,0,35 -> 1
35,1,23 -> 1
35,2,36 -> 1
35,3,31 -> 1
32,5,32 -> 1
33,5,33 -> 1
34,5,34 -> 1
35,5,35 -> 1
32,6,32 -> 1
33,6,33 -> 1
34,6,34 -> 1
35,6,35 -> 1
32,7,32 -> 1
33,7,33 -> 1
34,7,34 -> 1
35,7,35 -> 1
36,_,36 -> 1

# Observation function (a,s,o -> p)
0,0,2 -> 1
0,1,2 -> 1
0,2,2 -> 1
0,3,2 -> 1
0,4,2 -> 1
0,5,2 -> 1
0,6,2 -> 1
0,7,2 -> 1
0,8,2 -> 1
0,9,2 -> 1
0,10,2 -> 1
0,11,2 -> 1
0,12,2 -> 1
0,13,2 -> 1
0,14,2 -> 1
0,15,2 -> 1
0,16,2 -> 1
0,17,2 -> 1
0,18,2 -> 1
0,19,2 -> 1
0,20,2 -> 1
0,21,2 -> 1
0,22,2 -> 1
0,23,2 -> 1
0,24,2 -> 1
0,25,2 -> 1
0,26,2 -> 1
0,27,2 -> 1
0,28,2 -> 1
0,29,2 -> 1
0,30,2 -> 1
0,31,2 -> 1
0,32,2 -> 1
0,33,2 -> 1
0,34,2 -> 1
0,35,2 -> 1
1,0,2 -> 1
1,1,2 -> 1
1,2,2 -> 1
1,3,2 -> 1
1,4,2 -> 1
1,5,2 -> 1
1,6,2 -> 1
1,7,2 -> 1
1,8,2 -> 1
1,9,2 -> 1
1,10,2 -> 1
1,11,2 -> 1
1,12,2 -> 1
1,13,2 -> 1
1,14,2 -> 1
1,15,2 -> 1
1,16,2 -> 1
1,17,2 -> 1
1,18,2 -> 1
1,19,2 -> 1
1,20,2 -> 1
1,21,2 -> 1
1,22,2 -> 1
1,23,2 -> 1
1,24,2 -> 1
1,25,2 -> 1
1,26,2 -> 1
1,27,2 -> 1
1,28,2 -> 1
1,29,2 -> 1
1,30,2 -> 1
1,31,2 -> 1
1,32,2 -> 1
1,33,2 -> 1
1,34,2 -> 1
1,35,2 -> 1
2,0,2 -> 1
2,1,2 -> 1
2,2,2 -> 1
2,3,2 -> 1
2,4,2 -> 1
2,5,2 -> 1
2,6,2 -> 1
2,7,2 -> 1
2,8,2 -> 1
2,9,2 -> 1
2,10,2 -> 1
2,11,2 -> 1
2,12,2 -> 1
2,13,2 -> 1
2,14,2 -> 1
2,15,2 -> 1
2,16,2 -> 1
2,17,2 -> 1
2,18,2 -> 1
2,19,2 -> 1
2,20,2 -> 1
2,21,2 -> 1
2,22,2 -> 1
2,23,2 -> 1
2,24,2 -> 1
2,25,2 -> 1
2,26,2 -> 1
2,27,2 -> 1
2,28,2 -> 1
2,29,2 -> 1
2,30,2 -> 1
2,31,2 -> 1
2,32,2 -> 1
2,33,2 -> 1
2,34,2 -> 1
2,35,2 -> 1
3,0,2 -> 1
3,1,2 -> 1
3,2,2 -> 1
3,3,2 -> 1
3,4,2 -> 1
3,5,2 -> 1
3,6,2 -> 1
3,7,2 -> 1
3,8,2 -> 1
3,9,2 -> 1
3,10,2 -> 1
3,11,2 -> 1
3,12,2 -> 1
3,13,2 -> 1
3,14,2 -> 1
3,15,2 -> 1
3,16,2 -> 1
3,17,2 -> 1
3,18,2 -> 1
3,19,2 -> 1
3,20,2 -> 1
3,21,2 -> 1
3,22,2 -> 1
3,23,2 -> 1
3,24,2 -> 1
3,25,2 -> 1
3,26,2 -> 1
3,27,2 -> 1
3,28,2 -> 1
3,29,2 -> 1
3,30,2 -> 1
3,31,2 -> 1
3,32,2 -> 1
3,33,2 -> 1
3,34,2 -> 1
3,35,2 -> 1
4,0,2 -> 1
4,1,2 -> 1
4,2,2 -> 1
4,3,2 -> 1
4,4,2 -> 1
4,5,2 -> 1
4,6,2 -> 1
4,7,2 -> 1
4,8,2 -> 1
4,9,2 -> 1
4,10,2 -> 1
4,11,2 -> 1
4,12,2 -> 1
4,13,2 -> 1
4,14,2 -> 1
4,15,2 -> 1
4,16,2 -> 1
4,17,2 -> 1
4,18,2 -> 1
4,19,2 -> 1
4,20,2 -> 1
4,21,2 -> 1
4,22,2 -> 1
4,23,2 -> 1
4,24,2 -> 1
4,25,2 -> 1
4,26,2 -> 1
4,27,2 -> 1
4,28,2 -> 1
4,29,2 -> 1
4,30,2 -> 1
4,31,2 -> 1
4,32,2 -> 1
4,33,2 -> 1
4,34,2 -> 1
4,35,2 -> 1
5,0,1 -> 0.25
5,0,0 -> 0.75
5,1,1 -> 0.25
5,1,0 -> 0.75
5,2,1 -> 0.75
5,2,0 -> 0.25
5,3,1 -> 0.75
5,3,0 -> 0.25
5,4,1 -> 0.0
5,4,0 -> 1.0
5,5,1 -> 0.0
5,5,0 -> 1.0
5,6,1 -> 1.0
5,6,0 -> 0.0
5,7,1 -> 1.0
5,7,0 -> 0.0
5,8,1 -> 0.25
5,8,0 -> 0.75
5,9,1 -> 0.25
5,9,0 -> 0.75
5,10,1 -> 0.75
5,10,0 -> 0.25
5,11,1 -> 0.75
5,11,0 -> 0.25
5,12,1 -> 0.312393
5,12,0 -> 0.687607
5,13,1 -> 0.312393
5,13,0 -> 0.687607
5,14,1 -> 0.687607
5,14,0 -> 0.312393
5,15,1 -> 0.687607
5,15,0 -> 0.312393
5,16,1 -> 0.25
5,16,0 -> 0.75
5,17,1 -> 0.25
5,17,0 -> 0.75
5,18,1 -> 0.75
5,18,0 -> 0.25
5,19,1 -> 0.75
5,19,0 -> 0.25
5,20,1 -> 0.312393
5,20,0 -> 0.687607
5,21,1 -> 0.312393
5,21,0 -> 0.687607
5,22,1 -> 0.687607
5,22,0 -> 0.312393
5,23,1 -> 0.687607
5,23,0 -> 0.312393
5,24,1 -> 0.393868
5,24,0 -> 0.606132
5,25,1 -> 0.393868
5,25,0 -> 0.606132
5,26,1 -> 0.606132
5,26,0 -> 0.393868
5,27,1 -> 0.606132
5,27,0 -> 0.393868
5,28,1 -> 0.375
5,28,0 -> 0.625
5,29,1 -> 0.375
5,29,0 -> 0.625
5,30,1 -> 0.625
5,30,0 -> 0.375
5,31,1 -> 0.625
5,31,0 -> 0.375
5,32,1 -> 0.393868
5,32,0 -> 0.606132
5,33,1 -> 0.393868
5,33,0 -> 0.606132
5,34,1 -> 0.606132
5,34,0 -> 0.393868
5,35,1 -> 0.606132
5,35,0 -> 0.393868
6,0,1 -> 0.375
6,0,0 -> 0.625
6,1,1 -> 0.625
6,1,0 -> 0.375
6,2,1 -> 0.375
6,2,0 -> 0.625
6,3,1 -> 0.625
6,3,0 -> 0.375
6,4,1 -> 0.25
6,4,0 -> 0.75
6,5,1 -> 0.75
6,5,0 -> 0.25
6,6,1 -> 0.25
6,6,0 -> 0.75
6,7,1 -> 0.75
6,7,0 -> 0.25
6,8,1 -> 0.0
6,8,0 -> 1.0
6,9,1 -> 1.0
6,9,0 -> 0.0
6,10,1 -> 0.0
6,10,0 -> 1.0
6,11,1 -> 1.0
6,11,0 -> 0.0
6,12,1 -> 0.393868
6,12,0 -> 0.606132
6,13,1 -> 0.606132
6,13,0 -> 0.393868
6,14,1 -> 0.393868
6,14,0 -> 0.606132
6,15,1 -> 0.606132
6,15,0 -> 0.393868
6,16,1 -> 0.312393
6,16,0 -> 0.687607
6,17,1 -> 0.687607
6,17,0 -> 0.312393
6,18,1 -> 0.312393
6,18,0 -> 0.687607
6,19,1 -> 0.687607
6,19,0 -> 0.312393
6,20,1 -> 0.25
6,20,0 -> 0.75
6,21,1 -> 0.75
6,21,0 -> 0.25
6,22,1 -> 0.25
6,22,0 -> 0.75
6,23,1 -> 0.75
6,23,0 -> 0.25
6,24,1 -> 0.429607
6,24,0 -> 0.570393
6,25,1 -> 0.570393
6,25,0 -> 0.429607
6,26,1 -> 0.429607
6,26,0 -> 0.570393
6,27,1 -> 0.570393
6,27,0 -> 0.429607
6,28,1 -> 0.393868
6,28,0 -> 0.606132
6,29,1 -> 0.606132
6,29,0 -> 0.393868
6,30,1 -> 0.393868
6,30,0 -> 0.606132
6,31,1 -> 0.606132
6,31,0 -> 0.393868
6,32,1 -> 0.375
6,32,0 -> 0.625
6,33,1 -> 0.625
6,33,0 -> 0.375
6,34,1 -> 0.375
6,34,0 -> 0.625
6,35,1 -> 0.625
6,35,0 -> 0.375
7,0,1 -> 0.312393
7,0,0 -> 0.687607
7,1,1 -> 0.312393
7,1,0 -> 0.687607
7,2,1 -> 0.312393
7,2,0 -> 0.687607
7,3,1 -> 0.312393
7,3,0 -> 0.687607
7,4,1 -> 0.25
7,4,0 -> 0.75
7,5,1 -> 0.25
7,5,0 -> 0.75
7,6,1 -> 0.25
7,6,0 -> 0.75
7,7,1 -> 0.25
7,7,0 -> 0.75
7,8,1 -> 0.312393
7,8,0 -> 0.687607
7,9,1 -> 0.312393
7,9,0 -> 0.687607
7,10,1 -> 0.312393
7,10,0 -> 0.687607
7,11,1 -> 0.312393
7,11,0 -> 0.687607
7,12,1 -> 0.25
7,12,0 -> 0.75
7,13,1 -> 0.25
7,13,0 -> 0.75
7,14,1 -> 0.25
7,14,0 -> 0.75
7,15,1 -> 0.25
7,15,0 -> 0.75
7,16,1 -> 0.0
7,16,0 -> 1.0
7,17,1 -> 0.0
7,17,0 -> 1.0
7,18,1 -> 0.0
7,18,0 -> 1.0
7,19,1 -> 0.0
7,19,0 -> 1.0
7,20,1 -> 0.25
7,20,0 -> 0.75
7,21,1 -> 0.25
7,21,0 -> 0.75
7,22,1 -> 0.25
7,22,0 -> 0.75
7,23,1 -> 0.25
7,23,0 -> 0.75
7,24,1 -> 0.312393
7,24,0 -> 0.687607
7,25,1 -> 0.312393
7,25,0 -> 0.687607
7,26,1 -> 0.312393
7,26,0 -> 0.687607
7,27,1 -> 0.312393
7,27,0 -> 0.687607
7,28,1 -> 0.25
7,28,0 -> 0.75
7,29,1 -> 0.25
7,29,0 -> 0.75
7,30,1 -> 0.25
7,30,0 -> 0.75
7,31,1 -> 0.25
7,31,0 -> 0.75
7,32,1 -> 0.312393
7,32,0 -> 0.687607
7,33,1 -> 0.312393
7,33,0 -> 0.687607
7,34,1 -> 0.312393
7,34,0 -> 0.687607
7,35,1 -> 0.312393
7,35,0 -> 0.687607
_,36,2 -> 1

# Reward function (s,a -> r)
4,4 -> -10
5,4 -> -10
6,4 -> 10
7,4 -> 10
8,4 -> -10
9,4 -> 10
10,4 -> -10
11,4 -> 10
8,2 -> 10
9,2 -> 10
10,2 -> 10
11,2 -> 10
16,4 -> -10
17,4 -> -10
18,4 -> -10
19,4 -> -10
20,2 -> 10
21,2 -> 10
22,2 -> 10
23,2 -> 10
32,2 -> 10
33,2 -> 10
34,2 -> 10
35,2 -> 10

# Initial beliefs (s -> p)
3 -> 1