Every 20-subtask chain × every model, in this 11-world slice: authentication chains are hardest, statefulness and pagination saturate
Hover to highlight · click for details
gpt-5.5
opus-4.8
deepseek-v4-flash
glm-5p2
qwen3p7-plus
deepseek-v4-pro
qwen3p6-plus
gpt-5.6-terra
haiku-4.5
sonnet-4.6
kimi-k2p7-code
sonnet-5
kimi-k2p6
minimax-m2p7
gpt-oss-20b
kimi-k2p5
gpt-oss-120b
gpt-5-mini
gpt-5.4-mini
w08·auth
w08·auth · gpt-5.5 · 0% (0/5)
0
w08·auth · opus-4.8 · 0% (0/5)
0
w08·auth · deepseek-v4-flash · 0% (0/5)
0
w08·auth · glm-5p2 · 0% (0/5)
0
w08·auth · qwen3p7-plus · 0% (0/5)
0
w08·auth · deepseek-v4-pro · 0% (0/5)
0
w08·auth · qwen3p6-plus · 0% (0/5)
0
w08·auth · gpt-5.6-terra · 0% (0/5)
0
w08·auth · haiku-4.5 · 0% (0/5)
0
w08·auth · sonnet-4.6 · 0% (0/5)
0
w08·auth · kimi-k2p7-code · 0% (0/5)
0
w08·auth · sonnet-5 · 0% (0/5)
0
w08·auth · kimi-k2p6 · 0% (0/5)
0
w08·auth · minimax-m2p7 · 0% (0/5)
0
w08·auth · gpt-oss-20b · 0% (0/5)
0
w08·auth · kimi-k2p5 · 0% (0/5)
0
w08·auth · gpt-oss-120b · 0% (0/5)
0
w08·auth · gpt-5-mini · 0% (0/5)
0
w08·auth · gpt-5.4-mini · 0% (0/5)
0
w10·auth
w10·auth · gpt-5.5 · 0% (0/5)
0
w10·auth · opus-4.8 · 0% (0/5)
0
w10·auth · deepseek-v4-flash · 0% (0/5)
0
w10·auth · glm-5p2 · 0% (0/5)
0
w10·auth · qwen3p7-plus · 0% (0/5)
0
w10·auth · deepseek-v4-pro · 0% (0/5)
0
w10·auth · qwen3p6-plus · 0% (0/5)
0
w10·auth · gpt-5.6-terra · 0% (0/5)
0
w10·auth · haiku-4.5 · 0% (0/5)
0
w10·auth · sonnet-4.6 · 0% (0/5)
0
w10·auth · kimi-k2p7-code · 0% (0/5)
0
w10·auth · sonnet-5 · 0% (0/5)
0
w10·auth · kimi-k2p6 · 0% (0/5)
0
w10·auth · minimax-m2p7 · 0% (0/5)
0
w10·auth · gpt-oss-20b · 0% (0/5)
0
w10·auth · kimi-k2p5 · 0% (0/5)
0
w10·auth · gpt-oss-120b · 0% (0/5)
0
w10·auth · gpt-5-mini · 0% (0/5)
0
w10·auth · gpt-5.4-mini · 0% (0/5)
0
w05·err-rec
w05·err-rec · gpt-5.5 · 0% (0/5)
0
w05·err-rec · opus-4.8 · 0% (0/5)
0
w05·err-rec · deepseek-v4-flash · 40% (2/5)
40
w05·err-rec · glm-5p2 · 0% (0/5)
0
w05·err-rec · qwen3p7-plus · 0% (0/5)
0
w05·err-rec · deepseek-v4-pro · 0% (0/5)
0
w05·err-rec · qwen3p6-plus · 20% (1/5)
20
w05·err-rec · gpt-5.6-terra · 0% (0/5)
0
w05·err-rec · haiku-4.5 · 0% (0/5)
0
w05·err-rec · sonnet-4.6 · 0% (0/5)
0
w05·err-rec · kimi-k2p7-code · 0% (0/5)
0
w05·err-rec · sonnet-5 · 0% (0/5)
0
w05·err-rec · kimi-k2p6 · 0% (0/5)
0
w05·err-rec · minimax-m2p7 · 0% (0/5)
0
w05·err-rec · gpt-oss-20b · 0% (0/5)
0
w05·err-rec · kimi-k2p5 · 0% (0/5)
0
w05·err-rec · gpt-oss-120b · 0% (0/5)
0
w05·err-rec · gpt-5-mini · 20% (1/5)
20
w05·err-rec · gpt-5.4-mini · 0% (0/5)
0
w01·auth
w01·auth · gpt-5.5 · 100% (5/5)
100
w01·auth · opus-4.8 · 60% (3/5)
60
w01·auth · deepseek-v4-flash · 20% (1/5)
20
w01·auth · glm-5p2 · 20% (1/5)
20
w01·auth · qwen3p7-plus · 20% (1/5)
20
w01·auth · deepseek-v4-pro · 0% (0/5)
0
w01·auth · qwen3p6-plus · 0% (0/5)
0
w01·auth · gpt-5.6-terra · 0% (0/5)
0
w01·auth · haiku-4.5 · 0% (0/5)
0
w01·auth · sonnet-4.6 · 80% (4/5)
80
w01·auth · kimi-k2p7-code · 0% (0/5)
0
w01·auth · sonnet-5 · 20% (1/5)
20
w01·auth · kimi-k2p6 · 0% (0/5)
0
w01·auth · minimax-m2p7 · 0% (0/5)
0
w01·auth · gpt-oss-20b · 20% (1/5)
20
w01·auth · kimi-k2p5 · 0% (0/5)
0
w01·auth · gpt-oss-120b · 0% (0/5)
0
w01·auth · gpt-5-mini · 0% (0/5)
0
w01·auth · gpt-5.4-mini · 0% (0/5)
0
w16·multistep
w16·multistep · gpt-5.5 · 100% (5/5)
100
w16·multistep · opus-4.8 · 100% (5/5)
100
w16·multistep · deepseek-v4-flash · 100% (5/5)
100
w16·multistep · glm-5p2 · 100% (5/5)
100
w16·multistep · qwen3p7-plus · 100% (5/5)
100
w16·multistep · deepseek-v4-pro · 100% (5/5)
100
w16·multistep · qwen3p6-plus · 100% (5/5)
100
w16·multistep · gpt-5.6-terra · 100% (5/5)
100
w16·multistep · haiku-4.5 · 100% (5/5)
100
w16·multistep · sonnet-4.6 · 0% (0/5)
0
w16·multistep · kimi-k2p7-code · 80% (4/5)
80
w16·multistep · sonnet-5 · 40% (2/5)
40
w16·multistep · kimi-k2p6 · 40% (2/5)
40
w16·multistep · minimax-m2p7 · 80% (4/5)
80
w16·multistep · gpt-oss-20b · 0% (0/5)
0
w16·multistep · kimi-k2p5 · 20% (1/5)
20
w16·multistep · gpt-oss-120b · 0% (0/5)
0
w16·multistep · gpt-5-mini · 20% (1/5)
20
w16·multistep · gpt-5.4-mini · 80% (4/5)
80
w14·pager
w14·pager · gpt-5.5 · 100% (5/5)
100
w14·pager · opus-4.8 · 100% (5/5)
100
w14·pager · deepseek-v4-flash · 100% (5/5)
100
w14·pager · glm-5p2 · 100% (5/5)
100
w14·pager · qwen3p7-plus · 100% (5/5)
100
w14·pager · deepseek-v4-pro · 100% (5/5)
100
w14·pager · qwen3p6-plus · 100% (5/5)
100
w14·pager · gpt-5.6-terra · 100% (5/5)
100
w14·pager · haiku-4.5 · 100% (5/5)
100
w14·pager · sonnet-4.6 · 100% (5/5)
100
w14·pager · kimi-k2p7-code · 100% (5/5)
100
w14·pager · sonnet-5 · 100% (5/5)
100
w14·pager · kimi-k2p6 · 100% (5/5)
100
w14·pager · minimax-m2p7 · 100% (5/5)
100
w14·pager · gpt-oss-20b · 100% (5/5)
100
w14·pager · kimi-k2p5 · 100% (5/5)
100
w14·pager · gpt-oss-120b · 100% (5/5)
100
w14·pager · gpt-5-mini · 40% (2/5)
40
w14·pager · gpt-5.4-mini · 20% (1/5)
20
w04·err-rec
w04·err-rec · gpt-5.5 · 100% (5/5)
100
w04·err-rec · opus-4.8 · 100% (5/5)
100
w04·err-rec · deepseek-v4-flash · 100% (5/5)
100
w04·err-rec · glm-5p2 · 100% (5/5)
100
w04·err-rec · qwen3p7-plus · 100% (5/5)
100
w04·err-rec · deepseek-v4-pro · 100% (5/5)
100
w04·err-rec · qwen3p6-plus · 100% (5/5)
100
w04·err-rec · gpt-5.6-terra · 100% (5/5)
100
w04·err-rec · haiku-4.5 · 100% (5/5)
100
w04·err-rec · sonnet-4.6 · 100% (5/5)
100
w04·err-rec · kimi-k2p7-code · 100% (5/5)
100
w04·err-rec · sonnet-5 · 100% (5/5)
100
w04·err-rec · kimi-k2p6 · 100% (5/5)
100
w04·err-rec · minimax-m2p7 · 100% (5/5)
100
w04·err-rec · gpt-oss-20b · 100% (5/5)
100
w04·err-rec · kimi-k2p5 · 100% (5/5)
100
w04·err-rec · gpt-oss-120b · 80% (4/5)
80
w04·err-rec · gpt-5-mini · 80% (4/5)
80
w04·err-rec · gpt-5.4-mini · 40% (2/5)
40
w11·multistep
w11·multistep · gpt-5.5 · 100% (5/5)
100
w11·multistep · opus-4.8 · 100% (5/5)
100
w11·multistep · deepseek-v4-flash · 100% (5/5)
100
w11·multistep · glm-5p2 · 100% (5/5)
100
w11·multistep · qwen3p7-plus · 100% (5/5)
100
w11·multistep · deepseek-v4-pro · 100% (5/5)
100
w11·multistep · qwen3p6-plus · 100% (5/5)
100
w11·multistep · gpt-5.6-terra · 100% (5/5)
100
w11·multistep · haiku-4.5 · 100% (5/5)
100
w11·multistep · sonnet-4.6 · 100% (5/5)
100
w11·multistep · kimi-k2p7-code · 100% (5/5)
100
w11·multistep · sonnet-5 · 100% (5/5)
100
w11·multistep · kimi-k2p6 · 100% (5/5)
100
w11·multistep · minimax-m2p7 · 80% (4/5)
80
w11·multistep · gpt-oss-20b · 100% (5/5)
100
w11·multistep · kimi-k2p5 · 100% (5/5)
100
w11·multistep · gpt-oss-120b · 100% (5/5)
100
w11·multistep · gpt-5-mini · 100% (5/5)
100
w11·multistep · gpt-5.4-mini · 60% (3/5)
60
w13·multistep
w13·multistep · gpt-5.5 · 100% (5/5)
100
w13·multistep · opus-4.8 · 100% (5/5)
100
w13·multistep · deepseek-v4-flash · 100% (5/5)
100
w13·multistep · glm-5p2 · 100% (5/5)
100
w13·multistep · qwen3p7-plus · 100% (5/5)
100
w13·multistep · deepseek-v4-pro · 100% (5/5)
100
w13·multistep · qwen3p6-plus · 80% (4/5)
80
w13·multistep · gpt-5.6-terra · 100% (5/5)
100
w13·multistep · haiku-4.5 · 100% (5/5)
100
w13·multistep · sonnet-4.6 · 100% (5/5)
100
w13·multistep · kimi-k2p7-code · 100% (5/5)
100
w13·multistep · sonnet-5 · 100% (5/5)
100
w13·multistep · kimi-k2p6 · 100% (5/5)
100
w13·multistep · minimax-m2p7 · 80% (4/5)
80
w13·multistep · gpt-oss-20b · 100% (5/5)
100
w13·multistep · kimi-k2p5 · 100% (5/5)
100
w13·multistep · gpt-oss-120b · 100% (5/5)
100
w13·multistep · gpt-5-mini · 100% (5/5)
100
w13·multistep · gpt-5.4-mini · 100% (5/5)
100
w03·multistep
w03·multistep · gpt-5.5 · 100% (5/5)
100
w03·multistep · opus-4.8 · 100% (5/5)
100
w03·multistep · deepseek-v4-flash · 100% (5/5)
100
w03·multistep · glm-5p2 · 100% (5/5)
100
w03·multistep · qwen3p7-plus · 100% (5/5)
100
w03·multistep · deepseek-v4-pro · 100% (5/5)
100
w03·multistep · qwen3p6-plus · 100% (5/5)
100
w03·multistep · gpt-5.6-terra · 100% (5/5)
100
w03·multistep · haiku-4.5 · 100% (5/5)
100
w03·multistep · sonnet-4.6 · 100% (5/5)
100
w03·multistep · kimi-k2p7-code · 100% (5/5)
100
w03·multistep · sonnet-5 · 100% (5/5)
100
w03·multistep · kimi-k2p6 · 100% (5/5)
100
w03·multistep · minimax-m2p7 · 100% (5/5)
100
w03·multistep · gpt-oss-20b · 100% (5/5)
100
w03·multistep · kimi-k2p5 · 100% (5/5)
100
w03·multistep · gpt-oss-120b · 100% (5/5)
100
w03·multistep · gpt-5-mini · 100% (5/5)
100
w03·multistep · gpt-5.4-mini · 80% (4/5)
80
w02·state
w02·state · gpt-5.5 · 100% (5/5)
100
w02·state · opus-4.8 · 100% (5/5)
100
w02·state · deepseek-v4-flash · 100% (5/5)
100
w02·state · glm-5p2 · 100% (5/5)
100
w02·state · qwen3p7-plus · 100% (5/5)
100
w02·state · deepseek-v4-pro · 100% (5/5)
100
w02·state · qwen3p6-plus · 100% (5/5)
100
w02·state · gpt-5.6-terra · 100% (5/5)
100
w02·state · haiku-4.5 · 100% (5/5)
100
w02·state · sonnet-4.6 · 100% (5/5)
100
w02·state · kimi-k2p7-code · 100% (5/5)
100
w02·state · sonnet-5 · 100% (5/5)
100
w02·state · kimi-k2p6 · 100% (5/5)
100
w02·state · minimax-m2p7 · 100% (5/5)
100
w02·state · gpt-oss-20b · 100% (5/5)
100
w02·state · kimi-k2p5 · 100% (5/5)
100
w02·state · gpt-oss-120b · 100% (5/5)
100
w02·state · gpt-5-mini · 100% (5/5)
100
w02·state · gpt-5.4-mini · 100% (5/5)
100
0
100
pass rate (%)