step-5-preview

Overall

8.2

/ 100

Tasks

500/500

task suite

Avg latency

546187ms

round trip

Tokens used

243180

during evaluation

Per-category results

arithmetic 0.0 / 100

coding_light 33.75 / 100

data_manipulation 4.29 / 100

extraction 0.0 / 100

instruction_following 18.0 / 100

knowledge 3.33 / 100

language 0.0 / 100

Strongest category: language

About the suite

Fikra Eval 500 is one deterministic 500-task platform evaluation generated from a fixed seed: 110 arithmetic, 60 knowledge, 80 coding-light, 70 data manipulation, 70 language, 60 extraction and 50 instruction-following tasks. Same tasks every model, automatic scoring, published exactly when 500/500 completes.

suite :: fikra-eval-500 / v1

step-5-preview model page →

Sample task outputs (first 60 of 500)

#	Category	Result	Latency	Reply
1	arithmetic	✗	18276 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
2	arithmetic	✗	19962 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
3	arithmetic	✗	18243 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
4	arithmetic	✗	18221 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
5	arithmetic	✗	18780 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
6	arithmetic	✗	18274 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
7	arithmetic	✗	18238 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
8	arithmetic	✗	18219 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
9	arithmetic	✗	36013 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
10	arithmetic	✗	36030 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
11	arithmetic	✗	36031 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
12	arithmetic	✗	36018 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
13	arithmetic	✗	36108 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
14	arithmetic	✗	36032 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
15	arithmetic	✗	37171 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
16	arithmetic	✗	37560 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
17	arithmetic	✗	55410 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
18	arithmetic	✗	55412 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
19	arithmetic	✗	55571 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
20	arithmetic	✗	55579 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
21	arithmetic	✗	55438 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
22	arithmetic	✗	55682 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
23	arithmetic	✗	55804 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
24	arithmetic	✗	56292 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
25	arithmetic	✗	77022 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
26	arithmetic	✗	77018 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
27	arithmetic	✗	77022 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
28	arithmetic	✗	77952 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
29	arithmetic	✗	77622 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
30	arithmetic	✗	77620 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
31	arithmetic	✗	77969 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
32	arithmetic	✗	77971 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
33	arithmetic	✗	13952 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
34	arithmetic	✗	13812 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
35	arithmetic	✗	13807 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
36	arithmetic	✗	13940 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
37	arithmetic	✗	13815 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
38	arithmetic	✗	13816 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
39	arithmetic	✗	13804 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
40	arithmetic	✗	13822 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
41	arithmetic	✗	26959 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
42	arithmetic	✗	26984 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
43	arithmetic	✗	26961 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
44	arithmetic	✗	26999 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
45	arithmetic	✗	26952 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
46	arithmetic	✗	27187 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
47	arithmetic	✗	27000 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
48	arithmetic	✗	27046 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
49	arithmetic	✗	40819 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
50	arithmetic	✗	40522 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
51	arithmetic	✗	40525 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
52	arithmetic	✗	40546 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
53	arithmetic	✗	40553 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
54	arithmetic	✗	40582 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
55	arithmetic	✗	40593 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
56	arithmetic	✗	40622 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
57	arithmetic	✗	54824 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
58	arithmetic	✗	54857 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
59	arithmetic	✗	54920 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar
60	arithmetic	✗	54917 ms	�carecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecarecar