Pass Rate
100.0%
保留 benchmark 原始结果，先看整体完成质量。
Benchmark Dashboard
CodeGenie HarmonyOS Zero-to-One Bootstrap Eval
首页现在同时承担 benchmark 结果页与运营分析看板角色。先看真实耗时，再通过工具、等待和占比分析定位瓶颈任务。
Avg Task Time
805.39 s
按任务端到端 wall clock 统计平均耗时。
Avg LLM Time
0 ms
LLM 口径为 reasoning + text，不含工具与等待。
Avg Tool Time
180.17 s
辅助判断任务慢点更偏工具链还是模型轮次。
Avg Tool Calls
54.4
每个可分析任务平均工具调用次数。
运营分析
以下分析只统计成功匹配 export.json 的任务，真实耗时优先，百分比作为辅助解释。
分析覆盖
可分析会话 5 / 5
覆盖率 100.0%，通过率 100.0%。
Total assistant time3947.26 s
Total tool calls272
Total skill loads5
时间总览
3947.26 s
总 assistant 耗时，用于拆解 LLM、工具、等待等会话内时间分布。
Tools 900.84 s · Wait 3587.80 s · Text 0 ms
工具与调用
272 calls
先看总量，再看最常被调用的工具和最常加载的 skills。
- read62 calls
- write56 calls
- bash39 calls
- edit26 calls
- todowrite24 calls
Top skills
- deveco-create-project4 loads
- arkts-error-fixes1 loads
耗时工具 Top
900.84 s
包含外部集成 / MCP 247.29 s。
- write511.66 s
- build_project222.19 s
- bash71.68 s
- read64.96 s
- start_app17.70 s
时间瓶颈
优先点开这些任务，通常最能解释整体变慢的原因。
最慢任务
Generate a tech news HarmonyOS app and run it
1250.00 s · 占同类总量 31.0%
等待 1092.22 s
查看会话详情LLM 耗时最高
Generate a Hello World HarmonyOS project and run it
0 ms · 占同类总量 0.0%
推理 0 ms · 等待 188.31 s
查看会话详情工具耗时最高
Generate a tech news HarmonyOS app and run it
685.66 s · 占同类总量 76.1%
write (510.03 s)
查看会话详情等待最高
Generate a tech news HarmonyOS app and run it
1092.22 s · 占同类总量 30.4%
占该任务总耗时 88.2%
查看会话详情Token 最高
Generate a tech news HarmonyOS app and run it
1,828,252 tokens · 占同类总量 26.8%
tools 95
查看会话详情Tool Calls 最高
Generate a tech news HarmonyOS app and run it
95 calls · 占同类总量 34.9%
write (510.03 s)
查看会话详情By Kind
按任务类型查看 benchmark 结果分布，零数据项会自动弱化显示。
稳定性
JS Crash 修复
当前报告中没有该类型任务。
Pass rate0.0%
Avg time0 ms
Avg tokens0
Avg tools0.0
Avg skills0.0
Bootstrap
项目从 0 到 1
通过率 100.0%，共 5 个任务。
Pass rate100.0%
Avg time805.39 s
Avg tokens1,364,592
Avg tools54.4
Avg skills1.0
体验演进
UI 增量迭代
当前报告中没有该类型任务。
Pass rate0.0%
Avg time0 ms
Avg tokens0
Avg tools0.0
Avg skills0.0
Tasks
任务默认折叠；先看真实耗时摘要，再展开查看会话分析与 step 指标。
PASS项目从 0 到 1build
Generate a Hello World HarmonyOS project and run it
bootstrap-hello-world · 全部断言通过，任务完成。
LLM 0 ms · Tools 33.25 s · Wait 188.31 s · tool占比 15.0%
240.09 s433,042 tokens25 tools1 skills
PASS项目从 0 到 1build
Generate a Hello World HarmonyOS project and run it
bootstrap-hello-world · 全部断言通过，任务完成。
LLM 0 ms · Tools 33.25 s · Wait 188.31 s · tool占比 15.0%
任务概览
Task ID: bootstrap-hello-world
Session: d918af68-4685-4887-a6c7-bafd376e8b04
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_claude\artifact_bootstrap-0to1_20260421145122803\runs\bootstrap-hello-world
会话分析
任务总耗时: 240.09 s
LLM: 0 ms
Tools: 33.25 s
Wait: 188.31 s
Tool Calls: 25
主要工具: build_project (26.43 s)
耗时占比: 6.0%
工具 / 技能
Tools: todowrite (5), read (4), edit (4), bash (3), build_project (3), glob (2), start_app (2), skill (1), init_project_path (1)
Skills: deveco-create-project (1)
断言结果
- PASS file exists: HelloWorld/AppScope/app.json5
- PASS file exists: HelloWorld/entry/src/main/ets/pages/Index.ets
- PASS file exists: HelloWorld/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 240.08 s | 433,042 | 25 | 1 | 请在当前工作目录从 0 到 1 生成一个名为 HelloWorld 的鸿蒙应用，提供一个简洁的 Hello World 页面，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a Luckin Coffee HarmonyOS app and run it
bootstrap-luckin-coffee · 全部断言通过，任务完成。
LLM 0 ms · Tools 37.17 s · Wait 731.43 s · tool占比 4.8%
779.75 s1,496,013 tokens44 tools1 skills
PASS项目从 0 到 1build
Generate a Luckin Coffee HarmonyOS app and run it
bootstrap-luckin-coffee · 全部断言通过，任务完成。
LLM 0 ms · Tools 37.17 s · Wait 731.43 s · tool占比 4.8%
任务概览
Task ID: bootstrap-luckin-coffee
Session: acbb0fa2-36ca-4d31-a64e-baf26f8afcd5
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_claude\artifact_bootstrap-0to1_20260421145122803\runs\bootstrap-luckin-coffee
会话分析
任务总耗时: 779.75 s
LLM: 0 ms
Tools: 37.17 s
Wait: 731.43 s
Tool Calls: 44
主要工具: build_project (28.48 s)
耗时占比: 19.4%
工具 / 技能
Tools: bash (9), read (9), write (7), todowrite (5), build_project (3), edit (3), init_project_path (2), check_ets_files (2), start_app (2), skill (1), glob (1)
Skills: deveco-create-project (1)
断言结果
- PASS file exists: LuckinCoffee/AppScope/app.json5
- PASS file exists: LuckinCoffee/entry/src/main/ets/pages/Index.ets
- PASS file exists: LuckinCoffee/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 779.75 s | 1,496,013 | 44 | 1 | 我想要一个库幸咖啡的应用，里面有 4 个页面，分别是首页、菜单、会员卡、我的。首页有一个热销饮品的图片，然后依次是“到店取”“幸运送”“电商购”3 个功能入口，然后是“充值”“礼品卡”“团餐”“拼单”4 个功能入口，然后有一个优惠购的图片引导链接，标题写个大大的“库幸咖啡，每天9.9”，最下面是 3 个热销咖啡的图片介绍。菜单页面有一个当前店铺的信息，可供选择自提和外卖，店铺名写清楚是库幸咖啡，下面是一个点餐区域，点餐模块里面一定要有库幸咖啡的招牌“杨梅陨石拿铁”。我的页面最上面是一个个人信息，中间有 5 个快捷功能入口，分别为“我的订单”“咖啡钱包”“优惠券”“招商加盟”“账户余额”，然后是一个邀请好友的图片链接，最下面是 2 个赠送的礼品卡的图片。会员卡页面就放一个会员的图文介绍就行，标题写个“尊贵的VIP黄金会员”。请直接在当前工作目录完成这个鸿蒙应用，最后编译并尝试安装运行；如果受环境限制没法运行，请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a fresh delivery HarmonyOS app and run it
bootstrap-fresh-delivery · 全部断言通过，任务完成。
LLM 0 ms · Tools 92.99 s · Wait 677.46 s · tool占比 12.1%
786.21 s1,748,543 tokens56 tools2 skills
PASS项目从 0 到 1build
Generate a fresh delivery HarmonyOS app and run it
bootstrap-fresh-delivery · 全部断言通过，任务完成。
LLM 0 ms · Tools 92.99 s · Wait 677.46 s · tool占比 12.1%
任务概览
Task ID: bootstrap-fresh-delivery
Session: 9f6486c1-3539-41bb-9e6c-4a6b14b3efd7
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_claude\artifact_bootstrap-0to1_20260421145122803\runs\bootstrap-fresh-delivery
会话分析
任务总耗时: 786.21 s
LLM: 0 ms
Tools: 92.99 s
Wait: 677.46 s
Tool Calls: 56
主要工具: build_project (83.99 s)
耗时占比: 19.5%
工具 / 技能
Tools: read (10), edit (10), write (9), build_project (6), todowrite (4), bash (4), glob (4), init_project_path (3), skill (2), check_ets_files (2), start_app (2)
Skills: deveco-create-project (1), arkts-error-fixes (1)
断言结果
- PASS file exists: FreshDelivery/AppScope/app.json5
- PASS file exists: FreshDelivery/entry/src/main/ets/pages/Index.ets
- PASS file exists: FreshDelivery/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 786.21 s | 1,748,543 | 56 | 2 | 请在当前工作目录从 0 到 1 生成一个名为 FreshDelivery 的鸿蒙应用，包含“首页”“菜市场”“购物车”“我的”四个页面，其中首页包含动态天气提示栏、“今日特价”轮播区并展示 5 款限时折扣生鲜、“智能推荐”模块和“时令蔬菜”“新鲜肉禽”“海鲜水产”3 个快捷入口，菜市场页采用网格布局并提供带语音输入的搜索栏、六大分类“有机蔬菜”“精品肉类”“活鲜水产”“蛋奶制品”“速冻食品”“厨房调料”以及带产地溯源图标和新鲜度指数的商品卡片，购物车页支持修改数量、删除商品、结算和“凑单推荐”入口，我的页展示用户信息、会员等级进度条、“我的订单”“我的农场”“我的菜谱”“客服中心”“设置”等入口，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a travel info HarmonyOS app and run it
bootstrap-travel-platform · 全部断言通过，任务完成。
LLM 0 ms · Tools 51.77 s · Wait 898.38 s · tool占比 5.5%
970.88 s1,317,112 tokens52 tools1 skills
PASS项目从 0 到 1build
Generate a travel info HarmonyOS app and run it
bootstrap-travel-platform · 全部断言通过，任务完成。
LLM 0 ms · Tools 51.77 s · Wait 898.38 s · tool占比 5.5%
任务概览
Task ID: bootstrap-travel-platform
Session: 29e2e026-78b7-4920-9cce-c5906fd84a1d
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_claude\artifact_bootstrap-0to1_20260421145122803\runs\bootstrap-travel-platform
会话分析
任务总耗时: 970.88 s
LLM: 0 ms
Tools: 51.77 s
Wait: 898.38 s
Tool Calls: 52
主要工具: build_project (43.04 s)
耗时占比: 24.1%
工具 / 技能
Tools: read (10), write (10), bash (8), todowrite (6), edit (4), check_ets_files (4), build_project (4), init_project_path (3), start_app (2), skill (1)
Skills: deveco-create-project (1)
断言结果
- PASS file exists: TravelCompass/AppScope/app.json5
- PASS file exists: TravelCompass/entry/src/main/ets/pages/Index.ets
- PASS file exists: TravelCompass/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 970.87 s | 1,317,112 | 52 | 1 | 请在当前工作目录从 0 到 1 生成一个名为 TravelCompass 的鸿蒙应用，包含“首页”“目的地”“行程助手”“个人”四个页面，其中首页展示 5 个热门目的地“巴黎”“东京”“巴厘岛”“纽约”“马尔代夫”的幻灯片、5 个功能入口“旅游攻略”“优惠票”“当地美食”“酒店推荐”“旅行社报名”以及 3 条旅游资讯“夏季旅行优惠大放送，机票低至5折！”“巴厘岛新开网红酒店，限时特惠中！”“东京樱花季攻略，带你玩转最美春天”，目的地页展示上述 5 个目的地的特色和详细信息，行程助手页支持创建、编辑、删除行程并提供天气提醒、景点开放时间提醒、交通提醒等功能入口，个人页展示用户信息和收藏的旅游路线，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a tech news HarmonyOS app and run it
bootstrap-tech-news · 全部断言通过，任务完成。
LLM 0 ms · Tools 685.66 s · Wait 1092.22 s · tool占比 55.4%
1250.00 s1,828,252 tokens95 tools0 skills
PASS项目从 0 到 1build
Generate a tech news HarmonyOS app and run it
bootstrap-tech-news · 全部断言通过，任务完成。
LLM 0 ms · Tools 685.66 s · Wait 1092.22 s · tool占比 55.4%
任务概览
Task ID: bootstrap-tech-news
Session: 69bc3ac4-5dfe-491b-8dea-fe21991ec420
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_claude\artifact_bootstrap-0to1_20260421145122803\runs\bootstrap-tech-news
会话分析
任务总耗时: 1250.00 s
LLM: 0 ms
Tools: 685.66 s
Wait: 1092.22 s
Tool Calls: 95
主要工具: write (510.03 s)
耗时占比: 31.0%
工具 / 技能
Tools: write (30), read (29), bash (15), edit (5), todowrite (4), glob (3), init_project_path (3), build_project (3), start_app (2), check_ets_files (1)
Skills: -
断言结果
- PASS file exists: TechNews/AppScope/app.json5
- PASS file exists: TechNews/entry/src/main/ets/pages/Index.ets
- PASS file exists: TechNews/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 1250.00 s | 1,828,252 | 95 | 0 | 请在当前工作目录从 0 到 1 生成一个名为 TechNews 的鸿蒙应用，包含“头条”“快讯”“产品”“我的”四个页面，其中头条页采用三栏布局并分别展示当日重大科技新闻、各大科技博客实时标题流和主要科技公司股价动态，快讯页按时间倒序展示简短精炼的突发科技资讯，产品页以网格布局展示新发布硬件或软件评测并支持按“智能手机”“AI软件”等分类筛选且每张卡片包含图片、名称和聚合评测分数，我的页支持关注特定公司或技术话题并展示发布会信息列表，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
Report generated from benchmark JSON with linked session export visualizations.