Pass Rate
100.0%
保留 benchmark 原始结果，先看整体完成质量。
Benchmark Dashboard
CodeGenie HarmonyOS Zero-to-One Bootstrap Eval
首页现在同时承担 benchmark 结果页与运营分析看板角色。先看真实耗时，再通过工具、等待和占比分析定位瓶颈任务。
Avg Task Time
633.17 s
按任务端到端 wall clock 统计平均耗时。
Avg LLM Time
141.24 s
LLM 口径为 reasoning + text，不含工具与等待。
Avg Tool Time
58.25 s
辅助判断任务慢点更偏工具链还是模型轮次。
Avg Tool Calls
43.8
每个可分析任务平均工具调用次数。
运营分析
以下分析只统计成功匹配 export.json 的任务，真实耗时优先，百分比作为辅助解释。
分析覆盖
可分析会话 5 / 5
覆盖率 100.0%，通过率 100.0%。
Total assistant time3154.54 s
Total tool calls219
Total skill loads15
时间总览
3154.54 s
总 assistant 耗时，用于拆解 LLM、工具、等待等会话内时间分布。
Tools 291.25 s · Wait 2160.90 s · Text 0 ms
工具与调用
219 calls
先看总量，再看最常被调用的工具和最常加载的 skills。
- write56 calls
- read55 calls
- todowrite25 calls
- build_project21 calls
- edit20 calls
Top skills
- deveco-create-project5 loads
- harmonyos-app5 loads
- arkui-knowledge3 loads
- arkts-error-fixes2 loads
耗时工具 Top
291.25 s
当前样例未发现外部集成 / MCP。
- build_project244.30 s
- start_app43.05 s
- bash1.57 s
- write687 ms
- read519 ms
时间瓶颈
优先点开这些任务，通常最能解释整体变慢的原因。
最慢任务
Generate a fresh delivery HarmonyOS app and run it
896.30 s · 占同类总量 28.3%
等待 725.58 s
查看会话详情LLM 耗时最高
Generate a Luckin Coffee HarmonyOS app and run it
360.26 s · 占同类总量 51.0%
推理 360.26 s · 等待 267.58 s
查看会话详情工具耗时最高
Generate a fresh delivery HarmonyOS app and run it
71.36 s · 占同类总量 24.5%
build_project (67.12 s)
查看会话详情等待最高
Generate a fresh delivery HarmonyOS app and run it
725.58 s · 占同类总量 33.6%
占该任务总耗时 81.2%
查看会话详情Token 最高
Generate a tech news HarmonyOS app and run it
1,398,174 tokens · 占同类总量 25.5%
tools 45
查看会话详情Tool Calls 最高
Generate a Luckin Coffee HarmonyOS app and run it
61 calls · 占同类总量 27.9%
build_project (45.84 s)
查看会话详情By Kind
按任务类型查看 benchmark 结果分布，零数据项会自动弱化显示。
稳定性
JS Crash 修复
当前报告中没有该类型任务。
Pass rate0.0%
Avg time0 ms
Avg tokens0
Avg tools0.0
Avg skills0.0
Bootstrap
项目从 0 到 1
通过率 100.0%，共 5 个任务。
Pass rate100.0%
Avg time633.17 s
Avg tokens1,098,230
Avg tools43.8
Avg skills3.0
体验演进
UI 增量迭代
当前报告中没有该类型任务。
Pass rate0.0%
Avg time0 ms
Avg tokens0
Avg tools0.0
Avg skills0.0
Tasks
任务默认折叠；先看真实耗时摘要，再展开查看会话分析与 step 指标。
PASS项目从 0 到 1build
Generate a Hello World HarmonyOS project and run it
bootstrap-hello-world · 全部断言通过，任务完成。
LLM 59.41 s · Tools 56.18 s · Wait 83.28 s · tool占比 28.6%
198.71 s369,399 tokens21 tools2 skills
PASS项目从 0 到 1build
Generate a Hello World HarmonyOS project and run it
bootstrap-hello-world · 全部断言通过，任务完成。
LLM 59.41 s · Tools 56.18 s · Wait 83.28 s · tool占比 28.6%
任务概览
Task ID: bootstrap-hello-world
Session: ses_25131509bffeojG4jfkRTTLnYU
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_codegenie\artifact_bootstrap-0to1_20260421145113230\runs\bootstrap-hello-world
会话分析
任务总耗时: 198.71 s
LLM: 59.41 s
Tools: 56.18 s
Wait: 83.28 s
Tool Calls: 21
主要工具: start_app (30.69 s)
耗时占比: 6.3%
工具 / 技能
Tools: todowrite (5), read (4), build_project (3), edit (3), skill (2), start_app (2), bash (1), switch_cwd (1)
Skills: deveco-create-project (1), harmonyos-app (1)
断言结果
- PASS file exists: HelloWorld/AppScope/app.json5
- PASS file exists: HelloWorld/entry/src/main/ets/pages/Index.ets
- PASS file exists: HelloWorld/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 197.64 s | 369,399 | 21 | 2 | 请在当前工作目录从 0 到 1 生成一个名为 HelloWorld 的鸿蒙应用，提供一个简洁的 Hello World 页面，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a Luckin Coffee HarmonyOS app and run it
bootstrap-luckin-coffee · 全部断言通过，任务完成。
LLM 360.26 s · Tools 49.81 s · Wait 267.58 s · tool占比 7.4%
679.37 s1,234,698 tokens61 tools3 skills
PASS项目从 0 到 1build
Generate a Luckin Coffee HarmonyOS app and run it
bootstrap-luckin-coffee · 全部断言通过，任务完成。
LLM 360.26 s · Tools 49.81 s · Wait 267.58 s · tool占比 7.4%
任务概览
Task ID: bootstrap-luckin-coffee
Session: ses_2512e480bffemZ7kIKpqkYR92p
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_codegenie\artifact_bootstrap-0to1_20260421145113230\runs\bootstrap-luckin-coffee
会话分析
任务总耗时: 679.37 s
LLM: 360.26 s
Tools: 49.81 s
Wait: 267.58 s
Tool Calls: 61
主要工具: build_project (45.84 s)
耗时占比: 21.5%
工具 / 技能
Tools: write (22), read (15), edit (7), todowrite (5), build_project (4), skill (3), start_app (2), bash (1), switch_cwd (1), glob (1)
Skills: harmonyos-app (1), arkui-knowledge (1), deveco-create-project (1)
断言结果
- PASS file exists: LuckinCoffee/AppScope/app.json5
- PASS file exists: LuckinCoffee/entry/src/main/ets/pages/Index.ets
- PASS file exists: LuckinCoffee/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 678.43 s | 1,234,698 | 61 | 3 | 我想要一个库幸咖啡的应用，里面有 4 个页面，分别是首页、菜单、会员卡、我的。首页有一个热销饮品的图片，然后依次是“到店取”“幸运送”“电商购”3 个功能入口，然后是“充值”“礼品卡”“团餐”“拼单”4 个功能入口，然后有一个优惠购的图片引导链接，标题写个大大的“库幸咖啡，每天9.9”，最下面是 3 个热销咖啡的图片介绍。菜单页面有一个当前店铺的信息，可供选择自提和外卖，店铺名写清楚是库幸咖啡，下面是一个点餐区域，点餐模块里面一定要有库幸咖啡的招牌“杨梅陨石拿铁”。我的页面最上面是一个个人信息，中间有 5 个快捷功能入口，分别为“我的订单”“咖啡钱包”“优惠券”“招商加盟”“账户余额”，然后是一个邀请好友的图片链接，最下面是 2 个赠送的礼品卡的图片。会员卡页面就放一个会员的图文介绍就行，标题写个“尊贵的VIP黄金会员”。请直接在当前工作目录完成这个鸿蒙应用，最后编译并尝试安装运行；如果受环境限制没法运行，请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a fresh delivery HarmonyOS app and run it
bootstrap-fresh-delivery · 全部断言通过，任务完成。
LLM 97.26 s · Tools 71.36 s · Wait 725.58 s · tool占比 8.0%
896.30 s1,271,189 tokens50 tools3 skills
PASS项目从 0 到 1build
Generate a fresh delivery HarmonyOS app and run it
bootstrap-fresh-delivery · 全部断言通过，任务完成。
LLM 97.26 s · Tools 71.36 s · Wait 725.58 s · tool占比 8.0%
任务概览
Task ID: bootstrap-fresh-delivery
Session: ses_25123ea81ffeErP12pDkbizsC0
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_codegenie\artifact_bootstrap-0to1_20260421145113230\runs\bootstrap-fresh-delivery
会话分析
任务总耗时: 896.30 s
LLM: 97.26 s
Tools: 71.36 s
Wait: 725.58 s
Tool Calls: 50
主要工具: build_project (67.12 s)
耗时占比: 28.3%
工具 / 技能
Tools: write (14), read (12), todowrite (5), build_project (5), glob (4), skill (3), edit (3), start_app (2), bash (1), switch_cwd (1)
Skills: harmonyos-app (1), deveco-create-project (1), arkts-error-fixes (1)
断言结果
- PASS file exists: FreshDelivery/AppScope/app.json5
- PASS file exists: FreshDelivery/entry/src/main/ets/pages/Index.ets
- PASS file exists: FreshDelivery/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 895.27 s | 1,271,189 | 50 | 3 | 请在当前工作目录从 0 到 1 生成一个名为 FreshDelivery 的鸿蒙应用，包含“首页”“菜市场”“购物车”“我的”四个页面，其中首页包含动态天气提示栏、“今日特价”轮播区并展示 5 款限时折扣生鲜、“智能推荐”模块和“时令蔬菜”“新鲜肉禽”“海鲜水产”3 个快捷入口，菜市场页采用网格布局并提供带语音输入的搜索栏、六大分类“有机蔬菜”“精品肉类”“活鲜水产”“蛋奶制品”“速冻食品”“厨房调料”以及带产地溯源图标和新鲜度指数的商品卡片，购物车页支持修改数量、删除商品、结算和“凑单推荐”入口，我的页展示用户信息、会员等级进度条、“我的订单”“我的农场”“我的菜谱”“客服中心”“设置”等入口，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a travel info HarmonyOS app and run it
bootstrap-travel-platform · 全部断言通过，任务完成。
LLM 67.36 s · Tools 48.10 s · Wait 566.37 s · tool占比 7.1%
683.66 s1,216,635 tokens42 tools3 skills
PASS项目从 0 到 1build
Generate a travel info HarmonyOS app and run it
bootstrap-travel-platform · 全部断言通过，任务完成。
LLM 67.36 s · Tools 48.10 s · Wait 566.37 s · tool占比 7.1%
任务概览
Task ID: bootstrap-travel-platform
Session: ses_251163d29ffecFyYWVezsKjpKG
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_codegenie\artifact_bootstrap-0to1_20260421145113230\runs\bootstrap-travel-platform
会话分析
任务总耗时: 683.66 s
LLM: 67.36 s
Tools: 48.10 s
Wait: 566.37 s
Tool Calls: 42
主要工具: build_project (44.58 s)
耗时占比: 21.6%
工具 / 技能
Tools: read (12), write (10), todowrite (5), build_project (4), skill (3), edit (3), start_app (2), bash (1), switch_cwd (1), glob (1)
Skills: harmonyos-app (1), arkui-knowledge (1), deveco-create-project (1)
断言结果
- PASS file exists: TravelCompass/AppScope/app.json5
- PASS file exists: TravelCompass/entry/src/main/ets/pages/Index.ets
- PASS file exists: TravelCompass/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 682.68 s | 1,216,635 | 42 | 3 | 请在当前工作目录从 0 到 1 生成一个名为 TravelCompass 的鸿蒙应用，包含“首页”“目的地”“行程助手”“个人”四个页面，其中首页展示 5 个热门目的地“巴黎”“东京”“巴厘岛”“纽约”“马尔代夫”的幻灯片、5 个功能入口“旅游攻略”“优惠票”“当地美食”“酒店推荐”“旅行社报名”以及 3 条旅游资讯“夏季旅行优惠大放送，机票低至5折！”“巴厘岛新开网红酒店，限时特惠中！”“东京樱花季攻略，带你玩转最美春天”，目的地页展示上述 5 个目的地的特色和详细信息，行程助手页支持创建、编辑、删除行程并提供天气提醒、景点开放时间提醒、交通提醒等功能入口，个人页展示用户信息和收藏的旅游路线，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a tech news HarmonyOS app and run it
bootstrap-tech-news · 全部断言通过，任务完成。
LLM 121.92 s · Tools 65.80 s · Wait 518.10 s · tool占比 9.3%
707.83 s1,399,227 tokens45 tools4 skills
PASS项目从 0 到 1build
Generate a tech news HarmonyOS app and run it
bootstrap-tech-news · 全部断言通过，任务完成。
LLM 121.92 s · Tools 65.80 s · Wait 518.10 s · tool占比 9.3%
任务概览
Task ID: bootstrap-tech-news
Session: ses_2510bce95ffeZtLFvDh3tgQ0V5
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_codegenie\artifact_bootstrap-0to1_20260421145113230\runs\bootstrap-tech-news
会话分析
任务总耗时: 707.83 s
LLM: 121.92 s
Tools: 65.80 s
Wait: 518.10 s
Tool Calls: 45
主要工具: build_project (61.75 s)
耗时占比: 22.4%
工具 / 技能
Tools: read (12), write (10), todowrite (5), build_project (5), skill (4), edit (4), start_app (2), bash (1), switch_cwd (1), glob (1)
Skills: harmonyos-app (1), arkui-knowledge (1), deveco-create-project (1), arkts-error-fixes (1)
断言结果
- PASS file exists: TechNews/AppScope/app.json5
- PASS file exists: TechNews/entry/src/main/ets/pages/Index.ets
- PASS file exists: TechNews/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 706.90 s | 1,399,227 | 45 | 4 | 请在当前工作目录从 0 到 1 生成一个名为 TechNews 的鸿蒙应用，包含“头条”“快讯”“产品”“我的”四个页面，其中头条页采用三栏布局并分别展示当日重大科技新闻、各大科技博客实时标题流和主要科技公司股价动态，快讯页按时间倒序展示简短精炼的突发科技资讯，产品页以网格布局展示新发布硬件或软件评测并支持按“智能手机”“AI软件”等分类筛选且每张卡片包含图片、名称和聚合评测分数，我的页支持关注特定公司或技术话题并展示发布会信息列表，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
Report generated from benchmark JSON with linked session export visualizations.