Pass Rate
100.0%
保留 benchmark 原始结果，先看整体完成质量。
Benchmark Dashboard
CodeGenie HarmonyOS Zero-to-One Bootstrap Eval
首页现在同时承担 benchmark 结果页与运营分析看板角色。先看真实耗时，再通过工具、等待和占比分析定位瓶颈任务。
Avg Task Time
581.86 s
按任务端到端 wall clock 统计平均耗时。
Avg LLM Time
64.58 s
LLM 口径为 reasoning + text，不含工具与等待。
Avg Tool Time
26.50 s
辅助判断任务慢点更偏工具链还是模型轮次。
Avg Tool Calls
39.2
每个可分析任务平均工具调用次数。
运营分析
以下分析只统计成功匹配 export.json 的任务，真实耗时优先，百分比作为辅助解释。
分析覆盖
可分析会话 5 / 5
覆盖率 100.0%，通过率 100.0%。
Total assistant time2898.17 s
Total tool calls196
Total skill loads16
时间总览
2898.17 s
总 assistant 耗时，用于拆解 LLM、工具、等待等会话内时间分布。
Tools 132.51 s · Wait 2443.57 s · Text 0 ms
工具与调用
196 calls
先看总量，再看最常被调用的工具和最常加载的 skills。
- read49 calls
- write33 calls
- todowrite25 calls
- edit20 calls
- build_project19 calls
Top skills
- deveco-create-project5 loads
- harmonyos-app5 loads
- arkui-knowledge3 loads
- arkts-error-fixes3 loads
耗时工具 Top
132.51 s
当前样例未发现外部集成 / MCP。
- build_project114.23 s
- start_app12.78 s
- bash4.19 s
- skill452 ms
- read317 ms
时间瓶颈
优先点开这些任务，通常最能解释整体变慢的原因。
最慢任务
Generate a fresh delivery HarmonyOS app and run it
967.09 s · 占同类总量 33.2%
等待 902.18 s
查看会话详情LLM 耗时最高
Generate a tech news HarmonyOS app and run it
151.33 s · 占同类总量 46.9%
推理 151.33 s · 等待 469.85 s
查看会话详情工具耗时最高
Generate a fresh delivery HarmonyOS app and run it
55.07 s · 占同类总量 41.6%
build_project (49.94 s)
查看会话详情等待最高
Generate a fresh delivery HarmonyOS app and run it
902.18 s · 占同类总量 36.9%
占该任务总耗时 93.5%
查看会话详情Token 最高
Generate a fresh delivery HarmonyOS app and run it
1,832,015 tokens · 占同类总量 34.8%
tools 48
查看会话详情Tool Calls 最高
Generate a fresh delivery HarmonyOS app and run it
48 calls · 占同类总量 24.5%
build_project (49.94 s)
查看会话详情By Kind
按任务类型查看 benchmark 结果分布，零数据项会自动弱化显示。
稳定性
JS Crash 修复
当前报告中没有该类型任务。
Pass rate0.0%
Avg time0 ms
Avg tokens0
Avg tools0.0
Avg skills0.0
Bootstrap
项目从 0 到 1
通过率 100.0%，共 5 个任务。
Pass rate100.0%
Avg time581.86 s
Avg tokens74,159
Avg tools39.2
Avg skills3.2
体验演进
UI 增量迭代
当前报告中没有该类型任务。
Pass rate0.0%
Avg time0 ms
Avg tokens0
Avg tools0.0
Avg skills0.0
跨平台迁移
安卓迁移鸿蒙
当前报告中没有该类型任务。
Pass rate0.0%
Avg time0 ms
Avg tokens0
Avg tools0.0
Avg skills0.0
Tasks
任务默认折叠；先看真实耗时摘要，再展开查看会话分析与 step 指标。
PASS项目从 0 到 1build
Generate a Hello World HarmonyOS project and run it
bootstrap-hello-world · 全部断言通过，任务完成。
LLM 2.91 s · Tools 9.84 s · Wait 193.41 s · tool占比 4.8%
208.30 s48,064 tokens25 tools2 skills
PASS项目从 0 到 1build
Generate a Hello World HarmonyOS project and run it
bootstrap-hello-world · 全部断言通过，任务完成。
LLM 2.91 s · Tools 9.84 s · Wait 193.41 s · tool占比 4.8%
任务概览
Task ID: bootstrap-hello-world
Session: ses_24b946176ffeZAHdJm6PaJDGLX
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_codegenie\artifact_bootstrap-0to1_20260422170044087\runs\bootstrap-hello-world
会话分析
任务总耗时: 208.30 s
LLM: 2.91 s
Tools: 9.84 s
Wait: 193.41 s
Tool Calls: 25
主要工具: build_project (6.05 s)
耗时占比: 7.2%
工具 / 技能
Tools: read (7), todowrite (5), build_project (3), edit (3), skill (2), start_app (2), bash (1), glob (1), switch_cwd (1)
Skills: deveco-create-project (1), harmonyos-app (1)
断言结果
- PASS file exists: HelloWorld/AppScope/app.json5
- PASS file exists: HelloWorld/entry/src/main/ets/pages/Index.ets
- PASS file exists: HelloWorld/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 207.32 s | 48,064 | 25 | 2 | 请在当前工作目录从 0 到 1 生成一个名为 HelloWorld 的鸿蒙应用，提供一个简洁的 Hello World 页面，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a Luckin Coffee HarmonyOS app and run it
bootstrap-luckin-coffee · 全部断言通过，任务完成。
LLM 41.19 s · Tools 24.30 s · Wait 434.99 s · tool占比 4.9%
502.68 s69,264 tokens38 tools3 skills
PASS项目从 0 到 1build
Generate a Luckin Coffee HarmonyOS app and run it
bootstrap-luckin-coffee · 全部断言通过，任务完成。
LLM 41.19 s · Tools 24.30 s · Wait 434.99 s · tool占比 4.9%
任务概览
Task ID: bootstrap-luckin-coffee
Session: ses_24b9133d3ffeIab4OuAFT2BZ7R
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_codegenie\artifact_bootstrap-0to1_20260422170044087\runs\bootstrap-luckin-coffee
会话分析
任务总耗时: 502.68 s
LLM: 41.19 s
Tools: 24.30 s
Wait: 434.99 s
Tool Calls: 38
主要工具: build_project (21.45 s)
耗时占比: 17.3%
工具 / 技能
Tools: read (13), todowrite (6), write (5), skill (3), build_project (3), edit (3), start_app (2), bash (1), switch_cwd (1), glob (1)
Skills: harmonyos-app (1), arkui-knowledge (1), deveco-create-project (1)
断言结果
- PASS file exists: LuckinCoffee/AppScope/app.json5
- PASS file exists: LuckinCoffee/entry/src/main/ets/pages/Index.ets
- PASS file exists: LuckinCoffee/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 501.65 s | 69,264 | 38 | 3 | 我想要一个库幸咖啡的应用，里面有 4 个页面，分别是首页、菜单、会员卡、我的。首页有一个热销饮品的图片，然后依次是“到店取”“幸运送”“电商购”3 个功能入口，然后是“充值”“礼品卡”“团餐”“拼单”4 个功能入口，然后有一个优惠购的图片引导链接，标题写个大大的“库幸咖啡，每天9.9”，最下面是 3 个热销咖啡的图片介绍。菜单页面有一个当前店铺的信息，可供选择自提和外卖，店铺名写清楚是库幸咖啡，下面是一个点餐区域，点餐模块里面一定要有库幸咖啡的招牌“杨梅陨石拿铁”。我的页面最上面是一个个人信息，中间有 5 个快捷功能入口，分别为“我的订单”“咖啡钱包”“优惠券”“招商加盟”“账户余额”，然后是一个邀请好友的图片链接，最下面是 2 个赠送的礼品卡的图片。会员卡页面就放一个会员的图文介绍就行，标题写个“尊贵的VIP黄金会员”。请直接在当前工作目录完成这个鸿蒙应用，最后编译并尝试安装运行；如果受环境限制没法运行，请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a fresh delivery HarmonyOS app and run it
bootstrap-fresh-delivery · 全部断言通过，任务完成。
LLM 7.60 s · Tools 55.07 s · Wait 902.18 s · tool占比 5.7%
967.09 s96,435 tokens48 tools4 skills
PASS项目从 0 到 1build
Generate a fresh delivery HarmonyOS app and run it
bootstrap-fresh-delivery · 全部断言通过，任务完成。
LLM 7.60 s · Tools 55.07 s · Wait 902.18 s · tool占比 5.7%
任务概览
Task ID: bootstrap-fresh-delivery
Session: ses_24b898812ffeipOiVeaAcHB3ml
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_codegenie\artifact_bootstrap-0to1_20260422170044087\runs\bootstrap-fresh-delivery
会话分析
任务总耗时: 967.09 s
LLM: 7.60 s
Tools: 55.07 s
Wait: 902.18 s
Tool Calls: 48
主要工具: build_project (49.94 s)
耗时占比: 33.2%
工具 / 技能
Tools: write (13), read (8), bash (7), build_project (5), skill (4), todowrite (4), edit (4), start_app (2), switch_cwd (1)
Skills: deveco-create-project (1), arkui-knowledge (1), harmonyos-app (1), arkts-error-fixes (1)
断言结果
- PASS file exists: FreshDelivery/AppScope/app.json5
- PASS file exists: FreshDelivery/entry/src/main/ets/pages/Index.ets
- PASS file exists: FreshDelivery/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 966.11 s | 96,435 | 48 | 4 | 请在当前工作目录从 0 到 1 生成一个名为 FreshDelivery 的鸿蒙应用，包含“首页”“菜市场”“购物车”“我的”四个页面，其中首页包含动态天气提示栏、“今日特价”轮播区并展示 5 款限时折扣生鲜、“智能推荐”模块和“时令蔬菜”“新鲜肉禽”“海鲜水产”3 个快捷入口，菜市场页采用网格布局并提供带语音输入的搜索栏、六大分类“有机蔬菜”“精品肉类”“活鲜水产”“蛋奶制品”“速冻食品”“厨房调料”以及带产地溯源图标和新鲜度指数的商品卡片，购物车页支持修改数量、删除商品、结算和“凑单推荐”入口，我的页展示用户信息、会员等级进度条、“我的订单”“我的农场”“我的菜谱”“客服中心”“设置”等入口，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a travel info HarmonyOS app and run it
bootstrap-travel-platform · 全部断言通过，任务完成。
LLM 119.88 s · Tools 16.64 s · Wait 443.13 s · tool占比 2.9%
581.68 s75,311 tokens41 tools3 skills
PASS项目从 0 到 1build
Generate a travel info HarmonyOS app and run it
bootstrap-travel-platform · 全部断言通过，任务完成。
LLM 119.88 s · Tools 16.64 s · Wait 443.13 s · tool占比 2.9%
任务概览
Task ID: bootstrap-travel-platform
Session: ses_24b7ac66affetz77DxUuFIjb6q
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_codegenie\artifact_bootstrap-0to1_20260422170044087\runs\bootstrap-travel-platform
会话分析
任务总耗时: 581.68 s
LLM: 119.88 s
Tools: 16.64 s
Wait: 443.13 s
Tool Calls: 41
主要工具: build_project (13.51 s)
耗时占比: 20.0%
工具 / 技能
Tools: read (12), write (7), todowrite (5), build_project (4), edit (4), skill (3), bash (3), start_app (2), switch_cwd (1)
Skills: harmonyos-app (1), deveco-create-project (1), arkts-error-fixes (1)
断言结果
- PASS file exists: TravelCompass/AppScope/app.json5
- PASS file exists: TravelCompass/entry/src/main/ets/pages/Index.ets
- PASS file exists: TravelCompass/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 580.70 s | 75,311 | 41 | 3 | 请在当前工作目录从 0 到 1 生成一个名为 TravelCompass 的鸿蒙应用，包含“首页”“目的地”“行程助手”“个人”四个页面，其中首页展示 5 个热门目的地“巴黎”“东京”“巴厘岛”“纽约”“马尔代夫”的幻灯片、5 个功能入口“旅游攻略”“优惠票”“当地美食”“酒店推荐”“旅行社报名”以及 3 条旅游资讯“夏季旅行优惠大放送，机票低至5折！”“巴厘岛新开网红酒店，限时特惠中！”“东京樱花季攻略，带你玩转最美春天”，目的地页展示上述 5 个目的地的特色和详细信息，行程助手页支持创建、编辑、删除行程并提供天气提醒、景点开放时间提醒、交通提醒等功能入口，个人页展示用户信息和收藏的旅游路线，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
PASS项目从 0 到 1build
Generate a tech news HarmonyOS app and run it
bootstrap-tech-news · 全部断言通过，任务完成。
LLM 151.33 s · Tools 26.66 s · Wait 469.85 s · tool占比 4.1%
649.54 s81,723 tokens44 tools4 skills
PASS项目从 0 到 1build
Generate a tech news HarmonyOS app and run it
bootstrap-tech-news · 全部断言通过，任务完成。
LLM 151.33 s · Tools 26.66 s · Wait 469.85 s · tool占比 4.1%
任务概览
Task ID: bootstrap-tech-news
Session: ses_24b71e643ffesgi3cDmF1DpdJN
Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_codegenie\artifact_bootstrap-0to1_20260422170044087\runs\bootstrap-tech-news
会话分析
任务总耗时: 649.54 s
LLM: 151.33 s
Tools: 26.66 s
Wait: 469.85 s
Tool Calls: 44
主要工具: build_project (23.28 s)
耗时占比: 22.3%
工具 / 技能
Tools: read (9), write (8), edit (6), todowrite (5), skill (4), bash (4), build_project (4), start_app (2), switch_cwd (1), glob (1)
Skills: harmonyos-app (1), arkui-knowledge (1), deveco-create-project (1), arkts-error-fixes (1)
断言结果
- PASS file exists: TechNews/AppScope/app.json5
- PASS file exists: TechNews/entry/src/main/ets/pages/Index.ets
- PASS file exists: TechNews/entry/build/default/outputs/default/app/entry-default.hap
| Step | Stage | Pass | Time | Tokens | Tools | Skills | Prompt | Failure |
|---|---|---|---|---|---|---|---|---|
| create | build | PASS | 648.59 s | 81,723 | 44 | 4 | 请在当前工作目录从 0 到 1 生成一个名为 TechNews 的鸿蒙应用，包含“头条”“快讯”“产品”“我的”四个页面，其中头条页采用三栏布局并分别展示当日重大科技新闻、各大科技博客实时标题流和主要科技公司股价动态，快讯页按时间倒序展示简短精炼的突发科技资讯，产品页以网格布局展示新发布硬件或软件评测并支持按“智能手机”“AI软件”等分类筛选且每张卡片包含图片、名称和聚合评测分数，我的页支持关注特定公司或技术话题并展示发布会信息列表，最后完成编译并尝试运行，如受环境限制请明确说明原因。 | - |
Report generated from benchmark JSON with linked session export visualizations.