Benchmark Dashboard

CodeGenie HarmonyOS Zero-to-One Bootstrap Eval

首页现在同时承担 benchmark 结果页与运营分析看板角色。先看真实耗时，再通过工具、等待和占比分析定位瓶颈任务。

Generated At2026/4/21 15:48:27
Tasks5 total / 5 passed / 0 failed
Analysis Coverage5 / 5 · 100.0%
Analyzable Pass Rate100.0%
Pass Rate
100.0%
保留 benchmark 原始结果，先看整体完成质量。
Avg Task Time
685.88 s
按任务端到端 wall clock 统计平均耗时。
Avg LLM Time
207.82 s
LLM 口径为 reasoning + text，不含工具与等待。
Avg Tool Time
52.14 s
辅助判断任务慢点更偏工具链还是模型轮次。
Avg Tool Calls
45.8
每个可分析任务平均工具调用次数。

运营分析

以下分析只统计成功匹配 export.json 的任务，真实耗时优先，百分比作为辅助解释。

分析覆盖

可分析会话 5 / 5

覆盖率 100.0%，通过率 100.0%。

Total assistant time3418.29 s
Total tool calls229
Total skill loads10
时间总览

3418.29 s

总 assistant 耗时，用于拆解 LLM、工具、等待等会话内时间分布。

Tools 260.70 s · Wait 2122.25 s · Text 0 ms
LLM 总耗时 1039.11 s
占分析耗时 30.4%，其中推理 1039.11 s。
工具调用耗时 260.70 s
占分析耗时 7.6%。
等待耗时 2122.25 s
占分析耗时 62.1%。
文本输出耗时 0 ms
占分析耗时 0.0%。
工具与调用

229 calls

先看总量，再看最常被调用的工具和最常加载的 skills。

  • read67 calls
  • write44 calls
  • todowrite26 calls
  • edit21 calls
  • codegenie-mcp_build_project21 calls
Top skills
  • deveco-create-project5 loads
  • arkui-knowledge3 loads
  • arkts-error-fixes2 loads
耗时工具 Top

260.70 s

包含外部集成 / MCP 255.43 s。

  • codegenie-mcp_build_project232.96 s
  • codegenie-mcp_start_app16.71 s
  • codegenie-mcp_init_project_path5.69 s
  • write2.02 s
  • bash1.42 s

时间瓶颈

优先点开这些任务，通常最能解释整体变慢的原因。

最慢任务

Generate a tech news HarmonyOS app and run it

920.91 s · 占同类总量 26.9%

等待 562.88 s

查看会话详情
LLM 耗时最高

Generate a tech news HarmonyOS app and run it

300.72 s · 占同类总量 28.9%

推理 300.72 s · 等待 562.88 s

查看会话详情
工具耗时最高

Generate a travel info HarmonyOS app and run it

69.92 s · 占同类总量 26.8%

codegenie-mcp_build_project (64.03 s)

查看会话详情
等待最高

Generate a fresh delivery HarmonyOS app and run it

697.79 s · 占同类总量 32.9%

占该任务总耗时 77.3%

查看会话详情
Token 最高

Generate a fresh delivery HarmonyOS app and run it

1,186,526 tokens · 占同类总量 27.2%

tools 52

查看会话详情
Tool Calls 最高

Generate a Luckin Coffee HarmonyOS app and run it

57 calls · 占同类总量 24.9%

codegenie-mcp_build_project (46.94 s)

查看会话详情

By Kind

按任务类型查看 benchmark 结果分布，零数据项会自动弱化显示。

稳定性

JS Crash 修复

当前报告中没有该类型任务。

Pass rate0.0%
Avg time0 ms
Avg tokens0
Avg tools0.0
Avg skills0.0
Bootstrap

项目从 0 到 1

通过率 100.0%，共 5 个任务。

Pass rate100.0%
Avg time685.88 s
Avg tokens849,770
Avg tools45.8
Avg skills2.0
体验演进

UI 增量迭代

当前报告中没有该类型任务。

Pass rate0.0%
Avg time0 ms
Avg tokens0
Avg tools0.0
Avg skills0.0

Tasks

任务默认折叠；先看真实耗时摘要，再展开查看会话分析与 step 指标。

PASS项目从 0 到 1build

Generate a Hello World HarmonyOS project and run it

bootstrap-hello-world · 全部断言通过，任务完成。

LLM 66.16 s · Tools 30.77 s · Wait 105.16 s · tool占比 15.3%
203.56 s312,986 tokens23 tools1 skills
查看会话详情

任务概览

Task ID: bootstrap-hello-world

Session: ses_251313cebffevHwBKm1pwJsq32

Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_opencode\artifact_bootstrap-0to1_20260421145118394\runs\bootstrap-hello-world

会话分析

任务总耗时: 203.56 s

LLM: 66.16 s

Tools: 30.77 s

Wait: 105.16 s

Tool Calls: 23

主要工具: codegenie-mcp_build_project (26.86 s)

耗时占比: 5.9%

工具 / 技能

Tools: todowrite (5), read (4), edit (4), codegenie-mcp_build_project (3), bash (2), codegenie-mcp_start_app (2), skill (1), glob (1), codegenie-mcp_init_project_path (1)

Skills: deveco-create-project (1)

断言结果

  • PASS file exists: HelloWorld/AppScope/app.json5
  • PASS file exists: HelloWorld/entry/src/main/ets/pages/Index.ets
  • PASS file exists: HelloWorld/entry/build/default/outputs/default/app/entry-default.hap
StepStagePassTimeTokensToolsSkillsPromptFailure
create build PASS 202.71 s 312,986 23 1 请在当前工作目录从 0 到 1 生成一个名为 HelloWorld 的鸿蒙应用，提供一个简洁的 Hello World 页面，最后完成编译并尝试运行，如受环境限制请明确说明原因。 -
PASS项目从 0 到 1build

Generate a Luckin Coffee HarmonyOS app and run it

bootstrap-luckin-coffee · 全部断言通过，任务完成。

LLM 240.05 s · Tools 52.70 s · Wait 329.91 s · tool占比 8.5%
624.80 s1,119,448 tokens57 tools1 skills
查看会话详情

任务概览

Task ID: bootstrap-luckin-coffee

Session: ses_2512e219dffej3o4a2EHs11AOB

Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_opencode\artifact_bootstrap-0to1_20260421145118394\runs\bootstrap-luckin-coffee

会话分析

任务总耗时: 624.80 s

LLM: 240.05 s

Tools: 52.70 s

Wait: 329.91 s

Tool Calls: 57

主要工具: codegenie-mcp_build_project (46.94 s)

耗时占比: 18.2%

工具 / 技能

Tools: read (24), edit (8), write (7), todowrite (6), codegenie-mcp_build_project (4), codegenie-mcp_init_project_path (2), codegenie-mcp_check_ets_files (2), codegenie-mcp_start_app (2), skill (1), bash (1)

Skills: deveco-create-project (1)

断言结果

  • PASS file exists: LuckinCoffee/AppScope/app.json5
  • PASS file exists: LuckinCoffee/entry/src/main/ets/pages/Index.ets
  • PASS file exists: LuckinCoffee/entry/build/default/outputs/default/app/entry-default.hap
StepStagePassTimeTokensToolsSkillsPromptFailure
create build PASS 623.96 s 1,119,448 57 1 我想要一个库幸咖啡的应用，里面有 4 个页面，分别是首页、菜单、会员卡、我的。首页有一个热销饮品的图片，然后依次是“到店取”“幸运送”“电商购”3 个功能入口，然后是“充值”“礼品卡”“团餐”“拼单”4 个功能入口，然后有一个优惠购的图片引导链接，标题写个大大的“库幸咖啡，每天9.9”，最下面是 3 个热销咖啡的图片介绍。菜单页面有一个当前店铺的信息，可供选择自提和外卖，店铺名写清楚是库幸咖啡，下面是一个点餐区域，点餐模块里面一定要有库幸咖啡的招牌“杨梅陨石拿铁”。我的页面最上面是一个个人信息，中间有 5 个快捷功能入口，分别为“我的订单”“咖啡钱包”“优惠券”“招商加盟”“账户余额”，然后是一个邀请好友的图片链接，最下面是 2 个赠送的礼品卡的图片。会员卡页面就放一个会员的图文介绍就行，标题写个“尊贵的VIP黄金会员”。请直接在当前工作目录完成这个鸿蒙应用，最后编译并尝试安装运行；如果受环境限制没法运行，请明确说明原因。 -
PASS项目从 0 到 1build

Generate a fresh delivery HarmonyOS app and run it

bootstrap-fresh-delivery · 全部断言通过，任务完成。

LLM 154.41 s · Tools 51.02 s · Wait 697.79 s · tool占比 5.7%
905.10 s1,187,524 tokens52 tools2 skills
查看会话详情

任务概览

Task ID: bootstrap-fresh-delivery

Session: ses_2512498f5ffeM4lWdetR5U8nPV

Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_opencode\artifact_bootstrap-0to1_20260421145118394\runs\bootstrap-fresh-delivery

会话分析

任务总耗时: 905.10 s

LLM: 154.41 s

Tools: 51.02 s

Wait: 697.79 s

Tool Calls: 52

主要工具: codegenie-mcp_build_project (44.70 s)

耗时占比: 26.4%

工具 / 技能

Tools: read (13), write (13), todowrite (7), codegenie-mcp_build_project (4), glob (3), edit (3), skill (2), codegenie-mcp_init_project_path (2), codegenie-mcp_check_ets_files (2), codegenie-mcp_start_app (2), bash (1)

Skills: deveco-create-project (1), arkui-knowledge (1)

断言结果

  • PASS file exists: FreshDelivery/AppScope/app.json5
  • PASS file exists: FreshDelivery/entry/src/main/ets/pages/Index.ets
  • PASS file exists: FreshDelivery/entry/build/default/outputs/default/app/entry-default.hap
StepStagePassTimeTokensToolsSkillsPromptFailure
create build PASS 904.25 s 1,187,524 52 2 请在当前工作目录从 0 到 1 生成一个名为 FreshDelivery 的鸿蒙应用，包含“首页”“菜市场”“购物车”“我的”四个页面，其中首页包含动态天气提示栏、“今日特价”轮播区并展示 5 款限时折扣生鲜、“智能推荐”模块和“时令蔬菜”“新鲜肉禽”“海鲜水产”3 个快捷入口，菜市场页采用网格布局并提供带语音输入的搜索栏、六大分类“有机蔬菜”“精品肉类”“活鲜水产”“蛋奶制品”“速冻食品”“厨房调料”以及带产地溯源图标和新鲜度指数的商品卡片，购物车页支持修改数量、删除商品、结算和“凑单推荐”入口，我的页展示用户信息、会员等级进度条、“我的订单”“我的农场”“我的菜谱”“客服中心”“设置”等入口，最后完成编译并尝试运行，如受环境限制请明确说明原因。 -
PASS项目从 0 到 1build

Generate a travel info HarmonyOS app and run it

bootstrap-travel-platform · 全部断言通过，任务完成。

LLM 277.76 s · Tools 69.92 s · Wait 426.51 s · tool占比 9.0%
775.04 s942,133 tokens51 tools3 skills
查看会话详情

任务概览

Task ID: bootstrap-travel-platform

Session: ses_25116c93cffeF43A4ZKMSmb10l

Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_opencode\artifact_bootstrap-0to1_20260421145118394\runs\bootstrap-travel-platform

会话分析

任务总耗时: 775.04 s

LLM: 277.76 s

Tools: 69.92 s

Wait: 426.51 s

Tool Calls: 51

主要工具: codegenie-mcp_build_project (64.03 s)

耗时占比: 22.6%

工具 / 技能

Tools: read (14), write (12), codegenie-mcp_build_project (5), todowrite (4), skill (3), glob (3), edit (3), codegenie-mcp_init_project_path (2), codegenie-mcp_check_ets_files (2), codegenie-mcp_start_app (2), bash (1)

Skills: deveco-create-project (1), arkui-knowledge (1), arkts-error-fixes (1)

断言结果

  • PASS file exists: TravelCompass/AppScope/app.json5
  • PASS file exists: TravelCompass/entry/src/main/ets/pages/Index.ets
  • PASS file exists: TravelCompass/entry/build/default/outputs/default/app/entry-default.hap
StepStagePassTimeTokensToolsSkillsPromptFailure
create build PASS 774.21 s 942,133 51 3 请在当前工作目录从 0 到 1 生成一个名为 TravelCompass 的鸿蒙应用，包含“首页”“目的地”“行程助手”“个人”四个页面，其中首页展示 5 个热门目的地“巴黎”“东京”“巴厘岛”“纽约”“马尔代夫”的幻灯片、5 个功能入口“旅游攻略”“优惠票”“当地美食”“酒店推荐”“旅行社报名”以及 3 条旅游资讯“夏季旅行优惠大放送，机票低至5折！”“巴厘岛新开网红酒店，限时特惠中！”“东京樱花季攻略，带你玩转最美春天”，目的地页展示上述 5 个目的地的特色和详细信息，行程助手页支持创建、编辑、删除行程并提供天气提醒、景点开放时间提醒、交通提醒等功能入口，个人页展示用户信息和收藏的旅游路线，最后完成编译并尝试运行，如受环境限制请明确说明原因。 -
PASS项目从 0 到 1build

Generate a tech news HarmonyOS app and run it

bootstrap-tech-news · 全部断言通过，任务完成。

LLM 300.72 s · Tools 56.28 s · Wait 562.88 s · tool占比 6.1%
920.91 s686,759 tokens46 tools3 skills
查看会话详情

任务概览

Task ID: bootstrap-tech-news

Session: ses_2510af5ebffeBKwN3RFV5Og70H

Workspace: C:\Users\xi\Desktop\bench_mark\codegenie-cli-benchmark\artifacts_opencode\artifact_bootstrap-0to1_20260421145118394\runs\bootstrap-tech-news

会话分析

任务总耗时: 920.91 s

LLM: 300.72 s

Tools: 56.28 s

Wait: 562.88 s

Tool Calls: 46

主要工具: codegenie-mcp_build_project (50.43 s)

耗时占比: 26.9%

工具 / 技能

Tools: read (12), write (12), codegenie-mcp_build_project (5), todowrite (4), skill (3), edit (3), codegenie-mcp_init_project_path (2), codegenie-mcp_check_ets_files (2), codegenie-mcp_start_app (2), bash (1)

Skills: deveco-create-project (1), arkui-knowledge (1), arkts-error-fixes (1)

断言结果

  • PASS file exists: TechNews/AppScope/app.json5
  • PASS file exists: TechNews/entry/src/main/ets/pages/Index.ets
  • PASS file exists: TechNews/entry/build/default/outputs/default/app/entry-default.hap
StepStagePassTimeTokensToolsSkillsPromptFailure
create build PASS 920.08 s 686,759 46 3 请在当前工作目录从 0 到 1 生成一个名为 TechNews 的鸿蒙应用，包含“头条”“快讯”“产品”“我的”四个页面，其中头条页采用三栏布局并分别展示当日重大科技新闻、各大科技博客实时标题流和主要科技公司股价动态，快讯页按时间倒序展示简短精炼的突发科技资讯，产品页以网格布局展示新发布硬件或软件评测并支持按“智能手机”“AI软件”等分类筛选且每张卡片包含图片、名称和聚合评测分数，我的页支持关注特定公司或技术话题并展示发布会信息列表，最后完成编译并尝试运行，如受环境限制请明确说明原因。 -

Report generated from benchmark JSON with linked session export visualizations.