Articraft · 外部裁判 + 精修循环 + 场景 + Harness 自进化

← 返回首页(单次生成对比) · 本页所有分数来自外部 VLM 裁判对渲染图的打分,设计 Agent 不参与自评

一、改进思路

① 不可变的外部裁判

生成出来的 URDF 一律进软件渲染器(纯 numpy,无 GPU / 无显示器):6 个静态视角 + 关节运动姿态 + 带格尺的棋盘地面,再交给 VLM 裁判按 hard / soft 两类打分。设计 Agent 改不了裁判,也看不到评分规则的后门。

② 新会话代替原地重试

每次精修都是 fork 出一个全新会话,只带「裁判意见 + 上一版渲染图」;同类失败重复出现且分数不涨时,直接重新规划(replan),避免在坏上下文里打转。

③ Best-of-N + 候选池

候选按「裁判分 − 复杂度惩罚」排序;只有通过全部 hard 项的候选才允许晋升为稳定版。

④ 文件系统即数据库

每条事实只有一个权威文件(pool.json / iterations/NNN.json / stable_candidate.json),崩溃后可 resume,结束时自动写复盘并把经验写进案例库。

⑤ 数据驱动的路由

两张 YAML:按物体类别推荐该读的 SDK 文档,按失败类型给出修复手册。设计 Agent 在同一会话里反复踩同一个坑时也会被推相应文档。

⑥ 从单体到场景

LLM 拆物体与摆放关系 → 复用或并行生成 → 判正面朝向 → 确定性布局 → 碰撞/支撑/越界/关节扫掠检查 → 场景级评审;问题能归到单个物体时只重做那一个。

外层循环的状态机

plan→ build→ verify→ review→ refine/replan→ promote

二、精修循环实测

每个候选都可以点开交互式 3D 查看器:关节会自动摆动,拖动滑杆可手动控制,这正是裁判看到的那份几何。分数条上的数字是外部裁判给的总分(0–100)。

二之二、复盘沉淀的经验库

循环结束时自动写复盘,并把可复用的结论抽成一行行「经验」写进 case_library.jsonl;后续同类物体的规划阶段会自动注入这些经验。

三、场景生成实测

四、Harness 自进化实测

进化的对象是「设计 Agent 的指导 overlay」,裁判与评测协议固定不变。候选 overlay 必须先在新题上 A/B 胜过冠军(≥75% 胜,80% 分数下限),再回到固定考卷上不退化(≥50% 不输),最后还要人工 approve 才能上线。

五、裁判这件事本身有多可靠

六、已知限制(这页数据怎么读)

裁判绝对分不可跨模型比较

厨房吊柜那个 case 的裁判是 claude-opus-5-5;本次新跑三个 case 时 Opus 在上游被停用(org on hold),所以改用 gpt-5.6-sol 当裁判。同一份渲染,Opus 给 76.4、GPT 给 81.4、Gemini 给 98.2——只能在同一裁判下做 A/B。

一轮精修不保证涨分

新跑的三个 case 只允许一轮精修:微波炉 +3.2、边柜 +1.2,而转椅的精修版反而掉到 74.6,被候选池按「分数−复杂度」排序挡住、没有晋升。明显的涨分来自多轮迭代(吊柜 76.4 → 79.2 → 84.2)。

设计 Agent 成本未计价

这些模型在本地没有价目表,所以「设计成本」为空,只有裁判成本是实测值;吊柜那次走的是有价目表的通道,所以成本完整。

网页里的几何做了抽稀

裁判看到的渲染图用的是完整几何;为了让页面能加载,查看器里的几何按「整模 4 万面」预算抽稀(微波炉门上的冲孔网从 87.5 万面降到几千面)。关节、关节限位、层级关系没有改动。

进化门的噪声带

2 分的噪声带只覆盖裁判自身的重复噪声(σ≈1 分),不覆盖「同一道题重复生成」的波动。正式使用前应先测同题重复生成的方差。

场景 case 的来源

卧室场景是第一次端到端验证的产物(Opus 裁判):第一轮 78 分,按评审意见修掉地毯问题后重跑(只付评审费用)得到 87 分,页面展示的是重跑后的状态。