训练和挑最终版

第 4 章

训练和挑最终版

设置一次训练,开训前检查一遍,留下最好的版本。

设置一次训练

选一个起点,看懂每个设置为什么是这个值。

Mira K 项目的开训页,打开了全部设置:预设、完整的设置表和开训前检查。
  1. 打开开训页,确认一下顶部的项目。
  2. 选一个预设。改过的值会标出来,顶部会显示改了几项。
  3. 可以留在「简单」模式,打开「全部设置」,或者直接改 YAML:表单和 YAML 会互相同步。
  4. 鼠标移到某个设置上,就能看到它为什么是这个值。
  5. 选好显卡,点「Fit」,看看要改哪些设置才能放进它的显存。

开训前检查

把会白白浪费一次训练的问题提前找出来。

Mira K 项目的开训页,打开了全部设置:预设、完整的设置表和开训前检查。
  1. 看开训页上的开训前检查:图片数量、标注、触发词、不该写的词、角度、重复和尺寸。
  2. 点黄色或红色的那一行,看看说的是哪几张照片,然后改好。
  3. 看一下样图提示词。最后一条故意不带触发词:如果你的东西还是出现了,说明它会「漏」到所有图里。

导出给你的训练工具

把数据集整理成训练工具要的结构。

数据集页,示例项目 Vell Trench:28 张照片,故意留了三个问题。
  1. 每张照片都要有标注;「无标注」筛选会把漏掉的找出来。
  2. 打开导出面板(⌥⌘E),选择 kohya_ss、OneTrainer、AI Toolkit 或 Hugging Face 图片文件夹格式。
  3. 选好保存位置。会顺带一份重复图片的清单。
  4. 在你的训练工具里打开这个文件夹,在那里开始训练。

用你自己的工具训练

首个测试版自己不训练:导出数据集,在 AI Toolkit、OneTrainer 或 kohya_ss 里训练,留下效果最好的那个。

Skye Desk 负责准备和检查数据集;训练在你已经在用的工具里进行,跑在能训练的电脑上。每次导出都是一个新文件夹,里面有照片、标注、duplicates.csv 和 HOW TO USE.txt;HOW TO USE.txt 写明了训练工具该指向哪个文件夹。

导出的文件夹长什么样

Vell Trench · AI Toolkit
dataset训练工具指向这里folder_path
vell_trench_01.jpg
vell_trench_01.txt
vell_trench_02.jpg
vell_trench_02.txt
…
duplicates.csv
HOW TO USE.txt
Vell Trench · OneTrainer
vell_trench训练工具指向这里path
vell_trench_01.jpg
vell_trench_01.txt
vell_trench_02.jpg
vell_trench_02.txt
…
concepts.json
duplicates.csv
HOW TO USE.txt
Vell Trench · kohya_ss
img训练工具指向这里train_data_dir
10_vell_trench
vell_trench_01.jpg
vell_trench_01.txt
vell_trench_02.jpg
vell_trench_02.txt
…
duplicates.csv
HOW TO USE.txt
Vell Trench · Hugging Face imagefolder训练工具指向这里data_dir
train
vell_trench_01.jpg
vell_trench_02.jpg
…
metadata.jsonl
duplicates.csv
HOW TO USE.txt
在 Vell Trench 示例项目里,Skye Desk 为每种训练器写出的文件夹。HOW TO USE.txt 里也写着该选哪个文件夹。

AI Toolkit

  1. 导出时训练器选 AI Toolkit。
  2. 在 AI Toolkit 的配置里,把数据集的 folder_path 设成导出里的 dataset 文件夹。
  3. 触发词和项目里的保持一致;HOW TO USE.txt 里也写着。
  4. 开始训练。AI Toolkit 只读 JPG 和 PNG,所以 Skye Desk 已经把 WebP 和 BMP 转成了 PNG。

开训页会按你选的设置写好 AI Toolkit 配置。点 config.yaml 旁边的「复制」,粘贴到 AI Toolkit,再把 folder_path 改成你的导出文件夹。

OneTrainer

  1. 导出时训练器选 OneTrainer。
  2. 在 OneTrainer 里打开 Concepts 标签页,添加一个 concept,把路径设成以触发词命名的文件夹(完整路径见 HOW TO USE.txt)。
  3. 把 prompt source 设成 From text file per sample,这样每张照片都用自己的标注。
  4. 也可以把 concepts.json 复制到 OneTrainer 的 training_concepts 文件夹,再在 Concepts 标签页里选它。

kohya_ss

  1. 导出时训练器选 kohya_ss,填好「重复次数」;「类别词」可填可不填。
  2. 在 kohya_ss 里,把图片文件夹(train_data_dir)设成导出里的 img 文件夹。
  3. 里面的文件夹按 kohya 的规则命名:先是重复次数,再是触发词和类别词,比如重复次数 10、不填类别词时是 10_vell_trench。
  4. 每张照片会用自己的 .txt 标注,而不是文件夹名。

训练之后

训练工具每隔几百步存一个 .safetensors 文件,设置了样图的话还会出样图。看看样图,留下最像你的主体的那一步,在 ComfyUI 里用那个文件。

在 ComfyUI 里用你的 LoRA

之后推出

  • 把你的训练工具产出的检查点和样图导入训练记录,在那里对比、设最终版。

在云端训练

租一块云端显卡来训练,全程不离开 Skye Desk。

这部分之后推出:开始训练、看进度、停掉显卡,都会在 Skye Desk 里完成。到时你需要一个云端显卡服务的账号,比如 RunPod。

Mira K 项目的开训页,打开了全部设置:预设、完整的设置表和开训前检查。

之后推出

  • 在开训页直接开始云端训练。
  • 花费上限,训练结束或闲置时显卡自动停。
  • 实时进度和损失曲线。
  • 从云端显卡把检查点下载回来。

不想用云端显卡怎么办?

不租显卡也能训练,结果再拿回 Skye Desk 挑。

方式现在能不能用需要什么
导出数据集,用你自己的工具训练首个测试版就有AI Toolkit、OneTrainer 或 kohya_ss,装在任何能训练的电脑上,包括你自己的 NVIDIA 电脑。
把检查点和样图导回 Skye Desk,挑最终版首个测试版就有「训练记录 › 导入训练…」,支持 AI Toolkit、OneTrainer 和 kohya 的输出。
连接你自己的 NVIDIA 电脑之后推出一台装有 NVIDIA 显卡、能运行 AI Toolkit 的电脑。
在这台 Mac 上训练在评估暂时不用准备,还没有决定。

现在:用你自己的工具

把数据集导出给 AI Toolkit、OneTrainer 或 kohya_ss,在这个工具能运行的地方训练,再把结果用在 ComfyUI 里。

用你自己的工具训练

把结果导回来

在训练记录里点「导入训练…」,选 AI Toolkit、OneTrainer 或 kohya 的输出文件夹。检查点和样图会作为一次训练导进来,你可以对比、挑最终版。

你自己的 NVIDIA 电脑

之后推出

  • 从 Skye Desk 通过 AI Toolkit 在你自己的 NVIDIA 电脑上开始训练。

在 Mac 本机训练

在 Mac 本机训练还在评估,暂时没有计划时间。

挑最终版

对比一次训练的各个步数,留下最像你那样东西的一版。

训练记录:一次已完成训练的提示词 × 步数网格,4 条提示词,每 250 步一列。
  1. 打开训练记录,选一次训练。
  2. 看提示词 × 步数网格。鼠标移到图上会放大,不需要的步数可以藏起来。
  3. 选几个步数,按 C 并排看,它们会一起缩放。
  4. 开始盲测:两张样图,先不告诉你是哪一步。用 ← → ↓; ⌘Z 撤回一票。
  5. 在你要留下的那一步按 F,它就成了最终版。

首个测试版就有 在「训练记录 › 导入训练…」里导入 AI Toolkit、OneTrainer 或 kohya 的检查点和样图,就能在这里对比、挑最终版。用你自己的工具训练不想用云端显卡怎么办?

对比训练记录

看看两次训练之间改了什么。

训练记录:两次训练并排对比,不同的设置都标了出来。
  1. 在训练记录里选「对比训练」。
  2. 不一样的设置会标出来;也可以只看不同的地方。
  3. 给训练写个备注,记住你试过什么。
  4. 把列表导出成 CSV,或者把网格导出成 PNG 或 PDF。

之后推出

  • 把你自己的训练工具产出的检查点和样图导入训练记录。
  • 正在进行的训练的实时进度。
  • 用 ComfyUI 做「强度 × 版本」对比网格。
下一章用上你的 LoRA在 ComfyUI 里加载它,把出的图带回 Skye Desk,文件都放在一起。

图片预览