图像数据集版本怎么记录
561 字
3 分钟
图像数据集版本怎么记录
图像数据集版本怎么记录
视觉模型结果变化时,很多人先怀疑模型参数,但真正原因经常是数据版本变了。图片、标签、划分文件和增强策略只要有一个变动,结果就不能直接比较。
计算机视觉流程不能只看终端输出。图片能不能读、标注是否对齐、可视化是否正常,往往比训练命令本身更早暴露问题。
先看输入
我会给每次数据集变动写一个版本说明,记录图片数量、标签数量、类别分布、train/val 划分方式和清洗规则。版本名不要只叫 new,最好包含日期和目的。
我会先选少量图片做检查:一张正常图、一张边界图、一张容易失败的图。小样本跑通以后,再扩大到完整数据集。
示例代码
from pathlib import Path
images = list(Path("images").rglob("*.jpg"))labels = list(Path("labels").rglob("*.txt"))print("images", len(images))print("labels", len(labels))可视化验收
- 保存至少一张中间结果图,而不是只打印数组形状。
- 检查坐标顺序,确认没有把
x/y和w/h混用。 - 抽查失败样本路径,避免批量流程悄悄跳过坏图。
- 如果结果要进入训练集,记录数据版本和处理脚本版本。
常见误差来源
常见误差来自只复制图片不复制标签、删除坏图后没有同步划分文件、增强后覆盖原图、训练记录里没有写数据版本。
最小验收样例
我会固定一组小样本作为回归检查集。每次改处理脚本或训练配置,都先跑这组样本,确认输出图片、标注框或预测结果没有出现明显退化。
视觉任务的验收不能只依赖成功退出码。最少要打开一张输出图,并把失败样本单独记录下来。这样后续定位问题时,能从具体图片回到具体处理步骤。
小结
图像数据集版本怎么记录 的关键是让每一步都有可视化证据。视觉任务最终要回到图像本身,不能只信日志和指标。
文章分享
如果这篇文章对你有帮助,欢迎分享给更多人!
相关文章智能推荐
1
图像训练集泄漏怎么发现
计算机视觉记录相似图片、视频抽帧和重复样本导致验证集虚高的排查方法。
2
YOLO11 数据集目录检查
计算机视觉记录训练 YOLO11 前检查 images、labels 和 data.yaml 的方法,避免一开始就因为路径问题报错。
3
YOLO11 标签文件检查清单
计算机视觉记录训练 YOLO11 前检查 label 文件的几个关键点,包括类别编号、坐标范围和图片对应关系。
4
图像增强策略要留记录
计算机视觉说明训练前后如何记录增强策略,避免模型结果无法复现。
5
数据集 train val 划分
计算机视觉整理计算机视觉数据集 train 和 val 划分时的比例、随机种子和数据泄漏问题。
随机文章随机推荐













