2025年08月29日
一、交叉验证基础
1. 核心概念
定义：通过多次划分数据集评估模型性能，减少评估偏差。
目的：优化超参数选择，提升模型泛化能力。
2. K折交叉验证（KFold CV）
流程：
1. 数据均匀分为K个子集。
2. 轮流以1个子集为验证集，其余为训练集，重复K次。
优势：充分利用有限数据，评估更稳定。
3. 适用场景
数据量较小（如<10k样本）。
需严格评估模型稳定性时。
2025年08月29日
PyOD是一个全面且易于使用的Python库，专门用于检测多变量数据中的异常点或离群点。异常点是指那些与大多数数据点显著不同的数据，它们可能表示错误、噪声或潜在的有趣现象。无论是处理小规模项目还是大型数据集，PyOD提供了50多种算法以满足用户的需求。PyOD的特点包括：
2025年08月29日
欢迎关注“
计算机视觉研究院
”
计算机视觉研究院专栏
作者：Edison_G
关于 PyTorch 炼丹，本文作者表示：「如果你有 8 个 GPU，整个训练过程只需要 2 分钟，实现 11.5 倍的性能加速。
2025年08月29日
2.3.1 自定义数据集 PyTorch实现核心步骤：继承`torch.utils.data.Dataset`，实现`__len__`和`__getitem__`方法。示例：随机生成100张3x32x32图像及标签，通过`DataLoader`批量加载。输出：每批次数据形状（如`[10, 3, 32, 32]`）及对应标签。 TensorFlow实现核心步骤：使用`tf.data.Dataset.from_tensor_slices`创建数据集，支持`shuffle`和`batch`操作。示例：训练集与测试集划分，模型训练输出损失和准确率。 2.3.2 制作简易图片数据集 PyTorch实现核心步骤：定义`ImageDataset`类，加载目录中的图片并转换为Tensor。示例：输出单张图片形状（如`[3, 400, 300]`）。 TensorFlow实现核心步骤：使用`load_img`和`img_to_array`加载图片，创建`tf.data.Dataset`对象。示例：输出图片数量及形状（如`(400, 300, 3)`）。 2.3.3 制作有标签的数据集 PyTorch实现核心步骤：扩展`ImageDataset`类，通过文件名提取标签（如`100.jpg`→标签`100`）。示例：输出图片Tensor及对应标签。 TensorFlow实现核心步骤：使用`image_dataset_from_directory`自动从文件夹结构推断标签（如`lou/`和`car/`）。示例：划分训练/验证集，输出批次图像形状及整数标签（如`0`或`1`）。 关键注意事项标签设计：文件名或子目录名需包含标签信息（如`class_image.jpg`或`class_name/`）。数据划分：使用`validation_split`确保训练集与验证集无重叠。性能优化：TensorFlow的`prefetch`和`cache`可加速数据加载。 扩展应用多模态数据：自定义`Dataset`类可整合图像、文本、数值等多类型数据。数据增强：在`__getitem__`或`image_dataset_from_directory`中集成翻转、旋转等操作。#大模型 #大模型应用 #大模型训练 #大模型微调 #大模型面试 #大模型学习 #大模型部署 #多模态人工智能 #大模型入门#多模态