醋醋百科网

2.3.1 自定义数据集 PyTorch实现核心步骤：继承`torch.utils.data.Dataset`，实现`__len__`和`__getitem__`方法。示例：随机生成100张3x32x32图像及标签，通过`DataLoader`批量加载。输出：每批次数据形状（如`[10, 3, 32, 32]`）及对应标签。 TensorFlow实现核心步骤：使用`tf.data.Dataset.from_tensor_slices`创建数据集，支持`shuffle`和`batch`操作。示例：训练集与测试集划分，模型训练输出损失和准确率。 2.3.2 制作简易图片数据集 PyTorch实现核心步骤：定义`ImageDataset`类，加载目录中的图片并转换为Tensor。示例：输出单张图片形状（如`[3, 400, 300]`）。 TensorFlow实现核心步骤：使用`load_img`和`img_to_array`加载图片，创建`tf.data.Dataset`对象。示例：输出图片数量及形状（如`(400, 300, 3)`）。 2.3.3 制作有标签的数据集 PyTorch实现核心步骤：扩展`ImageDataset`类，通过文件名提取标签（如`100.jpg`→标签`100`）。示例：输出图片Tensor及对应标签。 TensorFlow实现核心步骤：使用`image_dataset_from_directory`自动从文件夹结构推断标签（如`lou/`和`car/`）。示例：划分训练/验证集，输出批次图像形状及整数标签（如`0`或`1`）。 关键注意事项标签设计：文件名或子目录名需包含标签信息（如`class_image.jpg`或`class_name/`）。数据划分：使用`validation_split`确保训练集与验证集无重叠。性能优化：TensorFlow的`prefetch`和`cache`可加速数据加载。 扩展应用多模态数据：自定义`Dataset`类可整合图像、文本、数值等多类型数据。数据增强：在`__getitem__`或`image_dataset_from_directory`中集成翻转、旋转等操作。#大模型 #大模型应用 #大模型训练 #大模型微调 #大模型面试 #大模型学习 #大模型部署 #多模态人工智能 #大模型入门#多模态