Paddle实现食物图片分类
2024-06-09 17:22:57
Paddle实现食物图片分类
- 食物图片分类
- 项目描述
- 数据集介绍
- 思路方法
- 读取文件
- 卷积神经网络示意图
- 作者简介
项目说明，本项目是李宏毅老师在飞桨授权课程的作业解析
课程 传送门
该项目AiStudio项目 传送门
数据集 传送门
本项目仅用于参考，提供思路和想法并非标准答案！请谨慎抄袭！
食物图片分类
项目描述
训练一个简单的卷积神经网络，实现食物图片的分类。
数据集介绍
本次使用的数据集为food-11数据集，共有11类
Bread, Dairy product, Dessert, Egg, Fried food, Meat, Noodles/Pasta, Rice, Seafood, Soup, and Vegetable/Fruit.
（面包，乳制品，甜点，鸡蛋，油炸食品，肉类，面条/意大利面，米饭，海鲜，汤，蔬菜/水果）
Training set: 9866张
Validation set: 3430张
Testing set: 3347张
数据格式
下载 zip 档后解压缩会有三个资料夹，分别为training、validation 以及 testing
training 以及 validation 中的照片名称格式为 [类别]_[编号].jpg，例如 3_100.jpg 即为类别 3 的照片（编号不重要）
实现方式
paddlepaddle
思路方法
解压数据集
查看数据内容：
training、validation和testing文件夹
类似于work/food-11/training/0_101.jpg 文件
[类别]_[编号].jpg制作图片和标签文档
继承
paddle.io.dataset类生成数据集创建CNN网络
训练数据
测试数据
说明：
本项目素材和内容源于李宏毅老师课程，但是是使用飞桨实现的！
本项目仅仅是跑通了，对于准确率没有要求和细细琢磨，仅供参考！
# !unzip -d work data/data75768/food-11.zip # 解压缩food-11数据集
import paddle
print(f'当前Paddle版本：{paddle.__version__}')
当前Paddle版本：2.0.1
import os
import paddle
import paddle.vision.transforms as T
import numpy as np
from PIL import Image
import paddle.nn.functional as F
读取文件
data_path = '/home/aistudio/work/food-11/' # 设置初始文件地址
character_folders = os.listdir(data_path) # 查看地址下文件夹
character_folders
['testing', 'validation', 'training']
data = '10_alksn'
data[0:data.rfind('_', 1)] # 判断_位置并截取下划线前面数据
'10'
# 新建标签列表
if(os.path.exists('./training_set.txt')): # 判断有误文件os.remove('./training_set.txt') # 删除文件
if(os.path.exists('./validation_set.txt')):os.remove('./validation_set.txt')
if(os.path.exists('./testing_set.txt')):os.remove('./testing_set.txt')for character_folder in character_folders: # 循环文件夹列表with open(f'./{character_folder}_set.txt', 'a') as f_train: # 新建文档以追加的形式写入character_imgs = os.listdir(os.path.join(data_path,character_folder)) # 读取文件夹下面的内容count = 0if character_folder in 'testing': # 检查是否是训练集for img in character_imgs: # 循环列表f_train.write(os.path.join(data_path,character_folder,img) + '\n') # 把地址写入文档count += 1print(character_folder,count) # 输出文件夹及图片数量else:for img in character_imgs:f_train.write(os.path.join(data_path,character_folder,img) + '\t' + img[0:img.rfind('_', 1)] + '\n') # 写入地址及标签count += 1print(character_folder,count)
testing 3347
validation 3430
training 9866
训练集和验证集样式:
测试集:
# 测验下面类中__init__输出内容
with open(f'training_set.txt') as f: # 查看文件内容for line in f.readlines(): # 逐行读取info = line.strip().split('\t') # 以\t为切换符生成列表# print(info)if len(info) > 0: # 列表不为空print([info[0].strip(), info[1].strip()]) # 输出内容break
['/home/aistudio/work/food-11/training/2_1043.jpg', '2']
# 继承paddle.io.Dataset对数据集做处理
class FoodDataset(paddle.io.Dataset):"""数据集类的定义（注释见上方）"""def __init__(self, mode='training_set'):"""初始化函数"""self.data = []with open(f'{mode}_set.txt') as f:for line in f.readlines():info = line.strip().split('\t')if len(info) > 0:self.data.append([info[0].strip(), info[1].strip()]) def __getitem__(self, index):"""读取图片，对图片进行归一化处理，返回图片和 标签"""image_file, label = self.data[index] # 获取数据img = Image.open(image_file) # 读取图片img = img.resize((100, 100), Image.ANTIALIAS) # 图片大小样式归一化img = np.array(img).astype('float32') # 转换成数组类型浮点型32位img = img.transpose((2, 0, 1)) #读出来的图像是rgb,rgb,rbg..., 转置为 rrr...,ggg...,bbb...img = img/255.0 # 数据缩放到0-1的范围return img, np.array(label, dtype='int64')def __len__(self):"""获取样本总数"""return len(self.data)
# 训练的数据提供器
train_dataset = FoodDataset(mode='training')
# 测试的数据提供器
eval_dataset = FoodDataset(mode='validation')# 查看训练和测试数据的大小
print('train大小：', train_dataset.__len__())
print('eval大小：', eval_dataset.__len__())# 查看图片数据、大小及标签
for data, label in train_dataset:print(data)print(np.array(data).shape)print(label)break
train大小： 9866
eval大小： 3430
[[[0.30588236 0.2509804 0.1882353 ... 0.19607843 0.19607843 0.19215687][0.23921569 0.19607843 0.13725491 ... 0.19607843 0.1882353 0.18039216][0.02352941 0.01176471 0.00392157 ... 0.19607843 0.18039216 0.1764706 ]...[0.50980395 0.5137255 0.5176471 ... 0.5372549 0.5372549 0.52156866][0.5137255 0.5137255 0.5137255 ... 0.5411765 0.53333336 0.5176471 ][0.5176471 0.5137255 0.50980395 ... 0.52156866 0.5176471 0.5176471 ]][[0.27058825 0.21568628 0.15294118 ... 0.00392157 0. 0. ][0.20392157 0.14117648 0.09411765 ... 0.00392157 0. 0. ][0.01568628 0.00784314 0.00392157 ... 0.00784314 0.00392157 0. ]...[0.45490196 0.45882353 0.45882353 ... 0.4862745 0.47843137 0.4745098 ][0.45490196 0.45882353 0.4627451 ... 0.47843137 0.46666667 0.46666667][0.4509804 0.45490196 0.45882353 ... 0.47058824 0.46666667 0.45882353]][[0.14509805 0.12156863 0.05098039 ... 0.00392157 0.00784314 0.00392157][0.06666667 0.04313726 0.01960784 ... 0.00392157 0.00392157 0. ][0. 0.00784314 0.00784314 ... 0.00784314 0.00392157 0.00392157]...[0.33333334 0.32941177 0.33333334 ... 0.4 0.40392157 0.40784314][0.32941177 0.32941177 0.32941177 ... 0.4 0.4 0.3882353 ][0.3137255 0.33333334 0.3372549 ... 0.39215687 0.39607844 0.38431373]]]
(3, 100, 100)
2
卷积神经网络示意图
# 继承paddle.nn.Layer类，用于搭建模型
class MyCNN(paddle.nn.Layer):def __init__(self):super(MyCNN,self).__init__()self.conv0 = paddle.nn.Conv2D(in_channels=3, out_channels=20, kernel_size=5, padding=0) # 二维卷积层self.pool0 = paddle.nn.MaxPool2D(kernel_size =2, stride =2) # 最大池化层self._batch_norm_0 = paddle.nn.BatchNorm2D(num_features = 20) # 归一层self.conv1 = paddle.nn.Conv2D(in_channels=20, out_channels=50, kernel_size=5, padding=0)self.pool1 = paddle.nn.MaxPool2D(kernel_size =2, stride =2)self._batch_norm_1 = paddle.nn.BatchNorm2D(num_features = 50)self.conv2 = paddle.nn.Conv2D(in_channels=50, out_channels=50, kernel_size=5, padding=0)self.pool2 = paddle.nn.MaxPool2D(kernel_size =2, stride =2)self.fc1 = paddle.nn.Linear(in_features=4050, out_features=218) # 线性层self.fc2 = paddle.nn.Linear(in_features=218, out_features=100)self.fc3 = paddle.nn.Linear(in_features=100, out_features=11)def forward(self,input):# 将输入数据的样子该变成[1,3,100,100]input = paddle.reshape(input,shape=[-1,3,100,100]) # 转换维读# print(input.shape)x = self.conv0(input) #数据输入卷积层x = F.relu(x) # 激活层x = self.pool0(x) # 池化层x = self._batch_norm_0(x) # 归一层x = self.conv1(x)x = F.relu(x)x = self.pool1(x)x = self._batch_norm_1(x)x = self.conv2(x)x = F.relu(x)x = self.pool2(x)x = paddle.reshape(x, [x.shape[0], -1])# print(x.shape)x = self.fc1(x) # 线性层x = F.relu(x)x = self.fc2(x)x = F.relu(x)x = self.fc3(x)y = F.softmax(x) # 分类器return ynetwork = MyCNN() # 模型实例化
paddle.summary(network, (1,3,100,100)) # 模型结构查看
---------------------------------------------------------------------------Layer (type) Input Shape Output Shape Param #
===========================================================================Conv2D-1 [[1, 3, 100, 100]] [1, 20, 96, 96] 1,520 MaxPool2D-1 [[1, 20, 96, 96]] [1, 20, 48, 48] 0 BatchNorm2D-1 [[1, 20, 48, 48]] [1, 20, 48, 48] 80 Conv2D-2 [[1, 20, 48, 48]] [1, 50, 44, 44] 25,050 MaxPool2D-2 [[1, 50, 44, 44]] [1, 50, 22, 22] 0 BatchNorm2D-2 [[1, 50, 22, 22]] [1, 50, 22, 22] 200 Conv2D-3 [[1, 50, 22, 22]] [1, 50, 18, 18] 62,550 MaxPool2D-3 [[1, 50, 18, 18]] [1, 50, 9, 9] 0 Linear-1 [[1, 4050]] [1, 218] 883,118 Linear-2 [[1, 218]] [1, 100] 21,900 Linear-3 [[1, 100]] [1, 11] 1,111
===========================================================================
Total params: 995,529
Trainable params: 995,249
Non-trainable params: 280
---------------------------------------------------------------------------
Input size (MB): 0.11
Forward/backward pass size (MB): 3.37
Params size (MB): 3.80
Estimated Total Size (MB): 7.29
---------------------------------------------------------------------------{'total_params': 995529, 'trainable_params': 995249}
model = paddle.Model(network) # 模型封装# 配置优化器、损失函数、评估指标
model.prepare(paddle.optimizer.Adam(learning_rate=0.0001, parameters=model.parameters()), paddle.nn.CrossEntropyLoss(), paddle.metric.Accuracy())# 训练可视化VisualDL工具的回调函数
visualdl = paddle.callbacks.VisualDL(log_dir='visualdl_log') # 启动模型全流程训练
model.fit(train_dataset, # 训练数据集eval_dataset, # 评估数据集epochs=5, # 训练的总轮次batch_size=64, # 训练使用的批大小verbose=1, # 日志展示形式callbacks=[visualdl]) # 设置可视化
The loss value printed in the log is the current step, and the metric is the average value of previous step.
Epoch 1/5
step 155/155 [==============================] - loss: 2.5430 - acc: 0.1008 - 473ms/step
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 54/54 [==============================] - loss: 2.5167 - acc: 0.1055 - 557ms/step
Eval samples: 3430
Epoch 2/5
step 155/155 [==============================] - loss: 2.4430 - acc: 0.1008 - 473ms/step
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 54/54 [==============================] - loss: 2.5167 - acc: 0.1055 - 559ms/step
Eval samples: 3430
Epoch 3/5
step 155/155 [==============================] - loss: 2.4430 - acc: 0.1008 - 475ms/step
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 54/54 [==============================] - loss: 2.5167 - acc: 0.1055 - 558ms/step
Eval samples: 3430
Epoch 4/5
step 155/155 [==============================] - loss: 2.5430 - acc: 0.1008 - 474ms/step
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 54/54 [==============================] - loss: 2.5167 - acc: 0.1055 - 560ms/step
Eval samples: 3430
Epoch 5/5
step 155/155 [==============================] - loss: 2.4430 - acc: 0.1008 - 474ms/step
Eval begin...
The loss value printed in the log is the current batch, and the metric is the average value of previous step.
step 54/54 [==============================] - loss: 2.5167 - acc: 0.1055 - 557ms/step
Eval samples: 3430
model.save('finetuning/mnist') # 保存模型
def openimg(): # 读取图片函数with open(f'testing_set.txt') as f: #读取文件夹test_img = []txt = []for line in f.readlines(): # 循环读取每一行img = Image.open(line[:-1]) # 打开图片img = img.resize((100, 100), Image.ANTIALIAS) # 大小归一化img = np.array(img).astype('float32') # 转换成 数组img = img.transpose((2, 0, 1)) #读出来的图像是rgb,rgb,rbg..., 转置为 rrr...,ggg...,bbb...img = img/255.0 # 缩放txt.append(line[:-1]) # 生成列表test_img.append(img) return txt,test_img
img_path, img = openimg() # 读取列表
from PIL import Image
site = 255 # 读取图片位置
model_state_dict = paddle.load('finetuning/mnist.pdparams') # 读取模型
model = MyCNN() # 实例化模型
model.set_state_dict(model_state_dict)
model.eval()ceshi = model(paddle.to_tensor(img[site])) # 测试
print('预测的结果为:', np.argmax(ceshi.numpy())) # 获取值
Image.open(img_path[site]) # 显示图片
预测的结果为: 0
作者简介
作者：三岁
经历：自学python，现在混迹于paddle社区，希望和大家一起从基础走起，一起学习Paddle
csdn地址：https://blog.csdn.net/weixin_45623093/article/list/3
我在AI Studio上获得钻石等级，点亮7个徽章，来互关呀~ https://aistudio.baidu.com/aistudio/personalcenter/thirdview/284366
传说中的飞桨社区最菜代码人，让我们一起努力！
记住：三岁出品必是精品 （不要脸系列）
Paddle实现食物图片分类相关推荐
- 基于PaddlePaddle构建ResNet18残差神经网络的食物图片分类问题
基于PaddlePaddle构建ResNet18残差神经网络的食物图片分类问题 Introduction 本项目是在李宏毅机器学习课程的作业3进行的工作,任务是手动搭建一个CNN模型进行食物图片分类( ...
- 李宏毅2020机器学习作业3-CNN：食物图片分类
更多作业,请查看 李宏毅2020机器学习资料汇总 文章目录 0 作业链接 1 作业说明 环境 任务说明 任务要求 数据说明 作业概述 2 原始代码 导入需要的库 读取图片 定义Dataset 定义模型 ...
- 使用Pytorch搭建CNN模型完成食物图片分类（李宏毅视频课2020作业3，附超详细代码讲解）
文章目录 0 前言 1 任务描述 1.1 数据描述 1.2 作业提交 1.3 数据下载 1.3.1 完整数据集 1.3.2 部分数据集 2 过程讲解 2.1 读取数据 2.2 数据预处理 2.3 模型 ...
- 项目3-食物图片分类
项目3-食物图片分类 友情提示 同学们可以前往课程作业区先行动手尝试!!! 项目描述 训练一个简单的卷积神经网络,实现食物图片的分类. 数据集介绍 本次使用的数据集为food-11数据集,共有11类 ...
- 作业3-食物图片分类
李宏毅课程作业三 项目描述 训练一个简单的卷积神经网络,实现食物图片的分类. 数据集介绍 本次使用的数据集为food-11数据集,共有11类 Bread, Dairy product, Dessert ...
- 训练食物图片自动分类模型
任务说明: 通过卷积神经网络(Convolutional Neural Networks, CNN)对食物图片进行分类. 数据集中的食物图采集于网上,总共11类:Bread, Dairy produc ...
- 【深度学习】(5) 简单网络，案例：服装图片分类，附python完整代码
1. 数据获取 使用系统内部的服装数据集构建神经网络.首先导入需要的库文件,x和y中保存训练集的图像和目标.x_test和y_test中保存测试集需要的图像和目标.(x, y)及(x_test, y_ ...
- 实战：掌握PyTorch图片分类的简明教程 | 附完整代码
作者 | 小宋是呢 转载自CSDN博客 1.引文 深度学习的比赛中,图片分类是很常见的比赛,同时也是很难取得特别高名次的比赛,因为图片分类已经被大家研究的很透彻,一些开源的网络很容易取得高分.如果大家 ...
- 【经典算法必读】图片分类系列之（一）: 你真的了解图片分类(Image Classification)吗？...
欢迎关注我的个人微信公众号:小纸屑 图片分类是机器学习经典问题,也是深度学习声名鹊起之作.正是2012年AlexNet在图片分类竞赛ImageNet出乎寻常的性能,使得深度学习一夜爆红,方有今天人工智 ...
最新文章
- 2012年11月14日学习研究报告
- Windows内核读写自旋锁EX_SPIN_LOCK
- SQL学习（二）之四大查询语句以及标准写法
- Spring学习笔记十二---泛型依赖注入
- 【Linux学习篇】This virtual machine is configured for 64-bit guest operating systems.……
- 阿里开发者们的第13个感悟：工程师需要在循环迭代中成长
- java隐含转化_java中自动转换和强制转换还有隐含转换
- c语言中用了double语句,求助 C语言 中 double语句用法
- 实时查询（otoci）
- 如何下载武汉市OSM数据并导出为shp格式
- 超市管理系统具体模块
- 【转载】蜗牛星际矿渣黑群晖安装折腾路以及指引
- C# winform 右下角弹窗
- 益智休闲手游源码《贪吃蛇大战方块》源码H5+安卓+IOS三端源码
- Hive 中的时间加减暨间隔函数INTERVAL
- 解决EZP_XPro无法烧录
- Python初学者：元组数据操作，输出元组内7的倍数以及个位是7的数
- 字符数组 字符插入（c语言）
- ImageJ 用户手册——第三部分（ImageJ扩展）
- aspx repeater 用法_ASP.NET-----Repeater数据控件的用法总结(转)