【PyTorch与深度学习】4、PyTorch的Dataset与DataLoader详细使用教程
课程地址 最近做实验发现自己还是基础框架上掌握得不好，于是开始重学一遍PyTorch框架，这个是课程笔记，这个课还是讲的简略，我半小时的课听了一个半小时。 1. Dataset与DataLoader Dataset类是处理单个训练样本的，也就是它是实现如何从磁盘中读取训练数据集，包括它的标签，还会做一些数据预处理，最后变成x和y的训练对象。（构建数据集） DataLoader：我们通过Dataset...
计算机毕业设计hadoop+spark+hive美食推荐系统 知识图谱美团餐厅推荐系统 美团推荐系统 美食价格预测 美团爬虫 美食数据分析 美食可视化大屏 机器学习 深度学习 人工智能 大数据毕业设计
毕业论文（设计）开题报告 核心算法代码分享如下： 在yarn-site.xml中加入如下配置：<property> <name>yarn.nodemanager.resource.memory-mb</name> <value>20480</value> </property> <property> <name>yarn.scheduler.minimum-allocation-mb</name> ...
【PyTorch与深度学习】5、深入剖析PyTorch DataLoader源码
课程地址 最近做实验发现自己还是基础框架上掌握得不好，于是开始重学一遍PyTorch框架，这个是课程笔记，此节课很详细，笔记记的比较粗 1. DataLoader 1.1 DataLoader类实现 1.1.1 构造函数__init__实现 构造函数有如下参数： dataset：传入自己定义好的数据集类Datasetbatch_size：默认值为1，它代表着每批次训练的样本的个数shuffle：布尔...
【深度学习实战（29）】后处理之NMS（非极大值抑制）
一、NMS工作原理 NMS 的工作原理： 置信度排序：对于每个类别，NMS 首先根据每个边界框的置信度（即预测框中含有目标的概率）进行排序。选择最高置信度框：从置信度最高的边界框开始，将其作为当前考虑的“最大”候选。计算交并比（IoU）：计算当前最大候选与所有其他边界框的交并比（Intersection over Union）。IoU 是两个边界框交集面积与并集面积的比值，用于衡量边界框之间的重叠程...
PyTorch与NLP：自然语言处理的深度学习实践
如何看待AIGC技术？ 目录 如何看待AIGC技术？ 一、引言 二、PyTorch与深度学习基础 2.1 PyTorch概述 2.2 深度学习基础 三、自然语言处理基础 3.1 文本表示 3.2 常见NLP任务 四、PyTorch在NLP中的应用 4.1 文本预处理 4.2 模型搭建 4.3 模型训练与评估 五、案例实践 5.1 情感分析 5.2 命名实体识别 六、进阶与扩展 6.1 模型优化 6.2...
深度解读《深度探索C++对象模型》之C++对象的构造过程（三）
目录 全局对象的构造和析构 局部静态对象的构造和析构 前两篇请通过这里阅读： 深度解读《深度探索C++对象模型》之C++对象的构造过程（一） 深度解读《深度探索C++对象模型》之C++对象的构造过程（二） 全局对象的构造和析构 C++对象对待全局变量和C语言有点不同，C语言会区分有初始化的变量和未初始化的变量，有初始化的放在数据段中，未初始化的变量则存放在BSS段中，C++则不...
【深度学习实战（25）】搭建训练框架之ModelEMA
一、什么是ModelEMA： 在深度学习中，经常会使用EMA（指数移动平均）这个方法对模型的参数做平均，以求提高测试指标并增加模型鲁棒。 指数移动平均（Exponential Moving Average）也叫权重移动平均（Weighted Moving Average），是一种给予近期数据更高权重的平均方法。 二、如何实现ModelEMA 创建EMA eval mode，去并行化 self.ema...
GEE数据集——1763 年至 2023 年美国地下水井数据库（USGWD）包括水井用途、位置、深度和容量
我们创建了一个从各州和联邦机构收集的地下水井记录综合数据库，我们称之为美国地下水井数据库（USGWD）。USGWD 以表格和矢量点两种形式呈现，包含 1420 多万条水井记录，其中包括水井用途、位置、深度和容量等属性，这些水井的建造时间可追溯到 1763 年至 2023 年。为确保数据的准确性，我们采用了严格的交叉验证步骤。USGWD 是一个宝贵的工具，可帮助我们更好地了解美国各地区和各部门如何获取和...
深度学习基础——Seq2Seq框架在编码-解码过程中的信息丢失问题及解决方法
深度学习基础——Seq2Seq框架在编码-解码过程中的信息丢失问题及解决方法 在自然语言处理领域，Seq2Seq模型是一种常用的序列到序列模型，用于处理序列数据，例如机器翻译、文本摘要等任务。Seq2Seq模型由编码器（Encoder）和解码器（Decoder）组成，编码器负责将输入序列转换为固定长度的向量表示，解码器则根据该向量表示生成输出序列。 然而，在Seq2Seq模型中存在一个常见的问题，即...
深度学习基础：循环神经网络中的长期依赖问题
循环神经网络中的长期依赖问题 在深度学习中，循环神经网络（RNN）是一种经典的模型，用于处理序列数据，如自然语言处理、时间序列预测等任务。然而，传统的RNN存在着一个长期依赖问题，即在处理长序列时，模型往往难以捕捉到序列中远距离的依赖关系，导致性能下降。在本文中，我们将介绍长期依赖问题的概念、常见的解决方法以及用Python实现示例代码并进行可视化展示。 1. 概述 在循环神经网络中，信息的传递是通...