Compound word transformer代码详解（一）数据预处理

作者的完整代码及其他数据资料存放的地址
1、将若干音乐表示成compound word的形式。compound word将音乐信息的类型分为7类，分别为family、tempo、chord、position/bar、pitch、duration、velocity。直观来说，用一个7维向量可以表示一个音乐信息。

2、又可通过family的类别，将剩余6类，划分为2大类，分别为与note相关的类以及与metric相关的类。

3、划分训练集存储在train_data_linear.npz中，其中存储train_x,train_y,train_mask的信息。
train_x : (1625, 3584, 7)
train_y : (1625, 3584, 7)
train_mask : (1625, 3584)

//其中train_mask是因为3584是所有音乐的最大tokens数，在分别处理音乐的时候需要进行补0操作，需要用train_mask记录补0的位置，后续训练时对这些地方进行mask。
mask = np.concatenate([np.ones(seq_len), np.zeros(MAX_LEN-seq_len)])

4、在dictionary.pkl中记录tokens和数字的对应情况。

Compound word transformer代码详解（一）数据预处理相关推荐

Transformer代码详解: attention-is-all-you-need-pytorch
Transformer代码详解: attention-is-all-you-need-pytorch 前言 Transformer代码详解-pytorch版 Transformer模型结构各模块结构 ...
Transformer代码详解与项目实战之Masking
在此模型中Masking有两种,分别是Padding Masking和Look-ahead Masking. Padding Masking:遮挡一批序列中所有的填充标记(pad tokens).这确 ...
ViT（ Vision Transformer）详解
文章目录 (一)参考博客和PPT原文件下载连接 (二)VIT原理详解 2.1.self-attention 2.2.sequence序列之间相关性 α \boldsymbol{\alpha} α的求解 ...
将卷积引入transformer中VcT(Introducing Convolutions to Vision Transformers)的pytorch代码详解
文章目录 1. Motivation: 2. Method 2.1 Convolutional Token Embedding 模块 2.2 Convolutional Projection For ...
linux 进程间通信 dbus-glib【实例】详解三数据类型和dteeth（类型签名type域）（层级结构：服务Service --＞ Node（对象、object）等）（附代码）
linux 进程间通信 dbus-glib[实例]详解一(附代码)(d-feet工具使用) linux 进程间通信 dbus-glib[实例]详解二(上) 消息和消息总线(附代码) linux 进程间 ...
java编程数据溢出问题_Java数据溢出代码详解
Java数据溢出代码详解发布时间:2020-10-05 15:08:31 来源:脚本之家阅读:103 作者:Pony小马 java是一门相对安全的语言,那么数据溢出时它是如何处理的呢? 看一段代码 ...
LoRa节点开发：5、代码详解LoRaWAN中的几种数据包（发送与接收数据）
本文来源微信公众号[物联网思考] 本文主要结合LoRaNode SDK v4.4.2和LoRaWAN规范1.0.3来展开. 1.数据包类型 LoRaWAN规范中有不同的数据包,通过MType字段区分, ...
Android实战：CoolWeather酷欧天气（加强版数据接口）代码详解（上）
-----------------------------------该文章代码已停更,可参考浩比天气(更新于2019/6/25)----------------------------------- ...
超级超级详细的实体关系抽取数据预处理代码详解
超级超级详细的实体关系抽取数据预处理代码详解由于本人是代码小白,在学习代码过程中会出现很多的问题,所以需要一直记录自己出现的问题以及解决办法. 废话不多说,直接上代码!!! 一.data_proce ...

Compound word transformer代码详解（一）数据预处理

Compound word transformer代码详解（一）数据预处理相关推荐

最新文章

热门文章