文本表示：从one-hot到word2vec。
1.1 词袋模型：离散、高维、稀疏。
1.2 分布式表示：连续、低维、稠密。word2vec词向量原理并实践，用来表示文本。
简单神经网络
- 1. Word vectors
- - 1.1 传统词向量
  - - 1.1.1 one-hot
    - 1.1.2 Bag-of-Words (BoW)
    - 1.1.2 TF-IDF
    - 1.1.3 Distributional Embeddings
  - 1.2 Neural Word Embeddings
  - - 1.2.1 Word2Vec
    - a) Continuous bag-of-words (CBOW)
      
      b) Continuous skip-gram
  - - 1.2.2 GloVe
    - 1.2.3 FastText

1. Word vectors

把词变成计算机看的懂的语言就是词向量。
看这里：Understanding word vectors

1.1 传统词向量

1.1.1 one-hot

最简单的词向量之一叫one-hot encoded vectors。
譬如，有一组词{magic, dragon, king, queen}，用one-hot表示：

For high-cardinality variables — those with many unique categories — the dimensionality of the transformed vector becomes unmanageable.
The mapping is completely uninformed: “similar” categories are not placed closer to each other in embedding space.

1.1.2 Bag-of-Words (BoW)

The limitation of this method is that it results in extremely large feature dimensions and sparse vectors. But this model can still be used when you want to create a baseline model in just a few lines of code and when your dataset is small.

1.1.2 TF-IDF

Term Frequency – Inverse Document Frequency

Albeit these two techniques helping solve many problems in NLP, they still didn’t capture the true meaning of words.

1.1.3 Distributional Embeddings

1.2 Neural Word Embeddings

While building word embeddings, we aim to develop dense vector representations which somehow capture their meaning in the different contexts they were seen in in the documents. here

1.2.1 Word2Vec

Word2Vec was developed by Tomas Mikolov in 2013 at Google.

a) Continuous bag-of-words (CBOW)

根据上下文猜特定词

b) Continuous skip-gram

用某词猜特定上下文

See the full example code in: tensorflow_word2vec_basic, tensorflow_word2vec

1.2.2 GloVe

1.2.3 FastText

awaiting…

【NLP】简单神经网络相关推荐

【NLP】神经网络基础组件
[NLP]神经网络基础组件神经网络基础组件感知机:最简单的神经网络激活函数 Sigmoid Tanh ReLU Softmax 损失函数均方误差损失类别交叉熵损失二元交叉熵深入监督学习 ...
MNIST数据集合在PaddlePaddle环境下使用简单神经网络识别效果
简介: 通过PaddlePaddle构造的简单神经网络对于MNIST数据库进行实验,可以看到使用普通的稠密网络,便可以达到很高的识别效果.训练结果存在一定的随机性.这取决于训练其实的条件.由于在Pa ...
tensorflow3 非线性回归、mnist、简单神经网络
mnist数据集手写数字的数据集. 60000行训练数据集,10000行测试数据集下载地址:http://yann.lecun.com/exdb/mnist/index.html mnist数据集 ...
python神经网络实例_Python编程实现的简单神经网络算法示例
本文实例讲述了Python编程实现的简单神经网络算法.分享给大家供大家参考,具体如下: python实现二层神经网络包括输入层和输出层 # -*- coding:utf-8 -*- #! pytho ...
PyTorch入门(二)--实现简单神经网络
实现简单神经网络 1. 神经网络基本介绍 2. Autograd包 3. 实现神经网络 3.1 定义神经网络与训练流程 3.2 运行神经网络与计算损失 3.3 反向传递与权值更新 3.4 神经网络中损 ...
Python手撸机器学习系列（十五）：简单神经网络
目录神经网络 1.简单算法推导 2.简单代码实现 3.矩阵形式优化 4.矩阵形式代码实现神经网络 1.简单算法推导搭建一个将二维平面坐标点分开的简单神经网络,输入维度为2*1(特征为2),神经网 ...
【深度学习】Numpy实现简单神经网络
原文地址:点击访问许久未更,是因为开学之后学习任务太充实了.每天都有做不完的事情,每件事情都又想把它做好. 我航中秋国庆假期长达8天,真应了那句话:该放的假一天不少,该补的课一次没有.期间,有多门作 ...
莫烦Python--Tensorflow（5）：简单神经网络
构建简单神经网络 import tensorflow as tf import numpy as np# creat data x_data = np.random.rand(100).astype( ...
【AI】利用简单神经网络做动作识别——基于coco关键点
前言 coco数据集包含了关键点检测,如果想利用提取到的这些关键点做行为识别,该怎么办呢?下文主要通过搭建一个简单神经网络(多层感知机)来做关键点的分类. 任务:假如需要对打电话和玩手机的动作做分类. ...

【NLP】简单神经网络

简单神经网络