怎么理解token,tokenize,tokenizer.

1、一种解释

token：令牌
tokenize：令牌化
tokenizer：令牌解析器

2、另一种翻译是：token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器”。

在编写词法分析器(Lexer)或语法分析器(Parser)的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和tokenizer也会经常出现，基本上所有涉及到词法解析的源码都会用到tokenize。

在邱仲潘译的《Mastering Java 2》有这儿一段：

StreamTokenizer类根据用户定义的规则，从输入流中提取可识别的子串和标记符号，这个过程称为令牌化（[i]tokenizing[/i]），因为流简化为了令牌符号。令牌（[i]token[/i]）通常代表关键字、变量名、字符串、直接量和大括号等语法标点。

3、在编写词法分析器(Lexer)或语法分析器(Parser)的时候，除了Lexer和Parser这两个词会经常使用外，tokenize和tokenizer也会经常出现，基本上所有涉及到词法解析的源码都会用到tokenize。
它的命名来源于使用英文的开发者，否则让我这个习惯使用中文的人去想这个命名，我可能会用其它简单的词来代替，不会这么形象化，所以啊，语言文化的不同，可能会导致思维方式的不同啊，所以中国人的思维方式和西方人的思维方式肯定是不同的，让他们来理解我们的语言可能也很费解。

不管怎么说，好的东西是应该学习和借鉴的，tokenize这个词使用得如此频繁，肯定有它的意义，那到底这个词怎么翻译？怎么理解？在邱仲潘译的《Mastering Java 2》有这儿一段：

参考邱仲潘的这段译文，可以这样翻译：
token：令牌
tokenize：令牌化

4、tokenizer：令牌解析器
而我看到的另一种翻译是：token可以翻译为“标记”，tokenize可以翻译为“标记解析”或“解析标记”，tokenizer可以翻译为“标记解析器” 。

5、我的理解是tokenize是负责把代码解析为一个个的“串”，而Paser是根据这些“串”的前后序列关系来生成相应的语法结构。用令牌好像更形象一些，不过总觉得听起来很生硬，而翻译成“标记”，范围又狭窄了一些。我也找不到一个更适合的词来翻译了，总之理解意思最重要。

不知道各位是怎么理解的，怎么翻译的。

怎么理解token,tokenize,tokenizer.相关推荐

快速理解Token，Cookie，Session
在Web应用中,HTTP请求是无状态的.即:用户第一次发起请求,与服务器建立连接并登录成功后,为了避免每次打开一个页面都需要登录一下,就出现了cookie,Session. Cookie Cookie ...
Lucene分词实现---Analyzer、TokenStream（Token、Tokenizer、Tokenfilter）
一分清概念: 1 TokenStream是用来走访Token的iterator(迭代器) , Tokenizer继承自TokenStream,其输入为Reader . TokenFilter ...
深入理解token的作用
概要:Token 是在服务端产生的.如果前端使用用户名/密码向服务端请求认证,服务端认证成功,那么在服务端会返回 Token 给前端.前端可以在每次请求的时候带上 Token 证明自己的合法地位. 为 ...
GPT-2生成式多轮对话入门-----深入理解“用于中文闲聊的GPT2模型”项目
UPDATE 2.28.2020 纠正之前文末的思维误区. 2.26.2020 增加了Jay Alammar The Illustrated GPT-2 博客的翻译增加了关于Transformer你 ...
php tokenizer获取所有类,PHP Tokenizer 学习笔记
简述在某个项目中需要分析 PHP 代码,分离出对应的函数调用(以及源代码对应的位置).虽然这使用正则也可以实现,但无论从效率还是代码复杂度方面考虑,这都不是最优的方式. 查询了 PHP 手册,发现其 ...
AJAX安全-Session做Token
个人思路,请大神看到了指点个人理解token是防止扫号机或者恶意注册.恶意发表灌水,有些JS写的token算法,也会被抓出来被利用,个人感觉还是用会过期的Session做token更好,服务器存储, ...
不要用JWT替代session管理（上）：全面了解Token,JWT,OAuth,SAML,SSO
通常为了弄清楚一个概念,我们需要掌握十个概念.在判断 JWT (Json Web Token) 是否能代替 session 管理之前,我们要了解什么是 token,以及 access token 和 ...
如何设计区块链项目的通证（token）模型
2018年将是区块链的认知元年.过去一个多月,我自己对区块链与Token模式的认知发生了几次升级,不敢说认知有多深,但是想明白了之后我已经准备All in了. 这篇文章谈一谈我对Token模式的1.0 ...
session和token鉴权
1.什么是token? 在接口的响应结果中,经常会出现类似这样的返回值: {"msg":"success", "token":"e ...
Token和Session有什么区别，面试官满意的答案
活动地址:CSDN21天学习挑战赛 token 和 Session 的问题在面试中几乎是必问的,不管是开发也好,还是测试也好,本文通过图形说明它们的原理以及弊端,遇到面试官不慌. 什么是 token ...

怎么理解token,tokenize,tokenizer.

怎么理解token,tokenize,tokenizer.相关推荐

最新文章

热门文章