作者zzss2003 (brotherD)
看板C_and_CPP
標題[問題] token在這個上下文中所代表的意思
時間Mon Oct 23 18:12:30 2017
各位前輩好，不曉得在這個版可不可以討論這種問題?如果不行還請版主幫我把這篇刪掉
(我記得這邊好像不能自刪?)
在國外論壇中，時常看到token這個字，但我始終不清不楚它的定義。
例如，在ISO/IEC 9899:1990這個規範，對argument的定義中:
An expression in the comma-separated list bounded by the parentheses in a
function call expression. or a sequence of preprocessing tokens in the
comma-separated list bounded by the parentheses in a function-like macro
invocation. Also known as “actual argument” or “actual parameter.”
上網查到了這篇stack overfolow:
https://stackoverflow.com/questions/4448661/what-is-the-exact-definition-of-token
看完一遍後，對token這個字的定義還是很模糊。
請問，token這個意思用中文表達的話，是代表著什麼意思呢?
--
※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 60.248.26.157
※ 文章網址: https://webptt.com/m.aspx?n=bbs/C_and_CPP/M.1508753553.A.5EC.html
1F：→ Lipraxde: 以前再看yacc/lex時有看到，跟語法分析有關？ 10/23 18:32
3F：→ james732: 我自己的簡單理解是"一個有意義的最小單位" (?) 10/23 19:39
4F：推 chuegou: counter的感覺？ 10/23 20:03
5F：→ Hazukashiine: 在講 token 的時候 我們一般不會說它具有語意 10/23 21:26
6F：→ Hazukashiine: 因為程式碼是一個連續的位元流 沒有實體的切割 10/23 21:27
7F：推 Bencrie: 衍生物（誤 10/23 21:27
8F：→ Hazukashiine: 所以我們要定義一組規則去把程式碼切斷成數個單元 10/23 21:28
9F：→ Hazukashiine: 這個過程叫做 tokenization 來提供語法分析器調用 10/23 21:29
10F：→ Hazukashiine: 一但語法分析器建立出語法樹後 程式碼變有了意義 10/23 21:30
11F：推 longlongint: 就代幣(誤 10/24 00:42
12F：→ longlongint: 個人的理解 "一片小東西上面有寫字" 10/24 00:43
13F：推 CoNsTaR: 就是能證明你身份的一樣物品啊 10/24 03:12
14F：→ MOONRAKER: 證明身分那是寫網路程式的時候好嗎 10/24 03:16
15F：→ MOONRAKER: token就如上述 程式碼是一個大字串 把這個大字串依照 10/24 03:18
16F：→ MOONRAKER: 規則切成小段 就是token 10/24 03:19
17F：→ MOONRAKER: 考慮意義 你可以稱它為「單字」 反正電腦語言的WORD是 10/24 03:19
18F：→ MOONRAKER: 別的意思不會混淆 而token是合乎語法的基本片段 10/24 03:20
19F：→ MOONRAKER: (syntactic element) 稱為「單字」也並無問題 10/24 03:21
20F：→ MOONRAKER: 叫「字彙」或更模糊的「片段」也行 「字串」也勉強 10/24 03:31
21F：→ MOONRAKER: 類似很難搞的詞還有"handle" 那比token還頭大 10/24 03:32
22F：推 CoNsTaR: 原來我那個解釋還真的可以用在寫程式上啊 XDDD 10/24 04:29
23F：推 springman: 在分析運算式時，運算元、運算子、括號 等都是 token。 10/24 09:40
問一下題外話，請問網路上哪裡可以抓到比較清楚版本的C89/C90 Spec?這個版本看得我眼
睛好痛苦
※ 編輯: zzss2003 (60.248.26.157), 10/24/2017 11:04:20
24F：→ MOONRAKER: 規格書不好看是一定的啊 準備一些基礎知識才比較好看 10/24 16:07
我指的不清楚是指印的不清楚QQ
25F：推 sppmg: 讓我想到 latex3 10/24 22:15
※ 編輯: zzss2003 (60.248.26.157), 10/25/2017 09:48:18
26F：→ MOONRAKER: 那不是隨便找就有PDF嗎 10/25 14:02
27F：→ MOONRAKER: Sorry正式的PDF是要錢的 但是你搜尋ISO 9899:1990 10/25 14:05
28F：→ MOONRAKER: 就有一堆非常接近的版本了 還可能在中國有意外驚喜 10/25 14:05
29F：→ descent: 我是印出來慢慢看 10/26 13:02