Lex

Lex
作者さくしゃ	エリック・シュミット、マイク・レスク（英語えいご版ばん）
リポジトリ	minnie.tuhs.org/cgi-bin/utree.pl?file=4BSD%2Fusr%2Fsrc%2Fcmd%2Flex;
プログラミング; 言語げんご	C言語げんご
対応たいおうOS	Unix
サポート状じょう況きょう	開発かいはつ終了しゅうりょう
種別しゅべつ	コマンド
	テンプレートを表示ひょうじ

Lex（レック、レックス）は、1975年ねんにエリック・シュミットとマイク・レスク（英語えいご版ばん）によって開発かいはつされた、レキシカルアナライザ（字句じく解析かいせきプログラム、字句じく解析かいせき器き）を生成せいせいするプログラムである。unixにおける標準ひょうじゅんのレキシカルアナライザとなっており、POSIX標準ひょうじゅんともなっている。コンパイラの作成さくせいのためにパーサジェネレータのyaccとともに使用しようされることも多おおい。

概要がいよう

名称めいしょう

Lexはレキシカルアナライザジェネレータである。すなわちレキシカルアナライザ（字句じく解析かいせきプログラム、字句じく解析かいせき器き）の生成せいせいツールであり、Lexの名称めいしょうも英語えいごのLexical analysisからきている。

用途ようと

字句じく解析かいせきはテキスト中ちゅうの文字もじ列れつの変換へんかん、カウント、抽出ちゅうしゅつなどさまざまな目的もくてきに使つかわれ、その応用おうよう領域りょういきは、コンパイラやコンバータの作成さくせいを筆頭ひっとうに、自然しぜん言語げんご処理しょりや簡単かんたんな整形せいけいまで幅広はばひろい。

このうち、コンパイラにおけるレキシカルアナライザの位置いちづけを、以下いかに説明せつめいする。プログラムを中間ちゅうかん言語げんごあるいは機械きかい語ごに変換へんかんするコンパイラは、一般いっぱん的てきにソースを入力にゅうりょくし構文こうぶん木きを出力しゅつりょくする構文こうぶん解析かいせき部ぶ(1)と、その構文こうぶん木きを入力にゅうりょくし中間ちゅうかん言語げんごコードまたは機械きかい語ごを出力しゅつりょくするコード生成せいせい部ぶ(2)からなる。

コンパイラ
　├構文こうぶん解析かいせき部ぶ(1)
　│　├字句じく解析かいせき器き(1.1)　←〔ソース〕
　│　│呼出よびだし↑↓
　│　│　　　↑〔トークン列れつ〕
　│　│　　　↑↓
　│　└構文こうぶん解析かいせき器き(1.2)
　│　　　　　↓
　│　　〔構文こうぶん木き〕
　│　　　　　↓
　└コード生成せいせい部ぶ(2)　　　→〔中間なかま言語げんごコードまたは機械きかい語ご〕

このうち(1)の前半ぜんはんは、ソースを入力にゅうりょくしトークン（語彙ごい素もと）列れつを出力しゅつりょくする字句じく解析かいせき器き（レキシカルアナライザ、トークナイザ、スキャナ）(1.1)である。後半こうはんは、そのトークン列れつを入力にゅうりょくし、構文こうぶん規則きそくにしたがって構文こうぶん解析かいせきをし、構文こうぶん木きを出力しゅつりょくする構文こうぶん解析かいせき器き（パーサ、パーザ）(1.2)である。 (1.1)のレキシカルアナライザを生成せいせいするのが、レキシカルアナライザジェネレータである。

機能きのう概要がいよう

構文こうぶん解析かいせき器き(1.2)に解析かいせきを数字すうじや英字えいじや空白くうはくなどの1文字もじ単位たんいで行おこなわせると、複雜ふくざつになりすぎる。しかし、人間にんげんが英文えいぶんから英単語えいたんごや数字すうじなどの記号きごう列れつを、区切くぎり文字もじ（たとえば空白くうはく、タブ、改行かいぎょう、コンマ、終止符しゅうしふ、カッコ）やその列れつを目印めじるしに抽出ちゅうしゅつして、意味いみを判断はんだんしているのと、同様どうようの発想はっそうができる。すなわち、区切くぎり記号きごう列れつでソースを切きっていくと、「print」のような語かたり、「1999」のような10進数しんすう、「"Hello, world"」といった文字もじリテラル、「++」といった演算えんざん子こ、「}」や「;」など意味いみのある区切くぎり文字もじなど、各種かくしゅの文字もじ列れつが取とり出だせる。これをトークンという。ここまでの下位かいの文法ぶんぽう処理しょりを上記じょうき字句じく解析かいせき器き(1.1)に行おこなわせ、一方いっぽう、構文こうぶん解析かいせき器き(1.2)はトークンから出発しゅっぱつして句く、文ぶん、ブロック、プログラムなどを認識にんしきする上位じょういの文法ぶんぽう処理しょりに専念せんねんさせる。この分業ぶんぎょう化かにより、それぞれの定義ていぎと処理しょりを簡潔かんけつにできる。

この字句じく解析かいせき器き(1.1)の合理ごうり的てきな開発かいはつを目的もくてきとし、機械きかい可読かどくにした規則きそく定義ていぎを与あたえれば字句じく解析かいせき器きを自動じどう生成せいせいしてくれる便利べんりなツールがレキシカルアナライザジェネレータであり、LexやFlexなどがそれに属ぞくする。

〔規則きそく定義ていぎ〕
　　↓
レキシカルアナライザジェネレータ（Lex, Flexなど）
　　↓
〔字句じく解析かいせき器き(1.1)〕

同様どうように、構文こうぶん解析かいせき器き(1.2)の合理ごうり的てきな開発かいはつを目的もくてきとし、構文こうぶん規則きそく定義ていぎを与あたえれば構文こうぶん解析かいせき器きを自動じどう生成せいせいしてくれる便利べんりなツールとして、Yacc(Yet Another Compiler Compiler)などのパーサジェネレータ（コンパイラコンパイラ）がある。

構文こうぶん解析かいせき器きジェネレータとの関係かんけい

Yaccなどの構文こうぶん解析かいせき器き生成せいせいツールを利用りようするなら、Lexに字句じく文法ぶんぽう定義ていぎを与あたえて生成せいせいさせたC言語げんごソースである字句じく解析かいせき器きが（Yaccがトークンをユーザから得えるための）yylex関数かんすうを含ふくんでいるので、CコンパイラでYacc出力しゅつりょくと一緒いっしょにこれをリンクして組くみ込こむ。これにより、ソーステキストの字句じく解析かいせきと構文こうぶん解析かいせきを両方りょうほう行いって、規則きそくのアクション部ぶ（あるいはさらにそれに呼よばれるユーザ作成さくせいのC言語げんご関数かんすう）に書かかれた計算けいさんの結果けっかや、コンパイルの生成せいせいに使つかわれる抽象ちゅうしょう構文こうぶん木きの構造こうぞう体たいデータ、あるいは各種かくしゅ表示ひょうじが出力しゅつりょくされる変換へんかんプログラムが完成かんせいする。

YaccとLexはよく似にた文法ぶんぽう定義ていぎをもち、セットで使つかわれ、セットで解説かいせつされることが多おおい。LexとYaccの機能きのうはIEEE POSIX 1003.1-2008（かつては1003.2）で標準ひょうじゅん化かされている^[1]。

配布はいふと派生はせい、改良かいりょう

YaccはほとんどのUNIXシステムで、デフォルトのレキスカルアナライザジェネレータとして利用りよう可能かのうだった。 Lexは多おおくのシステム、多おおくのプログラミング言語げんごに移植いしょくされている。たとえばJava言語げんごによる字句じく解析かいせき器きを生成せいせいするLex系けいツールに、JLex、それを書かき直なおしたJFlexがある。このJFlexとJava言語げんご用よう構文こうぶん解析かいせき器きCUPと組くみあわせて用もちいることも行おこなわれている^[2]。

Lexと同等どうとうの機能きのうを有ゆうし性能せいのうが改善かいぜんされているFlex(英語えいご版ばん)というものもある^[3]が、開発かいはつ者しゃがLexの開発かいはつ者しゃとは別人べつじんのen:Vern Paxsonであり、ライセンスもLexが Plan 9: MIT Licenseなのに対たいしFlexのほうはBSDライセンスであり、つまりは全まったく別べつのソフトウェアであり、しっかり区別くべつしたほうがよい。

Flexについては別べつ記事きじ　Flex (字句じく解析かいせき器き・生成せいせい器き)（英語えいご版ばん）　を立たち上あげ、そちらで説明せつめいすること。

Lex のファイル構造こうぞう

Lexのファイル構造こうぞうは意識いしき的てきにyaccのそれに似にせて定義ていぎされている。ファイルは3つの部分ぶぶんに分割ぶんかつされており、それぞれ定義ていぎ領域りょういき、規則きそく領域りょういき、Cコード領域りょういきである。各かく領域りょういきはパーセント記号きごう2つ(%%)のみを含ふくんだ行くだりで区切くぎられる。

定義ていぎ領域りょういきは正規せいき表現ひょうげんを用もちいてマクロを定義ていぎするところであり、かつCのヘッダーファイルを取とり込こむ場所ばしょでもある。

規則きそく領域りょういきは最もっとも重要じゅうような領域りょういきでありCの命令めいれいとの関連かんれん付づけを行おこなう。Lexの規則きそくと一致いっちするパターンがあるとそれに関連付かんれんづけされたCコードを実行じっこうする。

Cコード領域りょういきには生成せいせいしたソースにそのままコピーされるCの命令めいれいや関数かんすうが含ふくまれている。これらの命令めいれいは規則きそく領域りょういきでの規則きそくにより呼よばれたコードを含ふくむ場合ばあいもある。大だい規模きぼなプログラムではここに分割ぶんかつしておきコンパイル時ときにリンクするほうが便利べんりである。

Lexの正規せいき表現ひょうげん

通常つうじょうの正規せいき表現ひょうげんの特殊とくしゅ文字もじにくわえ、「"」「/」「%」「(」「)」「+」「/」「<」「>」「?」「{」「|」「}」も特殊とくしゅ文字もじである
行頭ぎょうとうの「%」は、上述じょうじゅつのように領域りょういきを区切くぎったり、Lex特有とくゆうの指示しじをあたえるために使つかう
文字もじクラス、否定ひてい文字もじクラスの内側うちがわで「\」が特殊とくしゅ文字もじになる
陽ひに指定していしたときを除のぞいて、否定ひてい文字もじクラスは、改行かいぎょうにも照合しょうごうする
「"」で引用いんようできる。引用いんようの終了しゅうりょうも「"」
「パターン{最少さいしょう,最多さいた}」や「パターン{回数かいすう}」でパターンの繰返くりかえし回数かいすうを指定していできる (Grepの拡張かくちょう正規せいき表現ひょうげんと同おなじ)
「+」は「{1,}」の、「?」は「{,1}」の、それぞれの省略形しょうりゃくけいである (Grepの拡張かくちょう正規せいき表現ひょうげんと同おなじ)
「|」で択一たくいつできる。「(」と「)」で範囲はんいを広ひろげて指定していできる (Grepの拡張かくちょう正規せいき表現ひょうげんと同おなじ)
「\b」「\f」「\n」「\r」「\t」「\v」「\8進数しんすう」は、Cの文字もじ定数ていすうの定義ていぎと同おなじ
「<開始かいし条件じょうけん>正規せいき表現ひょうげん」で、指定していの名前なまえの開始かいし条件じょうけんにあるときの正規せいき表現ひょうげんだけに照合しょうごうできる。開始かいし条件じょうけんは、コンマで区切くぎって複数ふくすう指定していできる
「r/s」は、正規せいき表現ひょうげん「s」の後続こうぞくする正規せいき表現ひょうげん「r」を表あらわす。アクションで参照さんしょうできるのが「r」のみになるところが、重要じゅうようである
「{名前なまえ}」で、定義ていぎ領域りょういきで定義ていぎした名前なまえのマクロに展開てんかいされる

脚注きゃくちゅう・出典しゅってん

^ POSIX 1003.1-2008 - IEEE（有料ゆうりょう）
^ Theory of Compilation -- JLex, CUP tools --(PDF) - by Haifa Univ. Bilal Saleh
^ Flex The Lexical Scanner Generator - G. T. Nicol（日本語にほんご訳やく）

外部がいぶリンク

字句じく解析かいせき（日本語にほんご）- Oracle Documentation プログラミングユーティリティ第だい2章しょう、

特とくにlex と yacc の併用へいよう

Lex Online Manual - 作者さくしゃ M. E. Lesk and E. Schmidt （英語えいご）
Lex & Yacc Tutorial - Tom Niemann epaperpress.com（英語えいご）
Cコンパイラ設計せっけい(yacc・lexの応用おうよう)G・フリードマン著ちょ、矢吹やぶき道郎みちおら訳やく、竹本たけもと浩ひろしOCR復刻ふっこく
字句じくスキャナ生成せいせいプログラム Flex 2.3.7、1.03版はん 1993年ねん2月がつ（日本語にほんご訳やく）- 原著げんちょ G. T. Nicol、

特とくにFlex と Lex

[1] POSIX 1003.1-2008 - IEEE（有料ゆうりょう）

[2] Theory of Compilation -- JLex, CUP tools --(PDF) - by Haifa Univ. Bilal Saleh

[3] Flex The Lexical Scanner Generator - G. T. Nicol（日本語にほんご訳やく）

[1]

[2]

[3]

表ひょう話はなし編へん歴れき Unix コマンド
ファイルとファイルシステム管理かんり	cat chattr（英語えいご版ばん） chmod chown chgrp cksum cmp cp dd du df（英語えいご版ばん） file fsck fuser（英語えいご版ばん） ln ls lsof mkdir mount mv pax pwd rm rmdir size split tee touch type（英語えいご版ばん） umask（英語えいご版ばん）
プロセス管理かんり	at bg chroot cron fg kill killall nice pgrep pidof pkill ps pstree（英語えいご版ばん） reboot shutdown time top
ユーザ管理かんり/環境かんきょう	clear env exit finger history（英語えいご版ばん） id logname（英語えいご版ばん） mesg passwd su sudo uptime talk tput（英語えいご版ばん） uname w wall who whoami write
テキスト処理しょり	awk banner basename comm（英語えいご版ばん） csplit（英語えいご版ばん） cut diff dirname ed ex（英語えいご版ばん） fmt fold（英語えいご版ばん） head iconv join（英語えいご版ばん） less m4 more nkf nl paste（英語えいご版ばん） patch printf（英語えいご版ばん） read（英語えいご版ばん） sed sort spell（英語えいご版ばん） strings tail tr troff uniq vi wc xargs yes
シェルビルトイン	alias cd echo test（英語えいご版ばん） unset wait
通信つうしん	dig host（英語えいご版ばん） ifconfig inetd ip (iproute2) netcat netstat nslookup ping rdate（英語えいご版ばん） rlogin route ssh traceroute
検索けんさく	find grep locate（英語えいご版ばん） whatis（英語えいご版ばん） whereis（英語えいご版ばん）
マニュアル	apropos（英語えいご版ばん） help（英語えいご版ばん） man
ソフトウェア開発かいはつ	ar ctags lex make nm strip（英語えいご版ばん） yacc
その他た	bc dc cal date expr false lp（英語えいご版ばん） lpr od sl sleep stty true tty
Category:UNIXのソフトウェア UNIXユーティリティの一覧いちらん