yacc & lex

[1 SystemX NG NG]

yaccとは、"yet another compiler-compiler"(さらにもう一つのコンパイラ-コンパイラ)という意味で、
yaccの開発者である、スティーヴ・ジョンソン氏が当時(1972年頃)に存在していた同種のプログラムの多さを
皮肉った言葉に由来している。yaccはその中で生き残ったごく少数のうちの一つである。

lexはyaccがパーサーを作成するのと同様の方法で字句解析ルーチンを作る。即ち、自分の言語の字句規則の
仕様を正規表現と、その正規表現に一致する文字列が見つかった時に、実行すべきCプログラムにより記述すればよい。

lexとyaccは、我々が既に書いてきた字句解析ルーチンと同一のメカニズムで、共同して働く。

[13 名無しさん＠お腹いっぱい。 NG NG]

>>12
ユッケ食いたいなぁ・・・。

[14 棄教者 ◆witdLTi2 NG NG]

http://pc3.2ch.net/test/read.cgi/tech/1021136715/l50

[15 名無しさん＠Ｅｍａｃｓ NG NG]

lex どんな時に使ってる?

[16 名無しさん＠お腹いっぱい。 NG NG]

みゆりんってだれ？

[17 えんぢにあ NG NG]

>>15
使わない。
業務システムのコンサル SE だから。
# いまは、ぷー太郎だけど。

[18 名無しさん＠お腹いっぱい。 NG NG]

率直な話、プログラマじゃなきゃ使い道ないとおもうなぁ。
ふつーの文字列処理で使えるものなのか？
一般人の使うような使い方があったらだれか教えて

[19 名無しさん＠お腹いっぱい。 NG NG]

>>18
個人的なプチコンパイラつくって悦に浸るとき。

[20 名無しさん＠Ｍｅａｄｏｗ NG NG]

意外と便利だが、最近はXMLパーサを利用してしまう……

[21 名無しさん＠お腹いっぱい。 NG NG]

>>18
lex は、正規表現の複雑なことをするには、sed より便利だよ。
覚えとくと非常に便利。

[22 えんぢにあ NG NG]

>>21
lex が必要になることがあまりないな。
たいていは sed で済んじゃうし。

そういえば SJIS to EBIDIK 変換の前処理を
C で書いたけど lex 使えば楽だったかも。

[23 棄教者 ◆witdLTi2 NG NG]

>>21
でも Perl でも十分。
lex が必要になったことは滅多にない。

[24 名無しさん＠お腹いっぱい。 NG NG]

個人レベルでパーサ作る時はracc使うなあ…
正直、lex&yaccは面倒すぎ。

[25 名無しさん＠お腹いっぱい。 NG NG]

俺、yacc は使うけど lex の部分は手で書いちゃう。
再帰降下型パーサーで、ちょちょいと書けるような
簡単な文法だと、yacc も使わずに、すべて手で書い
ちゃう。
これって、ひょっとして old type よりもさらに
older ってことですか？ 欝だ死脳

[26 名無しさん＠お腹いっぱい。 NG NG]

いや、yacc も lex も使わず手で書いてしまうってのはよくある。

[27 名無しさん＠お腹いっぱい。 NG NG]

何でいまだにほとんどのUnixに標準添付なのかと。








いやツールのmakeんときに必要なんだろうけどさ

[28 名無しさん＠お腹いっぱい。 NG NG]

まだだ！まだおわらんよ！
>>27
perlのコンパイルの時も使います

[29 名無しさん＠Ｅｍａｃｓ NG NG]

yacc & lex 本で良いのどれ? ってもう買っちゃったけど。
C のインタープリタ作りたい。>>0

[30 名無しさん＠お腹いっぱい。 NG NG]

SymphonyXに見えた

[31 名無しさん＠お腹いっぱい。 NG NG]

>>30
あのｳｿｺﾊﾞｿﾄﾞか

[32 萌え萌え ◆MOE73MOE NG NG]

プログラム板にも何冊か推薦図書がありましたが、ぼくが参考にしたのは
yacc/lex プログラムジェネレータ on UNIX 五月女健治　テクノプレス
コンパイラ構成法　原田賢一　共立出版

他にも「コンパイラ」に関する本は何冊かありましたが、むしろ
yacc/lex の使い方よりもコンパイラの理論が中心になっているので、
初心者には取っつきにくいかもしれません。

[33 棄教者 ◆KIKYO7cg NG NG]

>>32ハンドル間違えた。

[34 棄教者 ◆KIKYO7cg NG NG]

http://www.linux.or.jp/JF/workshop/JF-in-Progress.html
の翻訳進捗状況一覧眺めていたら
Lex-YACC-HOWTO 未訳だってさ。
2CHer で訳さない?

[35 名無しさん＠お腹いっぱい。 NG NG]

>>29
俺は「yaccによるCコンパイラプログラミング」って本が激しくよかったんですが
(lexは扱ってないけど)絶版になったと聞きました。

[36 名無しさん＠Ｅｍａｃｓ NG NG]

>>萌え萌え
あぁ! それ買ったんですよ。

>>35
そのものズバリなタイトルですね。読みたゐな♪

[37 仕様書無しさん NG NG]

lex&yacc入門なら

「UNIXプログラミング環境」 アスキー

に、素晴らしい章がある。本気でやってみたいんなら、
この章を読むためだけに買ってもいいんじゃないかと思う。
これを読んだ後で、ほかの本を買えばいいんじゃないかな。

でも、この本、まだ売ってんのかな？

[38 名無しさん＠Ｅｍａｃｓ NG NG]

>>37
それってカーニハンのですか? 本屋で見かけたような・・・。
見付けたらゲットしてみます。

[39 名無しさん＠お腹いっぱい。 NG NG]

>>37
その章だけ学校の図書館でコピーしたよ、昔。

[40 35 NG NG]

>>36
本のほうは入手困難ぽ。俺もだいぶ苦労しますた。

Cマガの99年10月号についてるCDにキモの部分が入ってるそうなんで
(http://www.context.co.jp/~cond/books/ ご参照)
これをなんとか入手するのが早いかもです。

x86向けコードを吐き出す (最適化はあんまりやってないけど)
実物のCコンパイラを題材として分かりやすく説明してくれてるいい本でした。

>>37
残念ながらそっちも絶版ぽ

本気で言語処理系学ぶならやっぱドラゴンブックに挑むのがいいんかねえ。

[41 名無しさん＠お腹いっぱい。 NG NG]

読み方についてなのだが、以下の形でよいのだろうか？

lex ......... レックス
yacc .... ヤック
flex ....... フレックス
bison ... バイソン

[42 名無しさん＠お腹いっぱい。 NG NG]

lex ﾚﾌ
yacc ﾔｯｼｯｼｰ
flex ﾌﾚﾌ
bison ﾋﾞｿﾝ

[43 名無しさん＠お腹いっぱい。 NG NG]

れきしかるあならいざじぇねれーた
いぇっとあなざーこんぱいらこんぱいら
ふぁーすとれきしかるあならいざじぇねれーた
のうし

[44 名無しさん＠お腹いっぱい。 NG NG]

炒飯
餃子
レバニラ炒め
天津飯

[45 名無しさん＠お腹いっぱい。 NG NG]

>>41
いいんじゃネーノ？

[46 名無しさん＠お腹いっぱい。 NG NG]

UNIXに関する言葉のカタカナ読みスレッド
http://pc.2ch.net/test/read.cgi/unix/979465046/

[47 名無しさん＠お腹いっぱい。 NG NG]

誰か、%type に複数の項目をカンマで区切って並べる書き方の載っている
マニュアルか何かを知りませんか?

bison-1.75 がタコで、ルールの末尾のセミコロンが絶対必要になったのと
複数項目をカンマで区切って並べる書き方を認めなくなったおかげで、
世間に存在する大量の yacc コードがコンパイルできなくなった模様。
作者は「こりゃ仕様だセミコロンつけないヤシが悪いんだゴルァ」と
MLでおっしゃってます。

直してもらおうと思って Single Unix Specification ではどうなって
いるか調べてみたんだけど、ダメらしい。yaccによるyaccの文法定義は
PSD:15の孫引きなんで、世間のマニュアルはみんな右に倣えの予感。

V7のyaccをコンパイルして試してみたらカンマでもちゃんと通ります。

[48 名無しさん＠お腹いっぱい。 NG NG]

>>41
覚えたてのころは、ごっちゃになって
レック
ヤックス
とか言ってた

[49 山崎渉 NG NG]

（＾＾）

[50 ファンキー大山 NG NG]

やっくすのせりかた

[51 名無しさん＠お腹いっぱい。 NG NG]

http://pc2.2ch.net/test/read.cgi/tech/1045139908/

[52 山崎渉 NG NG]

（＾＾）

[53 山崎渉 NG NG]

（＾＾）

[54 あぼーん NG NG]

あぼーん

[55 名無しさん＠お腹いっぱい。 NG NG]

flex でルール部を C の変数で動的に生成することって出来ないですかね？

[56 クンクン(葬式) NG NG]

>>55
何にでも当てはまるようなオマンコガバガバのルールに対して、
切り出したトークンの値に応じて C の内部で場合分けをして逝くのはどうかしら。。。

クククのクーソ。。。

[57 あぼーん NG NG]

あぼーん

[58 名無しさん＠お腹いっぱい。 NG NG]

自己晒しage

>>55
flexの内部テーブルをいじればいけるんじゃないすか。
そこまでするなら自分で字句解析したほうが楽な気もします。

[59 名無しさん＠お腹いっぱい。 NG NG]

yacc -d とか bison -y が通らないものは
"byacc"つかうとたいてい通る。

しかしナニをするものなのかとかは
全くシラン。

[60 あぼーん NG NG]

あぼーん

[61 名無しさん＠お腹いっぱい。 NG NG]

盛り上がんないなあ

>>34
ほらよ
http://www.linux.or.jp/JF/JFdocs/Lex-YACC-HOWTO.txt

[62 名無しさん＠ＸＥｍａｃｓ NG NG]

>>55

ルールを出力、 *.l を作成
↓
flex を実行、 *.c を作成
↓
コンパイル
↓
yylex() を dlopen()

とか？

lex って状態機械作るんですよね。単にテーブルに要素追加すればオケという
ほど簡単でもないと思うんだけど？ >>58

[63 名無しさん＠お腹いっぱい。 NG NG]

58っす

>>62
そっか、そうだな。

しかしlex使うシチュエーションって少ねえなあ。

[64 あぼーん NG NG]

あぼーん

[65 あぼーん NG NG]

あぼーん

[66 名無しさん＠お腹いっぱい。 NG NG]

設定ファイルの書式もなんだかんだでXMLになりつつあるしなあ。

[67 名無しさん＠お腹いっぱい。 NG NG]

>>63
正規表現ライブラリの代わりとか

[68 名無しさん＠お腹いっぱい。 NG NG]

補修

[69 名無しさん＠お腹いっぱい。 NG NG]

raccのこととかも語ってちょ。

[70 名無しさん＠お腹いっぱい。 NG NG]

アドベンチャーゲームなど用にスクリプトプログラムを作成したいのですが、
そのような目的にyaccやlexって向いていますか？

yaccやlexについて調べようとおもったのですが、見つけることができませんでした。

開発環境はWindowsですので、bisonとflexというのを入れてみました。

[71 名無しさん＠お腹いっぱい。 NG NG]

>>70
スクリプトプログラムを作成するインタプリタプログラムを作るには
むいてるかもしれない。日本語周りは要注意ね。

Unix板的には
「既存のものを使え」
「既存のもので満足できなければ改造しろ」
と思う。車輪の再発明はもっとも愚かだ

[72 名無しさん＠お腹いっぱい。 NG NG]

Lexで標準入力以外(例えば文字列)を取得したい場合、下記のような定義をすると思うんですが、

#undef YY_INPUT
#define YY_INPUT(buf, result, max_size) (result = my_yyinput(buf, max_size))

この場合、my_yyinput()はどういうタイミングで呼ばれるのでしょうか？
また、bufの値はどこで設定すればよいのでしょうか？

[73 名無しさん＠お腹いっぱい。 NG NG]

>>71
私は車輪を再発明して理解しろ。という方が好きです

[74 名無しさん＠お腹いっぱい。 NG NG]

学生やアマチュアはそれで良いんじゃないの

[75 名無しさん@Vim%Chalice 05/01/30 03:09:21]

　

[76 名無しさん＠お腹いっぱい。 05/01/30 09:05:18]

>>71
お前は愚かだ

[77 名無しさん＠お腹いっぱい。 05/02/01 12:45:38]

車輪の再発明は勉強にはなるけど学生のうちに済ませとけ

[78 名無しさん＠お腹いっぱい。 05/02/01 17:58:32]

自分らは普段なにやってるの？車輪磨き？

[79 名無しさん＠お腹いっぱい。 05/03/05 23:39:09]

ＵＮＩＸプログラミング環境

在庫があるところにはあるらしい
www.boople.com/servlet/AFsearch?&isc=&idn=321429&iqm=2

[80 名無しさん＠お腹いっぱい。 05/03/07 20:57:01]

>>79
普通に買えるみたい。
http://www.junkudo.co.jp/detail2.jsp?ID=0185262822
http://bookweb.kinokuniya.co.jp/guest/cgi-bin/wshosea.cgi?W-NIPS=9850359668
家の近所の本屋でも売ってました。

[81 名無しさん＠お腹いっぱい。 2006/01/18(水) 02:07:16]

からあげ　うまうま　だよもん

[82 名無しさん＠お腹いっぱい。 2006/04/03(月) 12:15:00]

flex のyy_push_state() って、FlexLexer ではprotected なのですが
ってことは、.y 側のルールでyy_push_state() を使うのはunsupported でつか?

[83 名無しさん＠お腹いっぱい。 2006/07/05(水) 02:03:44]

初めて lex を使ってみました。なんか面白いのねん。

[84 「なぜ敢えて yyなの?」 2006/07/10(月) 19:35:15]

lex は yy.lex.c吐くわ、yyナンチャラいう変数/関数をもってるわ
なぜそこで yy？ あんた lexさんでしょう？と思ってしまうのですが

yyがつくものは yaccへの引渡しを想定していますよという暗示なのん？
なんつ−か、
歴史的な経緯とかyacc/lex開発時のエピソ−ドがあるようなら教えて下しい
もしかして lex is Yet another Yacc だからとかいう話しなのかしらん？

という質問はくだ質逝ったほうが吉？

[85 84 2006/07/11(火) 13:01:49]

<< yy.lex.c
>> lex.yy.c 誤記ですた

[86 名無しさん＠お腹いっぱい。 2006/07/27(木) 18:31:21]

bisonでコンパイルするときに使う記号テーブルって何で必要なんだ?
誰か教えてくれorz

ぐぐっても見つかんない・・・

[87 名無しさん＠お腹いっぱい。 2006/07/27(木) 18:50:10]

>>84
sourceの行番号の受け渡しとか、
協調しないといけないものがあるから。
--stdoutで切り替えられるから問題ないでしょ。
yyin, yyoutとか。

>>86
えーと、'+'とか'-'とかですめばいいけど、
"if"とか"then"とかをtokenとして扱いたいから。

[88 名無しさん＠お腹いっぱい。 2006/07/27(木) 23:20:24]

>>86
そんなレベルで bison 使うの？

[89 86 2006/07/28(金) 00:59:27]

使わないといけないらしいです。
http://www.kuzbass.ru/docs/unixprogenv/src/hoc4/
これでy=1+5*yを計算したときにどうなるかって言う課題が出て
プリントを復習中ですけど、明日までに間に合いそうに無いので
困り果ててますorz

constpush:1
constpush:5
varpush:x
eval
mul
add
varpush:y
assign
pop
STOP
って感じでいいのかなぁ・・・。

[90 名無しさん＠お腹いっぱい。 2006/07/28(金) 22:52:12]

なんじゃそりゃ

[91 名無しさん＠お腹いっぱい。 2007/06/28(木) 02:50:14]

yyac 使って，define に相当するようなコマンドをもつ
コンパイラ or インタプリタを作るには
どうしたらいいのでしょうか．

参考文献を教えて下さると有難いです．

それとも不可能ですか？

[92 名無しさん＠お腹いっぱい。 2007/06/28(木) 02:59:57]

BNFで書けるなら（つまり文脈自由文法なら）yaccで記述出来るし
BNFで書けないならyaccで記述出来ない

そのdefineをBNFで書いて見る事をお奨めする

[93 名無しさん＠お腹いっぱい。 2007/06/30(土) 14:03:07]

ああ、ひょっとして91が作りたかったのは
defineじゃなくてインタプリタの事じゃないだろうか？
もしそうならyaccでは不可能。
だって、yaccはCompiler Compilerだから。

[94 名無しさん＠お腹いっぱい。 2007/06/30(土) 15:08:19]

(´・ω・｀)

[95 名無しさん＠お腹いっぱい。 2007/06/30(土) 20:15:09]

>>93

[96 名無しさん＠お腹いっぱい。 2007/07/01(日) 02:27:18]

>>55

[97 名無しさん＠お腹いっぱい。 2007/07/01(日) 22:01:53]

>>93
マクロ定義ができるコンパイラが作りたかったんじゃね？

[98 名無しさん＠お腹いっぱい。 2007/07/02(月) 00:15:22]

(´・ω・｀)

[99 名無しさん＠お腹いっぱい。 2007/07/07(土) 17:12:42]

関数定義ができるコンパイラを yacc で記述するにはどうしたらいいですか？

[100 名無しさん＠お腹いっぱい。 2007/07/08(日) 10:09:07]

100ｹﾞﾄ!
普通が一番だよ

[101 WNSyrttCnfyxM 2007/07/19(木) 15:40:27]

rAwIsK name is Kostya.My nick is Zold . I want to find friends .ICQ 324600825

[102 名無しさん＠お腹いっぱい。 2007/07/26(木) 17:55:32]

antlr

[103 名無しさん＠お腹いっぱい。 2008/08/30(土) 23:01:26]

BS1にチョムスキー出てた

[104 名無しさん＠お腹いっぱい。 2008/10/30(木) 23:58:54]

c言語でコメント/*から*/を字句解析できないようにさせるには、
規則部にどういう正規表現をすればいいですか？

/*
・・・・・・
*/
となっています。

[105 名無しさん＠お腹いっぱい。 2008/10/31(金) 00:52:06]

lex?

flexのFAQに、
How can I match C-style comments?
ってのがあるよ。

[106 名無しさん＠お腹いっぱい。 2008/10/31(金) 12:09:51]

flex だったらそれでいいね。

一般的には、
非欲張り型量指定子 *? が使えるなら /\*.*?\*/ でおk

使えない場合は少々厄介で、
/\*([^*]|\*+[^/*])*\*+/

詳説正規表現の第二版だと 6.6.8.3 にある。

[107 名無しさん＠お腹いっぱい。 2008/11/01(土) 00:04:56]

>>105,106
どうもありがとうございました。
大変恐縮なんですが規則部に入れるバージョンで教えてもらえないですか？
"/*"
から始まると思いますが・・・

[108 名無しさん＠お腹いっぱい。 2008/11/01(土) 00:35:06]

>>105,106
lex用に直してコンパイルしましたらできました。
"/*"+[^/*]*+"*/
また教えて下さい。

[109 名無しさん＠お腹いっぱい。 2008/11/01(土) 01:56:53]

ファイルからプログラムを読み込ませてそのプログラムに出てくる演算子とか
識別子の数を一番下に表示させるようにするにはどうしたらいいですか？

[110 名無しさん＠お腹いっぱい。 2008/11/01(土) 09:43:16]

パーズしろ。

[111 名無しさん＠お腹いっぱい。 2008/11/01(土) 16:25:17]

C言語のコメントってプリプロセッサが空白に置換するものだよ。

[112 名無しさん＠お腹いっぱい。 2008/11/02(日) 11:08:35]

サーバの役割のひとつに
クライアントからの電文をプロトコルにしたがって解析して、処理し、返答を
返すという役割があるかと思います。

パーサジェネレータをつかって、簡単に上記のような枠組みを
実装するようなことはできないでしょうか。

インタプリタをパーサジェネレータを使って実装するような流れはあるのに、
drubyやerlang、アクターモデルなどの実装方法とパーサジェネレータが
なぜか結び付けられていないのが不思議に思われます。