逆コンパイラCodeReverseを作る

**片山博文MZコスモ** ◆T6xkBnTXz7B0 · 2013/09/24(火) 14:58:48.34

CodeReverseは、片山博文MZが開発している、Windows用の逆アセンブラ兼ダンプツールです。
最終的には「リバーシブルな」逆コンパイラを目指しています。

CodeReverse公式サイト
http://katahiromz.web.fc2.com/codereverse/

GitHubレポジトリはこちら
https://github.com/katahiromz/CodeReverse

**片山博文MZジェバンニ** ◆T6xkBnTXz7B0 · 2014/03/14(金) 22:07:44.17

exe2cの間違いだった。。。

**片山博文MZジェバンニ** ◆T6xkBnTXz7B0 · 2014/03/21(金) 16:00:15.28

AST構築中。。。

**片山博文MZジェバンニ** ◆T6xkBnTXz7B0 · 2014/03/23(日) 18:39:59.36

最適化なんてどうでもいいから、早くASTを構築しろって上司に怒鳴られた。
すなおに実装してみるか

**片山博文MZジェバンニ** ◆T6xkBnTXz7B0 · 2014/04/01(火) 12:58:53.08

AST構築完了。次はコンパイルだ。
http://katahiromz.web.fc2.com/mathai/cparser8.txz

**デフォルトの名無しさん** · 2014/04/02(水) 01:48:11.12

まだやってたのか

**片山博文MZジェバンニ** ◆T6xkBnTXz7B0 · 2014/04/02(水) 23:15:39.26

こうして見返してみると馬鹿なコード書いてるのがわかるな。。。
書き直そう。

**片山博文MZジェバンニ** ◆T6xkBnTXz7B0 · 2014/04/07(月) 14:05:00.51

github.com/katahiromz/CodeReverse
更新しました。パースルーチンを追加。コードの近代化。
ライセンスをThe BSD 2-Clause Licenseに変更。
さあ、どんどん作るぞ！！！

**マイク** ◆gZ6OoOjBU6 · 2014/04/20(日) 10:23:49.34

技術レベルの高いことやってるね。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/04/20(日) 17:23:11.71

x86アセンブリから関数の引数のサイズを求める方法がわからない。知ってる人、教えてよ

**デフォルトの名無しさん** · 2014/04/20(日) 20:30:04.45

calling convension調べろよ

**デフォルトの名無しさん** · 2014/04/21(月) 00:20:07.86

そういうのはプロジェクト立ち上げる前に解決しとくと子だろ

**デフォルトの名無しさん** · 2014/04/30(水) 18:48:27.62

catcher

**デフォルトの名無しさん** · 2014/04/30(水) 23:08:35.10

途中何も読んでないから的外れ言ってたらすまんこまんこ
引数はPUSH最後からPUSHで行って、最後にリターンアドレスをPUSHして関数をcallする
arg3
arg2
arg1
retaddr
引数が４バイトで３つの場合、呼び出し直後のスタックはこうなる

**デフォルトの名無しさん** · 2014/04/30(水) 23:20:48.12

関数呼び出し規約の違いは引数の分のスタック処理を誰が責任持つかの違い
__stdcallは呼び出された関数が最後にスタックを整理して返る
__cdeclは呼び出し側がpushした分だけスタックを整理する
__fastcallはcallする前にpushじゃなくて最大２つまでレジスタに値をぶっ込んでからcallする
__thiscallはcallの直前にecxにthisポインタを入れてから呼び出すが、スタック処理は_規定では_stdcallと同じ
関数内でecxにあれこれしてローカル変数っぽいのを弄ってたらなんかしらのクラス決定
__cdeclを指定されたり可変個引数だったりするメンバ関数は、thisポインタを最後にスタックに積んだ気がする

**デフォルトの名無しさん** · 2014/05/01(木) 00:42:00.30

__fastcall調べたなら「スタック処理を誰が責任持つかの違い」じゃ無いことは自明だろがアホ
あとx64だとかなり様変わりする

**デフォルトの名無しさん** · 2014/05/01(木) 02:11:28.08

ごめんニワカなんだすまんこまんこ
__fastcallは3つ以上引数取るときには３つめ以降の責任は__stdcallと同じだったはず
x64はほとんどレジスタで引数やりとりするんだっけ？全く詳しくないが

**デフォルトの名無しさん** · 2014/05/01(木) 02:48:55.05

「引数の渡し方からしてそもそも違う」のに「誰が責任持つかの違い」に限定しなきゃいかん理由は何なんだ。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/01(木) 12:27:44.81

v0.1.0!
https://github.com/katahiromz/CodeReverse

パースした関数のプロトタイプを出力するようになりました。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/01(木) 14:24:04.77

型システムは70％くらいできた。
アセンブリから呼び出し規約と引数のサイズを推定するオートマトンを作らないといけない。
頑張るぜ。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/01(木) 18:16:21.29

Amazonでドラゴンブック二冊目買おうかな
データフローを勉強したいんで

**デフォルトの名無しさん** · 2014/05/01(木) 18:37:14.14

買う買う光線ビーム！！！

**デフォルトの名無しさん** · 2014/05/01(木) 19:17:47.73

こわい

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/02(金) 12:19:45.40

買ったぞーーーー

**デフォルトの名無しさん** · 2014/05/02(金) 22:33:36.49

>>176
つhttp://awabi.2ch.net/test/read.cgi/classical/1389828072/

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/04(日) 13:00:24.41

0.1.1!
https://github.com/katahiromz/CodeReverse

型システムが85％できました。ビットフィールドが難しい。。。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/04(日) 18:25:07.84

ビットフィールド、サポート出来そう。
次はオートマトンに取り組むぞ！！！

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/05(月) 00:10:21.23

【関数呼び出しコード分析における注意点】
☆呼び出しの際、スタックを解放せずに再利用されることがある。
☆呼び出し先のアドレスがレジスタに格納されて呼び出しに使われることがある。
☆また、条件によって場合分けされて呼び出し先の異なるアドレスがレジスタに格納されて呼び出しに使われることがある。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/05(月) 00:44:45.91

レベル０．機械語コード。
レベル１．アセンブリのみのコード。
レベル２．関数に切り分けられたアセンブリコード。
レベル３．レジスタとスタックの直接的操作を含む中間表現コード。
レベル４．レジスタとスタックの直接的操作を含まない中間表現コード。
レベル５．C言語のコード。

#こんな感じかな？

**デフォルトの名無しさん** · 2014/05/05(月) 00:47:27.64

レベル３．レジスタとスタックの直接的操作を含む型なしの中間表現コード。
レベル４．レジスタとスタックの直接的操作を含まない型付きの中間表現コード。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/05(月) 01:30:48.74

命令セットの中間表現はテキストとして与えられる(insn*.dat)。
よって、中間表現の設計とパーサとASTが必要。
中間表現はC言語のサブセットの拡張とする。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/05(月) 15:16:53.17

gccは余分にスタックフレーム確保してる。。。何でだろ？

**デフォルトの名無しさん** · 2014/05/06(火) 13:59:33.71

実現出来てもwatcom cの吐いたバイナリで面白いことになる予感

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/07(水) 18:04:37.38

本が来た━━━━━━━━━！！！

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/08(木) 15:32:25.08

コンパイラが関数だとすると、逆コンパイラは逆関数である。
逆なんだよ、逆。コンパイラのコード生成に対しては、逆コンパイラのコード分析が対応する。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/08(木) 17:50:21.71

__stdcallが一番簡単。__stdcallのときに限ってretの引数があって、それが関数の引数リストのサイズ。
__stdcallでないときはretに引数がなく、呼び出し側が引数スタックを解放する。
__cdeclか__fastcallか__thiscallの判断はレジスタの使用や関数呼び出しの状況を統計するしか方法はない。
スタックやレジスタやヒープの型情報とデータと式などを統合して扱う仕組みが必要。

**デフォルトの名無しさん** · 2014/05/09(金) 09:45:23.59

統計しなくても理詰めで解けるケースを想定できんのか
//どっちみち可変長引数は詰むけどな

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/10(土) 00:46:59.62

ある関数内で呼び出すターゲット関数のスタック引数サイズは、スタックフレームマイナススタックポインタ以下の値を取りうる。
関数内でターゲット関数の呼び出しが１回のみで他にスタック操作をしていないなら、そのときのスタック引数サイズは確定する。
ターゲット関数内のレジスタとスタックの使用状況から、スタック引数サイズの下限がわかる。
可変長引数の場合は、スタック引数サイズは下限以上の値になる。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/10(土) 00:54:06.86

ということは、スタックフレームイコールスタックポインタの場合はターゲット関数の
スタック引数サイズはゼロで確定で、ターゲット関数に対する統計は不要という訳か？

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/10(土) 01:26:55.17

１．関数のスタック引数サイズとローカル領域を確定し、スタック操作を仮想化する。
２．コードを基本ブロックに分け、分岐を仮想化する。
３．オペランドに型を付けて型推論を行う。
４．データフロー解析を行い、中間表現へ変換。オペランドを式に抽象化する。
５．読みやすいように最適化しながら、コード生成を行う。
６．AStyleを使ってコードを整形する。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/11(日) 18:12:03.14

0.1.4!　コードを整理。
https://github.com/katahiromz/CodeReverse

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/14(水) 13:48:10.03

x86のintrinsicのまとまった情報が欲しいけど見付からない

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/15(木) 19:14:50.89

符号付きか符号なしか分からない型をxsignedで表す。
未知の型はunknown%d_tという型を付ける。未知の型について型の属性を解析していく。
例えば、即値xが非ゼロで上位ワードがゼロならポインタでなく整数である。
callの引数は間違いなく関数ポインタである。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/16(金) 00:32:42.44

ということは、intrinsicのアセンブリパターンをほとんど全部調べて、
パターンマッチングでパターンごとに中間表現に置き換えていく必要があるんやで。
パターンデータを用意するのが大変やで、しかし。

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/17(土) 23:48:39.82

pattern {
(アセンブリのテンプレート)
} code {
(中間表現)
}

こんな感じのテキストデータを事前に読み込んで、それ(置き換え規則)を使って
パターンマッチを行い、中間表現への置き換えをする。
テンプレートには$1,$2,$3,...などの引数が書ける。

**デフォルトの名無しさん** · 2014/05/18(日) 05:43:49.87

パターンが足りず変換し損なうか、パターンが意図しない場所にマッチして変換し損なうか、
マッチ候補の組み合わせ探索量が爆発して尋常じゃなく遅くなる、て未来が見えそうだね。

**デフォルトの名無しさん** · 2014/05/18(日) 11:59:58.99

最適化されたバイナリとか全く考えて無さそうだな
変換できなかったらインラインアセンブリのソースに変換します！　ならかっこいいｗ

**デフォルトの名無しさん** · 2014/05/18(日) 12:30:27.39

>>199
それ言い出すとインラインアセンブリだらけになっちゃうだろ！

**デフォルトの名無しさん** · 2014/05/18(日) 21:31:34.01

ループ展開とか、再起がgoto文になってたりすると見にくそう

**デフォルトの名無しさん** · 2014/05/18(日) 22:02:56.66

forもwhileもgotoになるだろう

**デフォルトの名無しさん** · 2014/05/19(月) 11:39:49.12

>>197
コンパイラの癖が変わったら破たんするな。

**デフォルトの名無しさん** · 2014/05/19(月) 12:56:58.39

>>203
コンパイラのバージョンとコンパイルオプションの組み合わせごとにパターンセット作るんじゃね？
手作業だと余裕で死ねる。

**デフォルトの名無しさん** · 2014/05/20(火) 00:30:57.63

頻出形だけカバーできればいいだろ
どうせ大事なのはその先なんだし

**デフォルトの名無しさん** · 2014/05/20(火) 00:40:11.42

最初から最後までインラインアセンブリ

**デフォルトの名無しさん** · 2014/05/20(火) 00:42:08.99

>>206
なにその手の込んだ手抜き

**片山博文MZバグロボ** ◆T6xkBnTXz7B0 · 2014/05/20(火) 01:01:34.43

はーひふーへほー！！！
片山被告のせいで俺まで職場で悪役扱いだずぇ！
まゆげが無くても父親が殺人者でも関係ねぇ！
俺はコンピュータテクノロジーの心臓部に弾丸を撃ち込んで歴史を塗り替えてみせる！
俺様は諦めない！がはははっひゃっ！ばいばいきーん！

**片山博文MZ悪魔崇拝** ◆T6xkBnTXz7B0 · 2014/05/20(火) 01:33:26.09

最終チェックが終わったら次は64bitのパターンだな。
7月15日までに結果を出さねば。

**デフォルトの名無しさん** · 2014/05/24(土) 09:18:22.74

jmp を for にできるようになったら呼んでくれ

**片山博文MZ悪魔崇拝** ◆T6xkBnTXz7B0 · 2014/05/24(土) 15:37:43.79

v0.1.5!
https://github.com/katahiromz/CodeReverse

パターンファイルasmpat32.dat, asmpat64.datを追加しました。
ソースが読みやすくなりましたので、興味がある方はじっくりご覧下さい。

>>210 それはまだ先のこと。

**片山博文MZ悪魔崇拝** ◆T6xkBnTXz7B0 · 2014/05/26(月) 03:07:17.92

たいした成果がないとスポンサーからの今年の研究費がお預けになる予感。。。開発を急がないと。。。
GitHubにてPull Repuest歓迎。アドバイス・批評歓迎。功績・貢献にはアマゾンギフト券かWebMoneyでお応えします。

**片山博文MZ悪魔崇拝** ◆T6xkBnTXz7B0 · 2014/06/02(月) 23:38:37.43

もう少し納得がいくまでひらがな電卓がんばります。

**片山博文MZ悪魔崇拝** ◆T6xkBnTXz7B0 · 2014/06/25(水) 18:38:03.09

うひょー、ひらがな電卓のお陰で研究費ゲットだぜぇ！もう少しひらがな電卓を頑張るずぇっ！

**デフォルトの名無しさん** · 2014/07/10(木) 00:11:01.04

catcher

◆QZaw55cn4c · 2014/07/13(日) 08:57:04.53

>>214
ニートですが研究費とかいうものはどうやったら貰えるのですか？

**デフォルトの名無しさん** · 2014/07/20(日) 18:12:16.52

>>216
「クラウドファンディング」で検索

**片山博文MZ悪魔崇拝** ◆T6xkBnTXz7B0 · 2014/07/27(日) 15:17:33.75

catcher

**デフォルトの名無しさん** · 2014/08/02(土) 14:48:35.52

catcher

**デフォルトの名無しさん** · 2014/08/13(水) 18:13:36.72

catcher

**デフォルトの名無しさん** · 2014/08/17(日) 23:10:05.64

お花畑

**デフォルトの名無しさん** · 2014/08/25(月) 18:24:31.95

catcher

**デフォルトの名無しさん** · 2014/09/06(土) 22:58:01.07

catcher

**片山博文MZ次期CEO** ◆T6xkBnTXz7B0 · 2014/09/15(月) 21:33:44.73

バイナリをLLVMにするって可能なのか？うーん

**片山博文MZ次期CEO** ◆T6xkBnTXz7B0 · 2014/09/16(火) 17:47:27.97

Fracture
https://github.com/draperlaboratory/fracture

これもあまり進んでいないなあ。参考になるかなあ。

**デフォルトの名無しさん** · 2014/09/28(日) 23:27:24.48

しばらくCalc-Hの営業
時間ないな

**片山博文MZ次期CEO** ◆T6xkBnTXz7B0 · 2014/10/08(水) 13:20:30.61

catcher

**片山博文MZ次期CEO** ◆T6xkBnTXz7B0 · 2014/10/21(火) 20:17:15.61

GitHubで星が１つ付いた。頑張らないといけないのだが、時間がない。

**デフォルトの名無しさん転載ダメ©2ch.net** · 2014/10/31(金) 17:22:03.59

catcher

**デフォルトの名無しさん** · 2014/11/09(日) 20:47:16.65

時間ねーから

**デフォルトの名無しさん** · 2014/11/21(金) 00:49:03.57

catcher

**デフォルトの名無しさん** · 2014/11/26(水) 23:20:20.01

こんな嘘ばかりのスレ取り消せ。
クソボケが、アホクソボケカスが。
根性無しのカスの集まりが。
どうせ何もできんのやろが？
カスはカスらしく黙っとらんかい！クソボケ！
何なんじゃアホが。この根性無しのクズが。
クソボケクズ。クズの集まりじゃねえか。
ポンコツのクソドアホが。ボンクラだろがてめえら。
はっきり言っといてやるよ。てめえらなんか、何一つ怖くないわ、
このクズ以下のポンコツボンクラが。

**デフォルトの名無しさん** · 2014/12/06(土) 14:51:26.56

catcher

**デフォルトの名無しさん** · 2014/12/21(日) 19:05:02.38

catcher

**デフォルトの名無しさん** · 2014/12/29(月) 14:04:28.20

catcher

**片山博文MZ** ◆T6xkBnTXz7B0 · 2014/12/30(火) 12:29:11.58

データフローの表現の問題が未解決。アイデアが見つかるまで時間が掛かりそうです。

**片山博文MZ** ◆T6xkBnTXz7B0 · 2014/12/30(火) 16:43:47.63

dag (directed acyclic graph): 閉路のない有向グラフ。「グラフ理論」を参照。
基本ブロック (basic block): 途中で停止したり、分岐したりしない、連続した文の並び。
流れグラフ: 基本ブロックを制御の流れに従って矢印で結んだもの。
「基本ブロックのdag表現」とは、次のようなdag:
１．葉のラベルは一意な識別子。
２．内部節点のラベルは演算子。
３．さらに節点に識別子の並びのラベルを付けることができる。

**片山博文MZ** ◆T6xkBnTXz7B0 · 2014/12/30(火) 18:02:49.41

この「内部節点」は、「節点内部」の誤訳だろうな

**デフォルトの名無しさん** · 2014/12/31(水) 00:57:28.36

内部節点で正しいと思う
http://imd.naist.jp/~miyazaki/doshisha/data-algo/ad-3.pdf
・内部節点(internal node)　子を持つ節
・外部節点(external node) 葉(leaf)　子を持たない節

**片山博文MZ** ◆T6xkBnTXz7B0 · 2014/12/31(水) 02:43:50.55

>>239
なーるほど
そう言うことか。有難う。

**デフォルトの名無しさん** · 2014/12/31(水) 12:23:17.69

『節点』に『内部』があると思っているのか？日本語からやり直せよチョソ

**片山博文MZ** ◆T6xkBnTXz7B0 · 2014/12/31(水) 23:51:17.31

>>241
残念。節点なんだけど丸で描かれてその中にラベルがあるんだな、これが。
現在、インシデント解決待ち。

**片山博文MZ** ◆T6xkBnTXz7B0 · 2015/01/20(火) 14:29:08.20

Cパーサーができた。
https://github.com/katahiromz/DoWonders
これをCodeReverseへ取り込もう！

**片山博文MZ** ◆T6xkBnTXz7B0 · 2015/01/31(土) 20:50:33.99

さあ、やるんだ

◆QZaw55cn4c · 2015/02/01(日) 22:11:38.87

おう、がむばってくれ

**片山博文MZ** ◆T6xkBnTXz7B0 · 2015/02/01(日) 23:14:25.39

DLLのリンク情報はどうやって抽出すればいい？

**片山博文MZ** ◆T6xkBnTXz7B0 · 2015/02/06(金) 13:17:21.55

完璧なCパーサーを作るのは大変だな。。。
https://github.com/katahiromz/DoWonders

**片山博文MZ** ◆T6xkBnTXz7B0 · 2015/02/09(月) 20:31:33.92

早くバグ取らないと怒鳴られるぞ。。。

**片山博文MZ** ◆T6xkBnTXz7B0 · 2015/02/14(土) 12:15:44.30

だいぶ進んだよ。
https://github.com/katahiromz/DoWonders

**片山博文MZ** ◆T6xkBnTXz7B0 · 2015/02/15(日) 13:18:57.14

Win32 APIのほとんどの型情報が抽出できた！ K点越え！

https://github.com/katahiromz/DoWonders

**デフォルトの名無しさん** · 2015/02/15(日) 13:30:33.98

おうがんばれや

**デフォルトの名無しさん** · 2015/02/15(日) 17:20:09.52

へえ。結構やるじゃん。

**片山博文MZ** ◆T6xkBnTXz7B0 · 2015/02/20(金) 04:31:21.76

今、リファクタリングとDBのサニタイズしてるとこ。いくつかサイズの間違いを見つけた。
構造体のサイズを正確に得るには、アライメントを考慮せねば。