圧縮・復元 相談室

■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん
垢版 |
NGNG
アルゴリズムは別スレで
NGNG
>>150
並列化したら、
後に出てきた部分文字列の方を先に処理することもありえますから、
その際に、前に出てきた文字列が未登録だと
うまく圧縮できません（逐次処理と結果が変わります）。
152デフォルトの名無しさん
垢版 |
NGNG
PPMやべー
PPMに惚れそう
NGNG
その高速性はあたかも弾丸のようだ。
NGNG
>>152
もう惚れ済みですが何か？
7-zip [ ttp://7-zip.org/ ] とか、
ppmd(1) [ ttp://packages.debian.org/unstable/utils/ppmd.html ] とか。
NGNG
zip や lha　とかってbitごとに辞書化してるんですか？
それともbyteごとなんでしょうか。
よく見る解説ページでは"aaabcccddddff"とかって
アルファベットだったりと概念的なものばかりでよくわからんのですが…
NGNG
>>155
一般に圧縮ではバイト（あるいはそれ以上の大きさ)が用いられる。
あと、圧縮の説明にアルファベットがよく使われるのは”見える”からだと思われ。
157155
垢版 |
NGNG
なるほどー。
じゃあ何を判断にくぎってるんですか？たとえば
125 124 209 300 125 124 200 111
とかって画像データ があったとすると
125 124　が2つ
209　　　　が1つ
300　　　　が1つ
200 が１つ
111　　　　が１つ

ってのと
125 124 20　が2つ
9 300　　　 　が1つ
0 111
158155
垢版 |
NGNG
(失礼しました。続きを)

125 124 20　が2つ
9 300　　　 　が1つ
0 111　　　　　が1つ
の二通りにできますよね。じっさいのところどうやってるんでしょうか？
NGNG
>>158
その違いが辞書の違い、すなわち、手法の違い。
LZ'77, LZ'78 くらいでよいから、参考書で勉強すべし。
160155
垢版 |
NGNG
なるほど。もちっと本読んで勉強します。
ありがとうございました
161デフォルトの名無しさん
垢版 |
NGNG
LZSSのソース（作者が使用してもよいと言ってる物）欲しいんですがどこにありますか？
へたれなのでアルゴリズムﾊﾟｸﾘたいのですが。
162デフォルトの名無しさん
垢版 |
NGNG
>>161
おまいは奥村先生の「最新アルゴリズム事典」を枕にして勉強しる。
NGNG
>>161
おまいは奥村先生に足を向けて寝ていはいけない。
http://www.matsusaka-u.ac.jp/%7Eokumura/algo/
NGNG
>>162-163
奥村先生のソースコードは落としましたがあれは本当にLZSSの基本実装みたいな形ですよね？
だもんで速度的にちょっといけてないかなーとへたれ心に思ってみてり。
因みにツリーを使わずハッシュを使うと特許に触れるんでしたっけ？
NGNG
>>164
LHA, gzip はハッシュを使って実装されている。

つーか、へたれを自称する人は基本をおろそかにしてはいけない。
とりあえず、LHA か gzip のソースを読んでみてわからなかったら、
素直に奥村先生を拝むこと。
NGNG
>>161
これはどうだ？
http://www.ingnet.or.jp/~kojif/mu/comp/
167161
垢版 |
NGNG
>>164
へたれだからこそｺﾋﾟﾍﾟなんだよ!
ハッシュ化するのは問題ないんですね。少し勉強して奥村先生コードに手を加えるか…。

>>166
確か最初に落としたけど研究目的以外はx(ﾒｯ)なんすﾖ。
NGNG
>>164
LZSS系列だとツリー使っても特許の地雷だらけなのよね。
ハッシュ使っても地雷だらけ、ってのは変わらんけど。
NGNG
>>168
特許の有効期限、いつになったら切れるんだ？
NGNG
特許発効から20年ほど
171デフォルトの名無しさん
垢版 |
NGNG
MACのsit形式の仕様書はいつになったら公開されるんですか
不便でしようがありませんよ！

どこかに解析資料とかないでしょうか
NGNG
>>171
こんなのとか。
ttp://www.stuffit.com/win/sdk/index.html
NGNG
>20年ほど

長いよねぇ
NGNG
>>172
ありがとう

登録制なのか…やだなぁ
NGNG
ttp://www.cmagazine.jp/books/assyuku/index.html

この本とかはどうだろ？
176Ｃ+++
垢版 |
NGNG
>>10
　激しくﾜﾛﾀ（笑）。
NGNG
>>171
ttp://www.speakeasy.org/~russotto/arseniccomp.html
NGNG
圧縮といえば、2年くらい前にすげー大ボラ吹いた奴が
海外にいなかったっけ？
NGNG
>>178
1/100に圧縮できるってヤツか?
180デフォルトの名無しさん
垢版 |
NGNG
あげ
181デフォルトの名無しさん
垢版 |
NGNG
おまえらエントロピーくらいわかってるよな？
NGNG
圧縮・燃焼について語れ
NGNG
ロータリーエンジンはすごいって事話す事になったんですか？
NGNG
ロリータエンジン
NGNG
LZ系で小さいやつ
(コードサイズが小さくて、
符号化・復号化だけで余計な機能がなく、
復号が速いやつ)
ない？
アプリにこっそり組み込んで使いたいんだが。
NGNG
>>178-179
ZeoSyncｷﾀｰｗ
懐かしいな。
NGNG
>>185
奥村LZSSでもつかっとけ
NGNG
THCompが最強
NGNG
>>185
MS-COMPRESSを呼び出すのが簡単かつ確実
NGNG
>>189
WinでもAIXでも使えるのをおながいします。
191185
垢版 |
NGNG
昔の7行スレのやつ使うことにしました。
ちょっと遅いけどすげー小さいので。
ちなみに190は偽物です。
NGNG
む、7行であったのか
NGNG
>>192
7行のだと、Huffman, rangecoder, LZ77系, RLEなら、
それぞれ2つ以上の実装が出ていたはず。
LZ78とかBPEとかもあった。
NGNG
>>192
これかな？
http://www.isl.cs.gunma-u.ac.jp/~shingo/make/7line/7line.html
NGNG
違う
NGNG
数MのXMLを短時間で圧縮解凍したいんですが、圧縮率とパフォーマンスのバランス
の取れた圧縮アルゴリズムってなんでしょう？

XML → 無駄なコード削除 → ブロックソーティング → MFT → ランレングス

　でやってみたんですが、圧縮率は満足なもののブロックソーティングが遅すぎて
使えませんでした。もちろん、高速化は可能だと思うのですが…
NGNG
>>196
まずbzip2で試してみて、それでも遅ければブロックソートは向いてない、
十分な速度ならブロックソートの高速化が甘いかと。

ブロックソートの高速化についてはこちらなど
M.Hiroi's Home Page　ttp://www.geocities.co.jp/SiliconValley-Oakland/1680/
white page　ttp://homepage3.nifty.com/wpage/
198じんばん
垢版 |
NGNG
すいません、javaで圧縮・解凍プログラムの作成を試みているのですが、
どこか良いサイトあれば教えてください。
jarでなくてgzipの話です、念のため。
NGNG
そういったアルゴリズム関連の場合、
いきなりJavaソースを探すのではなく、
C/C++をJavaに翻訳することを薦める。
200じんばん
垢版 |
NGNG
>199
javaには、圧縮関連のインタフェースが提供されているはずなのですが。。
圧縮クラスだとか圧縮メソッドのような。。
201デフォルトの名無しさん
垢版 |
NGNG
>>198

> 標準的な ZIP ファイル形式および ＧＺＩＰ ファイル形式を読み取ったり、書き出したりするためのクラスを提供します。

http://java.sun.com/j2se/1.4/ja/docs/ja/api/java/util/zip/package-summary.html
202じんばん
垢版 |
NGNG
そこはおとずれました。サンプルプログラムを教えてください。
203じんばん
垢版 |
NGNG
見つけた。
ttp://www.atmarkit.co.jp/bbs/phpBB/viewtopic.php?topic=5688&forum=12
NGNG
マルチメディアのファイルフォーマットを作成中なのですが
ストリーミングに向いた、圧縮方法を教えてください。
NGNG
>>204
うぐっ！
書き損ねた。>>204は携帯電話によく搭載されてるSMAFみたいな
奴を考えてます。
NGNG
ストリーミングと圧縮はあまり関係ないんじゃないのか？
あえて言うなら、ストリーミングにはデータ欠損が付き物なので
データが足りなくても質を下げて再生できるようなフォーマットが必要だろう。
最初の数パケットで数フレーム分を荒く再生できるとか。
NGNG
>>206
すると、圧縮しないほうがいいってことでしょうか？
NGNG
いや、そういう意味ではなくて、ストリーミングに適しているかどうかは
アルゴリズムよりも実装の問題だという事。
圧縮は当然する。
しないと送受信が間に合わないでしょ。

といっても具体的に知っている訳じゃないので一般論でしかないけどね。
とりあえずmpegとか調べてみては如何かな？
NGNG
>>204
「携帯 ムービー フォーマット」でググればそれらしい形式が出てくるんだから
更にそれらのフォーマットを調べれば済むんじゃないかなぁ。
210デフォルトの名無しさん
垢版 |
NGNG
質問です。
backup[1]という名前のフォルダの中に次のようなファイルが入っているとします。
　regcopy.exe
　help.chm
　online.htm
　readme.txt
別のbackup[2]というフォルダの中にもbackup[1]と全く同じファイルが入っているとします。

このbackup[1]とbackup[2]のフォルダをそれぞれLZH形式に圧縮します。
圧縮したこれら２つのファイルのバイナリを比較したところバイナリが一致しません。
上記４つの各ファイルのバイナリは一致しているのに、なぜ圧縮すると圧縮ファイルのバイナリが一致しなくなるのでしょうか？

宜しくお願いします。m(ﾟдﾟ)m
NGNG
釣りか?
フォルダごと圧縮してるなら、フォルダの名前が違うから。
212210
垢版 |
NGNG
>>211
いや、最初はそれが原因かと思ったので、フォルダ名を同じにして圧縮してみたんですが、
やはりバイナリが一致しないんですよ。
どうやら、フォルダ名はバイナリに反映されないようですね。

今度はZIP形式に圧縮し直して試してみたんですが、やはりバイナリが一致しません。
うーん、、何故？なぜなんだろう。。
NGNG
フォルダのタイムスタンプが違うんだろ。たぶん。
タイムスタンプも統一(偽造)してやってみて。
214210
垢版 |
NGNG
>>213
レスありがとうございます。
タイムスタンプは一致させているんですが、やはりバイナリが一致しません。
どうやら、ファイルの圧縮順が違ってみたいです。

例えば、backup[1]では、
regcopy.exe→help.chm→online.htm→readme.txt
のような順で圧縮処理しているのに対し、backup[2]では、
help.chm→online.htm→readme.txt→regcopy.exe
のような順で圧縮処理しているようなのです。

つまり、圧縮書庫内に格納されているファイル順が異なるため、バイナリが一致しないようなのです。
そこで、フォルダ内のファイルを名前順で並べかえてから圧縮したのですが、圧縮順は変わらないままです。

何か良い方法はないものでしょうか？
OS：WinME
アーカイバ：Easy圧縮
NGNG
ファイルの列挙順はファイルシステムに依存するから、
それを制御するのはWindowsでは難しいだろうな。

ところで個人的には「どうしてそうしたいのか」が不明なんだが。
216210
垢版 |
NGNG
>>215
なるほど、やはりファイルシステム依存でしたか。
アーカイバ側の設定で名前順でソートしたらバイナリ一致確認できました。

＞ところで個人的には「どうしてそうしたいのか」が不明なんだが。
書庫内の格納順が名前順になってないと、解凍後に名前順に並べ替えないといけないんですよ。
これって気になりませんか？
NGNG
いや別に並び順なんてのは表示の問題であって
内部処理がどうなってようが気にならんがね。
実際FATだかNTFSだかがどんな順番で格納してるかなんか
気にしてないだろ？　もちろんファイラで一覧表示するときは
なんかの基準でソートされてないと見づらいけどね。

アーカイブも同じだと思う。実際にどの順で格納されてようが
別に気にならないな。中に何が入ってるか表示するときに
ソートすればいいだけの話だから。
NGNG
>>216
勝手に並べ替えされると「あぁ、名前順に格納されてるのか」とか考えるバカが出るような気もするが。
219デフォルトの名無しさん
垢版 |
NGNG
ファイルを圧縮するんじゃなくてメモリ内のデータをファイル名を指定して直接
ＬＺＨ圧縮ファイルに出力したいんだけどやっぱハフマン法とか勉強しなきゃできないん？
NGNG
>>219
zlibならそういう使い方もできるんだが、LHAでは聞いたことないな。
LHAという縛りがあるなら勉強してクローン作るしかないかもしらん。
LHAじゃなくても良くて単に圧縮したいだけならzlibが使えると思う。
221デフォルトの名無しさん
垢版 |
NGNG
>>220
レスサンクス
ＬＺＨ圧縮しる！っていわれてるんで参考書でも買ってきて勉強しマフ
NGNG
>>219
unlha32.dll で UnlhaCompressMem とか使えばできなかったっけ？
223デフォルトの名無しさん
垢版 |
NGNG
>>222
情報サンクス
ちょっと試してみますた
メモリ圧縮は可能だけど解凍ソフトで解凍してもファイルが出来ないよ・・orz
やはり自作しるしかないのか・・はぁ・・
224223
垢版 |
NGNG
出来ないと思ってたのは自分のミスですた・・・
これでデータ長がDWORDの設定範囲を超えるデータを
１ファイルにまとめることが可能なら・・・これで十分いけそうでつ
>>220さん
>>222さん
ありがたう！
225デフォルトの名無しさん
垢版 |
NGNG
自動解凍のプログラムを作るのに参考になるページはありませんか？
解凍後にいろいろ処理をしたいのですが、既存のをそのまま使うのは
無理そうなんです。
解凍後に指定のEXEファイルを実行、というのでは解凍中のエラー時の
処理などがカスタマイズできないので使えないんです。
NGNG
>>225
makeとかantとかを強制させるとか
NGNG
>>225
installshield(?)を参考にしる
NGNG
>>225
プログラムの参考にはならないだろうが、
DGCAが、自動解凍後に任意のプログラムを実行する機能を持っている。
NGNG
>>228
そんなんlhaだって持ってるぞ。
っつーか普通は持ってるんじゃないか？
NGNG
>>229
% lha --version
lha for unix version 1.14g
% lha
...
LHa for UNIX V 1.14i Modified 2000 Tsugio Okamoto

ごめん。よくわかんない。
DOS版にはそういう機能があるの???
NGNG
>>230
そもそもunix版では自己解凍書庫つくれんだろーが。
NGNG
>>230-231
sharの仕組みを導入して何でも自己解凍化してしまえばok
233デフォルトの名無しさん
垢版 |
NGNG
　
234デフォルトの名無しさん
垢版 |
NGNG
NGNG
既存圧縮アルゴリズムを上回る圧縮率を開発できれば食いっパくれないんだろうなぁ
NGNG
たかだか 1%程度改善できても誰もよろこばんと思われ。
NGNG
開発しただけではどうだかな。その後のマーケティング次第でなんとでも。
それに圧縮率だけなら既存のでもシャノン限界に肉薄しているのがあるし、
圧縮速度やメモリ効率や使い勝手も優れてないとこれから普及するのは難しい。
238デフォルトの名無しさん
垢版 |
NGNG
いま，バッファにあるデータを
圧縮したり，展開したりする必要があるんだが，
統合アーカイバプロジェクトにあるような
圧縮展開ライブラリは「ことごとく」，
ファイルから入れて，ファイルに出すような，
API しか用意していない．

バッファで使えるようなライブラリ知らない？
NGNG
>>238
少なくとも unlha32.dll と unzip32.dll はメモリから圧縮、解凍できるが。
っつか、>>222 で既出。
240デフォルトの名無しさん
垢版 |
NGNG
>>239

lnlha32.dll では圧縮したデータを直接バッファに
出すことはできない

unzip32.dll では圧縮そのものができない
NGNG
だとすると素直にzlib使う感じかなぁ。
NGNG
すいません。馬鹿な質問かも知れませんが圧縮ってどうやってやるんですか?
例えばバイナリは1バイトで必ず0〜255の値しか取らないじゃないですか。
それを圧縮したら戻らなくなっちゃう気がするんですけど…
NGNG
>>242
まずはこの辺読めば？
ttp://homepage1.nifty.com/snap/room03/c02/comp/comp.html
NGNG
>>240
それなら、バッファにあるデータをバッファに圧縮、展開と書かないと分からないよ。

展開はともかく、圧縮データをバッファに吐くのは
圧縮できなくてデータが増える事も考慮すると、ちと面倒くさいね。
NGNG
要するに可逆圧縮は連続データがなければ圧縮というよりファイルサイズが増えるってことですかね…
なんとなくわかりました。ありがとうございます。
NGNG
>>245
ほとんどわかってないぞお前。
NGNG
>>243
そこはLZ78符号 ≒ LZ77符号 ＞＞ 算術符号 ＞ ハフマン符号 ＞＞ 連長符号
みたいな比較をしていて解説としてはちょっとおかしいぞ。
LZ符号と算術・ハフマン符号を比較するのは無理がある。
248デフォルトの名無しさん
垢版 |
NGNG
>>244
> 展開はともかく、圧縮データをバッファに吐くのは
> 圧縮できなくてデータが増える事も考慮すると、ちと面倒くさいね

ん？ 意味わからん
ちぢまない最悪のケースを考慮して，
バッファを用意させればいいだけの話じゃないか
NGNG
>>248
最悪のケースを調べるのが面倒くさいって事。

deflate でやるなら deflate のフォーマットを調べないと最悪のケースはわからん。
適当にやると不具合が出たときに泣きを見ることになる。
NGNG
GCAってのはどれだけ優秀なの？
解凍速度優先型らしいけど、ホントにゲームに使ってる方いらっしゃる？
NGNG
たとえばランレングス法とかのように("aaabbc" => "a3b2")
日本語を含む文字列(char型の配列)を圧縮して、
出力がバイナリでない圧縮方法はないですか？
ランレングス法は通常のテキストだとあんまり意味がないもんで。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況