圧縮・復元 相談室

■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん
垢版 |
NGNG
アルゴリズムは別スレで
NGNG
圧縮・燃焼について語れ
NGNG
ロータリーエンジンはすごいって事話す事になったんですか？
NGNG
ロリータエンジン
NGNG
LZ系で小さいやつ
(コードサイズが小さくて、
符号化・復号化だけで余計な機能がなく、
復号が速いやつ)
ない？
アプリにこっそり組み込んで使いたいんだが。
NGNG
>>178-179
ZeoSyncｷﾀｰｗ
懐かしいな。
NGNG
>>185
奥村LZSSでもつかっとけ
NGNG
THCompが最強
NGNG
>>185
MS-COMPRESSを呼び出すのが簡単かつ確実
NGNG
>>189
WinでもAIXでも使えるのをおながいします。
191185
垢版 |
NGNG
昔の7行スレのやつ使うことにしました。
ちょっと遅いけどすげー小さいので。
ちなみに190は偽物です。
NGNG
む、7行であったのか
NGNG
>>192
7行のだと、Huffman, rangecoder, LZ77系, RLEなら、
それぞれ2つ以上の実装が出ていたはず。
LZ78とかBPEとかもあった。
NGNG
>>192
これかな？
http://www.isl.cs.gunma-u.ac.jp/~shingo/make/7line/7line.html
NGNG
違う
NGNG
数MのXMLを短時間で圧縮解凍したいんですが、圧縮率とパフォーマンスのバランス
の取れた圧縮アルゴリズムってなんでしょう？

XML → 無駄なコード削除 → ブロックソーティング → MFT → ランレングス

　でやってみたんですが、圧縮率は満足なもののブロックソーティングが遅すぎて
使えませんでした。もちろん、高速化は可能だと思うのですが…
NGNG
>>196
まずbzip2で試してみて、それでも遅ければブロックソートは向いてない、
十分な速度ならブロックソートの高速化が甘いかと。

ブロックソートの高速化についてはこちらなど
M.Hiroi's Home Page　ttp://www.geocities.co.jp/SiliconValley-Oakland/1680/
white page　ttp://homepage3.nifty.com/wpage/
198じんばん
垢版 |
NGNG
すいません、javaで圧縮・解凍プログラムの作成を試みているのですが、
どこか良いサイトあれば教えてください。
jarでなくてgzipの話です、念のため。
NGNG
そういったアルゴリズム関連の場合、
いきなりJavaソースを探すのではなく、
C/C++をJavaに翻訳することを薦める。
200じんばん
垢版 |
NGNG
>199
javaには、圧縮関連のインタフェースが提供されているはずなのですが。。
圧縮クラスだとか圧縮メソッドのような。。
201デフォルトの名無しさん
垢版 |
NGNG
>>198

> 標準的な ZIP ファイル形式および ＧＺＩＰ ファイル形式を読み取ったり、書き出したりするためのクラスを提供します。

http://java.sun.com/j2se/1.4/ja/docs/ja/api/java/util/zip/package-summary.html
202じんばん
垢版 |
NGNG
そこはおとずれました。サンプルプログラムを教えてください。
203じんばん
垢版 |
NGNG
見つけた。
ttp://www.atmarkit.co.jp/bbs/phpBB/viewtopic.php?topic=5688&forum=12
NGNG
マルチメディアのファイルフォーマットを作成中なのですが
ストリーミングに向いた、圧縮方法を教えてください。
NGNG
>>204
うぐっ！
書き損ねた。>>204は携帯電話によく搭載されてるSMAFみたいな
奴を考えてます。
NGNG
ストリーミングと圧縮はあまり関係ないんじゃないのか？
あえて言うなら、ストリーミングにはデータ欠損が付き物なので
データが足りなくても質を下げて再生できるようなフォーマットが必要だろう。
最初の数パケットで数フレーム分を荒く再生できるとか。
NGNG
>>206
すると、圧縮しないほうがいいってことでしょうか？
NGNG
いや、そういう意味ではなくて、ストリーミングに適しているかどうかは
アルゴリズムよりも実装の問題だという事。
圧縮は当然する。
しないと送受信が間に合わないでしょ。

といっても具体的に知っている訳じゃないので一般論でしかないけどね。
とりあえずmpegとか調べてみては如何かな？
NGNG
>>204
「携帯 ムービー フォーマット」でググればそれらしい形式が出てくるんだから
更にそれらのフォーマットを調べれば済むんじゃないかなぁ。
210デフォルトの名無しさん
垢版 |
NGNG
質問です。
backup[1]という名前のフォルダの中に次のようなファイルが入っているとします。
　regcopy.exe
　help.chm
　online.htm
　readme.txt
別のbackup[2]というフォルダの中にもbackup[1]と全く同じファイルが入っているとします。

このbackup[1]とbackup[2]のフォルダをそれぞれLZH形式に圧縮します。
圧縮したこれら２つのファイルのバイナリを比較したところバイナリが一致しません。
上記４つの各ファイルのバイナリは一致しているのに、なぜ圧縮すると圧縮ファイルのバイナリが一致しなくなるのでしょうか？

宜しくお願いします。m(ﾟдﾟ)m
NGNG
釣りか?
フォルダごと圧縮してるなら、フォルダの名前が違うから。
212210
垢版 |
NGNG
>>211
いや、最初はそれが原因かと思ったので、フォルダ名を同じにして圧縮してみたんですが、
やはりバイナリが一致しないんですよ。
どうやら、フォルダ名はバイナリに反映されないようですね。

今度はZIP形式に圧縮し直して試してみたんですが、やはりバイナリが一致しません。
うーん、、何故？なぜなんだろう。。
NGNG
フォルダのタイムスタンプが違うんだろ。たぶん。
タイムスタンプも統一(偽造)してやってみて。
214210
垢版 |
NGNG
>>213
レスありがとうございます。
タイムスタンプは一致させているんですが、やはりバイナリが一致しません。
どうやら、ファイルの圧縮順が違ってみたいです。

例えば、backup[1]では、
regcopy.exe→help.chm→online.htm→readme.txt
のような順で圧縮処理しているのに対し、backup[2]では、
help.chm→online.htm→readme.txt→regcopy.exe
のような順で圧縮処理しているようなのです。

つまり、圧縮書庫内に格納されているファイル順が異なるため、バイナリが一致しないようなのです。
そこで、フォルダ内のファイルを名前順で並べかえてから圧縮したのですが、圧縮順は変わらないままです。

何か良い方法はないものでしょうか？
OS：WinME
アーカイバ：Easy圧縮
NGNG
ファイルの列挙順はファイルシステムに依存するから、
それを制御するのはWindowsでは難しいだろうな。

ところで個人的には「どうしてそうしたいのか」が不明なんだが。
216210
垢版 |
NGNG
>>215
なるほど、やはりファイルシステム依存でしたか。
アーカイバ側の設定で名前順でソートしたらバイナリ一致確認できました。

＞ところで個人的には「どうしてそうしたいのか」が不明なんだが。
書庫内の格納順が名前順になってないと、解凍後に名前順に並べ替えないといけないんですよ。
これって気になりませんか？
NGNG
いや別に並び順なんてのは表示の問題であって
内部処理がどうなってようが気にならんがね。
実際FATだかNTFSだかがどんな順番で格納してるかなんか
気にしてないだろ？　もちろんファイラで一覧表示するときは
なんかの基準でソートされてないと見づらいけどね。

アーカイブも同じだと思う。実際にどの順で格納されてようが
別に気にならないな。中に何が入ってるか表示するときに
ソートすればいいだけの話だから。
NGNG
>>216
勝手に並べ替えされると「あぁ、名前順に格納されてるのか」とか考えるバカが出るような気もするが。
219デフォルトの名無しさん
垢版 |
NGNG
ファイルを圧縮するんじゃなくてメモリ内のデータをファイル名を指定して直接
ＬＺＨ圧縮ファイルに出力したいんだけどやっぱハフマン法とか勉強しなきゃできないん？
NGNG
>>219
zlibならそういう使い方もできるんだが、LHAでは聞いたことないな。
LHAという縛りがあるなら勉強してクローン作るしかないかもしらん。
LHAじゃなくても良くて単に圧縮したいだけならzlibが使えると思う。
221デフォルトの名無しさん
垢版 |
NGNG
>>220
レスサンクス
ＬＺＨ圧縮しる！っていわれてるんで参考書でも買ってきて勉強しマフ
NGNG
>>219
unlha32.dll で UnlhaCompressMem とか使えばできなかったっけ？
223デフォルトの名無しさん
垢版 |
NGNG
>>222
情報サンクス
ちょっと試してみますた
メモリ圧縮は可能だけど解凍ソフトで解凍してもファイルが出来ないよ・・orz
やはり自作しるしかないのか・・はぁ・・
224223
垢版 |
NGNG
出来ないと思ってたのは自分のミスですた・・・
これでデータ長がDWORDの設定範囲を超えるデータを
１ファイルにまとめることが可能なら・・・これで十分いけそうでつ
>>220さん
>>222さん
ありがたう！
225デフォルトの名無しさん
垢版 |
NGNG
自動解凍のプログラムを作るのに参考になるページはありませんか？
解凍後にいろいろ処理をしたいのですが、既存のをそのまま使うのは
無理そうなんです。
解凍後に指定のEXEファイルを実行、というのでは解凍中のエラー時の
処理などがカスタマイズできないので使えないんです。
NGNG
>>225
makeとかantとかを強制させるとか
NGNG
>>225
installshield(?)を参考にしる
NGNG
>>225
プログラムの参考にはならないだろうが、
DGCAが、自動解凍後に任意のプログラムを実行する機能を持っている。
NGNG
>>228
そんなんlhaだって持ってるぞ。
っつーか普通は持ってるんじゃないか？
NGNG
>>229
% lha --version
lha for unix version 1.14g
% lha
...
LHa for UNIX V 1.14i Modified 2000 Tsugio Okamoto

ごめん。よくわかんない。
DOS版にはそういう機能があるの???
NGNG
>>230
そもそもunix版では自己解凍書庫つくれんだろーが。
NGNG
>>230-231
sharの仕組みを導入して何でも自己解凍化してしまえばok
233デフォルトの名無しさん
垢版 |
NGNG
　
234デフォルトの名無しさん
垢版 |
NGNG
NGNG
既存圧縮アルゴリズムを上回る圧縮率を開発できれば食いっパくれないんだろうなぁ
NGNG
たかだか 1%程度改善できても誰もよろこばんと思われ。
NGNG
開発しただけではどうだかな。その後のマーケティング次第でなんとでも。
それに圧縮率だけなら既存のでもシャノン限界に肉薄しているのがあるし、
圧縮速度やメモリ効率や使い勝手も優れてないとこれから普及するのは難しい。
238デフォルトの名無しさん
垢版 |
NGNG
いま，バッファにあるデータを
圧縮したり，展開したりする必要があるんだが，
統合アーカイバプロジェクトにあるような
圧縮展開ライブラリは「ことごとく」，
ファイルから入れて，ファイルに出すような，
API しか用意していない．

バッファで使えるようなライブラリ知らない？
NGNG
>>238
少なくとも unlha32.dll と unzip32.dll はメモリから圧縮、解凍できるが。
っつか、>>222 で既出。
240デフォルトの名無しさん
垢版 |
NGNG
>>239

lnlha32.dll では圧縮したデータを直接バッファに
出すことはできない

unzip32.dll では圧縮そのものができない
NGNG
だとすると素直にzlib使う感じかなぁ。
NGNG
すいません。馬鹿な質問かも知れませんが圧縮ってどうやってやるんですか?
例えばバイナリは1バイトで必ず0〜255の値しか取らないじゃないですか。
それを圧縮したら戻らなくなっちゃう気がするんですけど…
NGNG
>>242
まずはこの辺読めば？
ttp://homepage1.nifty.com/snap/room03/c02/comp/comp.html
NGNG
>>240
それなら、バッファにあるデータをバッファに圧縮、展開と書かないと分からないよ。

展開はともかく、圧縮データをバッファに吐くのは
圧縮できなくてデータが増える事も考慮すると、ちと面倒くさいね。
NGNG
要するに可逆圧縮は連続データがなければ圧縮というよりファイルサイズが増えるってことですかね…
なんとなくわかりました。ありがとうございます。
NGNG
>>245
ほとんどわかってないぞお前。
NGNG
>>243
そこはLZ78符号 ≒ LZ77符号 ＞＞ 算術符号 ＞ ハフマン符号 ＞＞ 連長符号
みたいな比較をしていて解説としてはちょっとおかしいぞ。
LZ符号と算術・ハフマン符号を比較するのは無理がある。
248デフォルトの名無しさん
垢版 |
NGNG
>>244
> 展開はともかく、圧縮データをバッファに吐くのは
> 圧縮できなくてデータが増える事も考慮すると、ちと面倒くさいね

ん？ 意味わからん
ちぢまない最悪のケースを考慮して，
バッファを用意させればいいだけの話じゃないか
NGNG
>>248
最悪のケースを調べるのが面倒くさいって事。

deflate でやるなら deflate のフォーマットを調べないと最悪のケースはわからん。
適当にやると不具合が出たときに泣きを見ることになる。
NGNG
GCAってのはどれだけ優秀なの？
解凍速度優先型らしいけど、ホントにゲームに使ってる方いらっしゃる？
NGNG
たとえばランレングス法とかのように("aaabbc" => "a3b2")
日本語を含む文字列(char型の配列)を圧縮して、
出力がバイナリでない圧縮方法はないですか？
ランレングス法は通常のテキストだとあんまり意味がないもんで。
NGNG
>>251
そんな特異な圧縮方法はありそうにない。
ってか、ほとんど仕様が決まってるじゃん。自前で用意しる！
NGNG
>>251
君は>>242だな？

>出力がバイナリでない
意味が良く分からん。
もう少し圧縮について勉強しなさいな。
NGNG
失礼いたします。
LHAやzlibでの、LZ系の高速化手法について詳しく述べられている
サイトってございませんでしょうか？
NGNG
>>254
サイトは知らないが、論文はいくつかある。
NGNG
>>254
ランペル・ジブ系一般に対する高速化の手法ではなくて、
LHAやzlibが採用してる手法について知りたいってこと？

後者なら、LHAについては1970〜80年台の古い雑誌に解説記事が載ってたな。
zlibはソース見るのが早いかも。いずれにしても、奥村先生のとこの記述がとっかかりになるはず。
ttp://oku.edu.mie-u.ac.jp/~okumura/map.html

前者だと、論文とか特許文書あたりの範疇になるのかな。これはさすがによくわかんね。
NGNG
教えて頂いてどうもありがとうございます。

>>256
後者の方です。
NGNG
gzip.dll用のCのヘッダーファイルが存在するのかどうか、
どなたかご存知でしたら教えてください。
当方VC6.0で圧縮モジュールを作成したいと考えています。
259デフォルトの名無しさん
垢版 |
NGNG
　
NGNG
>>258
http://www.gzip.org/
NGNG
人生に密着した、圧縮と解凍。
ttp://www.newforeskin.biz/CI/CIchart.htm
NGNG
LZとかその他の理論を基本的な手法を解説した本ってあまりないよね
なので、見つけたら即買ってしまう・・・
NGNG
「ＬＨＡとＺＩＰ」つー、マンマの本はどうなのかな。
オレは読んだこと無いけど(苦笑)。
Cが読めるなら、理解できるんじゃないかな。
オレはCを読めないので本当のトコは知らないけど(苦笑)。

アルゴリズムだけなら、上の本の作者の若い片割れの
ウェブサイトに、基本的にトコがカンタンに載ってるよ。
オレはそこ読んでLZSS+ハフマンのアーカイバを作った。
NGNG
>>262
理論を解説した文書が欲しければ論文を読むか、情報理論の教科書を探せ
手法を解説した文書ともども、amazonで買える

そもそもの大問題として、LZそのものの理論解析が実はあまり進んでいないという
確率推定問題に置き換えての証明やらは腐るほどあるが、派生手法に適用が困難
NGNG
gzipの解凍と圧縮の仕方を知りたい。
NGNG
>>265
ソースプログラムを読もう
アルゴリズムを知りたければRFCを読めばおｋ
NGNG
LZMAをマイナーOS環境にポーティングしようと思ったら、LZMA SDKの
コードそのままでメークできてしまった。色々いじって楽しもうと思ったのになあ・・・。
268デフォルトの名無しさん
垢版 |
NGNG
zip32.dllをダウンロードする場所を教えてください
NGNG
>>268
googleで検索することをオススメします
270デフォルトの名無しさん
垢版 |
NGNG
いいから直アド教えれこのくずが
NGNG
　　_, ._
（　ﾟ Дﾟ）
272デフォルトの名無しさん
垢版 |
NGNG
ごめん・・・
もうゲットしちゃった(*´д`*)
NGNG
(ﾟдﾟ)
NGNG
>>270
氏ね
275デフォルトの名無しさん
垢版 |
NGNG
lzw圧縮ってもう使ってもいいんだよね？
あとでまた特許云々…とかなったりしないよね？
NGNG
> lzw圧縮ってもう使ってもいいんだよね？
Unisysが持ってた特許は失効した。

> あとでまた特許云々…とかなったりしないよね？
可能性はある。
実際に Unisys が関連特許で gif からライセンス料を徴収を続けるかも、って記事もあったし。
277275
垢版 |
NGNG
>実際に Unisys が関連特許で gif からライセンス料を徴収を続けるかも、って記事もあったし。
マジですか('A`)
携帯アプリのデータ圧縮に使おうと思ってたんだけど、やめといたほうがいいのかな…。
NGNG
>>277
>>276 は脅しただけだと思うが。
まぁ、油断はしない方がいいやね。

lzwってsuffix treeが必要になるから携帯でやるとメモリきつくない？
NGNG
各ノードの前後のインデックスを保持するだけだからそんなにメモリ使わないと思う。
NGNG
前後のインデックスってわかんないや。
親ノードのインデックスだったらわかるけど。
最近勉強してなかったからなぁ。
NGNG
ああ、親子のインデックスって言った方がよかったか。
lzwなら、親ノードのインデックスと１字のデータ(ある意味、子ノードのインデックス)ってことだよ。
NGNG
>>277
>>276 が言ってるのと同じかはしらんけど、こんなん見つけた。

http://pcweb.mycom.co.jp/news/2004/06/21/001.html
> 現在、米UnisysはLZWの技術に関連する2件の特許を出願中であり、
> 近い将来において特許成立が見込まれると発表している。
> 画像フォーマットとの関係は不明だが、その内容次第では
> 今回解決に至ったGIF問題の再発も懸念される。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況