圧縮・復元 相談室

■ このスレッドは過去ログ倉庫に格納されています
1デフォルトの名無しさん
垢版 |
NGNG
アルゴリズムは別スレで
2006/07/04(火) 00:58:13
zlibとかってストリーム形式でデータ扱えるけど、あれ内部的には小さなブロックサイズになって処理されてるの？

もしそうなら、前後の依存関係が問題になって、なかなかいい圧縮率を出せないような・・・
2006/07/04(火) 03:19:56
zlibはdeflate、deflateはlz77。
lz77は出力したビットへのポインタを符号化する。
なので、後方の依存関係はなくて、常に前方依存。
だからストリームに出来る。
といっても32KBのバッファは必要。
圧縮率の問題は依存とかじゃなくてアルゴリズムの問題。
PPMも前方依存でストリーム可能だけど多くの場合で圧縮率はlzよりもずっと高い。
こっちはメモリ沢山使うし遅いから少し使いにくい。

ちなみにこの前方依存は有限文脈とかマルコフモデルとか呼ばれる。
BWT(ブロックソート)は少し違う。
2006/07/04(火) 03:46:50
すみません。どこで質問していいのか、わからないのでここで質問させてください。

ウィルス検索について質問です。
ウィスル検索ソフトで圧縮ファイルを検査した場合、ウィルスを検索するのはファイルを一度解凍してから検索しているのでしょうか？
それとも、圧縮されたまま検索されているのでしょうか？
また、どのようにして、検索ソフトはウィルスを発見しているのでしょうか？
回答、お願いいたします。
2006/07/04(火) 04:19:43
本当にスレ違いなのだが一応。

ソフトによるとしか言いようがない。
圧縮されたものは解凍しなきゃならんわけだから
ファイルが圧縮されているのかどうか調べなきゃならん。
数ある圧縮形式全てを調べるのは不可能だから
普通に考えれば解凍はしないだろう。
ただしOSが扱える形式(WinXPならzip, cab等)は解凍して調べてるかもしれん。

ウィルスは大概怪しげなコードが入っているから、
既知のウィルスに共通している部分をハッシュ化して比較するんじゃないかと予想。
自己参照して実行可能アドレスにロードするとか。

あとは他で聞いとくれ。
2006/07/04(火) 16:25:05
>>564
大抵は解凍するんじゃない？
以前にどっかのウィルス保護ソフトが日本中の大量のPCを麻痺させた原因が、
圧縮ファイルの展開のバグでCPU100%使い続けてしまうって奴だった。
2006/07/05(水) 20:37:14
初歩的過ぎる質問でわるいのですけど、
Zlib.dll を使った場合のファイル解凍を行うとき、
使うソフトはなにを使えばよいのでしょうか？
Explzh　等のDLLを組み込んで使うタイプのソフトを探しています。
2006/07/06(木) 08:33:30
板違いだろ
568解凍されたい
垢版 |
2006/07/07(金) 17:16:51
ネットワーク等のストリームを介してアーカイビング、圧縮／解凍、暗号化
にまで対応した商用ライブラリってありますか？
2006/07/07(金) 21:39:16
あるよ。
2006/07/19(水) 16:31:39
商用可能な圧縮・解凍ライブラリを探してるんだけど
zlibだと、ちょっとソースが大きすぎ
このliblzf位の規模で、もう少し圧縮効率が良いのは無いかな？
http://www.goof.com/pcg/marc/liblzf.html
2006/09/04(月) 22:07:30
保守
572デフォルトの名無しさん
垢版 |
2006/09/07(木) 18:48:02
>>570
奥村先生のアルゴリズム本なんかどうよ
http://oku.edu.mie-u.ac.jp/~okumura/algo/

あと、英語が読めるならここも参考になるかも
http://oku.edu.mie-u.ac.jp/~okumura/compression.html

573デフォルトの名無しさん
垢版 |
2006/09/07(木) 20:20:01
鯖からzipのストリームを貰ってきて
オンザフライでデコードして手に入ったプレインデータから順次描画とかしたいのですが
近道を教示して下さい。
2006/09/07(木) 20:51:32
http://www.google.com/search?hl=ja&q=%E8%BF%91%E9%81%93+zip+%E3%82%AA%E3%83%B3%E3%82%B6%E3%83%95%E3%83%A9%E3%82%A4+%E3%83%87%E3%82%B3%E3%83%BC%E3%83%89
2006/09/08(金) 12:17:10
>>570
普通のlz77(lzss)のがコード量同規模で数割程度圧縮率高いけど圧縮速度が
576デフォルトの名無しさん
垢版 |
2006/09/08(金) 13:43:27
>>573
zlib のソース・アーカイブの examples/ ディレクトリをまず見たら。
zpipe.c ってのもあるし。

そうそう、ソース とか 英文ドキュメントなら
http://zlib.net/ から辿れるよん。
2006/09/08(金) 16:23:59
ﾖﾝｻﾏを呼び捨てにするな
2006/09/11(月) 08:24:10
>>492
今更だけどもう公開してないのね
2006/09/15(金) 13:48:07
どうしちゃったのかねえ。
消す事ないだろうに。
2006/09/25(月) 20:29:29
lha書庫のCRCって、
poly: 0x8005, width: 16, init: 0x0000, revin: yes, revout: yes, xorout: no
なんだな。
ファイルのチェックによく使われるCRC16が、
poly: 0x1021, width: 16, init: 0xFFFF, revin: yes, revout: yes, xorout: no
だから、 poly と init が違う。
unlha32.dll で展開したファイルが正常かどうか FastHash.dll を使って確認しようと思ったら、
ことごとく値が違うからハマってしまった。
2006/09/27(水) 22:54:40
>580
CRC16 って言っても色々あるわけだし。
ttp://en.wikipedia.org/wiki/Cyclic_redundancy_check#CRCs_in_common_use_.28in_ITU-IEEE_syntax.29
0x8005 の方が ANSI(↑だと IBM になってる)、0x1021 の方が CCITT っすね。
582デフォルトの名無しさん
垢版 |
2006/10/10(火) 10:43:26
http://www.fileup.org/fup112424.zip.html
BIPという圧縮データが展開できなくて困っています。
同じ名前のbinファイルに出来れば良いのですが……

ググってみると、頭４バイトが展開後のサイズ〜
などの解説ページも見つかりますが、よく分かりません
どんな圧縮になっているのか、知っている方いませんか？（展開方法）
2006/10/10(火) 11:17:38
>>582
「bip 頭４バイト」でググって、多分同じページにたどり着いた・・・
正直、胡散臭い用途にしか思えんのでマジレスしたくないんだがｗ

軽く読んだ感じ、ちょっと変わったLZ77ってだけのよーな
そこに書いてる情報で充分だろ。何が足りない？
2006/10/10(火) 11:53:25
胡散臭い用途ですみません……

LZ77っぽいのは分かったのですが
自分の知識不足で、そこに書いてあることが完全に理解できていません

・展開位置からの12bit負のオフセットにして、その位置から長さ+3バイトのデータをコピー
とか
2006/10/10(火) 12:21:40
はいはいDTM板の犯罪スレに帰ろうな
2006/10/10(火) 12:24:43
>>584
LZSSを勉強してきて・・・イヤマジで

「lzss」は一般的な方式だし、説明ページも豊富だから
2006/10/10(火) 12:49:17
>>584
12ビットの単純なスライディング辞書方式の簡易な説明に読めるが・・・
何がわからんのか解らない。
引用部以外に意味不明な部分があるのか？
2006/10/11(水) 00:13:02
LZSSをよく勉強してきます、レスありがとうございました
スレ汚し失礼しました
2006/10/11(水) 07:15:22
>>579
どうやらインターフェース誌で連載してる模様。
ちら見だけどWebとほぼ同じ内容ぽい。
2006/10/12(木) 08:41:03
>>589
本当だw
教えてくれてありがとー
番外編もやってくれれば最高！
2006/11/03(金) 05:22:58
質問です
拾って来たZIPなんですが
中国語文字コードでファイル名・パス指定されているらしく
解凍レンジとかだと
win9x上で解凍できませんｗ

いいソフトありますか？
592591
垢版 |
2006/11/03(金) 05:57:50
ありゃ、ここム板だったじゃんｗ
VB6使いだったがｗ

特別に
とりあえず、こういう場合に簡単に取り出せるソフト教えてｗ
2006/11/03(金) 08:01:13
それはソフトウェア板ネタだろ
2006/11/06(月) 18:01:41
Cのソースコード発見
ｈttp://nog0709.hp.infoseek.co.jp/reports.html
2006/11/10(金) 16:16:05
>>594
これは参考になるな
596デフォルトの名無しさん
垢版 |
2006/11/19(日) 08:50:56
すみません。質問させてください。

bz2形式の圧縮ファイルの元のファイルサイズを
実際に展開せずに知る方法はないでしょうか？
597デフォルトの名無しさん
垢版 |
2006/11/19(日) 11:16:30
>>596
ないっちゃね
598596
垢版 |
2006/11/19(日) 11:31:59
>>597
やっぱりそうですか。地道にカウントします・・・。
2006/11/21(火) 00:23:19
パスワード付きrarを解凍できる、rarアーカイバを作りたいんですが、オープンソースなのはどれがあるのでしょうか？
UnRAR Sourcecode 3.4.3とうのしかなさそうなんですが、これでいいんでしょうか？
2006/11/21(火) 15:24:40
clamav のソースに libalamav/unrar/ に rar 展開ソースは入っているが
パスワード展開には対応していないな。。。
601599
垢版 |
2006/11/24(金) 00:17:06
>>600
どうも。
人いないんですかねこのスレ。
winrarのサイトでもうちょっ新しいunrarsrc-3.6.8.tar.gzがありました。
MacOSXのソフトでもunrarを使っているようなので、これで良いのかもしれません。
2006/11/28(火) 00:16:52
ttp://www.uploda.org/uporg596558.bin.html

何の画像形式が、ご存知の方いらっしゃいませんか？
2006/11/28(火) 01:51:24
>>602
fileさんによると
> uporg596558.bin: Hitachi SH big-endian COFF object, not stripped
だってよ？　画像じゃなくて実行ファイルじゃ

と思ったが中身見てみると確かに32bitの色情報くさい感じはするな。
適当に作画させてみたらどうか？
604603
垢版 |
2006/11/28(火) 03:00:22
なんやよくわからんが顔色の悪いおなごが出てきたぞ
ttp://www.uploda.org/uporg596801.png.html

640x480の32bit生データなんだがどうも縦16でblock化（？）されているらしく、
そのままbmpのヘッダ付けただけだとだめっぽい。
とりあえず↑のは512x608にして、mspaint使って手動で再構成してみたが、
横512なあたり考えると3D作画エンジン用のテクスチャかなんかかの。
こんなバカなことせんでもなんかのツールにぶちこんだら普通に表示されるような気がするようなしないような。
詳しい人フォロー頼む。3D関係は全然ワカラン。

っか、圧縮なんかされてねーからぶっちゃけスレ違いな気ガス




ところで画像の詳細を教えてもらおうか
2006/11/28(火) 23:38:27
>>603
ありがとうございます
参考にします
2006/12/15(金) 18:02:11
遅レス気味だけと >>599
http://p7zip.sf.net のソース読んでいたら、
7zip/Crypto/ 以下に rar やら zip でパスワード付けた時の処理があった。
各圧縮ファイル形式のファイルヘッダや通常の解凍などは
7zip/Archive/ 以下だったりするけど。
2007/01/06(土) 23:01:26
Deflateの展開ルーチンを自前で実装しようとしてるんだけど、
これってひょっとして全部リトルエンディアンなの？
しかもハフマンは右(LSB)から1bitずつ読むわけ？
なんか統一感が無くて判り辛いよ。
なんでこれが普及したんだろ。
2007/01/11(木) 19:32:55
てすと
2007/04/06(金) 10:41:33
unzip32.dll はAES暗号化されたファイルに対応しているんでしょうか。
詰まってしまいました。
未対応なら他の方法を考えるんですが。
610デフォルトの名無しさん
垢版 |
2007/04/09(月) 15:13:03
age
611デフォルトの名無しさん
垢版 |
2007/04/20(金) 01:57:42
動画圧縮に関してはここでいいのかな？

H.264の詳細は、一般人でも入手出来ますか？
何をやってるかは大体は情報が手に入るんだけど、実装できるレベルの資料がない・・・。
2007/04/21(土) 00:52:25
>>611
http://www.itu.int/rec/T-REC-H.264/en
http://www.itu.int/rec/T-REC-H.264.2/en
http://www.compression-links.info/MPEG-4_AVC_H264
http://www.mpegla.com/avc
etc.
613599
垢版 |
2007/04/28(土) 23:41:12
>>606
ありがとうございます。
ソースを読むにはまずc++を勉強しないといけないのかな。cしかやった事ない√|○
2007/04/29(日) 07:49:00
>>613
クラスとSTLの勉強だけだ、おれなんてC++からはじめたし
2007/05/19(土) 14:37:33
英単語辞書を圧縮された状態で検索に使いたいのですけど、
辞書順にソートされた文字列のリストを、検索可能なままで
高圧縮できるアルゴリズムってありますか？

BPEしてcommon prefixを削除すれば、1/3までは小さくは
できたのですが、もっと効率いいのがあれば
2007/05/20(日) 00:10:18
ランダムアクセス可能な圧縮方式は局所性を利用できないから
必然的に圧縮率が落ちるよ。
ブロックソートなんかはソート済みデータには弱いから多分ダメ。
PPMは遅い。
今のままで十分かと。
もうやってるかもしれんがprefix毎にブロックにすると圧縮率が良くなる。
prefixでソートされてるんだから辞書全体に対してsuffixを登録して
prefix単位でブロックを作るのがいいかも。
617デフォルトの名無しさん
垢版 |
2007/05/20(日) 00:19:10
>>616
＞ブロックソートなんかはソート済みデータには弱いから多分ダメ。

別に弱くは無いよ。
原理的にはPPMと同じ。
2007/05/20(日) 02:58:38
>>615
FM-index とかどうよ？
2007/05/20(日) 10:49:08
>原理的にはPPMと同じ。
んなこたーない。
620617
垢版 |
2007/05/21(月) 10:17:01
>>619
その辺のことはDO++が説明してたよ。
アルゴリズムとしては違うけど、結局圧縮しているものが同じってこと。
2007/05/21(月) 19:58:43
abcdeという文字に対して
abcdからeを符号化するのがPPM
bcdeからaを符号化するのがBWT
という意味では同じかもしれんけど
BWTは決められたブロック内の情報のみ
PPMはそれまでに出現した情報のみである点が違う。
つまり任意のシンボルが参照できる情報の範囲と質が大分違う。
622617
垢版 |
2007/05/22(火) 10:03:19
>>621
＞BWTは決められたブロック内の情報のみ
＞PPMはそれまでに出現した情報のみである点が違う。
＞つまり任意のシンボルが参照できる情報の範囲と質が大分違う。

範囲なんて調整次第。
PPMだって現実に実装するときはブロックに分けることになるから。

違いは、
BWTはPPMでは未来の出現に相当する部分の情報も使う。
PPMは、それまでに出現した過去のみの情報を使う。
ってぐらい。
ただ、未来の出現といっても、時系列情報を失うので、BWTが特に優位というわけでもない。
2007/05/22(火) 13:09:12
結局何が言いたいのかよく分からん。
やっぱりPPMとブロックソートは違うものだって結論に変わりはなさそう。
624617
垢版 |
2007/05/22(火) 13:14:26
>>623
616の指摘はおかしいということ
2007/05/22(火) 15:13:05
ソート済みデータのベンチマーク
ttp://www.maximumcompression.com/data/dict.php
2007/05/22(火) 15:15:13
BZIP2がPKZIPに負けてる。
2007/05/25(金) 18:23:12
大量の単語がソートされているならLZ77が強いんじゃね？
2007/05/28(月) 20:23:27
可逆圧縮で、圧縮率より高速性を重視したアルゴリズムでいいのありませんか？
特許に抵触しないフリーなやつでお願いします。
2007/05/28(月) 20:41:10
>>628
最近のCPUはめっちゃ速いから、ファイルアクセスやってる間に
だいたい圧縮処理が終わっちまうんじゃね？
2007/05/28(月) 22:26:53
lzo とか?
2007/05/28(月) 22:44:08
zlibって特許まみれ？
2007/05/28(月) 23:58:41
探せばなんかに引っ掛かったりするかもな。
2007/07/08(日) 12:59:07
圧縮
　　　　　　　　＿＿＿＿＿_
　　　　　　／ ／／　 　 ／|
　　　　　　|￣／　￣￣,:|//!
　　　　　　|／_,,..,,,,_ .／ .!/｜
　　　　　　| ./ ,' 3／`ヽ::|っ.!
　　　　　　| l　／⊃　⌒.|つ|
　　　　　　|／ｰ---‐'''''"|／
　　　　　　 ￣￣￣￣￣
解凍
　　　　　　　　､ゞヾ'""''ｿ;μ,
　　　　　　　ヾ　 ,'3　　　 　彡
　　　　　　 ﾐ　　　　　　　　 ミ
　　　　　　 彡　　　　　　　 ﾐ
　　　　　　　/ｿ,,　,　,; ,;;:､ヾ`

エラー
　　 　　　_,,..,,,,,,..,,,,,..,,,,,,..,,..,,,,,,..,,,,,,,,..,,,,_
　　　　　/ ,' 3,' 3,' 3,' 3,' 3,' 3' 3,' 3,　 `ヽｰっ
　　　　　l　　 ⊃⊃⊃⊃⊃⊃⊃⊃⊃.　⌒_つ
　　 　　 `'ｰ---‐---‐---‐---‐---‐'''''"

深刻なエラー
　　　　_,,..,,,,_
　　　./ 。　 `ヽｰっ
　　　l　o　3　　⌒_つ
　　　 `'ｰ---‐'''''"
2007/07/25(水) 08:05:28
圧縮アルゴリズムの性能の評価ってどうやるの？

c_i が元の符号(符号長 n で固定)で d_i をその圧縮後の符号として
Σ len(d_i)/Σ len(c_i)
とか計算したら大体どんな圧縮法でも大体1より
ちょっと大きくなるくらいになるよね？
635デフォルトの名無しさん
垢版 |
2007/08/10(金) 18:57:30
現行ツールだと大抵、自己展開CAB(exe)を実行せずに強制展開出来る、
あるいは拡張子を.CABに変えると出来たりするんだが…

それでも展開しにくいファイル、というのはあって、
ツールによって展開出来たり出来なかったりする。

で、そういうファイルを調べてみたら、ヘッダ("MSCF〜")らしきものが複数あって、
最初のヘッダは不正で、3番目のヘッダが正解だった。
単にファイルの先頭からヘッダらしきものまで読み飛ばすだけだと、
こういうのに対応出来ないわけだ。

これ、確実な調べ方あるんだろうか？
それともヘッダらしきものを総当りで調べるんだろか？
636デフォルトの名無しさん
垢版 |
2007/10/15(月) 02:36:44
ここでの質問でいいのかわからないのですが、

フォルダ（ディレクトリ）をアーカイブファイルで保存・管理することを考えています。
そのとき、アーカイブのデータを使って元のフォルダの差異が知りたいのですが、
なにかうまい方法（「展開して差分」以外で）はあるでしょうか。

例えばフォルダAとフォルダBの内容が等しいかどうか（具体的には再帰的にファイル
内容の差分（Unix なら diff -r）をとって差があるかどうか）を、対応するアーカイブAと
アーカイブBの差から知りたいのです。
フォルダAとフォルダBの内容が等しい <=> アーカイブデータが等しい
となるようなアーカイブができるとうれしいのですが。

一般的なアーカイブフォーマットにはメタデータ（タイムスタンプ等）が含まれたりして、
アーカイブの単純な差分では駄目なようです。上記の目的のためにはタイムスタンプ等
はいりません。

よろしくお願いします。
2007/10/15(月) 03:34:02
アーカイブファイル内のディレクトリ情報から、サイズとCRCを
比較するだけでいいと思うが。

で、ここがプログラム板だということは分かっているんだろうか？
2007/10/15(月) 10:11:49
11
12
1121
122111
112213
2007/10/15(月) 11:53:08
昨日の平成教育委員会にやってた google入社試験からの問題か
2007/10/15(月) 12:29:08
連長圧縮？
2007/10/15(月) 12:33:29
連長っちゃ連長だけど、ぜんぜん圧縮できてない
2007/10/15(月) 20:06:04
>>639
いつのまにそんなの取り上げるようになったんだｗｗ
2007/10/17(水) 04:34:09
俺時間内に解けなかった
どうしようorz
2007/10/18(木) 02:32:30
12221131
1123123111
12213111213113
11221131132111311231
なんか3が出てきた時点で急速に発散
2007/10/31(水) 03:22:23
だれかgzipを解凍する簡単なコードを見せてくれませんか？
646デフォルトの名無しさん
垢版 |
2007/10/31(水) 04:27:38
DLLつかえ
2007/10/31(水) 08:53:09
どるるるるるるるるるるうるるるうう
2007/10/31(水) 16:23:27
自前でやりたい。
2007/11/09(金) 12:30:47
zlib を見よ！
650デフォルトの名無しさん
垢版 |
2008/02/21(木) 20:27:21
ラプラスで画像ファイル（ビデオ）を圧縮しても容量が小さくならないのは、
どうしてですか？
2008/02/21(木) 20:29:39
むしろ大きくなってるだろ
2008/02/21(木) 23:07:20
はたして、容量が小さくなってないものを「圧縮した」と言うのだろうか。
2008/02/22(金) 03:07:19
可逆で圧縮率と解凍速度に優れたフォーマットって何になりますか？
2008/02/22(金) 08:45:44
>>650
ラプラスって、ラプラス変換? あれは圧縮とは別次元だぞ。
例えば、CR(コンデンサー+抵抗)の回路などで作った
フィルターの特性を一次式に変換するとかそういう奴でしょう。

確かに、フィルターかましたり、
わざと見えないくらいのノイズを載せたりして
圧縮効率を上げる技はあるけど、
常に圧縮率が良くなるという話でもなかったりします。
2008/02/22(金) 08:58:12
GB単位で圧縮かまさなければ速度なんて今は殆ど問題にならんような
BWTとかPPM系でもそこそこの速度で動くでしょ

それよりマルチコアが一般的になったからマルチスレッド動作可能なのを考えたい
まあデータを分割して既存のアルゴリズム適用すればいいだけの話だけど
656デフォルトの名無しさん
垢版 |
2008/02/29(金) 03:42:53
C#でzip32j.dllを使用して以下のような構成の圧縮を行いたい場合は
どうすれば良いでしょうか？
c:\aaa\bbb\ccc\ddd\file.txt
とある場合に、cccフォルダ以下を圧縮したいのですができません。

オプションで-rを指定するとaaaフォルダから圧縮され、
-rjを指定するとccc以下のテキストが指定した作成したzipﾌｧｲﾙ
直下に格納されます。
ちなみに、コマンドラインの圧縮対象には「c:\aaa\bbb\ccc」を
指定しています。
657デフォルトの名無しさん
垢版 |
2008/10/10(金) 08:59:48
10万ファイル格納されているZIPファイルのファイル一覧を、待ち時間無しで取得する方法ありますか。
定番のUNZIP32.DLLでは書庫をOPENするのにとても時間掛かります。
最近出たINFO-ZIP最新版だと軽いですか?
2008/10/10(金) 09:08:16
ZIPフォーマット調べて、自分で読んでみりゃいいじゃん

ファイルの一覧取るくらいなら、圧縮とか気にしなくていいし
659デフォルトの名無しさん
垢版 |
2008/10/10(金) 09:12:02
>>685
すみません。ひとつひとつファイル名を取得して、あと個々に(メモリ上へ)　解凍もしたいんです。
速度が出ていいやつありませんか?　UNZIP32.DLLはオープンに時間掛かるのでは除外します。
660デフォルトの名無しさん
垢版 |
2008/10/10(金) 09:14:45
Zipフォーマットは複数合ってすべてに対応するのは、自作では厳しいです。
661657
垢版 |
2008/10/10(金) 10:36:48
自己解決しました
UNZIP32では、1分待っても反応無しのが
7-zipにしたところ30秒で済み
XacRettではなんと0.3秒でopenﾃﾞｷﾏｼﾀ。
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況