Irvine Part35 [無断転載禁止]©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
Irvine(アーバイン・アーヴィン・いるびね？)は、ウェブ・FTPのファイルを
ダウンロードするためのソフトウェアです。
Irvineで簡単ダウンロード、なんて説明があったら、それは嘘です。
Irvineの使用には、TCP/IP、HTTP、ECMAScript、HTML、文字コード、
正規表現、等の知識が必要です。
ブラウザや他のダウンロードソフトで落とせるファイルが、Irvineで
落とせない場合は、まずこれらの専門知識を習得してください。
JWORDは非インストール推奨です。
※Irvineのアーカイブを展開後、jwordフォルダを削除してからirvine.exeを実行すれば
JWordのインストール画面は表示されません。
過去ログ・その他は>>2-4ぐらい。
公式
http://hp.vector.co.jp/authors/VA024591/
マニュアル
http://hp.vector.co.jp/authors/VA024591/doc/manual.html
前スレ
Irvine Part34
http://echo.2ch.net/test/read.cgi/win/1437882775/l50 pixiv_rは強制終了処理バイパスさせるとユーザーID指定からイラスト画像URL登録までは行けた
ユーザープロファイルページの仕様変更が原因？ 旧htmlを保存してないからスクリプトがどういう流れを意図して出来てるのかさっぱり読み取れない...
コメントの言ってる意味もわからないし >>524
俺の中では最強ソフトだけどね
Linuxにしたとしても使いたいとおもってる
IEはアンスコールしても問題ないよ
>>534
tubeはソース直せばいけるのでは？
getuploader.comの対応もおねがいすまする getuploader_rはmatchと408行付近を>>514と同様に >>536
getuploader_rは使ってなかったですが参考に直してみました
3箇所修正でいけました
てんきゅー
getuploader.com 1.12
1
//match=https?://u[^.]+\.getuploader\.com/
2
if (http.data.match('"og:title"\s+content="download\(([^"]+)\) ')) {
↓
if (http.data.match(/<td>([^<]+)/)) {
3
if (! http.data.match('<a\s+href="(https?://[^"]+)"[^>]*>\s*Download\s+Now</a>')) E-Hentaiについて
Image Limits をHath Perksで増やしてもDL時に反映されない。
おそらくcookieのhath_perksの値が必要なのだと思いますが、入力欄がありません。
対応をお願い出来るでしょうか？ >538
cookieを追加出来る様にした。
Hath Perks？を知らないので、反映するかは、わからない
シカタナイネ〜 >>539
もう対応して頂けるなんてびっくり、ありがとうございました
リミットかかるまで試してみて、後日結果を報告させて頂きます バイパスとかわかんね
多分これで行ける
pixiv_r.dms(20170421.0)
244行目修正後↓
// ユーザーIDを探す
if (!nb.user_id) {
if (!/<a\s+href="\/?member\.php\?id=(\d+)"\s+class="tab-profile"/.test (http.data)) {
http.die ('ユーザーID(数値)が見つかりません。');
}
258行目修正後↓
// ニックネームを探す
if (!/class="user-name"title="([^"]+)">/.test (http.data)) {
http.die ('ニックネームが見つかりません。');
}
308行目修正後↓
if (/<ul\sclass="tabs">/.test (http.data)) {
// 他人のページなのでこのページ内にプロフィールがある >>541に追加修正
258行目の少し下26１行目も修正
// ニックネームを探す
if (!/class="user-name"title="([^\"]+)">/.test (http.data)) {
http.die ('ニックネームが見つかりません。');
}
nb.nickname = (new Utf8 (RegExp.$1)).decodeCharRef ();
return true; >>539
反映されていました。 改めてありがとうございました！ LINE BLOGの画像をダウンロードするスクリプトほすぃ
https://www.lineblog.me/ >>546
リクをスルーされたと思ってあきらめてたらいつの間にかupされてた
神よありがとう nicovideo.dmsはうまくいってるけどnicoseiga_r.dmsはクッキーがありませんでエラーになるが俺だけ？ >>550ですが自己解決しました。
C:\Users\＊＊＊＊＊\アプリケーション\irvine1_3_0\Dorothy2\bin\sqlite3.dll
このsqlite3.dllを32bit版に置き換えたら正常動作しました。スレ汚しスマソ match>ニコニコ静画_r (20170423.0) by rentan
BrowserCookie: Firefox
GET http://seiga.nic●video.jp/seiga/im4345702
GET http://seiga.nic●video.jp/image/source/4345702
未対応の転送先です: http://dic.nic●video.jp/oekaki/747803.png
不明なエラー
EJExit:
ダウンロードに失敗しました
スレッドを終了します twitterの動画、ffmpegで落としてコンテナ格納し直す形っぽいから
画像と違ってタイムスタンプが現在になっちゃうんだよね
これツイートから取得したタイムスタンプ付くようになると良いなぁ
%ID%や%F%をファイル名の先頭に持ってくれば日時はともかく時系列にはなるけど扱いにくいよね タイムスタンプは大事だな。
それのために小さい画像とかでも全部Irvineで落としちゃう >>554
getuploader_rみたいにtouch使ってタイムスタンプ変更とか？ あとtwitterの複数画像を見るとタイムスタンプは2秒〜数十秒程度で番号順になっていて
これは恐らくアップロード＆サーバ側での再圧縮が行われた時刻そのものだろうと思うんだが
%F%は必ずしも番号順では…いや、A-Zとa-z混在じゃなく純粋に文字コード順のソートで見れば番号順になるのか
表示側の環境依存だなぁ
そもそも%ID% %PIC_ID% %F%をファイル名に含める必要があるかも悩ましいところだが… IrvineやDorothyとは関係ないけど、2cnにtwitterの画像が貼られるとき
多くの場合pbs.twimg.com/media/%F%なのが納得行かない
そりゃ画像直リンの方が早いっちゃ早いだろうが落とした後のファイル名が汚くてしょうがない
この場合、画像検索から元ツイートを探すしかないので非常に手間がかかる そりゃあpic.twitter.com/%PIC_ID%かtwitter.com/%TWITTER_ID%/status/%ID%でしょ
直リンよりも、保存が望ましい形で行えることの方がずっと大事
(Dorothy2+twitter_rありきで考えてる人間の都合だけど)
だいたい画像だけあってもツイート内容がないと何だか分からないし
良い画像があったときに類似のものを探すヒントもあった方がいいから >>541,542
うごイラが一枚目の画像しかダウンロードしないみたい
これまではZIPファイルにまたおめられていた >>561
pixiv_r (20170421.0) >>541-542
535行目 修正前
var re = /<script[^>]*>\s*pixiv\.context\.illustId[^<]*;pixiv\.context\.ugokuIllustFullscreenData\s*=\s*(\{[^<]+\})\s*;\s*<\/script>/;
↓↓↓
修正後
var re = /<script[^>]*>\s*pixiv\.context\.illustId[^<]*;pixiv\.context\.ugokuIllustFullscreenData\s*=\s*(\{[^<]+\})[^<]*;\s*<\/script>/; YouTubeのmkvファイルに対応できますか？
最近mkvばかりで落とせないことがよくあります deviantartのスクリプトって、このスレのpart16-17で話題になってたけど結局ないのかな？
今の仕様だと、Chromeで見ながらcurlで試した感じでは
https://www.deviantart.com/download/番号/ファイル名?token=40桁&ts=UNIXタイム
をcookie食わせながらGETするだけで良さそうだけど
cookieの扱い全然理解してないのでよくわかんない
html取得時にSet-Cookieで返された内容(のうち期限やドメインを除いた本体部分)を
ターゲットURLをGETするときにCookieとして与えると
curlでは302→200で目当てのバイナリが返されるんだけど、Irvineでは404が返される
何が違うんだ...
var http = download(htmlのURL);
var cookie = http.responseheader.cookie.data.replace(不要部分を除く加工);
urlinfo.url = ターゲットURL;
headers.Cookie = cookie;
基本的にはこうじゃないの？ 間にプロキシ入れるなどしてリクエストの全ログ取って比較しないとハマるよ。
たまにAccept:とかチェックしてるケースとかあったりする。 マジかー、ローカルプロキシとか面倒だなあ
まあIrvine/Dorothy2が思ったような通信をしていないんじゃないかとは思ってるんだけど
しかしcurlでcookie以外なにも指定せず、refererはおろか
UAさえ明らかにブラウザじゃないデフォでいけてたくらいなのに
そんな細かくチェックしてんのかなー おっと、＆amp;を＆にし忘れてただけだった
結局cookieだけでok xorさんのyoutubeまってるのになぁ
ほかのはほんと不便、mkvなんてのがでてきてエンコードしないといけないとかになってる youtubeできなくなってるのか? たとえばどれ? >>573
新フォーマットと修正差分の反映してくれって事だろう。
>>458-460,486 mkvってコンテナとしてはwebmより前から一般的だけど
コーデックは何使ってるんだろ >>572>>575
youtube-dlなんかはmkvとして保存されるけど実際の拡張子はwebmよ 音声にopusを選択するとmkvでmuxされるって話でしょ
AACを優先すればいいだけじゃないの var http = download(urlinfo.url,true,{'Cookie':'ある決まった内容のcookie'});
を試しててリクエストヘッダに反映されず悩んでたが、httpsだとこれ効かないのか！
httpだと指定の内容が送信されるけど、そのGETはすぐhttpsに302されてしまい
302された結果のリクエストは指定の内容を含んでおらず
過去にhttpsでアクセスしたときに貰っていたcookieが使われてしまう
Fiddlerでは望む結果が得られることを確認したんだけど
Irvine/Dorothy2/download.dmsではhttpsのGET時に任意の内容のCookieを食わせることはできない
という結論で合ってる？それができる関数はどこかにある？
Accept-Languageとかなら反映されるんだけどなぁ… youtube 2.41
取り合えず音声だけ修正
６ｃｈなんか聞かねーよ ---> レ有効、●６ｃｈ以外優先、tag #xxx … cookies.txtに紛れ込ませておいても、やはり送信されないなあ >>578
httpsはブラウザに丸投げ？しているそうなので、よくわからないです
シカタナイネー そっかー
この件で引っ掛かってるのはdeviantartのMature Contentなんだけど
そんなに熱心に落としたいわけでもないから諦めるかな Youtube全然落ちない
最新版はデータサイズすら取得できてない
Youtube-dlを多重実行できるようにすれば十分
Youtubeは専門の人たちに任せればいいよ。。 せめてDL出来なくてもいいから検知外のをログかなんかで検知出来るようにして欲しいな
今検知外になってる高解像度、HDR、有料専用？のやつは実際にはほとんど無いから
IrvineでDL出来ないことに特段支障は無いけど（有ったらそれだけYoutube-dlにぶち込めばいい）
きっちり落とそうとすると検知外フォーマットの有無をYoutube-dlで確認しなきゃならないから二度手間なんだよね ＞有無をYoutube-dlで確認しなきゃならない
OnStartThreadにYoutube-dlでの判定スクリプトを入れておけばいいんじゃね depfile.us
upera.co
よければどなたかお願いします
Asetを呼ぶだけではだめでした… ｆｃ2動画でダウンロード出来無くなったものがあるけど、SSL化の影響かな？
仕様変更だったら対応をお願いできるでしょうか。 >>579
ありがとうございました。
やはり一番使いやすいです、天才ですね salefiles.com (0.1)
使えなくなりました、修正お願いします xvideoお願いします…
youtubedlを使って
function(){
common_load('youtubedl');
youtubedl(urlinfo.url);
}
ってやってみたけど
分割されたストリームのリストみたいなのが落ちてくるだけでうまくいきませんでした youtube-dlでURL取得したときに、分割リストがかえってくるやつは
完全にyoutube-dlに丸投げしたほうがいいようだ。単にyoutube-dlコマンドでURLを書くだけ。
irvineのスクリプトで分割されたそれぞれをダウンロードして結合するまでをするのはできなくはないだろうけど。 Youtubeが急にクローム以外では快適に動作しないような速度制限かかった印象。
irvineでつながらないか遅い。
クロームだとまともにすぐ再生させるのに、それ以外だと停止頻発してまともに見られない。 いま他のブラウザで再生したら普通に見られた。たまたまか?
でもirvineでは遅いまま。
時間たったら回復してるかもしれないな。こっち側の回線の影響か。 > youflix.is 0.13
更新ありがとうございます
m3u8だと2GBを超えると書き込みされないようでした
最近のmp4は多くて1GBくらいなので問題ないとおもいます キューフォルダの中からDLに失敗したURLを抽出
または
DLに成功したURLをキューから削除
みたいな使い方出来ますか？DLに失敗したURLを確認するのに毎度目視で探すのが大変で zippyshare-0.54.zip
//pd を削除、テストはしていない >>601
ファイル10個ほどテストしてみましたが失敗ゼロです
ありがとうございます みんなはfc2でダウンロード出来ている？
最近アップロードされた動画だと下記のようなエラーがでるけど俺だけかな？
error ------> no video url in ginfo: youflix.is 0.131
分割されていないファイルをＤＬする時のファイル名を修正
（item.filenameを無視します） >>604
乙です
<source src=を見てmp4やm3u8を直接DLしてm3u8の場合面倒ですが手動でファイル落として結合するようにしました
DOAもソースを一部修正してファイル名に変更しました
ここのサイトファイル名に改行コードやスペースや長すぎることがあったので
character_references.dmsに
filename =filename.replace(/\t/g," ");
filename =filename.replace(/\n/g,"");
を追加してみましたがうまくいきませんでした
後ろスペースはtrim？をかければできる？trim(title);？
ファイル名を50文字以上(1バイト2バイト文字に関係なく)ある場合は短縮するとかできますか？
len？ >>604
ファイル名のtrimの対策はされてました
空白はもちろん改行コードまでtrimされて？うまく動作してました
動作確認はしてたのですが一部ソースを修正してたので自爆したようでした
失礼しました
commonフォルダのファイルも上書きして戻ってました
>>607
最近は知らないけどビッパーとかのサーバーは昔から対応してないみたいでしたよ
Firefoxで再生できるなら前はVideo DownloadHelperでDLできたような気が？ googleのrecaptchの仕様大分変わったみたいね 素朴なギモン
なんかこのスレ見てるとirvineで落として楽をしたいっていうより
楽に落とす方法に辿り着くための苦行を、敢えて選んでる修行僧に見える
ブラウザから直で落とした方が早い物までわざわざirvineで落とす必要あるの？ 一度に大量にダウンロードするとディスクの断片化がひどくなる。
モバイル低速とかだと複数ダウンロードするとセッション切られる。
一つずつある程度の速度を維持してれば全部ダウンロードできる。 出来れば高速でも１本ずつにして断片化しないようにしたいけど
鯖が低速すぎて無理だったりする。 断片化を気にしすぎ。
断片化解消はHDDの寿命を縮めるぞ。
メモリ上、メモリキャッシュに一時保存すればいいのでは? win10じゃ裏で勝手にデフラグしてるから、いざデフラグと断片化を調査させても「する必要はありません」てなる >>613
断片化したままだとHDDの寿命を縮めるぞ。
以下堂々巡り。 おれの断片化対策はHDD1→HDD2
断片化したらHDD2→HDD1
以下ループ
DLしたデータを別のHDDに移せば断片化もある程度防げる
移したHDDは消さない根性が必要 ハードディスクなどのメディアの場合、OSやら、インターネットキャッシュなんかもアクセスするから
物理的にランダム・アクセスが発生するのは仕方ないし、デフラグしたところでほぼ意味がない。
それにある程度は、HDDやらOSのキャッシュにデータが乗る、残るし。 >>617
キャッシュはOS含めてできるだけRAMディスク(メモリ上の)に置いてる
動画データなどのデカイデータはエリアを取ってからでないとびっくりするほど断片化する
HDD→HDDのデータ転送で1-5MB/sくらいになることもある(断片化してなければ早いと50-80MB/s)
分割DLを無効から1にしただけで十倍転送速度が上がったような気がする
HDDの中のいらないデータを削除など整理した上でのデフラグはかなり効果的なこともある
真夏にやるよりこれからの季節にデフラグは悪くないのでは？
JkDefragみたいな断片化を色でわかるようになってるソフトを使うとよくわかる
断片化率28%のおれに説得力はないが基本緑でそれほどパフォーマンスは落ちていないとおもう
CドライブはSSDなので意味ないけど断片化率1.08%(HDDのときも5%超えたことなし 自動デフラグは無効)
年に一度程度なら問題ないとおもうけど？
デフラグするなとかいってたまにタスクの自動デフラグ無効にしてないやついる
Win7
タスク スケジューラ→タスク スケジューラ ライブラリ→Microsoft→Windows→Defrag
ScheduledDefragを無効
たしかマカフィーはWindowsに関係なくスケジュールでデフラグしてたはず
市販のセキュリティーソフトも勝手にやらかしてることもある
Win7で有効か忘れたけどレジストリにアイドル時デフラグもあった気がする ヘルパーとかだと再生できるところまでいかないと落とせない
Ｉｒｖｉｎｅだと右クリ一発
視聴回数制限も回避できる デフラグって無効で一度もやる必要ないとおもうけどな。
その劇的な遅さは、たぶんデフラグ効果ではないとおもうぞ。
ネットで調べると出てくるとおもうが、ほぼ僅差で体感なしが多いはず。
測ってせいぜい多くて5%アップくらい。
クラスタサイズ(読み書きの最小単位)をでかくするなどしたほうが体感はでるとおもう。断片化もしにくくなる。 断片化しすぎによる極端な速度低下は経験しないとわからんかもね 調べるとクラスタサイズも差が出るかは条件しだいか。
これをでかくすると逆にキャッシュから溢れて速度低下の可能性もある気がするし。 DLしはじめに容量確保するダウンローダーってあるのかね Irvine以外にってこと？
Irvineなら分割数1に設定すると容量確保するからそうしてる >>621
机上の空論までいかないけど断片化と空き容量の兼ね合いで最悪USB2.0がUSB1.1くらいにまで落ちるね
体感したいならUSB1.1のUSBメモリで書き込みするか数KBのテキストファイル200MBほどをHDDからHDDに移動させるとわかる
HDDは小さいファイルの転送が極端に遅いけどキャッシュが増えてるから昔ほど遅くもないかもしれない
FDDからアプリ起動とかも鬼遅
いまの時代のパソコンは昔のスーパーコンピュータ以上の性能だし
メモリ不足による仮想ディスク(HDD)利用による遅さくらいしか体感したことないやつ多そう
>>623
このスレをデフラグして高速化しといたぜ
あとは任せた クラスタサイズは32kBがいい。
断片化で問題になるのは
ダウンロード時に断片化してて
その後移動したり消したりすることで空き領域が断片化して
その断片化した空き領域に断片化した状態でどんどん入れていくと断片化がひどくなる。
勝手にデフラグかけてくれるから問題ないと言うやつは池沼。
その勝手なデフラグで無駄に動く。
デフラグしないように設定しとけとかいうな。めんどくさいんだよ。
断片化がある状態でビデオ見るとがりがり音がするだろ。あれが嫌なんだよ。
基本的に24分40MBだから一瞬でキャッシュに入るけどさ。
ひどい断片化になるのはディスクを100%まで使ったとき。
インデックスが断片化するとずっとその影響が残る。
レールガンで焼き尽くさないと。
>>616
今100GBのドライブにダウンロードして
たまったら３TB外付けに移動（移動したらもう見ない）。
サイズ増やせば断片化そこまで気にしなくていいかもしれないけど
VHDやらVMDKやらいろいろあるんですよ。
断片化を気にしなくて済むように一本40MBにしてほしいんだけど
ひま動の連中は貧乏人を追い出すために全部300MBにしようとかほざく。
どうせ画面VGA以下で見るんだから無駄でしかないんだくそったれ。 クラスタサイズが32kBってのは
そのサイズが仮想マシンでパフォーマンスがよくて
フラッシュメモリのブロックサイズがだいたい16kBくらいで近いから。 >>628
本数多いと面倒くさいけどエンコードしたらいいのでは？
エンコ職人じゃないけど300MBの動画を40MB程度にするようにffmpegのコマンドでDL後にエンコードさせたらいいとおもう
1280x720ならこれだけでもずいぶん節約できる
ffmpeg -i "in.mp4" -s 320x180 "out.mp4"
たぶんDL用HDDとエンコード保存・視聴用HDDと永久保存版HDDくらい準備しとけば断片化は問題ないはず
いまの4コア8スレのCPUならそんなに時間かからないのでは？低画質にするのは早かったような？？？
エンコ職人は画質のこだわるから低画質とうるさいのが嫌なだけだとおもう
あとは焼くなり煮るなり炒めるなり蒸すなりレンジでチンするなり好きにしろというスタンスだとおもうよ
職人に低画質を求めてはいけない
ずいぶん昔だったとおもうがHDDもそのうち100TBとかなるとどっかで見たから容量なんてそのうち気にしなくていいけど
転送に時間がかかるしHDD死亡で失望して絶望する人も増えるかも？？？ HDDアクセスするのは動画データだけでなく、OSやらDLLやら再生ソフトやらcacheなど
さまざまなものがあるわけでHDDのシークは確実に発生するだろ。
いま、日本語入力してるだけでも、HDDアクセス発生するぞ。
断片化を気にするやつが異常としかおもえないな。 デフラグメンテーション - Wikipedia
デフラグソフトのメーカーは断片化によりパフォーマンスが低下すると主張している。
しかし現在のオペレーティングシステムには、断片化の悪影響を軽減するための技術が搭載されている。
ディスクキャッシュの利用
ハードディスクから読み込まれたデータは、メモリのキャッシュ領域に保存されている。
近年のOSはディスクキャッシュを積極的に活用するようになり、キャッシュミスする確率は相対的に低くなっている。
ファイルの利用履歴を利用した先読み
よく使うファイルの履歴を保存しておき、バックグラウンドで先読みしメモリに保存しておく。
遅延書き込み
ディスクの書き込み時にはまずメモリのキャッシュ領域に書き込む。
メモリのキャッシュ領域に書き込みが終了した時点で、ユーザーに書き込み完了を通知する。
断片化により書き込み時間が増加したとしても、ユーザーから見ると書き込み時間の遅延は感じられない。
読み込み順序の変更
ファイルが3個所に断片化しているとする。それらがハードディスク上にファイル断片C、ファイル断片A、ファイル断片Bという順番で並んでいるとする。
この場合は、ファイル断片A、ファイル断片B、ファイル断片Cの順番で読み込むと、シーク時間が増加する。
しかし実際にはファイル断片C、ファイル断片A、ファイル断片Bの順番で読み込む。
その後、OSやハードディスク内のドライバが結合し、アクセススピードが増加しないような措置がとられる。
SSDでのデフラグ
HDDとは根本的に動作原理が異なるため、従来のHDD用に設計されたデフラグメンテーションツール等とは、相性が非常に悪い。
前出のデフラグの効果では、ヘッドのシーク待ち時間や、ディスクの回転待ち時間などのHDDへのアクセス時間がその前提となっている。
しかし、半導体メモリであるFlash SSDはアクセス時間がその約100万分の1程度と非常に短いため、断片化解消による改善効果は、SSDではほぼ存在しないに等しい。
HDD向けのデフラグツールの適用は単にSSDへの書き込み量を無駄にかつ大量に増加させ、もってSSD内部の管理メタデータの撹乱や、フラッシュメモリーの寿命を縮めるだけの処理となる。 ■ このスレッドは過去ログ倉庫に格納されています
