Irvine Part35 [無断転載禁止]©2ch.net
■ このスレッドは過去ログ倉庫に格納されています
Irvine(アーバイン・アーヴィン・いるびね?)は、ウェブ・FTPのファイルを ダウンロードするためのソフトウェアです。 Irvineで簡単ダウンロード、なんて説明があったら、それは嘘です。 Irvineの使用には、TCP/IP、HTTP、ECMAScript、HTML、文字コード、 正規表現、等の知識が必要です。 ブラウザや他のダウンロードソフトで落とせるファイルが、Irvineで 落とせない場合は、まずこれらの専門知識を習得してください。 JWORDは非インストール推奨です。 ※Irvineのアーカイブを展開後、jwordフォルダを削除してからirvine.exeを実行すれば JWordのインストール画面は表示されません。 過去ログ・その他は>>2-4 ぐらい。 公式 http://hp.vector.co.jp/authors/VA024591/ マニュアル http://hp.vector.co.jp/authors/VA024591/doc/manual.html 前スレ Irvine Part34 http://echo.2ch.net/test/read.cgi/win/1437882775/l50 >>743 142行目 if (last [0] != '#' && /\.m3u8$/i.test (last)) { ↓ if (last [0] != '#' && /\.m3u8(\?.*)?$/i.test (last)) { 152行目 if (/\.m3u8$/i.test (url)) { ↓ if (/\.m3u8(\?.*)?$/i.test (url)) { でどう? 友達から教えてもらった簡単確実稼げる秘密の方法 関心がある人だけ見てください。 グーグルで検索するといいかも『金持ちになりたい 鎌野介メソッド』 17UFH ニコ動5月に入ってから死んだぽい 4/29まではいけたんだが rapidgatorのhtmlを英語版でDLする方法を教えてください。 Accept-Language:enもCookie:lang=enも効きません。 FiddlerのComposerだと英語版が落ちてきます。 サンプル https://rapidgator.net/file/98b7186e0889e1be5713a570a344de2a/Free.rar.html >>750 何もしなくても英語版が落ちてくるけど rapidgator.net:443にconnect成功しました サーバへリクエスト送信 GET /file/98b7186e0889e1be5713a570a344de2a/Free.rar.html HTTP/1.0 User-Agent: Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0) Connection: close Host: rapidgator.net Accept: */* PIXVでこのスレ通りに設定して表示できる人とできない人の違いが分かった Irvine側の問題じゃなくてPIXVが登録ID/Cookieで処理を分けてるのが問題 古いIDの人はログインしなおしてもCookieをIrvineで読めない症状が出て、新規IDを作ってそっちでログインすると読める しかし、今度は別の問題が発生する 作者側のIDが古い場合、一定期間以上前のページもしくは作品を新しく作ったIDでは閲覧できない 古いIDだとブラウザ上では閲覧できるがIrvineは弾かれる 作者側の登録日は関係ないかもしれない 調べなおしてみたら古い作品が表示されない方より更に登録日が古い作品を登録している作者の作品もブラウザでは見れた 単に新しいシステムへ移行する処理が済んでないだけか Youtubeの年齢制限のついたコンテンツがIrvineから落とせないのってなにが原因なんだろう ブラウザでは普通に見れてるんだけど… クッキーのせい? >>754 クッキーの登録はをする 「ツール」>「クッキーマネージャ」>ファイル> IEからインポート >>755 たしかWindows10のIE11だとクッキーのインポートができなかったような…って試したらやっぱり機能せず(´;ω;`)ウッ だもんでIE11のクッキーエクスポートして手動でYoutube.comのクッキー情報修正しようとしたら、YSCとVISITOR_INFO1_LIVEの 項目が見当たらないせいか、他書き換えてもダメでしたね詰んだ… cookies.txt手動編集が前提なら IE以外のブラウザから取ってきてもいいんじゃ? >>757 ですよね それでChromeの方のクッキー情報に全て入れ替えてみたものの、やっぱり年齢制限のあるコンテンツだけ失敗しますね… これ年齢確認の部分はGoogleアカウントのクッキー参照してるんですかね…? 友達から教えてもらったネットで稼げる情報とか 興味がある人はどうぞ グーグルで検索するといいかも『ネットで稼ぐ方法 モニアレフヌノ』 RLIR5 質問失礼します IrvineでURLリストなどで複数のダウンロード対象をインポートした時 1ダウンロードあたり最低10秒待機するとかの設定方法はありますか? 1kbのデータが100個あったとして、 1つ1秒でダウンロードできたとしても次のダウンロードまで10秒は待つという感じです スクリプトが貼れない OnDoneThreadで 10秒スリープすればOK >>763 ありがとうございます 少し調べてやってみたのですがうまくいきませんでした 下記でスクリプト貼っていただくことは可能でしょうか(スクリプト貼って保存ボタン押すとURLができます) https://paste.md-5.net/ >>765 ありがとうございます!うまくいきました! ずっとこれどうにかできればと思っていましたので解決して助かりました。 もし差し支えなければですが、仮想通貨のアドレス(MONAとか)とかお持ちでしたら貼っていただけまますか? ID変わらないうちにわずかですがお礼できれば(場違いでしたらすみません) 承知しました。 スクリプトの使い方すら知らなかったので助かりました、ありがとうございました! 便乗してお願いしたいんだけど 同様の状況でファイル作成日時を登録順から順繰りにするために 前のアイテムが開始してから次のアイテム開始までを例えば10秒刻みに遅らせる事って出来ない? フォルダのダウンロード数5だと先頭5アイテムが一斉に開始になるから 作成日時も被っちゃうんだよね 開始した日時をiniかなんかに記録しておけばできそう Twitter_r (20170416.0) Twitter: <div class="permalink-inner permalink-tweet-container"> が見つかりません。 ここ最近こんなエラーが出て落とせないことが頻発する しばらく時間を置くとまた落とせるようになるんだけど 特定のツイートが落とせないとかではなくダメなときは全部ダメっぽい YouTubeの年齢制限のを期待して落としてもよかったのなんてまったくないわ 海外のソフトなら年齢制限のもそのまま落とせるけどね、見たらすぐ捨ててる エロ関係なく年齢制限ついてるのはよくある 事故とか戦争とか害獣駆除とか手術とか Jdownloaderとかだと関係なく落とせるけどYoutube(2.50改)だとあかんね厳密にクッキー見てるのかな 特定のサイト(具体名を出していいかわからんので伏せるけど、エロサイト)のファイルをIrvineでダウンロードするときだけ Internet Explorerの一時ファイルが置いてある場所に、 落とした動画と同一のものが残る(常にそうなるわけではない)ことがあるんだけど これってIrvineの設定弄れば直せる? そもそもこの現象の原因が、IrvineなのかIEなのかそのサイトなのかうちの環境なのかも解らないんだけど C:\Users\ユーザー名\AppData\Local\Microsoft\Windows\INetCache\IE ここのことでしょ。IEコンポ?を利用して落としてるからじゃないの?(適当) httpsだと残るけどそのうちOS(IE)側で勝手に消してる気もする うちはTemplrary Internet FilesとTEMPをどっちもRAMDISKにしてる関係で youtubeから10GB単位で落としたりするときは空き容量なくなるんでContent.IE5直下で while sleep 15; do rm */videoplayback* */*.mp4 */*.m4v */*.m4a */*.webm-v */*.webm-a; done とか走らせながら落としてる みなさんレスありがとう ご明察の通り、その現象が起こるファイルのURLを見てみたらどれもhttpsでした どうやら先週くらいから巡回してるエロサイト(というか今更スレ内検索したら名前があったので言うと、thisAV)がhttps化したみたいです >>777 ほとんどのファイルはいつの間にか消えてるんだけど 何故か消えずにしぶとく残ってるファイルもあるのが謎なんですよね 時系列的に古いファイルだけが残ってたりするし・・・ でとりあえずsを削ってhttp:// 〜〜.mp4にしたら問題発生しなくなったので、 根本解決ではないんだろうけどそれで様子見してみます ポンハブはスクリプトをちゃんと入れても落とせない、なぜ? 狐のヘルパーだけは落せる https://support.cloudflare.com/hc/en-us/articles/360000607372-Using-Polish-to-compress-images-on-Cloudflare >Cf-Bgj:imgq:85 >Cf研磨:qual = 85、origFmt = jpeg、origSize = 95005 このCloudflareの自動画像圧縮を回避する方法無い? 条件がよくわからない(時間帯?回線速度?)んだけど ランダムで無圧縮なのと圧縮済みのを送ってくる(ヘッダは明示されてる)ので 圧縮済みのを送ってきた場合はDL失敗させるだけで良いんだけど そのサイトよく見たら Accept: でimage/webp,送らなかったら行けるのかな? >>784 'cf-bgj'小文字に変更 '555' 302を555に、 Cf-Polished: err=already_optimized これは圧縮していない?(する必要がない) >>787 それで動きました。ありがとうございます 今ようつべ2.50で1080p以上のmp4とwebm落とせてる? スクリプトの設定で1080p以上の優先度高くしてあってもログ見ると該当の解像度が見つけられず720pでしか落ちてこない 10でIrvineの動作、みんなどんな感じ? ファイラーなどでファイル操作すると結構な確率でIrvineが落ちる。 ログを見ると毎回KERNELBASE.dllが絡んでる。なんだろ? twitter_r > HTTP/1.1 302 Found > ---> Location: https://mobile.twitter.com/mari_723itskht/status/998516435251970049 mobile版に飛ばされるようになって落とせない >>793 76行目 _CHROME_UA: 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36' これ最新のにしたりとかちょっと弄ったけど駄目っぽい。他の人は問題無いのかな? >>795 そっちを最新のにしたら落とせたわ。ありがとう だけどこれだとフォルダ内の他のアイテムも巻き込むから 今まで通りフォルダ設定の方は弄らないようにしたいな なんとかならんもんか ニコニコ静画_r 久々に使用したけど未対応の転送先でDLできない 今でもダウンロード出来ている人いる? このスレを検索して>>478 をやってみたら動き出したよ Twitter_r >Twitter: <div id="playerContainer"> が見つかりません。 とうとう動画のプレイリストも落ちなくなった >>792-796 もまだだし Instagram >>707 >>712 も駄目だし 流石にもう終わりか ログインした状態で tps://api.twitter.com/1.1/videos/tweet/config/ステータスID.json をGETする必要があるのかな? どうだろう ブラウザなら非ログイン状態でも動画見れる PC用m3u8、mobile用mp4も普通に落ちてくるけど uploaded.to (0.40) TCPIPエラーになってしまうので、対応よろしくお願いします >>807 recaptchaが変わったので、対応していないDEATH >< pixiv_r動く人っています? pixiv.user.loggedIn が見つかりません。 が出るのですが、完全死亡なのでしょうか? 自分もpixiv動かないな cookie関連が変わった? あ、画像ページのレイアウト変わってた これが原因かね >>804-806 400 Bad RequestとともにbodyでもBad Authentication dataとか言ってくるなあ ブラウザでは確かに非ログインでもOPTIONSで200、GETで200で m3u8が入ったjsonが得られてるんだけど どこまで真似る必要があるか試すのが面倒臭い... そして分かったとしてもtwitter_rを読むのが大変... 優秀な社内SEが突然辞めてしまって なんちゃってSEたちだけが残された会社みたいだな。 ベタな書き方は必ずしも悪くないんだよな。 いや実際ベタな方がありがたいけど 複雑なものをベタに書く方が大変だし結局読みにくいからな pixiv IDって使ってる人いるのかな これログイン用のIDっぽいけど >>813 リクエストヘッダに authorization: Bearer [0-9A-Za-z]{46}%2F[0-9A-Za-z]{12}%3D[0-9A-Za-z]{50} があれば200になるようだけど、これどこから得られるんだ ・Chromeのシークレットウインドウ(twitter非ログイン)を開き直してリトライ ・ログインしている状態でのアクセス ・IPアドレスを変えてアクセス ・複数の動画ツイートについて確認 全て同内容だったんだけど、もしかして固定値?と思ってその内容でぐぐってみたら丸ごとヒットした 2017年3月より前にはないようだが、どういうことか全然わからん とりあえずこれでハードコードしてしまえばm3u8が入ったjsonを貰えそうだけど >>819 https://stackoverflow.com/questions/43814283/this-request-requires-a-matching-csrf-cookie-and-header-353-code-error-on-twitt >that Bearer string never changes on twitter it's always the same //Dorothy2 //caption=test //version=test //match=https://api \.twitter\.com/1\.1/videos/tweet/config/[0-9]+\.json //author=test //end function(){ common_load('download'); var http = download(urlinfo.url, true, {'authorization' : 'Bearer 上のスレッドで書かれている114バイトのbearer文字列'}); println('■ jsonの内容>' + http.data); http.data.match('playbackUrl":"([^"]+)'); var url = new URL(RegExp.$1.replace(/\\\//g, "/")); println('■ m3u8のURL>' + url); urlinfo.url = url.url; headers.host = url.host; } これで例えば>>743 の https://api.twitter.com/1.1/videos/tweet/config/986501787929665536.json を取得できた >>820 twitter_rの_analyzeVideosの中身を var jsonurl = 'https://api.twitter.com/1.1/videos/tweet/config/' + url.replace(/^.*\/([0-9]+).*$/, "$1") + '.json'; var getjson = download(jsonurl, true, {'authorization' : 'Bearer 上のスレッドで書かれている114バイトのbearer文字列'}); getjson.data.match('playbackUrl":"([^"]+)'); var video_url = new URL(RegExp.$1.replace(/\\\//g, "/")); return this._analyzeVideo (video_url); に置き換えたら通ったけど(common_loadにdownloadの追加が必要) 失敗する確率が高くて法則性が分からない ブラウザではauthorization付きでGETする前にOPTIONSしてるのでそれかなとも思ったが そういうわけでもないみたい 429 Too Many Requests(bodyではRate limit exceeded)になることが多い そんなに沢山アクセスしてないんだけどなぁ twitter APIのドキュメントを真面目に読んだりする気力はないし、あとは誰か頼む Jdownloaderでも動画だけはエラーになっちゃうよね今 >>821 json内にm3u8でなく直接mp4があるもの(短い動画、gifから変換された動画)について _analyzeVideoの最後の部分を return this._add ({ Url: url }); ↓ return this._add (url); とする必要があった json取得は相変わらず安定しない >>823 json取得の際にauthorization:固定値だけでは全く成功しなくなり、今は 1. 動画を含むツイートのhtmlをGETし、cookieを受け取る 2. 以下の条件で https://api.twitter.com/1.1/guest/activate.json にPOSTする ・authorization:固定値 ・cookieそのまま ・request bodyなし 3. guest_tokenなる値を含むjsonが返される 4. 以下の条件で https://api.twitter.com/1.1/videos/tweet/config/ ステータスID.json をGETする ・authorization:固定値 ・x-csrf-token:cookieのct0の値 ・x-guest-token:guest_tokenの値 ・cookieにgt=guest_tokenの値を追加したもの 5. m3u8またはmp4のURLを含むjsonが返される という手順でcurlではいけた https必須でcookieの加工が必要ということはIrvine/Dorothy2では無理なのかな? いずれにしろ手に余る PIXIV、また読み込めなくなった… IEでキャッシュ消してCookie更新してもダメ、新しいIDでもダメ。 10日位までは問題なかったのにまた何か変わったのかな pixiv_r >>541-542 >>562 >>687-689 適用後の状態で ■141-142行 if (/<script[^>]*>\s*pixiv\.user\.loggedIn\s*=\s*(false|true);/.test (this.data)) { if (RegExp.$1 == 'true') { ↓ if (/login: '(yes|no)',gender/.test (this.data)) { if (RegExp.$1 == 'yes') { ■299行 if (!/<section\s+class="work-info[^>]*>(.*?)<div\s+id="tag-editor">/.test (http.data)) { ↓ if (!/illustTitle":"([^"]+)/.test (http.data)) { ■302-304行 if 〜 } → 不要 ■306行 nb.title = title ? (new Utf8 (title)).decodeCharRef () : ini.General.NoTitle; ↓ nb.title = title ? (new Utf8 (title)).unescape () : ini.General.NoTitle; ■321行 if (!/<img\s+src="https:\/\/i\d+\.pixiv\.net\/img\d+\/profile\/([^\/"]+)\/[^"]*"[^>]*class="user-icon"/.test (http.data)) { ↓ if (!/userAccount":"([^"]+)/.test (http.data)) { ■371-377行 if (!/<ul\s+class="meta">\s*<li>.*?<\/li>\s*<li>(.*?)<\/li>/.test (http.data)) { http.die ('<ul class="meta"> が見つかりません。'); } var t = RegExp.$1; // \d+×\d+ または 複数枚投稿 \d+P var re = new RegExp ('^複数枚投稿\s+(\d+)P$'.toUTF8 ()); if (re.test (t)) { ↓ http.data.match('pageCount":([0-9]+),'); if (RegExp.$1 != 1) { イラストと漫画で少ししか確認してないから多分うごイラや小説はダメだと思う >>826 うごイラについては、html内に img-original[^"]+ugoira があればうごイラと見なせ、その場合は https://www.pixiv.net/ajax/illust/ イラストID/ugoira_meta にoriginalSrcとして大サイズのzipのURLが入っているみたいなので 落とす手順自体は簡単だと思うけど、pixiv_rの作りに従って改修するのは面倒かも 小説は落としたこともなければ見たこともなかったので全然わからないけど htmlと表紙画像を落とすだけなら特に難しくはなさそうな気がする pixiv_r >>541-542 >>562 >>687-689 >>826 適用後の状態で ■31行 downloadを追加 ■535-538行 var re = /<script[^>]*>\s*pixiv\.context\.illustId[^<]*;pixiv\.context\.ugokuIllustFullscreenData\s*=\s*(\{[^<]+\})\s*;\s*<\/script>/; 〜 http.ugokuIllustFullscreenData = json; ↓ if (http.data.match('img-original[^"]+ugoira')) { json = 'https://www.pixiv.net/ajax/illust/'+nb.id+'/ugoira_meta' ; } else { return false; } ■568-580行 if (!/"src"\s*:\s*"([^"]*)"/.test (http.ugokuIllustFullscreenData)) { 〜 saveUgoiraJson (http); ↓ var getjson = download(json); getjson.data.match('originalSrc":"([^"]+)'); var zip = RegExp.$1.replace(/\\\//g, "/"); これでイラスト、漫画、うごイラいけるかな? 小説はやるつもりなし >>828 ん、なんか漫画や複数枚イラストが1枚しか落ちてこなかったり 1枚イラストなのにmode=manga_bigでpage=0とか見に行って400返されたりしてるケースがあるな・・・ >>829 ■376行 http.data.match('pageCount":([0-9]+),'); ↓ http.data.match('.+pageCount":([0-9]+)'); 面倒だろうから、ここまでのpixiv_rの差分反映済みを上げとく https://u1.getuploader.com/irvn/download/1637 twitter_rの動画関連で>>823 まで反映したのも入れてあるが極めて低い確率でしか成功しない >>824 を組み込めれば・・・ >>707 >>737 instagram_r ■156行 u.path = '//' + u.filename; ↓ コメントアウト >>831 落とせるようになった!めっちゃ嬉しい ありがとう! ネットラジオなんか自動でダウンロードしてるんだけども 最初にファイルサイズが決まってないから 設定のファイル上限サイズが効かない こういう場合はスクリプトで対応するしかないのかな? 2GBで停止してくれれば・・・ループダウンで継続出来るのだけど。。 ネットラジオには手を出してないけど 漫画雑誌が紙をやめてwebに移行していく流れがあるので どう追っかけてダウンロードするか悩んでいる >>835 古いverだと2GBまでしかダウンロードできないはずだったけど 最初にファイルサイズ決まってない場合は スクリプトでしか対応出来ない気がする エロい人はもういなさそう >>837 youflix.isのスクリプトは2GB以降は切り捨てだった そもそもIrvineさんは選手なんですか? 別ファイルにできるのだろうか・・・ twitterのDM内の画像や動画を今は完全手作業で落としたあと 各種情報をかき集めてtwitter_r風にリネームしてるけど これもtwitter_rの処理対象に含めようと思うと どの程度大変なんだろうなぁ そもそもrentanさんのとこ完全に更新止まってるから望み薄なような、、 rentan教授はrentanを探せみたいになったね 他で活躍してそうな感じはする thisavはmpd(ダッシュ?)で分割しているというよりベースファイルがあるみたいですね mpdファイルに答えがあるので見てみると自力でなんとかできるかも? あら?twitter_r、>>830 から何も変えてないけど 適当な10数件を試したら全部うまく落ちてくるようになってた 普通のやつ、短くてループするやつ、gif変換のやつについて確認した 最近になり使い始めました。原因がわかる方いたら教えてください フォルダ設定>ファイル の「保存フォルダ」で指定した場所にファイルが保存されません 指定場所は E:\download ですが、実際に保存される場所は同じ物理ドライブのDドライブ直下です IrvineはDドライブに入れています システムドライブは別の物理ドライブCです 未確認ですが、10MB程度のファイルは指定場所にちゃんと保存されますが、1000MB程度になると D直下になる気がします ■ このスレッドは過去ログ倉庫に格納されています
read.cgi ver 07.5.5 2024/06/08 Walang Kapalit ★ | Donguri System Team 5ちゃんねる