Internet Archive総合 (web.archive.org) #4
レス数が1000を超えています。これ以上書き込みはできません。
なんだかんだでお世話になってるInternet Archiveについて語りましょう
Internet Archive
ttp://www.archive.org/index.php
インターネット・アーカイブ - Wikipedia
ttp://ja.wikipedia.org/wiki/InternetArchive
------------------
Ｑ.Internet Explorerで日本語などの2byte言語のページのWeb Archiveキャッシュを見ようとしても
真っ白なページ＆文字化けが起きる＆極端に重いなどの症状が出てしまう
Ａ.[表示]もしくは右クリック→[エンコード]→[日本語(自動選択)]やその言語の文字コードに則したものをクリック
Ｑ.Web Archiveでダウンロードしたzipなどが開けない＆CRCが違うと表示される
Ａ.よくWeb Archiveは1byte欠けを起こすのでバイナリエディタなどで該当ファイルを開き、
16進数の最後の末尾に「00」を付加すると正常なファイルになることがあります。
前スレッド
Internet Archive総合 (web.archive.org) #3
https://mevius.5ch.net/test/read.cgi/esite/1585760889/ >>1おつ
Internet Archive総合 (web.archive.org) #2
https://mevius.5ch.net/test/read.cgi/esite/1475246713/5
5 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2016/10/01(土) 04:24:53.46
テンプレのＱ＆Ａ二件、まだそんなやり方が通用すると思ってる奴いるの？ Q. 寄付したいんだけど?
こちらから金額と、一度きりか毎月か、送金方法、を選んで寄付してください
ttps://archive.org/donate
Q. すぐに保存したい場合は?
Save Page NowにURLを入力して「SAVE PAGE」ボタンを押す
ttps://web.archive.org/save/
Q. アカウント作ったらなんかいいことあるの?
A. ページのスクリーンショットを保存したり、ページの全てのリンク先を保存できる「Save outlinks」という機能が使える
Q. spn@archive.orgにメールでURLを送ったら保存されるの?
A. 1週間後に保存完了のメールが届いたり、何も戻ってこない失敗した場合があるので、確実に保存したいなら辞めたほうがいい
Q. インスタのURLが保存できないんだけど
A. ログインしないとコンテンツが表示されない仕様になったので保存自体が無理になってます
Q. robots.txtでia_archiverをDisallowしても無視されるの?
A. 中古ドメインでサイト見れなくするやつのせいでrobots.txtを見ない仕様になったので無視されることも従うこともあります、
保存できることもあるので確認してみたほうが早い
Q. 鯖落ちしてる?
A. ここで鯖状態を見れる
ttps://analytics0.archive.org/stats/wb.php
ttps://archive.org/stats/ Q. Save Page Nowの制限などの仕様は?
A. ここを参照
ttps://docs.google.com/document/d/1Nsv52MvSjbLb2PCpHlat0gkzw0EvtSgpKHu4mk0MnrA/edit
Q. Save Page Nowで保存完了しても保存されたページが表示されないんだけど
A. 完全にページが見れるようになるのと、/*/のページ一覧やカレンダーに反映されるまで時間かかるので最大数日待ってください
ほとんどは数分後には見えるようになってるはず、もしくはウェブブラウザのキャッシュを削除するといいかも
Q. 「 The capture is estimated to start in XX minutes. 」って何?
A. Save Page Nowの保存サーバーの空きがなくて保存処理に時間がかかってる状態、急いでなければあとでやるのも手
Q. The same snapshot had been made XX minutes and XX seconds ago. We only allow new captures of the same URL every XX minutes.
A. 同じURLを短期間の間に何度も保存できない仕様になっています、誰かが数分前に保存したか、自分で保存したときに一部の画像がかけて保存されている状態でも表示されることがあります
気になるなら1時間後ぐらいにもう一度保存してください
Q. Temporarily Offline The Internet Archive's sites are temporarily offline. We apologize for the inconvenience. って何?
A. たまにメンテやってサイト見れなくなることがあるので、待ちましょう。ツイッター（@InternetArchive）でメンテ予告は発表しています
Q.「The server didn't respond in time for https://(保存しようとしたURL)」
A. 極端にページの返答が遅いサイトを保存しようとするとこの表示が出ます、何度かやれば保存できることもあります Q.「This URL has been excluded from the Wayback Machine. 」って何?
A. robots.txtのブロックや、サイトの運営者や著作権者がドメインやこのディレクトごと非表示化の申請した可能性があります、
ただしURLの保存はできますし、未来にブロックが解除されて見れるようになる可能性もあります
Q.「Cannot get status of spn2-乱数」のエラーは何?
A. Save Page Nowで保存中にサーバーの状態が取得できなかったときのエラーで、/*/で保存されているか確認して、されてなければもう一度保存してください
Q. 「404 Not Found」のエラーは何?
A. サイトが存在していてもこのエラーが出ることがあります。その場合は時間あけて一度保存してみましょう 前スレの情報と俺の経験から適当なFAQを作ったので、修正と更新よろしく
>>5 ここは修正
ディレクト
ディレクトリ Q. 「Sorry Job failed」が出た
A. このエラーが出たとしても一部画像やスクリプトファイルが欠けた状態でページ保存できていることがありますので、/*/で確認してみてください
保存できてない場合はやり直してください
Q. 「You have already reached the limit of active sessions」が出た
A. 同じIPアドレスからの同時保存制限に引っかかってる状態。2021年5月24日以降はログインしていないユーザーは同時保存は3個まで
1分ほど待てば制限解除される
Q.「This URL has been already captured 10 times today. Please email us at "info@archive.org" if you would like to discuss this more.」が出た
A. 1日に同じURLは10回まで保存できる制限に達したので、また明日 立て乙
pcからしかアクセスしてないのに3割ぐらいの確率でsp用ページが保存されるサイトあるのなんでだろ
sp用になってしまったページを後日とり直しても3割ぐらいが再度sp用になる
3度目の正直でもダメだったページは諦めてる >>14
sp用URLを取ってるとか？
FC2ブログとかなぜかspの方がインデックスされてるのが多いし >>1
25周年記念サイト
https://anniversary.archive.org/
10月21日木曜日午後6時PT（午後9時ET） >>24
ありがとうございます…！まさしく求めてたモノっぽいです。アーカイブの容量大きいですがローカルに落として見てみます！ 今日はプロトコルのエラーばっかりで
何度か読み込まないとウェブブラウザから表示も保存もできない OutLinksがほぼThe server didn't respond in time for 「URL」になる thisじゃなかったthe
theは何を指してるん twitterでjsonばっかのときどうすればいいの >>31-33
>>4に書いてある
保存するページのサーバー側の応答が遅いとタイムアウトになってdidn't respondエラー返ってくる場合がある
outlinksでも同じ
URLわかってるなら1ページずつ保存したほうが早いかもしれないよ
>>34
俺の環境では最近Save Page Nowでも/save/を踏んでもjsonへリダイレクトされなくなってるけど
普通の「https://twitter.com/ユーザ名/status/ツイート番号」のURLで保存してみるとか
Twitter 総合スレ 85
https://egg.5ch.net/test/read.cgi/sns/1602048057/
532 友達の友達の名無しさん (ﾜｯﾁｮｲ ffeb-j7M8) sage 2021/08/25(水) 21:23:21.22 ID:Vyk92XNE0
Twitterが「ツイートの表示にログインを義務化する」仕様を段階的に導入している可能性
https://gigazine.net/news/20210825-twitter-require-login-to-view-tweets/
＞ついにツイートの表示もログイン必須とする仕様をTwitterが段階的に
＞導入し始めているのではないかと指摘されています
ツイッターも魚拓とるなら今のうちか
インスタもフェイスブックもとれなくなったし
SNSの記録ができなくなるのは将来悔やまれるでしょうね 今さっき、UTC 22 時台に玉葱経由で保存させようとしたらこれが来たw
おそらく他の制限と同様に 0 時にはリセットされるのかと。
この状態でもアカウントでログインしてあれば保存は可能。
(当然、生で使うものとはアカウントは分けてますよ。)
なんかSave Page Nowのページ固まってね？
表示が固まるだけで取得は出来てるけど >>39
アカウント作らなくても、
履歴を消す→クッキーを有効にする→履歴を消す→クッキーを無効にする→履歴を消す...
の作業を2，3回繰り返すと突破できるよ >>41
生挿入と勘違いしたはるで、英文読めへんのかw >>40
普通に取れることもあるけど固まって動かなくなるのがほとんどでしんどい
一日経過しても重いままとかどうしたんだ https://archive.org/details/save-page-now-outlinks
なんか新しいことを始めてる模様
Save Page Nowでも自動でリンク先を保存してる
これで1ページ保存リクエスト出せばリンク辿って全部保存してくれるかも ちなみに俺がSPNで保存したのを確認してみると、2日後にリンク先をsave-page-now-outlinksで保存してるので時間差がある感じ
将来的にログインしなくてもoutlinksと同じように保存されるならすごく時間の節約になってみんな助かるので期待したい >>37
このサイトからログインすると任意のアカウントの最新3000件ぐらいのツイートURLを取り出せる
ただしリツイートしてるのも含めてだが
ttps://www.allmytweets.net/
あとは/save/に投げていけばいい 自動でリンク先を撮ってくれるのはいいけど負荷分散も自動化してくれ ArchiveTeamが取ったアーカイブってなぜかCollectionsやAPIに反映されてないことが多いんだよな
何でなんだろ？ いつの間にかヤフーニュースを
（トップページに遷移されずに）
スクリーンショットできる機能が復活していた。 SPNの送信ヘッダのクッキーにdonation-identifier=英数字; abtest-identifier=英数字とかいうのがあるけど
寄付した金額で扱いを変えていたりするのだろうか？あとABテストの被験者にもされているのか？
Google関連？ Hrm.
The Wayback Machine has not archived that URL.
Click here to search for all archived pages under https://~ Forvoで調べたらエイチ・アール・エムって読みやがった。
そっちじゃねえ はらむ？えいちあーるえむ？ふーむ？
割れすぎﾜﾗﾀ Youtube
Sorry
Please try again in ~1 min. Crawling this host is paused
because they notified us that are overloaded right now. >>36
スクロールしての読み下しは出来るが個別ツイートをクリックしても阻まれるな archive.is が落ちたままだ
https://web.archive.org/web/20210908101504/https://www.isitdownrightnow.com/archive.is.html ここの住人になるとそういうのさえアーカイブを通して貼るのかｗ 「落ちてる?」「生きてるだろ」という応酬を何度見てきたことか。 668 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2021/09/16(木) 14:26:46.31
Save Page Now
が昨日から全然安定しない・・・
いつ正常になるんだ YouTubeの動画が保存されるのはいいんだけど、さっき見つけた今年の8月に保存されたページでは30秒の広告動画だけしか保存されてない。
parma.ccを見習えよ、てかparma.ccがアップロードしてるのをWaybackに反映させればいいのに Temporarily Offlineが出たり404や503だらけで今日は保存できない サンフランシスコで停電起きてるそうで、IAも巻き込まれてるかもしれない
シスコ近くの複数箇所にデータセンターがあるって昔発表してたけど、
場所を非公開だから停電の地図を見ても確かめられない
まだ完全に復旧するまで時間かかりそう 無知ですみません。質問させてください。
スプレッドシートのリストでアーカイブをかけています。作業の完了メールを受信し、シートには成功したと記述があっても、実際にURLにアクセスしてみると、アーカイブの取得が完了していない旨のメッセージが表示されます。
この場合、内部的にはアーカイブの取得に成功していますか？
それともアーカイブはとれていないのでしょうか。 >>73
保存したURLが見れるようになるまで時間かかっているか、一部のURLだけ保存に失敗している可能性もある。
/*/でカレンダーに直近の日付で保存されているか確認するのが一番簡単だが、
内部的に保存されているか確認したいなら、ウェブブラウザでも見れるけどcurlのコマンドの場合
curl https://archive.org/wayback/available?url=********
返答に「"available": true」と直近の日付のtimestampがあるかどうか。あるなら保存できてる。
"available": falseの場合はその次に
curl -I https://web.archive.org/web/********
ヘッダーに「x-archive-redirect-reason: found capture at 直近の保存時間」があれば保存されている。
この2つのコマンドで見当たらない場合は保存をやり直ししたほうが早い。
ただ、この確認方法でも保存できているのに保存されてないと返ってくることがあるので、俺も困ってる。 スレタイのアーカイブサイトってもしかして停電が相次ぐ州にあるのか？ dropboxも除外されてるか
以前は保存できて落とせた気がしたが 著作権法厳しくなったら、誰が保存したとか調べよとする輩も出てくるんかね。無理だと信じたいが >>79
IAに限らず誰がアクセスしたのかは第三者には分らんよ
ただアーカイブが少ないサイトだと統計的に同一人物が保存した、とかは分かるかもね
その場合でも個人は特定出来ないけど archive.isで.txtをアーカイブした場合、プレーンテキストを表示させるにはどうしたら良い？ いつの間にかtwitterの動画保存できるようになってるじゃん 消されたtwitterアカウントの過去ツイ遡りたいんだけど、どうやって検索すればいいか分からん 中国のweiboってアーカイブ出来ないんでしょうか？ 新しくURLsタブ出来たけど、バグってるのか表示されないな >>89
バグだね。ホスト名より前の部分 (URL スキーム名 + 斜線) を除くと動く。
https://i.imgur.com/D3kQi9T.png 夏にTwitterアカウントのアーカイブ削除依頼を出したんだけど、
翻訳ソフト使ったけど、
回答が難解すぎてまったく分からない。
アドレスだとかURLか何か要求していることだけは分かったけど、
この場合、何を出せばいいのですか？
今まで使ってたサービスとか昔書いてたブログとか
順次アーカイブから除去していくつもりなんだけど、
最初に手を付けたTwitterですら消し方が分からない…… 残されて困るようなことを書いたお前が悪い。諦めろ。 >>91
本人証明して削除してもらうみたいな話は聞いたことある
Twitterとかブログで削除依頼出してます的な文を投稿をすれば本人だと証明できるのかな
取り敢えず個人情報伏せてメール文貼り付ければ誰か解読してくれるんじゃね？ こころんにあるミラーはIAを弾いてるっぽいし、エロゲ系ミラーサイトの大半は閉鎖済みだし どうしようもない ttps://wayforward.archive.org/ia2046/
この未来起こりうる陰謀論みたいなシナリオみたいなのはなんなの
がっかり >>95
確かにビックリな内容だけど俺は安心したわ
検閲が強化され続けてる実情を踏まえると、ここまで最悪のシナリオを想定して運営してくれてるのなら信頼できる コスパ系のサイト保存すると盥回しみたいに転送されまくって元のドメインに戻ってくる仕様クソ過ぎるな。
IAではなくコスパ側の仕様だが。 無限盥回しで いつになってもアーカイブが表示されない場合もある。これは酷い 前までURL入れたら見れていたサイトが急に見れなくなる原因ってなんですか？
随分昔の個人サイトで今さら削除申請した訳でも無さそうなのですが何が原因なんでしょう
こういう例がいくつもあります >>100
一時的に見れないって訳じゃないなら削除申請以外考えられないかな
そのサイトのエラーメッセージを貼ってくれないと何とも言えない ヤフーニュースをアーカイブしてもトップページに遷移されずに
無難にアーカイブできるようになっている。
いつの間にか。 save-page-now-outlinksが復活してる。
SPN使って手動で保存したページのリンク先がいくつか保存されてるのも確認。 インターネットアーカイブ25周年記念ビデオメッセージサイト
https://internetarchive25.capsule.video
日系アメリカ人
横浜在住外国人
英語が苦手なチー牛 Sorry
This host has been already captured 100,000 times today. Please email us at "info@archive.org" if you would like to discuss this more. アーカイブが見れなくなったことを質問したときの回答
>Please note that the Wayback Machine uses multiple layers of indexes to internally access archives of URLs.
>Therefore, from time to time, information is moved from one index before it is available in the “next” index.
>Our engineers are working to address the root cause of this breakdown to reduce the probability it will happen.
>However, with > 1 billion URLs/day flowing into the system, and less hardware than we would like, it is a bit harder to fix once and for all.
>Typically, though, what you see is what the Archive captured when it visited the webpage (and what we have). >>110
だからどうした低能
英語のサイトの話をしてるくせに >>107
最近これが頻繁に出る
その日初めてのアーカイブでも出る >>113
既に「一日」の3分の2が過ぎてる時間帯にそんなこと書いてる時点でお察し >>115
それじゃ計算合わないよね。
所在地は米国だけど、世界標準を意識してか日付の区切りは協定世界時なんだな。
例えば >>39 の「今さっき」は 22 時台。
0 時は日本時間朝 9 時。 >>120
・引用したサイト（消えたら意味不明になるので
・企業系など上書き更新されるサイト ＞10/27（水）の午前8時から午後1時（太平洋夏時間）の間に計画停電が発生したため、一部のサービスが影響を受ける可能性があります。 検索するとサンフランシスコでは先週末の暴風雨の影響で一部の地域で停電とネット停止してまだ復旧終わってないそう
電気自動車やカリフォルニアの窃盗軽犯罪化と盗電どころじゃねーわw
データセンターがある環境悪すぎ >>120
俺は新型コロナ・ワクチン関係の記事とか発言保存してるわ
世界大戦並みの負の遺産として将来語り継がれると個人的に思ってるから >>122 昨日そのサイト内の保存されてない40ページほどをSPNに投げて保存しといた >>109
久しぶりに消えたアーカイブ見たら復活してました
一時的に消えることがあるみたいです 最近 Google Chrome で archive.is が archive.md にリダイレクトして
DNS_PROBE_FINISHED_NXDOMAIN エラーになってた。
セキュアDNS設定を Cloudflare から Google に変更して解決。 世界史に残る病気ってもっと「半分の確率で死ぬ恐怖の奇病」みたいなものを想像してたな
「風邪＋α」の、＋α部分が絶妙に対処しづらくてこんな大事件になるとは とあるサイトをアーカイブしたいのですが
No URL has been captured for this domain.
と出ます
これはもう何をしても無理でしょうか？ >>135
これからアーカイブするんだろ？
そのドメインでアーカイブ済みのURLがあろうが無かろうが関係無いだろが >>136
保存できないんです
URLに日本語が含まれているせいでしょうか
勝手に記号化してくれますが無理なようです If something went wrong click here to send us an error report. 80%が2回接種済みのシンガポール
陽性者数はまだウナギ登り状態
https://i.imgur.com/HKUtrF0.jpg インターネットアーカイブがサービス終了する未来はあると思いますか？
サーバーの維持費や違法性などが理由で 自分のツイートのアーカイブって消そうと思えば消せるの？ >>146
消したくなるようなことは書くな
歴史修正主義者は失せろ APIのレスポンス、リダイレクトの場合も空で返ってくるのか・・・ 何この訳分からんエラー
Unknown error for chrome-error://chromewebdata/ (HTTP status=0). ヤフオクのページを取得しようとすると、
Unknown error for chrome-error://chromewebdata/ (HTTP status=0).
と出て取得できない。 >>152
試しに force_get=1 のパラメータを追加して保存させてみると
The server didn't respond in time for https:〜 のエラーが返る。
ヤフオクが Internet Archive の接続を拒否しているのは間違いないね。
ただ、どうしてこれが IA から事前に送られているはずの HEAD リクエストで
検出できていないのかが解らん。
HEAD は 200 OK しておきながらいざ GET となると無応答で、
ヘッドレスブラウザの返したエラーページの chrome-error URL を
そのまま表示しちゃったりしているのか?
パラメータについても HEAD やら GET やらについても >>4 のドキュメントを参照。 This page is unavailable for archiving right now!
This page is available on the web but its quite busy. Please check again later. imgurがserver errorやnot foundでとれない たまにsavepagenowで404NotFoundが出るのは鯖が重いんだろうか Not FoundだったりThe same snapshot had been made * minutes and ** seconds ago. だったり 中国とロシアからブロックされてるというのは中国ロシアの国からはアクセスできないってこと？
weibo普通に保存できたけど中国のサイトを日本人がアーカイブするのは可能なんだね >>161
お前が無知だからそんなことで感心していられるんだよ 無知ですいません
てっきり中華サイトとか無理なのかと思ってた Service Unavailable for None (HTTP status=503). Sorry
Please try again in ~1 min. Crawling this host is paused
because they notified us that are overloaded right now. in ~1 minってどういう意味なん？
日本語で「〜1分」だったら1分以内だけど文脈的に逆っぽい気がする
もし以上だとしたらどういう原理で前に~が付くんだろうか 英語では約 1 分 (approximately)
https://docs.google.com/document/d/19RJsRncGUw2qHqGGg9lqYZYf7KKXMDL1Mro5o1Qw6QI/edit
2021-05-23
(略)
If a target site returns HTTP status=429 (too many requests), we pause crawling that for a minute.
この仕様をそのように説明してるんじゃないのか もしかしてYouTubeのプレイリストでOutlinks使うと
表示されていない下の方の動画も保存しといてくれるのか？ そもそもどういうときに保存されるのかよくわからんぜ >>170
outlink とは、自ホスト内でなく他ホストへのリンクのことですよ >>172
> outlink とは、自ホスト内でなく他ホストへのリンクのことですよ
おいおいｗ 普通にやるでしょ。
うpろだやImgurの画像を保存したい時とか。期限切れや削除依頼されてすぐ消えるじゃん。 単独なのかどこかに埋まってたのかはどう判別したらいいの？ 画像付きってアーカイブしても何年後とかに消えたりしませんか？
昔のサイトを見ても画像だけ見れないの多くて 昔のアーカイヴ技術が微妙で上手く保存できてなかったんでしょ、どうせ。 今でもJavaScript乱用していてスクロールやクリックしないとサイトの内容が完全に表示されなかったり、
レイジーロードで遅延読み混みしてるサイトは画像が保存されてない可能性がある。
画像のURLを抜き出してSPNで1個ずつ保存するのが一番確実だけど、まあめんどくさい。
Googlebotですら対応できてないものをIAでできないだろうな。 そもそもヘッドレスブラウザを実装して、必要な画像も一緒に保存できるようになったのが
Internet Archive の長い歴史の中でごく最近の話なんだけどな。
それまではアーカイブ済み HTML を誰かが表示して初めて画像の URL が IA に送られ
保存を試行するという仕組みが採られていたけど、種々の利用により
上手く動作しないことがあった。 昨日辺りからTwitterのツイートのページを取得すると新UIになってしまった・・・
数日前までは取得すると何故か旧UIで取得されるようになってたけど、ついに対策されたか・・・ 俺が7月にSPNで保存したページに表示されていた、保存失敗した画像を、
11月の今になってsave-page-now-outlinksが保存してるのを発見した。
過去のページをさかのぼって保存できてない画像を自動で保存してくれるのはありがたい。 wayforwardって以前waybackmachineから削除されたサイトでもタイムカプセル出来るの？ >>181
ページ中の画像が取得されるようになったのってマジで最近（2020年）だしな No URL has been captured for this domain.
日本語がURLに入ると上のように出てダメです
どうやって保存したら良いですか？
初心者なので誰か教えて下さると有難いです >>188
日本語URLでもアラビア語でも普通に取れるよ
ちゃんとsave page nowに入れてる？
そのエラーはspnでは出ないと思うけど >>189
できました！
勘違いしていました本当に有難うございました >>174
NHK系とか素直じゃない構造のやつとか期間が来たら別画像で上書きしたり引っ越したりするサイトで必要 >>186
えー、/web/http://&;#12316;をWebブラウザから見て、そのページの画像が保存されてなかったら自動で元のサイトに取りに行って保存して表示する仕組みは昔からあったよ。
少なくとも10年前にはあったはず。今のSave Page Nowの前身Liveweb Proxyでもやってた。SPN登場前は今みたいな同時保存回数の制限すらなかった。
といっても、サイト消えてる時にWayback Machineの保存ページを見るのがほとんどだから、消えたサイトの保存されてない画像は永遠に表示されないのが現実なわけで。 それの話をしてるんじゃないと思うよ…
それはレス元の>>181が言ってるやつの派生かと リダイレクトのとき、if_not_archived_within が効かない えー効いてるように思えるけどな
逆に、直近の 200 応答のアーカイブが無視されてしまい、
アーカイブしない条件のはずなのにアーカイブしてしまったことがある 前スレ836で捨てアドでアカウント作れないって書いてる人いたけど、色々試したが今は作れるみたい。
ただし、アップロードするときにお前のメアドはスパム臭えってエラーが出ることがあるので、
適当すぎる文字列じゃなくてフィルタに引っかからない自然なメアドでアカウント作ればOK。 あと、
ttp://web.archive.org/*/から始まる保存されてるページを一覧表示してくれる機能がちょっと新しくなったみたいで、表示できない問題が起きてる。
フォームにも書いてる人いる。
ttps://archive.org/post/1121385/urls-feature-on-wayback-machine-is-broken サイト側から削除依頼以外で消されることってあるの？excludedって出る。復活掲載は絶望的かしら。 save out linksにチェックを入れてるのに無視しやがる…
最近は取得エラーも多発してたし、そんなに負荷のかかる代物なのだろうか… IAに削除させたのに自社サイトに他社のIAアーカイブURLのリンク貼ってる企業ってどう思いますか？
A「B社は過去にこんなサイト内容でした、と」
A「おいIA、勝手にうちのサイトをアーカイブしてんじゃねえ！」 >>202
中国人・朝鮮人・韓国人や奴らの政府の身になって考えてみなよ。 Unknown error for chrome-error://chromewebdata/ (HTTP status=0).
これはもう諦めるしかない？ Firefox のプライベートモードで https://archive.org/ を開いて入力欄に文字を入れると
その文字が見えなくなってしまうという問題が起きていたけど、直ったのね https://web.archive.org/web/*/
でドメインとディレクトリ指定して保存されてるページが一覧で見れるのが改悪してる！
今まで10万ページまでだったのに、1万ページに減ってるんだが
More than 10,000 URLs have been captured for this URL prefix. ここの老舗魚拓サイトって、BATとかいう仮想通貨をコジってるよな
Braveってブラウザ使って閲覧すると、寄付の案内が出てくるんだが
この話既出だったらゴメン そりゃBraveブラウザで広告費や寄付受け取るサイト運営者の登録やってるから表示はするでしょ。
寄附キャンペーン中だからってのもあるだろうけど、気になるなら広告ブロックか何かで要素ごと消せばいいよ。 BATが寄付出来るのはBraveブラウザの基本機能なんだがな・・・
単なるアドブロッカーか何かと勘違いしてないか？ 腹立つわ 鍵の開け閉めを繰り返してすぐツイ消しする奴のツイート記録しようと思ったのにここ最近上手く記録してくれないから記録出来てない内にツイート消された
そもそもツイ垢のトークンとか使えるようにしてくれたら鍵垢の鍵が開くまで待って開いた瞬間から開いてる内に飢えたピラニアみたいにアーカイブ録りまくる必要もなくなるのに >>214
自身はTwitterにログインしてないブラウザで取りに行ってるの？
俺が巡回してた鍵アカのログは直接本人にフォロー承認もらったから残そうと思えば何時でもブラウザのページ保存で残せるけど…
最近のTwitter社はアーカイブするとレイアウトが崩れたり議論ツリー記録しに行っても余計な「固定ツイート」まで混ざったりして改悪し過ぎだけど… >>216
> 残そうと思えば何時でもブラウザのページ保存で残せるけど…
ローカル保存でオナって満足してる奴は巣に帰れ >>214
今仕方なくPCとスマホアプリのTL参照しながらどれが消えててどれが消えてないかを確かめながらスクショをペイントに貼って1日のツイート纏めてるところ
twitterのTLもずっと残らないのが腹立つんだよなぁ
やり方さえ知ってればネット使える誰もが見れるってのがいいんだよ
暇さえあれば消えたツイ垢のツイートひたすら漁ったりするし何年も活動してる垢が将来的に消える可能性に備えてウン万ある過去のツイートを一個一個手作業で保存させたり…
この保存作業もたった一人の人力だと不毛なんだよなぁ Wayback machineが自動でツイート取るようになる以前のツイートも自動で集めとけよって思う 2:00くらいからずっと503 Service Unavailable TLS1.2の壁なのかどうしても取れなかったり、表示レイアウトの異なるUserAgent別（PC⇔スマホ⇔ガラケー等）には直接取り分けらなかったりするのは、いったんローカル保存してからどっかのレンタル鯖に上げ直してアーカイブしている。 jsonファイルで保存されたツイートのアーカイブって復元出来んのかなぁ
何て描かれてたかすらわからん 最終的に残りそうなアーカイブサイトは何処？
やはりウェイバックマシン？ 営利企業がやってるやつとかtodayみたいに素性が不明のものは消える可能性が高いと思う
残るのはIAかCommon Crawlらへんだと思う Waybackは広く浅くはいけるが深い所まで保存出来んのがな
ツイートの2分までしかアップロード出来ん動画すら保存されないという有様だ
動画みたいな重めのファイルを自分の手許にずっと置きたくはないけどネット上からは消えさせないようにするにはどこにアップロードするのがいいんだろうか？ twitterのプロフィールを片っ端から手動保存してる人おる？ Waybackは保存してるサイト自体は多くて助かるんだが検索機能が糞過ぎるんよな 昨日からサイトマップが何も表示されないんだが俺だけか？
https://web.archive.org/web/sitemap/http://www.2ch.net/ URL部分マッチと<title>検索だけでもあれば全然違う Youtubeの規制が緩くなったと思ったら今度はTwitterが厳しくなってる
前から思うけど１分待っても取れないの笑う
Sorry
Please try again in ~1 min. Crawling this host is paused because they notified us that are overloaded right now. CDX APIのURLはweb.archive.org/cdx/以降は適当でも大丈夫なんだな Sorry
This URL is in our block list and cannot be captured.
これ初めて見た。公式Twitterだし変な内容でもないのに >>238
それ最近増えた印象
まぁ妥当だろうなってサイトもあれば（アーカイブサイトとしてどうかとは思うけど）
何でこのサイトが？っていうのもあってよく分からない まあ別にSPNに頼らず、捨て垢作ってarchive.orgの方にwarcかzipでアップロードしとけば保存できるし、
将来非表示ブロックが解除されたときに見れればいいので、ブロックされてようがあんまり気にはしない。 Twitter公式がムチャクチャ重くなったからツイート本文だけ取りたい場合は
「Twitter検索サービス（ https://t-proj.com/twitter/ ）｣
のキャッシュログから取ったりする。 >>225
ソースコードから動画のURL（pbs.twimg.comから始まるやつ）を抜き出して、そのURLをそのまま保存すればいいよ、
と思ったが、最近Twitterの動画は仕様が変わって、mp4ファイルとかじゃなくて、m3u8とm4sファイルで小分けになってるのか。
UserAgent変えて昔のWebブラウザのに変えても完全なmp4ファイルのURLが流れてこなかった。
これは保存できないな。 m3u8ったらアニメイトのWebラジオをひさびさ端末に保存試行したさい遭遇して苦闘したことあったな…
あの後すぐ配信変更でもう付き合いきれなくなったわ 明けましておめでとう。
前からあるTwitterの動画URL抽出するサイトにツイートのURLを入れると、mp4とm4sファイルのURL一覧が出てくる。今でも機能するっぽい。(アフィ広告注意)
ttps://lab.syncer.jp/Tool/Twitter-Video-URL-Converter/
ちょっと検索して出てきたのは、Bearerトークンを使えばAPIからmp4のURLを抜き出せるらしい。こんなツールを公開してる人もいる。
ttps://github.com/89z/mech/tree/master/twitter
動画URL単独の保存もいいけど、保存したツイートのスナップショット自体に動画が表示されて再生できないと、証拠目的なら意味ない気がする・・・ The capture is estimated to start in 367 minutes
6時間待ち 3分ぐらいほっといたら保存終わってた
待ち時間の計算ガバガバすぎない? たまにestimated toが表示されずに、割り込みですぐ保存できる場合もあるな
タイミング良く保存してるサーバーが空いたのかは知らんが謎 >>253
前スレでも書いてる人いたけど、Yahoo個人ニュースの記事は保存ブロックされてるの多いな〜
なんでだろ〜 archive.orgのページ上部の〇〇billionの数字を更新し忘れてるのいつ気づくんだろ？ｗ
どうでもいいといえばどうでもいいんだけど 503 Service Unavailable
No server is available to handle this request. PDF・画像絡みだけ時間かかるときがあるが、
今日は全般的に時間かかる The capture is estimated to start in 23 hours, 56 minutes.
( ﾟдﾟ) You may close your browser window and the page will still be saved.
といっても保存できてたりできてなかったり archive.is は http:// アクセスが https:// へ強制リダイレクトされちまうのをどうにかしてほしい
更新の頻繁なページを後で archive.org へ追加取りするとき、リンク先のオリジナルURLが判別可能なまま再アーカイブするには
anonymous のWebプロキシ（ http://anonymouse.org/cgi-bin/anon-www.cgi/http://www.〜 ）経由でないと取れない仕様だったけど、anonymous はSSLアクセスに非対応だから http:// のままでないと接続エラーになっちまう… なんか先週末の停電の後から、SPNの保存の仕様変わった?
今まで30秒ぐらいで保存できたのに、1分近くかかってるんだが
ブラウザでもcurlでも遅くなってるし、単独の画像やPDFファイルはここ数日保存できてない
保存始まる待ち時間増えたような感覚
ヘッダーにcapture_outlinks=0を付けても早くならないし Sorry
Cannot start capture
保存すらできん
このエラー初めて見た 保存に少し時間がかかって違和感あるのを除いて上の障害は解消済み。
日本時間19日の朝5時半〜8時半は、save-page-nowの保存ファイルが1個しかないから、この時間帯は保存できなくて止まってたっぽい。
公式な発表はないし、発表すらしないだろうけど、記録として残しとくわ。
ttps://archive.org/details/save-page-now?&sort=-addeddate
spn2-20220118234307 Jan 18, 2022 web ← 通常の追加間隔
spn2-20220118233913 Jan 18, 2022 web ← 3時間でようやく新しいファイル、この間Save Page Now停止
spn2-20220118203649 Jan 18, 2022 web ← 18分
spn2-20220118201816 Jan 18, 2022 web ← 通常は1分〜10分で1個増えるのに、前のファイルからの間隔が24分
spn2-20220118195414 Jan 18, 2022 web 1回保存できませんでした…ってエラー吐かれたら何度保存させ直しても保存されないもんなの？
すっげぇ腹立つ まあ相変わらずな常態だな
Archive.st も重くて取り込みエラー頻発中 うーん、Twitterが死ぬとは思わなかった
Unknown errorだから詳細は分からないけど、Twitter側から拒絶されてるのか？ >>266
このサイトを使うのはどうかな
webページに注釈をつけて共有するのがメイン機能だけどプロキシとしても使える
非営利団体が運営してて学術団体と連携したりしてるから信頼性もそれなりにあると思う
稀にアクセスできないサイトもあるけど大抵はうまくいく
https://via.hypothes.is/http://www.〜 >>276
ありがと。そっちでArchive.isの拓へアクセスしても画像認証通さないと取ったページが開けないから .orgへの再アーカイブには使えそうにないけど他の取り方で選択肢が拡がりそうだ。 … .is アーカイブ済みページの画像認証も https:// 強制化で始まったけど、端末ブラウザの直アクセスなら今のところは異なる数種の UserAgent 変更でスルーできる。 >>273
今確認したら取れるようになってるな
良かった良かった Sorry
Cannot save Internet Archive URLs!
https://web.archive.org/web/20220122124542/http://sanukisoraumi.blog.***.com/blog-entry-996.html. GoogleとヤフーJAPANの画像検索結果が日本語の検索ワードだと変なパラメータ文字列に入れ替わられて、取りたいリンクとサムネイルが取れなくなってやがる。
ウェブ魚拓もMetaタグ妨害で既に取れなくなってやがるし… 保存されたページから違うページに飛べない(正確には同じページだけどリンク先をクリックすると補足が書いてある感じ)
urlが同じなのでこういう時はどうすれば良いんだろう初心者ですみません >>283
ページ更新なしでサーバー情報とってきて内容が変化するサイト(例:google map)とか
更新有りで同じURLだけど、ユーザーのアクションに依存して内容が変化するサイト(例:画像認証付きサイト)とかは難しいと思う
実際に確認しないと分からないけどこのケースは後者に近いのかな？
Waybackでの保存が無理そうなら、Webrecorderとかのソフトを使ってローカル環境に保存するしか方法はないかもね
(※独自にローカル保存したアーカイブファイルを直接IAにアップすることは可能。ただしwaybackからの参照は不可) Archive.st で取った分を.orgへ転送する形でページ内容の意図しない改変は避けれる場合もあるけど .stのエンジンが不具合長引きがちだからなあ ローカル保存って今もあるんだ
なんか大昔そういうソフトで保存してたけどhttps非対応で最近のやつ全然取れなくなってしまったので離れていた サイトのTOPから階層段でまとめ取りするやつはAndroid用でTLS1.2対応アプリがあるかも ブログだったらサイトマップや記事一覧ページを見れば全てのURL探すの楽だけどな
たまにサイトマップを非表示にしてるブログもあるけどさ こないだまで問題なく使えてたのにirvineでファイルのダウンロードができなくなった
403エラーで切されてる・・・どうすればいいの Sorry.
This snapshot cannot be displayed due to an internal error. Got an HTTP 302 response at crawl time
これが出て開けないんだけど、どうすりゃいい？ そのリダイレクト先が未アーカイブなら、ご愁傷様としか >>293
待ってるとページは出るんだけど真っ白なんだよね
上にカレンダーとかは表示されてる >>294
アーカイブされたのがその真っ白なページなんじゃないのとしか
HTTP や HTML についての知識がある人なら自分で調べて納得してるだろうから
そういう質問にはこう答えるしかない >>294
カレンダーのとこのURLを直接開く
ダメなら そのURLの魚拓とArchive.todayを開く
ダメなら そのURLのGoogleキャッシュとBingキャッシュを探す
ここまでしてダメなら諦めるしかない >>297
ブラウザ上のスクリプトで画像の読み込み処理してるっぽいからURLが違うとうまく動かないのかな
見た目だけでいいならwayback machineにユーザーログイン後に"Save screen shot"からスクショ保存したり、archive.today使ったりすれば保存できるよ アフィでない個人サイトでoutlinksしてFirstArchive連発すると、
「ん゛ぎも゛ぢい゛い゛ぃ゛っ」ってなる >>298
ありがとう。スクリーンショット試してみるよ。 >>299
あのFirstArchive表示考えた人天才だと思う
さすがアーキビストの性格分かってるなぁって Too Many Requests
In order to protect the Wayback Machine we have limits on different services. Unfortunately you have hit one of those limits. It can be caused by:
Being an automatic bot that does not appear to be human
A playback page that has an unusual number of components
Excessive load on the Wayback machine not related to your activities
Saving too many pages in a give time frame
The best solution is to wait a few seconds and reload the existing page.
Please feel free to write to us at info@archive.org if you have questions about this. Please include the following information in your email:
Reference number: 0.000.000.00
Date: Saturday, 19-Feb-2022 14:47:00 GMT
Thank you 取得からだいぶ時間経過してるのに
「Hrm.
The Wayback Machine has not archived that URL.」
数日後きちんと反映されてるなら良いが・・・ 画像だけ完全別サーバーにあるせいで
画像が保存されていなくてOutlinksで保存し直し。
Outlinksを使うとリンクされてる別記事を
通常保存してしまうので全てOutlinksし直し。 自分のスマホだけなのかURL貼り付けられない
めんどくさ Your IP address is in our block list. Please email us at "info@archive.org" if you would like to discuss this more.
さっき使ってたVPNのIPアドレスがブロックリスト入りになってた、SPNで保存できない
このIPアドレスでどっかの業者が宣伝スパムでもやったんかな またThe capture is estimated to start in ** minutes. You may close your browser window and the page will still be saved.か
エラーも出やすいし
今日でも未明はなんともなかったのに・・・ なんかサーバーに繋がりにくいというか、全然繋がらない Temporarily Offline
Internet Archive services are temporarily offline.
Please check our Twitter feed for the latest information.
We apologize for the inconvenience. ttps://twitter.com/internetarchive/status/1499762397455679488
また停電だって
https://twitter.com/5chan_nel (5ch newer account) 日本時間で午後11時20分ぐらいから止まってる
ttps://analytics0.archive.org/stats/wb.php みんな寄付してる？
便利に使ってるからちょっとくらい寄付しようかと思うんだけど
やっぱ30万くらいじゃ少ないのかな？ トップにはアクセスできるようになったが、取得はまだまだ・・・
「Not Found
The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.」 ようやく取得できるように
と思ったら・・・
「Sorry.
This snapshot cannot be displayed due to an internal error.」 3/2以降のものは取得されてないことになってるか、残ってても
「Sorry.
This snapshot cannot be displayed due to an internal error.」
特定のサイトだけではなくいろいろなサイトでそんな感じ IA側の問題だ
21/12/24に取ったものも一時消えてしばらくして復活して今また消えている
ほっとけばそのうち直る アーカイブ内で壊れた画像アイコンしか表示されないのは次の巡回待つしかないの？
でも既に巡回済みの分が連続して壊れてるんだよね。 その画像URLをそのままSPNでもう一度保存すればいい
元のサイトがすでに無いか初めから画像が壊れてるならご愁傷様 特にpdf絡みはなおさら
時間帯によって増しだったりかなりかかったり 既出かもしれないけどアーカイブ済のURL一覧を出力する方法見つけたから書いとく
https://exposureninja.com/blog/extract-urls-archive-org/
から引用
まず
http://web.archive.org/cdx/search/cdx?url=example.com*&;output=txt
にアクセス、example.comのところをアーカイブしたページのトップページURLに変えればいい、*を誤って消さないようにすること
大量のテキストが出るので全選択してコピー
Excel立ち上げてCtrl+Aで全選択して貼り付け
その後「テキストから列へ」を選んでスペースを基準にセルを区切る
あとはセル列のアルファベット文字をクリックしたらその列が全選択になるからURLの列をコピーしてテキストエディタに貼り付けるなりすればいい
注意なのがこれ同じURLでも保存した時間分の数書いてあるから置換ツールで重複した行を消すこと
IAのURLsでは10000個までしか表示できないがこの方法使ってアーカイブされたURLの正確な総数がわかるはず
これに自分が集めたURLリストを付け加えて重複行消す処理を行うと未アーカイブURLだけ割り出せるのでだいぶ楽になる
WEB版のExcelだと貼り付け時に容量オーバーで受け付けてくれないことがあるからその場合はLibreOffice Calcでも使えばいい
LibreOfficeの場合貼り付け後、表全体の全選択を解除し、1回セルAをクリックしてセルAを全選択した後、データ→テキストから列へ を選ぶことでセル分け可能 おお便利だね
今まで保存されてるかどうかをページごとに判断するAPIをちまちま使ってたわ
ドキュメント見てもう少し使いやすくしてみた
http://web.archive.org/cdx/search/cdx?url=example.com*&;output=txt&fl=original&filter=statuscode:200&filter=mimetype:text/html&collapse=urlkey
・URLのみ表示
・ステータスコードは200のみ
・メディアタイプはtext/htmlのみ
・重複URL除去
あとは必要に応じて末尾にこれを追加すれば日付でフィルタリングできる
&from=yyyyMMddhhmmss&to=yyyyMMddhhmmss
例：&from=2010&to=2011
参考
https://github.com/internetarchive/wayback/tree/master/wayback-cdx-server >>331-332
せっかくなんで、前に検索してたら見つけたこんなツールもあるよ。
あるドメイン(もしくはサブドメイン)下で保存済みの10万個までのURLが取れる。
日付範囲は適当に20年前からぐらいにしとけばいい。
ただし最近保存したURLはすぐに反映されない。これはCDXでも同じだと思う。
Download data from archive.org
ttps://share.streamlit.io/antoineeripret/streamlit-archive/main/app.py
ソースコード
https://github.com/antoineeripret/streamlit-archive/blob/main/app.py
簡単なPythonのスクリプトなので、個人的にプログラム動かしてるなら参考になるかも。 >>332-333
こんなことできたのか
これはありがたい いつの間にかCollection Searchにパワポ検索が追加されてた URL一覧から重複消すにしてもサクラエディタだと並び替えないと消せないからほかのツール使わないといけないっぽいね
このツールだったらソートせずに元の並びのまま重複行消せるから便利
上に書いてあるものが優先されて下のほうにある重複行が消されるから先にcdxをコピペして空白改行してその下にアーカイブ予定のURLリストを貼り付けたtxtを作って実行すればいい
ここからDLできる↓
https://sourceforge.net/projects/removeduplicatelines/
DLできなければここから↓
https://web.archive.org/web/20220313034128/https://priceless-panini-57a29d.netlify.app/RemoveDuplicate_V1.1.zip
それとcdxだと日本語URLのデコードが大文字と小文字混在して保存されてるから一旦サクラエディタで小文字に変換してからやれば全部重複消せるはず
英語のみのURLでも混在してる場合もあるだろうし
Naverまとめみたいに大文字と小文字を区別する特殊なサイトもあるけど大半は区別しないから問題はないはず、IA上でも区別せずに保存されてる curlでもIAログイン状態に出来る方法はありますか? >>340
すいません、具体的なURLかページ名でお願いします。 昨日あたりからまた時間かかるどころか、
大体が反映されず
何日かして反映されてるなら良いが、
時間かかった挙げ句反映されてなかったら悲しいなぁ SavePageNowがSavingぐるぐるで終わらないときあるな
一応取れてるみたいだから終わらないっぽいときはページ閉じてるけど
なんかスッキリしない >>343
Chromeだったら一旦別のサイトに移動してから戻るボタン押して少し待ったらdoneになるよ >>343
344と動作的には同じだが「The capture is estimated to start〜」が出てきてないなら
1分ぐらいを目安にそのままページを再読み込みすればいいよ
保存終わってるか途中なら1分前に既に保存しましたってのが出てくるはず、出てこない場合は作業失敗してる
強制的に直近の保存状況を表示させる裏技だけど、こうすれば時間節約できる
待たされてる時はこの方法は使えない >>333
これ欠陥あるっぽい
重複消すと違うURLでも同じサイトに繋がってる場合どちらかのURLが消える
URLから&collapse=urlkeyを消して重複除外しなくすると両方とも表示できるからそれでコピペして置換ツールで重複を消すしかないね
https://web.archive.org/cdx/search/cdx?url=example.com*&;;output=txt&fl=original&filter=statuscode:200&filter=mimetype:text/html
例えばこのサイトだと
https://web.archive.org/cdx/search/cdx?url=http://sumimarudan.blog7.エフシー2.com*&;output=txt&fl=original&filter=statuscode:200&filter=mimetype:text/html&collapse=urlkey
URLがNGワードっぽいからカタカナを英語に戻してね
.fc2.com/page-4.htmlが表示されず、かわりに.fc2.com:80/page-4.htmlになってる
&collapse=urlkeyを外すとfc2.com/page-4.htmlがちゃんと表示されるが、重複除外してないので同じURLが何個も表示される
普通にブラウザで見る場合URLは.fc2.com/page-4.htmlになるからこれが除外されて同じURLをアーカイブするという2度手間になる
.fc2.com/page-4.htmlと.fc2.com:80/page-4.htmlを両方表示したうえで重複消せたら便利なんだけどね
cdxのgithub見てURLいじってみたりしたけどいまいちうまくいかない あ、既アーカイブ分を消すだけなら最初に重複を消さなくてもよかったんだ
自分が集めたURLから既アーカイブ分消すときに一緒に消えるし
とはいえ行が10万以上だと容量が大きくなるから重複しないにこしたことないけど エロサイトの動画とか直リンをSPNにURL入れたらちゃんと見れんの？ 複数の画像を個別に保存する場合
ttps://web.archive.org/save/http〜w.jpg
ttps://web.archive.org/save/http〜c.jpg
みたいに一つずつやらないといけないの？ >>355
それで大丈夫。混んでなければ1個10秒以下で終わる。
もしくは画像が載ってた元ページのURLをSave Page Nowで保存すれば画像含めて一緒に保存されるはず。
JavaScriptでぐちゃぐちゃになってるページは失敗する可能性あるけど。 The Wayback Machine has not archived that URL.
Click here to search for all archived pages under http://
保存してませんじゃねぇ。するんだよ Shift-JISのページが文字化けで保存される問題 アーカイブ入りしたページのうちリダイレクトされるページを除外するオプションねえのか SPNで保存したときにリンク先をspn-outlinksのbotが数時間後にクロールしないようにするフラグとかってないの?
サーバーに猛アタックしてきて大迷惑かけてる気がする。余計なことしやがって。 あれ、Job失敗の時もインターバル入るようになってる？ また落ちてる…
ttps://web.archive.org/sry
ttps://i.imgur.com/MC0bu6W.png 消されたのを確認して念のため今日また確認したらアーカイブ復活しちゃってるんだがなんで
プロセスの自動化された部分がコースを実行し変更が有効になるまで最大1日かかりますって意味がわからんくなったし もしかしてわいが依頼したニュアンスは表示させなくする依頼で停電によってアーカイブ見れるようになってしまった？ >>364
欧文モノスペースなんて今時使ってるの中国人だけだろ どうせまた魚拓が不都合な糞ロシア共が落としてんだろ
ほんましょーもない >注意：本日午前7時〜7時30分（太平洋時間）、当社の主要データセンター付近でPG&E社による計画停電が実施されます。このため、サービスに支障が出ることが予想されます。ご迷惑をおかけいたしますが、よろしくお願いいたします。
昨夜の切断はこれか… IA大好きなのにミクさんの影に隠れてんの納得できん 過去スレ見てexpectedがアーカイブできない依頼って意味って思ってdeleteで再依頼したら担当者にブチキレられた
もう除外してますよって言われながら
停電してたらわかるわけない
別なアーカイブ削除依頼は除外されたとおもったら停電後に復活してやがるしどうなってんだかもうめんどいからいっそアーカイブサービス終了しないかな 間違ったexpectedじゃなくてexcluded お、停電してない。This URL has been excluded from the Wayback Machine.って出た。けどやっぱり停電後は除外したはずのものがでちゃう感じ？陰謀論的なやつじゃないよな？ロシア関連。 Sorry
This URL has been already captured 10 times today. Please email us at "info@archive.org" if you would like to discuss this more. 5gbのzipダウンロードするのに5時間とか言われてんだけど重すぎじゃね
他はそんなことないのに 試しにトレント使ってダウンロードしてみるとか
使ったことないから速度どんだけ出るか知らんけど スプレッドシートのやつ結果のステータスが書き込まれなくなったんだけど俺だけ？
解決方法わかる人いますか？ twitter保存するとjob failedが繰り返し出る現象何 時間かかるうえに「Internal server error.」が何遍も出るのがなぁ
所要時間はどんどん後ろ倒しだし
「You may close your browser window and the page will still be saved.」とあるが、
こんなんではとても閉じるどころではない てかここ数日保存遅すぎでしょ
エイプリルフールのサイトをいくつか保存できなかった 6時間待ちでアーカイブ失敗してリトライしたら8時間待ちって そういうときは後ろに適当に?とか付けて別のURLにすればカウント外れない？ 時々 寄付を募っているけど容量と人件費だけでお金が無くなるのだろうか IAはアメリカのチャリティ登録法人だから検索すれば決算の書類出てくるよ
その書類曰くサンフランシスコの年収1000万円台のサーバーエンジニアなど5人雇えるぐらい金あるんだから予算に問題なんかないよ
一番給料高い日系人のWendy Hanamuraってメディア担当の人で2019年の給料は21万4385ドル
創業者は0ドルで頑張ってるのに寄付してるのがバカバカしくなってくるけどな
でももうちょっとSave Page Nowの保存制限を前みたいに緩和してサーバー増強してほしいよね不安定すぎる Save Page Now servers are temporarily overloaded. Your captures may be delayed.
なんだこれ初めて見たぞ Save Page Now servers are temporarily overloaded. Your captures may be delayed. 過去のサイトの画像って正しく表示されない場合って見るのを諦めたほうがよろしい感じですか？
それとも見る方法があるのでしょうか >>392
表示されない＝アーカイブされてないだから無理
最近は画像もアーカイブされるけど、昔はアーカイブされてないのが殆ど
念のため画像のURL単体で確認してみるといいんじゃない？ ツイッターに編集機能が追加されるらしい
Internet Archiveの出番かな ロシア外交官追い出しニュースを見て、ロシア大使館のサイトを保存しようと思ったらtokyo.mid.ruごとブロックされてるんだけど
ブロックする理由あんのこれ? >>395
ロシア政府が保存するなと通達すればそうなる >>386
たまに80：とかがドメインにくっついてる奴が謎 >>398
あるURLの最古もしくは一番早いスナップショットがポート番号付きのURLでインデックスに登録された場合、
ポート番号付きのまま表示されてるだけなので特に意味はない。
といってもポート番号によって内容が変わるサイトもあるわけだから、違うポート番号を同じURL扱いするのはちょっととは思う。
将来的にはポート番号削ったURLに登録し直してほしいけど、ずっとこのままかもしれないな。
/*/でURLを並び替える時にちゃんと並ばないのは不便だけど。 twitterのURL検索は前できなかった気がしたけど、今確認したらできるようになってるな。これ使えるね。 Save Page Now servers are temporarily overloaded.
Your captures may be delayed. ここ最近アーカイブされてないTwitterやYouTubeのページ多すぎる。 今でも保存遅いケースが多いぞ。
下記のURLはもう一日以上経ってるのに未だにアーカイブされてなくて見れない。
自分が見る前のデータ放置しやがったな…。
アーカイブしようにもエラーで失敗の続いてんのか？
https://youtu.be/XpgSrULHibg
https://twitter.com/giantsubaru/status/1515525555554492417
https://twitter.com/5chan_nel (5ch newer account) >>403 ・・・と思ったけどこの日の夜になってやっと更新されたことで対象のURLのデータを見る事が出来たー！
良かった！ Hrm.
The Wayback Machine has not archived that URL.
This page is unavailable for archiving right now!
This page is available on the web but its quite busy. Please check again later. hrmの発音 ( Hard HRM から Soft HRM へ)
https://ja.forvo.com/search/hrm/ SPN2 public API page docs に記載のある target_username と target_password の引数、
試しに BASIC 認証のページで使ってみたが上手く行かんな。
認証が通らず 401 エラーがアーカイブされてしまう。
ttps://web.archive.org/web/2022*/email.datacempro.com.br/messagelist Save Page Now servers are temporarily overloaded. Your captures may be delayed. Ghost Archive
ttps://ghostarchive.org/
インスタのアーカイブ取れたり取れなかったりする
ただしエロや薬物系のページは禁止で、ページ容量の制限もあるので、ちょっと信用性の面では低い
ttps://ghostarchive.org/about.html
Momentoに対応してるのはいいけど、選択肢の1個としては使える todayをIAで取る技使えなくなってるのか
不便だな >>403
短縮URLじゃなくて最終的な転送先のURLで保存したほうがいいと思う。
転送先のURLじゃないとそのページ内までちゃんと保存されない可能性が出てくるので。
YouTubeの動画みたいに後から動画ファイルを保存される特殊な作業が必要になるものは特に。
めんどうなら両方SPNに突っ込んどけばいい。 metaタグやrobot.txtでクローラー除けしてるサイトを残す安定した方法ってある？
自分が知ってるのは「Google翻訳で日本語→日本語で表示してそのURLを保存」くらい。 昔はpste.euを使ってコピーサイトを作って、それをarchive todayとかで保存するとかあったけど、pste.euが閉鎖されたから無理だね web串使うしかないね
後から参照できるように出来るだけ有名どころでURLに元のアドレスが乗っかるところが望ましい >>417
魚拓（ megalodon.jp/ ）だとmetaタグやrobot.txtはweb串通しても取れないな。
archive.org/web はそれらに引っ掛かる不便自体あまりないけど >>420
魚拓ってしょっちゅう消すわ通報もするわでオワコンじゃなかったっけ
投稿サイトと一緒で搾取サイトっていうか Archive Teamを利用する方法もある(この方法だとIAのブロックリストも回避可能)
本来意図された使い方じゃないから詳しくは書かないけど
リンク先見れば分かると思う
https://wiki.archiveteam.org/index.php/URLs gigazine駄目なのか
それどっちが原因だろう 支援
>>サイトの仕様起因
>https://uso.kkx.one
ユーザースタイルシートのカタログサイト、
Wayback Machineで保存しても白いページが表示されるのみ、
todayなら問題なく取れる 【PC】「玄人志向」のサポート掲示板が終了へ、15年の歴史に幕 閉鎖後は過去の投稿も閲覧不可に [あずささん★]
だそうです FirefoxでもGoogle Chromeでも待機中が長くていつまで経っても保存されてない事が多いんだけど、どうしたらいいんだろう
テレビ局とか番組サイトのページなんだけど 実際には保存が完了していても、保存中表示が切り替わらずそのままなのは良くある話 >>429
半日～一週間以上経っても保存されてない時といつの間にかされてる時があるから、ページの閲覧（ブラウザに開いたまま放置）をいつまでも経っても止める事が出来なくて困ってる
archives.todayをやウェブ魚拓の方が何倍も保存速いのに、何でweb archiveが未だに1番手で利用されてるっぽいんだろう
>>430
エロルって何ですか？
検索してもエロ動画とかエロ広告って書かれたページしか該当ヒットしない 放置したところで、数分でセッション切れになるだろうから、タブを残したままにしてもあんまり意味ないと思うよ。 そもそも SAVE PAGE ボタンを押して Saving page http:〜 のページに切り替わった後は、
それを閉じても保存に全く影響しないんだけどな。
ぐるぐる表示している間は何をやっているかというと、保存の進行状況を
タイマーで繰り返し表示しているだけ。
単に「保存が成功したか失敗したか、運が良ければ教えてくれる」だけで、
ページを閉じたからと言って保存が中止される訳ではないし、
タイマーが止まって表示が一切更新されなくなることすらある。
どーせギガバイト級のファイルでも 5 分もあれば保存できるのだから、
保存開始後しばらくしたら web.archive.org/web/2/ を付けた URL で
実際に保存できているか試したほうが良いと思うな。 少し専門的な話。
Save Page Now 2 Public API のドキュメント
https://docs.google.com/document/d/1Nsv52MvSjbLb2PCpHlat0gkzw0EvtSgpKHu4mk0MnrA/edit
これと対比させて考えてみればよい。
保存開始のリクエスト方法は Capture request の節に書かれているが
同じ https://web.archive.org/save の URL を使っていて、パラメータの与え方が異なるだけ。
保存のリクエストを出したら、それ以降はユーザ側で制御する必要は無し。
これとは別に、出されたリクエストの進行状況を調べる API が用意されていて、
それは Status request の節で説明されている。
ぐるぐるの表示中も、バックグラウンドでこれを繰り返し呼んでいるだけ。
(で、たまに止まってしまう。ブラウザのタブをバックグラウンドにするとかなりの確率で止まる。)
進行状況を調べる際に誰がいつ出したリクエストかを特定するために
job_id というパラメータが使われているが、これは Save Page Now のページから
リクエストを出した時も、保存中ページの HTML ソースから spn.watchJob の語を頼りに
拾うことができる。spn2- で始まる文字列がそれ。
> spn.watchJob("spn2-be5deb2f51d8cf21858418b09fefeef80e32938c", "/_static/",
この文字列に http://web.archive.org/save/status/ を付けると Status request API の URL となり
JSON 形式のデータが返ってくるが、ブラウザで直接開くだけでも内容は確認できると思う。
> https://web.archive.org/save/status/spn2-be5deb2f51d8cf21858418b09fefeef80e32938c
status の値が pending なら保存中、success なら保存成功、error ならエラー。
それから job_id の有効期限は保存開始から一時間くらい。
上の URL に今アクセスすると duration_sec、counters、timestamp 等
保存したときのデータが色々返ってくるが、今日の午後 1 時過ぎには
重要なデータは空になっているはず。 resume upload
501 slow down
が何度も出て数値も異常なことになって
アップロードが終わらないんだけどどうすればいいの？ >>436
スパムっぽいから間違いならメール送れ的な英文が書いてあるはずだが
何をアップロードしてるのかは知らんけど、Youtube関係ならtubeup使った方がいいぞ
デフォルトのアップローダーは規制されやすい 最近IAへのアップロードが異様に遅くなって困ってる
前は上り1Gbps保ってたけど今はその100分の1くらい
IAにメール送ってもIA側が何かしたわけでもないって返答くるし理由が分からん…
ちなみにVPN通したら速度戻った(今は期限切れたので使えない)
スマホからのアップロードは以前と変わらず速い
それならとUASwitcherを使ったけどダメだった
帯域制限を疑って他サイトにアップロードしてみたけど速度は普通に出る
マジで困ってるから誰か教えてくれ… あと去年3月にarchiveteamがニコ動の動画ページ（/watch/sm〜）を片っ端から保存してくれたけど、それ以降は動いてないのね
てっきりずっと動かしてるかと思ってたわ
ttps://archive.org/details/archiveteam_niconico
ttps://wiki.archiveteam.org/index.php/Niconico
動画ファイル自体も保存しないと意味ないんだけどな >>440
あれはニコニコの削除された動画の情報が非表示になるから保存してただけなので
動画自体は対象に入ってない（というかサイズ的に現実的じゃない） >>439
他サイトへのアップロードは速いって言ってるだろ
それとスマホからアップロードした時は何故か速度出るんだよ
もちろん同じWifiに繋いだ状態で
今は仮想マシン通したら速度出たからそうしてるよ 不便だけど >>439
他サイトへのアップロードは速いって言ってるだろ
それとスマホからアップロードした時は何故か速度出るんだよ
もちろん同じWifiに繋いだ状態で
今は仮想マシン通したら速度出たからそうしてるよ 不便だけど 録画した番組をエンコードしてアップしたいんだけど
デフォルト以外でおすすめのアップローダーを教えて いつもの寄付表示
今回は赤色だったり青だったり緑だったり
種類増えてて笑う 保存されたJAVAが別の画像（など）を動的に引用してる時に
「オリジナルの画像のアドレス」を呼んでしまってるせいで正しく動作しない（呼ばれてる画像自体はアーカイブにある）やつは
アーカイブ上で何とかならんもんだろうか >>441
容量もだが権利関係でやばいのが多すぎる気が curlでもIAログインモード、cookieのページみても出来ないぞ(IAが対策?)
数万urlは保存したいのだが(特に画像) curlで/save/から保存しようとすると「This URL is in our block list and cannot be captured」が出るけど
ウェブブラウザからだとちゃんと保存されるのに遭遇した
ちょっと上で書いてる人もいるけど、UserAgent以外の部分も見るのかなこれは >>451
Cookieは知らんが、今のSPNの制限内であっても、outlinksを辿って時間かからない単一の画像URLだけなら、
少なくとも1分間で4個のURLの保存できるだろうから、24時間で5760個、数万URLあっても1週間以内に保存終わるはず。 5次元データストレージって実用化されたら凄そう
割れたら終わりな気もするけど 質問です
Internet Archiveにおいて
著作権の扱いはどうなっているのでしょうか？
無断で複製禁止のものをアーカイブした場合
Internet Archive側が著作権侵害となるのでしょうか？
それともアーカイブユーザー側が著作権侵害となるのでしょうか？
ご回答よろしくお願いします アメリカのフェアユースと図書館法と非営利団体ということで守られるので問題ないですが、
「日本人が日本から投稿した」という部分が違法になり得るので、
そこを隠せてすぐに逃げられる形でやれば問題ないです >>456
治外法権はとっくに終わってるので「日本人が」は要らん >>458
このツール使えば全ツイートのURLぶっこ抜ける
ArchiveTeamの人が管理してるから安定性もあるんじゃないかな
https://github.com/JustAnotherArchivist/snscrape 「The capture is estimated to start in ** minutes.」
同じサイトでも出たり出なかったり ここ何日かjob failedが出るの多すぎ
特に今日はひどい 「The capture is estimated to start in * hours, * minutes.」
昨日よりひどくなってる・・・ と思ったらまたか
○時間とかではないだけまだ良いが また○時間レベルでかかるようになってしまった
数時間前まではなんともなかったのに・・・ 「The capture is estimated to start in * minutes. You may close your browser window and the page will still be saved.」
今日は21時台から使ってると30分ぐらいごとに出たり出なかったり波があるようだ
そのまま本当に取得できてる場合と「Internal server error.」と出る場合があるからおちおち閉じるわけにもいかないのがなぁ 日付変わってすぐは正常だったのにしばらくしてまた「The capture is estimated to start in * hours, * minutes.」
それにしても今月になってから毎日のように時間かかること多いなぁ >>459
今のWeb版Twitterはゴテゴテ糞思いUIに改悪されまくりやがったのでワシはRSS串経由で取ったりしてる
【Feedly】RSSリーダー総合【Inoreader】
https://mevius.5ch.net/test/read.cgi/esite/1565761448/ インフォシークとかサービス終了したサイトの終了告知を最優先で表示するのあれなんとかならねえの >>473
広告除去の拡張機能に自分でルールを追加すれば思いのまま。 木曜あたりからは順調だったのに、結局また何時間単位とか・・・ >>477
2年前のIPアドレスお漏らし騒動のときに運営がIAにアーカイブ除外申請したからそれ以降保存できなくなってる 過疎サイトに突然大量アクセスが来たのですがロボットか誰かがせっせと保存してるのでしょうか…
https://i.imgur.com/Y6wqCQp.jpg 既出だったら申し訳ないのですが、archive.orgでツイートやtwitterプロフィール画面をSave Page Nowで保存すると、モバイルサイトでの表示形式で保存されてしまいます。
どうすればPCの表示形式で保存できますか？ >>480
Twitterの仕様変更のせいだと思うから無理だと思う
過去ログ見れば分かるけど一時期それで取れなくなった The capture will start in ~5 seconds because we are doing too many captures of www.youtube.com right now. You may close your browser window and the page will still be saved.
初めてこのエラーが出た
5秒以内に保存始まったが 普通に重いときは5秒どころか20秒ぐらいかかってる気がするんだがｗ >>481
やっぱり仕様変更なんですかね・・・・
見た目のよさと保険でNitter噛ませてみます 最近YouTubeのURLをSPNで保存すると?v=動画ID&google_abuse=GOOGLE_ABUSE_EXEMPTION〜ってURLに飛ばされてることがある。
SPNのIPアドレスがYouTubeの一時アクセス制限に引っかかってるようで、ちゃんとページが保存されてない場合も。 https://twitter.com/hangorinnokai/status/1542091743386284032
反五輪の会 NO OLYMPICS 2020
組織委員会、明日ウェブサイト閉鎖！逃げ足早すぎる！！皆さん、資料の保存を急いで！！
#TOKYO2020 OCOG
＿＿
反五輪の会 NO OLYMPICS 2020@hangorinnokai
Jun 29
組織委員会、明日18:00ウェブサイト閉鎖。 tokyo2020.jp/ja/news/news-20…
東京2020組織委員会公式ウェブサイト閉鎖のお知らせ
https://twitter.com/5chan_nel (5ch newer account) ＞This video is archived but not yet indexed for playback.Please try again tomorrow
ほう >>474
任意のアドレスを開いた時に一番古いアーカイブを呼ぶように強制できる？ 実質中身がなくなってるやつを判別してその直前がわかる機能があればいいのにな
別のページへの転送になっている、あたりを基準にするとか >>495
"Calendar" 表示の "Changes" をポチれば？ >>480です。とりあえずですが解決方法が見つかりました。
ツイッターのURLにモバイルを入れると、アイコンの画質はガビガビになりますが、レイアウトは見やすく保存できました。
https://mobile.twitter.com/ユーザーネーム Sorry
Cannot start capture
{
"exception" : "Command # 1 (LLEN spn2-api) of pipeline caused error: OOM command not allowed when used memory > 'maxmemory'.",
"message" : "Cannot start capture",
"status" : "error",
"status_ext" : "error:celery"
} >>505
昨日どころか今朝もできてたのに9時直前から>>501の表示
>>471ということだったが、今月は月初でも調子良かったのに・・・ 去年あたりから続いてた訴訟、そろそろ決着しそう
日本だと話題になってないけど、海外SNSだと結構議論されてる
Internet Archive（IA）と大手出版社4社の訴訟において、略式判決の要求が提出される
https://current.ndl.go.jp/node/46470 Sorry.
This snapshot cannot be displayed due to an internal error.
どのサイトで試してもこれが出てアーカイブできない 初書き込み失礼します。
私は先日、とあるお方のTwitterの過去の書き込みを分かりやすく見たいと身近な人物に相談したところ総合.ツイログが良いと言われ、
総合.ツイログから拝見させて頂いていたのですがそのときに誤って画面の右の方にある『Internet Archive Save Page Now』と書かれたボタンを押してしまい
WayBack Machineというサイトに登録されてしまったみたいなのです。色々と調べてここでなら相談できそうだと思い質問させて頂きたいのですが、
他者のTwitterのツイログを本人の同意なくWayBack Machineに登録してしまったことって違法になるのでしょうか?
一般的にTwitter等におけるコメント自体には個性がないから著作権は認められないし画像も無い、そんで海外のサービスやから大丈夫、捕まらないと思う。と説明はされたのですが
どうにも特定されて逮捕されそうという不安な気持ちが拭えません。
違法でない場合は良いサービスを知ったのでこれからは全部写真を撮って保存するのではなく登録した方が楽なので消さないで良いかと思うのですが、
違法である場合はどうにかして消したいのです。その場合は自分が登録されたTwitterの所有者でなくても消すことは出来るのでしょうか。
どうかご回答の程、よろしくお願い致します。 ワイもThis snapshot cannot be displayed due to an internal error.で保存できん。
yahooニュースだからかと思ってたけど違うかねえ
https://news.yahoo.co.jp/articles/1574a2aaf9fb8d81a8d930787db29f610fb5d32f?page=1 >>510
ツイッターのアーカイブなんて腐るほど保存されてるからタイーホされないと思う。
総合.ツイログが万が一閉鎖されても、Internet Archiveに残ってれば安心や >>512さん
返信が遅くなってしまい誠に申し訳ございません。
『ツイッターのアーカイブなんて腐るほど保存されているからタイーホはないと思う。』
そうでしたか。これで安心できました。本当にありがとうございます。 >>509だがどうやらSave outlinksを選択するとThis snapshot cannot be displayed due to an internal error. が出るみたい
なので現状は非会員と同じく一つ一つアーカイブやらなければならない羽目に 議員になった赤松健がIAが既にやってるゲームのアーカイブ保存を提唱してるな 昨日から画面推移時にクラッシュ頻発する
SPNは問題ない We're sorry — something's gone wrong.
Our team has been notified.
↑
昨日あたりからこれがよく出るが、
取得済みかどうか調べるときに不便 >>519
俺もそれ出たわ
別の端末から使うか、別垢作ってそれでログインするかしたら方法回避できた >>519
https://web.archive.org/
にアクセスするとこの画面出るっぽいな
カレンダーとかSPNのページは上のリンクに繋がってるからエラーが出てるんだと思う This page is unavailable for archiving right now!
つべにて ここに保存されたユーチューブって実際のところ再生できるの >>524
webページを保存するのとは別にYouTube動画を保存するプロセスが特別に用意されてるっぽい
動画が保存されてアーカイブページに反映されるまでには若干時間がかかるけど、完了すれば再生できるようになる これまで見れてたサイトが、キャッシュは存在するのに読み込み途中でキャッシュされてないときの画面になるので、おかしいなと思ってここに来てみたのだが、ずっと挙動おかしいのか。 >>526
逆にNHKラジオのJavaScriptで動的にファイルを読み込んで作成するページが
だめだったけど、過去に「対応したかな？」と保存してみてだめだったページ
が表示されるようになった。表示できていないだけで保存されていた。
ひょっとして、聴き逃しページの配信ファイルの情報を記述したJSONも
保存されていているのかな？ と思って調べたら保存されていて、誰かが
ページを保存してくれたおかげで期限が過ぎたやつを下載できた。 redditをアーカイブしようとすると404NotFound出るの俺だけ？ Outlinksって一回でリンク70個しか保存してくれないのか…
2万控えてるってのに >>534
このスレは archive.org のサービスについてのスレで、
向こうのスレはアーカイブ作業用（終了するサービスを記録したり保存を呼びかけたり）って感じじゃないかな Before you continue to YouTubeが出て再生できない
「いかがでしたか？」問題に「欲しい情報が出ない」問題… Google検索の第一人者が語る、検索で不満が募る“意外な理由”とは
http://asahi.5ch.net/test/read.cgi/newsplus/1659480292/
昨日から「The capture will start in ~** minutes because our service is currently overloaded. You may close your browser window and the page will still be saved.」
PDFの場合は表示されず 昨日遅くからアクセスしづらいことが多い
それとは別件だが、
最近一部のサイトで正常に取得できてないのに、
なぜか取得できてる扱いを受けることが多い
できてるとみなされるものだから取得し直そうとすれば45分待たなければならない ここ数日深夜〜早朝（日本時間）がつながりづらい
と思ったら今もとか・・・ 今日もまたつながりづらいことが多い（5chを含めてほかにはつながる）
新手の規制なのだろうか Before you continue to YouTube 日付変わってからの傾向
・20分ごとにつながるときが来る
・使えるのは3分程度、それでまたつながらなくなるの繰り返し
話題にならないところを見ると俺環なんだろうが、
なぜIAだけつながらないのかが謎 >>546
www-ghacks-net.translate.goog/2021/04/01/here-is-the-easiest-way-to-get-rid-of-googles-before-you-continue-to-youtube-prompt/?_x_tr_sl=en&_x_tr_tl=ja&_x_tr_hl=ja&_x_tr_pto=sc
↑
これのこと？
プライベートモードではなく通常モードで使うべきということか
で、今は何事もなかったかのような状況
あとは「正常に取得できてないのに取得できてる扱い」がなんとかなれば・・・だが、
まともにつながるだけでも大違いか youtubeのshortの方は後で動画取りに来ない感じなのか togetterって保存できても閲覧できないようになってる？
カレンダーから飛んでも現在のページに戻されてしまう 最近ドメイン指定で/*/を見てるとArchiveteamがサイトマップのXMLファイルURLをいろんなブログで保存してるのを見かけるんだけど
そのサイトマップに載ってるブログ記事のURLの方を保存してほしいな
サイトマップだけじゃ意味ない archive.org
(failed)net::ERR_CONNECTION_TIMED_OUT Internet Archiveに保存したデータって100年後も残ってると思う？
本当に永久に残せる気がしなくて悩んでる >>556
デジタル情報を後世に残せる可能性が唯一あるのがInternet Archiveだろうね
ネット規制が年々厳しくなってるから情報を本にまとめて国立国会図書館に納本した方が案外残ってたりするかも？ やっぱり落ちてたんだ なんらかの方法でアク禁喰らったかと思ったw 「Temporarily Offline
Internet Archive services are temporarily offline.
Please check our Twitter feed for the latest information.
We apologize for the inconvenience.」
今日は俺環だけではなかったのか・・・ 10時サーバーが落ちていた
16時サーバーが落ちていた
17時サーバーが復旧してメンテ中になっていた
twitter.com/internetarchive/status/1562637688918142976
2022年8月25日(木)12:07:12 JST
> We are working to resolve the outage affecting
> http://archive.org & @waybackmachine
お前らの行動あるある
archive.ph/foxJV
archive.ph/LMz1C
archive.ph/z1gVl
archive.ph/W61NL
https://twitter.com/5chan_nel (5ch newer account) ほんとに落ちてて草
ここがサ終したらと思うとゾッとするわ kiwifarmsという掲示板住民の嫌がらせ対象となった活動家らがCloudflareに対して抗議
掲示板はCloudflareからのブロックに続き、Wayback Machineのアーカイブ対象からも除外されたことで物議を醸してる
https://i.imgur.com/gzErRBc.jpg
Reddit r/Archiveteam のスレでは賛否両論
https://www.reddit.com/r/Archiveteam/comments/x7xmxy/wayback_machine_deletes_kiwifarms_archive
参考
ITmedia『Cloudflare、フォーラムKiwi Farmsをブロック 「命にかかわる脅威と判断」』
https://www.itmedia.co.jp/news/spv/2209/05/news059.html redditをSPNすると404になるやつ、まだ直ってないのか・・・ 確かにここ何日か「Internal server error.」とか「Not Found」が頻繁に出てる エラー出ても2、3回やれば保存が始まるか保存制限に引っ掛かるかのガチャだな
保存できる確率は1/3か1/4 エラーになった後もう一度やると「The same snapshot had been made seconds/minutes ago」が返ってくることがある
保存できてるならちゃんと返してほしいが 本当にできてるならまだ良いが、
できてないのにできてるとみなされて「The same snapshot had been made ** minutes, ** seconds ago. You can make new capture of this URL after 45 minutes.」なんてことも
本当にできてないのに45分待ちはきつい
ちなみに「web.archive.org/web/*/（URL）/*」では本当にできてる場合は緑or青、みなされてるだけの場合は赤or黄で表示 >>574
> ちなみに「web.archive.org/web/*/（URL）/*」では本当にできてる場合は緑or青、みなされてるだけの場合は赤or黄で表示
嘘はいかんよ。
緑として記録されても、リダイレクトされた先で 403 や 404 (つまり赤) ってこともありうる。
IA の説明通り、HTTP のステータスコードのみで考えるべし。 某M社からDMCA報告が来たらしく、アップしてた動画が削除された
IAも巡回してるんだな（YouTubeの元動画は放置なのが謎だけど）
MAD動画とかは--metadata=noindex:trueで上げた方がいいかも てか最近YouTubeの動画URLが一度&themeRefresh=1が付いたURLにリダイレクトされてもう一度リダイレクトされて元のURLに戻るようになってるんだけど
SPNの動画ファイルの保存までちゃんとできてる? >>575
済まない、「できてる場合：青、できてる場合とできてない場合と：緑」
communityserver.org/contents/2602/ 最近、ラブライブや仮面ライダー関連のツイッターの返信コメント欄が保存されていないのは>>571と>>572が原因かな?
ttps://twitter.com/bandai_ridertoy/status/1569589209190776834の中の各返信コメント欄URLをインターネットアーカイブで検索しても見つからなかったし。
https://twitter.com/5chan_nel (5ch newer account) 最近、各ツイッターのページの返信コメント欄をインターネットアーカイブで探しても過去のデータでは見つからないパターンが多いな。
担当者さぼってんのか？それとも保存する人いなくなったのか？ あらら？インターネットアーカイブが現状では見れなくなっている。 そうなってくるとインターネットアーカイブアーカイブがいるな >>581
Twitterを大量に保存してるのはArchiveTeamだから
youtubeの動画と違って公式じゃないんよね >>581
他人に頼ってないで重要だと思うなら自らSave Page NowにツイートのURL突っ込めんでいけばいいだろ
ArchiveTeamも全てのツイートURLを保存してるわけじゃないし抜けまくりだぞ ニコニコ動画で「vipper吹き替え」と言う物が消えるのですが
お暇な方いればそのアーカイブ活動に協力していただきたいです
私がアーカイブしようとしている物は大体アーカイブできていて
あと「タグ」と「コメント」だけです
詳しい事はニコニコ大百科の掲示板にレスしています
https://dic.nicovideo.jp/b/a/vipper%E5%90%B9%E3%81%8D%E6%9B%BF%E3%81%88/31-
https://dic.nicovideo.jp/b/a/vipper%E5%90%B9%E3%81%8D%E6%9B%BF%E3%81%88/61-
（ID: Yv+WglHqgh のレスです） A screen shot was captured. View screen shot:
SPNでページのスクショ画像が一緒に保存されたりされなかったりする機能が始まってる様子 何の意味があるんだろう
当時のレンダリングエンジンの記録？ 今どきの動的なサイトだとSPNじゃ取れなかったりするが
スクショなら見た目だけでもアーカイブ出来たりする 9月20日以降ツイートのアーカイブが自動で取られなくなってる？
めんどくせぇんだよなぁ膨大な数のツイート1つ1つ手動でアーカイブさせんの 「Job failed」今日はやたら出るなぁ
取得したいサイトとの相性の問題かと思ったらあちらこちらでそんな感じ >>586 自分が初めて見る前のデータが見たいだけですが…。
仕事中などで見られなかったデータとか。
アクティブチームも最近全然見てないパターン多すぎ。
ちゃんとの人の事考えてるのか？
もう少し早くできないものか。 >>595
文句言ってる暇があったら自分で実行すればいいだけでは？
アクティブチームが誰だかは知らんが、ArchiveTeamは誰でも参加できるぞ
https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior 上でも書いてる人いるけど、/shorts/から始まるYoutubeのショート動画って動画ファイルの自動保存対応してないのかな?
watch?v=に置き換えたURLでも見れるので、念の為両方のURLで保存してるけど、ショート動画のファイルだけ保存できていないような・・・ >>592 最近ツイッターの公開直後のデータがアーカイブされなくなっているのはこれが原因だとしたら納得いく。
アクティブチームが膨大な数のツイート1つ1つ手動でアーカイブさせるのはめんどくさいのはわかるけど・・・。 >>592 もしかするとYouTubeの動画の方もアーカイブが自動で取られなくなってるかもしれない。 YouTubeの自動アーカイブって容量的に非現実的に思える やっていってないぞ
クローラーは全ての動画を保存していないし、SPNでも全て保存する訳ではない。(CNNとかのニュースは割と保存される)
それに、インターネットアーカイブの人も「少数の人しか興味がなく、長い動画を、メタデータを付加することなく、ただインターネットアーカイブに突っ込むのはやめてね」(訳)と言っている。
https://www.reddit.com/r/DataHoarder/comments/sq6wbq/please_do_not_mirror_youtube_on_the_internet/
それでも雑談とゲームの動画をすぐに保存してほしいのなら、寄付するといいよ。開発に参加するのもいい。 アーカイブって著作権引っかかりそうで
手軽にできない
一応引用って形で引っかからないんだろうか
正直ページとしては残しておきたいもの結構あるんだけどなぁ… ファボ１万以上のツイートでもアーカイブチームが取りに来なくなってるな
どうしたんだろ？Twitter社からお𠮟りでも受けた？ みんなSPNの話ばっかりでアイテムのアップロードは使わないの？ ここ1週間何度試しても「Cannot resolve host （URL）」と表示されて取得できないサイトが
前はなんのこともなく取得できてたのに・・・ Internal Server Error for https://www.excite.co.jp/world/ (HTTP status=500). 二人くらい垢消しが確定してるユーザーのツイートを一人で手動で片っ端からアーカイブ取ってたけど
量多くて時間はかかるし自分が動かなきゃ誰もやらんから自分がしくじったら一生残せなくなるという罪悪感もあるしで
兎に角ツラい こういう不毛な作業こそ全部ロボットにやらせるべきやろ
なんかいいツールでもないもんかねぇ >>605 だから仕事や睡眠の関係で早く保存できない場合があるから自分で早く保存しろと言われても・・・。 >>614 ・・・ツイッター社からお叱りを受けたとしたらツイッターのページの自動アーカイブが出来なくなったのも納得がいく。
権利関係かな? Saving page https://w.atwiki.jp/soulou/sp/
Worker exited prematurely: signal 15 (SIGTERM) Job: 644. YouTube動画の保存初めてやってみたんだけど
すごい時間かかるうえエラー出て何度やってみても保存できないのも多いし
うまく保存できてもコメント欄はなぜか明らかに違う動画のものだったり文字化けしまくりでめちゃくちゃだった…
あんまり使えないな ツイッター保存するとほぼ全てfirst archiveになる
何万もいいねされてバズってるのでもそう
もうツイッターは一切自動保存しないのかな… 今週SPNで保存してもfaviconだけしか保存されない例が何回も起きたんだが
24時間後に同じURLを確認するとやっぱり保存できてなかったわ
保存できてるか確認したほうがいいよ >>625
zipかなんかに全部か分割して別の場所に投稿してほしい。
管理人見かけたら言っといて。 >>625
学区以外のwww.geocitiesのページ開こうと思っても
まともに開けないくらい重いんだが >>622
このエラーが出たら数分後に自動で保存をやり直してくれる時とやってくれない時があるなー。
最近出るようになった他のセグメンテーション系エラーも同じ感じ。
>>624
今の所、コメント欄のJavaScript周りがおかしいので直してほしいね。 5ちゃんのアーカイブもGone.になってしまうの多い
最近ここ調子悪いけど大丈夫なんかね
寄付金のお願いもずっと出てるし >>632
普通のブラウザでも同じ鯖に連続してアクセスするとGone.になるから、
時間を置いて取得するしかない。それがどのタイミングなのかは分からないけど 締め付け厳しくなってるのか、
20分ぐらいつながらないことが worldstarhiphop.com
200万以上も魚拓が保存されているようだが、excludedと表示される 今日は「Job failed.」がやたら出るなぁ
あまりやり直すと1分あたり3件までのしばりで引っかかる
前はもう少しできたっけ・・・これも締め付け厳しくなってるような
取得できてるのかも怪しくて確認すると「Fail with status: 503」 SPNの最新ファイルを見てみると、
18日9時〜14時33分(日本時間18日午後6時〜午後11時33分)の間はファイルが全く追加されてなかったので、
5時間ほど保存できなかったっぽい
この間に保存しようとしたらjob failedエラーだらけだった
今は問題なく保存できるぜ WaybackMachineとなOpenLibraryとか
もっと知られてもいいもんだろこれ
知ってるのと知らないのじゃ全然便利さが違う
そもそもInternetArchiveが知られて無さすぎる そりゃまあ一般人はネットのアーカイブなんてこれっぽっちも
気にしてないからな 誰も動かないから自分が動かなきゃいけない
自分がアーカイブ間に合っていれば遺せたのに
こんな使命感持っちまったせいで病んじまったわ
消える前に残すのも大事だが既に消えてしまった物を｢消える前に残す｣以外の手段で発掘する方法ってないもんかね 哲学的じゃの
もうどうにも取り戻せないから「消えてしまった」と言うのだよ 大げさだけどなんか人の命みたいだ
でも亡くなった人が自分の生きた証にみたいに一生懸命残してたブログとかが跡形もなく消えてしまってたりすると…悲しい また>>547に近い事態で困ってて別のブラウザでアクセスし直したらつながった
たまにつながらないこともあるが、回復は先に使ってたブラウザより早い
同じ時間帯に使い比べたら片方つながらないのに、もう片方はなんのこともなくつながったり
たまたまか、それともブラウザとの相性の問題か・・・ >>645
まぁロードバランサが入ってるだろうし、アクセス毎に運試しをやってるようなもんだな 前は重くても繋がってはいたが
最近はアクセスすら出来ないことが多い 本当に繋がんないね
資金繰りヤバいんじゃないかと心配になる Wayback Machine がダウンしているかタイムアウトで保存できない、
あるいは、保存に成功したのを開けないのが続いてて困る
https://archive.is/wkgwG >>639
最新ファイルはどこで見れるか教えていただけませんか・ もしInternetArchiveが無くなったら
割とひどい文化的な痛手になるんじゃないだろうか
どっか国立のサービスにデータ引き渡すのかな YouTubeの動画の再生ページでもアーカイブが自動で取られなくなっている・・・？ >>660
ジオシティーズがなくなった時の損失の比ではなさそうだな… ここ最近、公開直後にアーカイブされてないこと多いよな。
運営も最善を尽くすと言っていたが、やはり難しいのか・・・?
と思ってたら対象の下記のURLをアーカイブ保存するのに時間がかかっている。
https://www.youtube.com/watch?v=QVipLYBQ31g
もしかするとシステムのエラーが引っ掛かっているかも・・・。 そもそも動画保存はオマケなので
確実にするならローカルに保存すべき 私は動画公開直後のページのデータを求めているのです。 >>665
youtubeのページのデータならなおさら不安定だと思うが
yt-dlpとかでメタデータごと落とせば？ >>664
何でもそうだが誰でも好きな時に見れるようにしてようやくアーカイブと言えるんだよなぁ
自分一人だけの手元にずっとあっても意味がないんだよ Twitterマスク氏、15億アカウントを削除すると発表 対象は休眠ユーザー
https://asahi.5ch.net/test/read.cgi/newsplus/1670577460/
これ故人のも全部消えてしまうんだろうか Twitterのフルアーカイブってどうすればいいのでしょうか？
単純にアーカイブしたいアカウントのトップをアーカイブしても
ある程度直近のツイートがアーカイブされるだけで
スクロールした場合などの古いツイートはアーカイブされないのですが…
現状個別にツイート開いてアーカイブするしかないんでしょうか？ 最近waybackmachineでツイートのアーカイブがされにくくなってる。
俺は手動で片っ端から保存してるけど、量が膨大過ぎて到底追いつかん。 されにくい、じゃなくてされてない
そのせいで今まで通り勝手に録ってくれれば残ってた物が残らなくなって滅茶苦茶腹立つ
そうでなくても勝手に録られてた頃でさえそれ以前の過去は録ってくれない無能だった
人一人の力で1日にアーカイブにブッ込めるのは1000くらいが限界だっての そんなにアーカイブをするのは確固たる出典が欲しいウィキペディアン？ 保存したページ見ようとしたら延々と読み込みが続いて見れないんだがサイト側が保存対策でもしたんだろうか Twitterは保存する人が多すぎで時間かかるわって表示されるね >>670
archive.md は古い端末からだと画像認証やり難くなってしまった…。
11月までは画像認証じたい要求されなかったけど >>675
Nitter変換( >>488 )で拓取るほうがたぶん楽。
Twitter公式はUIがムチャクチャ重くなってしまった Nitterも本家ツイートが消えると連動して消えるから結局手間は同じなんだよな…
ちょっとくらい猶予くれたら完璧に録れるのだが >>670
>>679
ありがとうございます
もう故人になったアカとかのアーカイブが捗ります
参考にさせていただきます 最近サムネが沢山あるサイトを開くとサムネが表示されない事がある archive todayはwaybackmachineと違って全ツイートが保存できるんでしょうか？
初歩的な質問で、すみません >>683
全ツイート保存は無理だけどtodayの方が保存件数多いみたいね
数えてみたらWayBack で保存されるツイートは40件くらいだけど、 today は百数十件保存されてた
全ツイート保存は愚直に1ツイートずつ投げていくしかない 例のWayback拒否ニュースサイトが記事にWaybackのリンクを貼るのはおかしいだろ >>684
それが数百程度で済むならいいんだが数千、数万超えると自分一人だけの力だと到底取り切れなくなる
生半可な覚悟で挑戦して、中途半端に記録して挫折して、再開するかと思ったら鍵かけられたり最悪ツイ消し垢消し
これで何度苛付かされたか！
指定の垢のツイートをひたすら遡ってツイート1つ1つのURLをWaybackmachineにブチ込んでいく
これやらせるの別に生身の人間じゃなくても十分可能だと思うんだけど todayはIPバレるみたいな話がありましたけど、今もそうなんですか？ 過去tweetの確認ですがwayback machineでjsonで保存されているやつは中身を見ることは出来ないんでしょうか >>690
俺が知ってる限りない
もし元のツイートが現存してるならお手数おかけするが改めて取り直しておいて欲しい
マジで無能だと思うよ 折角取ったのにjsonとかいうよくわからん形式で保存しよってからに >>691
ありがとうございます 承知いたしました >>690
textがツイート本文なので、そこを変換すれば見れるよ
https://tech-unlimited.com/escape-unicode.html
jsonでも表示形式が違うだけでデータは保存されてる もうすぐ2023か…
インターネット上の情報がまた一つ年をとるのか…
残していかないとな >>693
見ること出来ました！大変ありがとうございました！ 広告画像のドメインは大半がブロックリストに入ってるけど
個人的にはああいうのも重要だと思うんだけどなぁ ゲームアツマールがサービス終了するらしいけど
サイトの構造的にアーカイブは厳しいかな？ ツイッターはモバイル用サイト（mobile.～）だと正常に保存されないのね
PC用サイトのURLを入力して保存する必要があるからスマホからだと気をつけないとならない archive todayでインスタ保存できるんやね
今日初めて知った
インスタはウェイバックで保存できないが故に記録が手薄になってるのは禍根を残すと思う >>700
Wayback Machineで上手く保存できない所はArchive today使ってるなぁ
例えばboothの商品ページとかArchive today使ってる一方商品画像そのものはWayback Machineで録ってる
結局は最終的に原本が消える前にどこかに残せさえすればいい 中の人曰く去年帯域幅を80Gbpsから140Gbpsに増やしたらしい
twitter.com/textfiles/status/1547365784770543618
だからちょっと早くなってるはず
https://twitter.com/5chan_nel (5ch newer account) 今InternetArchiveの総データ量って
何PBになってるんだろうか
てかPBって冷静に考えるとクソ多いな >>704
運用コスト馬鹿にならないだろうなぁ
ストレージ（サーバ）に回線にデータバックアップに、気が遠くなりそう 2021年12月時点で保存容量は212ペタバイトみたいだね
そのうち57ペタバイトをwaybackが占めているんだと
https://archive.org/web/petabox.php
そこらのサービスと違ってうっかりデータ破損でもした時に
賠償しますでは済まないのが恐ろしいね
人類が将来参照できる史料が一瞬で失われてしまうんだもの インターネットアーカイブそのもののバックアップが将来的には必要だと思うけどね There was a delay in registering this snapshot with the Wayback Machine.
The snapshot may not be available right now, please try again later.
→このスナップショットを Wayback Machine に登録するのに遅延がありました。
スナップショットは現在利用できない可能性があります。後でもう一度試してください。
後日忘れたころに取得できてるなら良いが、やり直さなきゃなんない可能性て・・・ スナップショット取得完了後にその保存ページを確認しても、のちに消えている可能性があるということ？ そう、それが心配
せっかく時間かけても消えてたら（取得できてなかったら）悲しい
今は「Job failed.」が出やすい
ようやく取得できたと思ったら今度は・・・
There was a delay in registering this snapshot with the Wayback Machine.
You may be redirected to a previous version right now. This snapshot will be available later.
→このスナップショットを Wayback Machine に登録するのに遅延がありました。
現在、以前のバージョンにリダイレクトされる場合があります。このスナップショットは後で利用可能になります。
本当に可能なら良いが 取得できたと思ったら→Doneになったと思ったら（取得できてるのかはまだ確実ではない） 最近のインターネットアーカイブ、この辺の時間ずっと落ちてるな 今日はいつもに増して「Job failed.」が出る
やり直しも1分あたり3件までのしばりで非効率 皆様におかれましては既知であるとは思われますが、今やっと見付けたので共有いたしまする
Time Travel
timetravel.mementoweb.org
あっちこっちのWeb archiveを串刺しで検索してくれる >>716
それは自分が
「このページの魚拓をとりたい」
と思ってもとれないんですよね。
たしか。 某有名人のインスタ調べたけど全くと言っていいほど保存されてなくて笑った。
もう少しインスタやらSNSやらの保存も強化しても良いんじゃないかと思った（まあ口出すなら寄付しろと言われるかもしれんが） >>717
> あっちこっちのWeb archiveを串刺しで検索してくれる Internet Archive にアップロードされた DVD-ROM ディスクイメージから
中のファイルを直接ダウンロードすると、1 ギガバイトあたりでちょん切れる問題
https://archive.org/details/ti-308752-d-0-a-2
ここの TI308752D0A_2.ISO の中の ZZIMAGES/ZZIMAGES/PREINST7.SWM をダウンロードすると、
1485739900 バイトのはずが 1074528256 バイトで終わってしまう。
HTTP の Content-Length ヘッダは送られて来ないので、ダウンローダでの検知は不可能。
元の .iso をダウンロードすれば済む話なんだけどね。
パッケージの中のファイルが見える機能は便利でよく使うけど、こういう制限があるんだなぁ、と。
UDF 以外のファイルシステム (ISO 9660 とか Joliet とか) でも起こるかは未確認。
他のパッケージ形式 (.tar とか .7z とか .zip とか) で起こるかも未確認。 PANDORATV
ウェブリブログ
Lobi
1月31日にサービス終了 >>721
一度に複数のサービスがあと数日とかこんなん一人〜少人数が人力でカバーすんの無理やろ ところでさ、最近Save Page Nowの同時保存制限が3個から4個に変わった?
タブ4個開いて数秒で立て続けに保存ボタン押してもYou have already reachedって出ないんだけど。
5個目は今まで通り出て待たされるが。 >>729
>>435のドキュメントのLimitationsを見ると、匿名ユーザーは1分間に4までって書いてるから合ってる
SPN2 APIを使ってる人に聞きたいんだけど、User statusって取得できてる？
ドキュメントの通りに送ってもログインしろよ的なエラーが返ってくるんだが
キーが合ってるのは確認済み >>729
確かにそのようだ
締めつけ厳しい傾向の中でありがたい
あとはつながらないことが多い問題がなぁ Firefoxユーザーだが今年に入ってから接続エラーばかりでweb.archive.org自体見れない状態が続いてたが、
about:supportにある「起動時キャッシュの消去」をしてみたら見れるようになって解決した。
同じ状況の人がいるなら自己責任で試してみるといいよ。一番上のリフレッシュのボタンは初期化されるから押さないように。
これをやった後でもたまに同じエラーが表示されるが前よりはマシになった。 どうもユーザの新規登録周りがおかしくなってるような。
メアドやパスワードを入れて、認証メールが来るところまでは良いんだけど
ある条件の時、メールに記載された URL を開いても常に Sorry, we're kinda busy になってしまう。
ユーザ名が英数字のみの時は問題なし、かな漢字や絵文字を使うとダメ。
おそらくプロフページの URL が archive.org/details/@user_数字
となるようなケースで問題が起きてるのではないかと。 >>730
問題無いけどなぁ。
GET /save/status/user HTTP/1.1
Accept: application/json
Authorization: LOW xxxxxxxxxxxxxxxx:xxxxxxxxxxxxxxxx
Connection: close
Host: web.archive.org
HTTP/1.1 200 OK
Server: nginx/1.19.5
Date: Sun, 05 Feb 2023 12:06:03 GMT
Content-Type: application/json
Content-Length: 79
Connection: close
x-app-server: wwwb-app53
x-ts: 200
x-tr: 79
X-location: save2stat
X-RL: 0
X-NA: 1
X-Page-Cache: MISS
X-NID: -
Referrer-Policy: no-referrer-when-downgrade
Permissions-Policy: interest-cohort=()
{"available":8,"daily_captures":0,"daily_captures_limit":100000,"processing":0} >>734
まじかー・・・、ありがとう
もう一度確認してみるわ リンク先が画像の場合は自動で保存してほしいんだよなぁ。
サムネだけ保存しても意味無いし。 >>736
ChatGPT(人工知能)を学習させといた
https://i.imgur.com/VX6qxTj.png
問: Internet Archive の wayback machine を知っていますか？
答: はい、私は Internet Archive の Wayback Machine について知っています。(以下省略)
問: Wayback Machine の "Save Page Now" で保存したいページ内のリンク先のページも同時に保存する方法を教えてください。
答: Wayback Machine の "Save Page Now" を使用して、ページ内のリンク先のページも同時に保存することはできません。Wayback Machine は、単独のページを保存することしかできません。(以下省略)
問: あなたの回答は、間違っています。Wayback Machine の "Save Page Now" で外部リンクを保存するには、Internet Archive にログインすると使えるようになる "Save outlinks" オプションを使います。
答: 申し訳あります。その通りです。Wayback Machine の "Save Page Now" 機能には、Internet Archive にログインすると使える "Save outlinks" オプションがあります。このオプションを使用することで、ページ内の外部リンクも同時に保存することができます。再度、お詫び申し上げます。ありがとうございました。 >>738
それ学習してるのはログインしてる間だけだろ？
次回ログイン後や他のユーザーからは学習効果ない >>737
ページが複数階層で全部の階層に大量のリンクあっても同じ事言えるんか？
Outlinksぐらいとっくに知っとるわボケが curlでの保存確認が途中から429エラーになる。 https://web.archive.org/web/20230215084609/https://fig-memo-r18.site/figurereview/93774/
ベタベタ貼ってるアフィのせいか延々と読み込み繰り返して見れないんだが何か対応策とかないかね >>742
Status: 429 - Too Many Requests
API で User status を調べて available が1以上になるまで待ってから次の処理をする
{"available":8,"daily_captures":58,"daily_captures_limit":100000,"processing":0}
{"available":0,"daily_captures":170,"daily_captures_limit":100000,"processing":24} >>738
Bing の AI Chat が使えるようになたので Wayback Machine について
訊いてみたら、AI が Wayback Machine を使ってユーザーの質問に
答えることができると言っていた
https://i.imgur.com/rZeedlY.png 3日前ぐらいから、Internet Archiveに繋がりにくくなっているんですけど、同じ症状に悩んでる同士いますか？ 「The capture will start in ~* hour, ** minutes because our service is currently overloaded. You may close your browser window and the page will still be saved.」
数分単位はここ数日見かけるが、○時間単位とか久々 twitter保存できなくなった？
保存してもツイートが表示されない
自分だけ？ 748とは別だけど、モバイルドメイン関係なく昨日の夜からツイートのURLを保存しようとするとJob failedしか出ないわ てかツイートを保存しようとするとapi.twitter.comの方にリダイレクトされてちゃんと保存されてないな。
Twitter APIの改悪は関係あるのかこれ。 >>751
たしかにAPI改悪と関係ありそうだな
アーカイブ取得エンジン（というのかな）がWebブラウザ（擬似）によるアクセスと認識されなくなったとか すまん、748だけど数日経って確認したら保存できてたわ。 保存の仕様が変わってtweetが見れるようになるまで時間がかかることがあるみたい。 直近3200ツイートを同時保存する機能も追加されてる。 >>753
>>直近3200ツイートを同時保存する機能
これってどこの話？見つからないけど >>754
save page nowにtwitterのリンク入れると出るよ。 >>755
あなたは、選ばれし者のようですね。
□ Archive up to 3,200 most recent Tweets from this Twitter profile
こちらでは、twitter_archiver は "display: none" として隠されていました。
https://i.imgur.com/8VuNUdB.gif
｜<div id="wm-twitter-archiver" style="display: none;">
｜ <input type="checkbox" name="twitter_archiver" id="twitter_archiver">
｜ <label for="twitter_archiver">Archive up to 3,200 most recent Tweets from this Twitter profile</label>
｜</div> https://web.archive.org/_static/js/bundle-spn.js
クッキーを読んでログインユーザだと判定すると
#wm-capture-outlinks や #wm-capture-screenshot 等を非表示解除してるけど、
それとは別の条件で #wm-twitter-archiver の非表示を解除してるなぁ。 >>756
display: none消して、style変更してチェックボックス出現させたら動作してくれたりしない？ ボタンが表示される条件分かったわ
トップページのSave Page Nowに入力するだけだと表示されない
遷移後のページ( https://web.archive.org/save )で再入力すると表示される
対応URLはTwittetのプロフィールページ
(mobile.twitter.comは非対応) 重い重い
重いというか、午前1時頃以降に保存しようとした分は保存できてないっぽい。
SPNの復帰まで待つしかないな。 つながらないよりは増しとはいえ、4時間待ちか・・・
閉じても保存されてるという建前だが、待った挙げ句「Job failed.」とかfaviconだけ（>>627）とかでおちおち閉じるわけにも
>>729
数日前3件までに戻ったようだ
1件の差とはいえ・・・ と思ったらつながりづらい
これでは二重苦
今のうちに保存しなきゃなんないものが多いときにかぎ・・・いえ、なんでも 3200ツイート保存できるやつ、使ってる人がいたら何日位で完了したか教えてほしい
自分は2日経ったけどまだ完了メールが来ない >>765だけど今見たら完了してた
あと下のエラーが出たから、１日に合計1万ツイートが限界っぽい
複数ユーザーをアーカイブしたいときは注意
This host has been already captured 10,000 times today by this user account. 初心者なんですけどアーカイブしたあともとのURLを無くしたら発掘するのは不可能ですか？
もちろん検索機能なんてないですよね 【中居正広】 ワク接種 ⇒ 虫垂炎 ⇒ ターボ癌
://mao.5ch.net/test/read.cgi/cancer/1668137860/l50
>>768-769
検索できるけどドメイン単位だからURLを無くしたら事実上発掘不可能
Collection Searchに含まれてるなら可能性はあるけど、まぁまず無理と考えていい >>771
見せたくない情報ならそもそもネット上に載せるなと言いたいね ニュース記事とかだったらtwitterに共有された短縮リンクの残骸とかが残ってたりするから、twitterで検索かけたりしてみてみるのもあり。 20数分待ち
また○時間単位まで膨れ上がってしまうのかどうか >>778
過去6年分遡って表示されてるページ数確認してみた
毎年約1.2倍ペースで指数関数的に増えてるみたい
https://i.imgur.com/pOsie9N.jpg
※2016年10月に数え方が変わったか何かで大幅に数字が減少してたから2017年から表示してる >>765
3月頭にリクエストしたのが1週間後にメールきた
Twitterの一括保存は大分時間かかるね >>779
集計方法がURLの数からWebページの数に変わったから数字が減少したんだと思う
多分だけど 反応はあるけど落ちてる
1時間待ち
よりによって取得しなきゃなんないものが多(ry
ただ時間がかかるだけならわからないではない（のちのち無事取得できてるなら良い）
だが待った挙げ句「Job failed」で取得できてないこともあるし、
早く済ませたいからと取得するものがあまり多いと「429 Too Many Requests」が出たり、
最悪つながらなかったり This host has been already captured 100,845.0 times today. Please try again tomorrow. Please email us at "info@archive.org" if you would like to discuss this more.
みんなでYoutubeの様々なページを10万個保存し続けたらこの制限エラーが出るわけか?
アメリカ時間基準でも1日が始まってから15時間半でこの表示が出たら結構困るんだけど。
SNS系サイトのドメインは制限取っ払って欲しいな。 どうも。その書き込みの1つ（>>113）は俺だから覚えてるけど、
YoutubeのURLを保存しようとしてこのエラーが出たのは初めて見かけたので、報告の意味で書いた。
制限取っ払ってほしい状況は1年半前と変わってない。 >>790
俺も初めてこの表示出た
APIドキュメントにも記載は無いし、バグだと思いたいが・・・ Not Found
The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again.
1回でただけだが 40数分待ち
ただし、PDFは除く（過去には逆にPDFが時間かかるということがあったが） >>794
このエラーが出たら、保存できてる時と、できてないときがあるので、あとで確認したほうがいい。
ページがないって言ってる割にはエラーの判定がおかしいよな。
>>795
PDFや画像やテキストファイル系はページについてるファイルを巡回しないからなのか判らんが、
overloadedが出て待たされてる時でも順番の割り込みできる仕様になってるみたい。
急いでるなら画像のURLだけを保存かけてみるのも手。 Note.comはSPNで保存できるけど、robots.txtでia_archiveをブロックしてるから保存してるのを見れないって状態。
Noteが閉鎖してrobots.txtが消されて解消するか、IAがrobots.txtを完全無視する方針になったら多分復活するはず。
保存できるならしとくだけしといたほうがいい。Availability APIでも保存されてるスナップショットはないって返ってきちゃうけどね。
何年か前に投稿者のIPアドレスかホスト名が載ってた時のも含めてデータ自体はどこかに残ってる。 >>771
こういうのとかってアーカイブ取る方法ないですか？
GIGAZINEとかも。 >>800
GIGAZINEみたいなexcluded系はIAには保存されてる、閲覧が制限されてるだけ
見れることが重要ならtodayを使えばいい
771の様にサイト側で対策されてるタイプは難しい >>800
Webプロキシを間に挟んで間接的に取る方法もある
信頼性とか参照可能性が損なわれるのが欠点 >>801 , >>802
ありがとうございます。 doi.orgを保存しようとすると403エラーで保存できないって返ってくるのはちょっとまずいな。
サイト閉鎖したら転送先の論文URLを探すの大変だわ。 LinkedIn も Internet Archive をブロック
999 とか変なエラーコード返して来てるｗ
日付が変わってすぐは数分待ちだったのが、1時間待ちに >>803
同 ps://scan.netsecurity.ne.jp/article/2023/03/28/49118.html 今の所1時間45分待ち
午前0時半にボタン押した分が20230329172xxxだから日本時間で午前2時半に保存完了してた
1時間50分後ぐらいだから予定時間通りの遅れ 昨日からsave待ちメッセージ いったいなんなのよ ということで
The capture will start in ~4 hours, 12 minutes because our service is currently overloaded. You may close your browser window and the page will still be saved. >>798-799
過去にIAにいくつか保存したnote記事が、note側がIA保存対策したのか、その後IA上に残ってなかった覚えがある。(非公開のままか、本当にキャッシュを削除したのは不明)
saveしたとしても、後にサイト側からの要求でキャッシュ一斉削除される可能性は0ではないんだろうなと。 保存してキャッシュがその時は見れてたのに、ある日を境に、
web.archive.org/web/*/ note.com/{.../記事ID}
でいうカレンダーページに、何もキャッシュが残ってなかったっていうことね。 昨日の夕方だか夜からの長時間待ち、まだ落ち着いてないなぁ
環境によるだろうが、こっちは3時間台 >>815-817
そもそもアーカイブされた内容の「削除」って、出来るのか？
サイト別に分けて保存している訳じゃあるまいし
申し出のあったサイトについて、前方一致か何かで非表示にしてるだけだろ
ちなみに例の事件の直後、note から IA へ連絡が行ったようで
全体が excluded になった話は前スレで既出
robots.txt 云々と過去の仕様の話をしてる奴は無視するに限る 1時間待ちだの24分待ちだの今日は長過ぎる・・・何の制限なんだ >>819
DMCA関係なら削除は出来るはず
昔あったpixivのパクリサイトは完全に消えてる（一度も取られてないとは考えにくい）
まぁ815のnoteの話は違うと思うけど The capture will start in ~7 hours, 52 minutes because our service is currently overloaded. You may close your browser window and the page will still be saved.
珍しい。 やっとオーバーロードの表示出なくなったのはいいんだけど、
ボタン押して保存始まるまで1分ぐらい待たされてる感じがあるのは俺環か気のせい?
何時間も待たされるよりはいいけどさ。 10分経たずに9時間待ちに戻っちゃった。短い昼休みだったな〜 同じIPアドレスのまま初めの2〜3回目は待ち時間なしで、3〜4回目を保存しようとすると急に30分〜9時間待ちの表示が出る仕様になってる?
昼ぐらいから何度か試したけど、このパターンにハマることがやけに多いんだが。スマホ回線で試しても同じパターン。
このスレでもここ数日は人や環境によって表示される待ち時間がバラバラになってるようだし。
ちょっと時間を空けると同じIPアドレスでも待ち時間なしに戻る。この仮説が正しいとするとひどいイジワルされてる気持ちになるわ。
大量のURLにすぐに保存したい人にとっては作業時間増えてイライラするだろうな。 イジワルねえ…
あくまでも無料なんだからさ(無料だからっていう理由も不明だが)。ボランティアみたいなもんだろうからさ。
「すぐに保存したい」っていうのが「IAに投げる自分の作業をすぐに完了させたい」という意味なら、その作業を自動的にする環境を自前で作るしかないような。 826の件は多分昨日だけだったんじゃね？今日は起きてないし
それよりもエイプリルフールのサイトは日付変わる前にできるだけ保存しとけよ
二度と見れなくなるぞ ブルーアーカイブとかいうゲームが登場したせいでスレッド検索がしづらくなったな 最後にドット付けて「archive.」で検索すれば一発でこのスレ出てくるよ。
使ってるスレ検索で対応してればだけど。正規表現も対応してたら他のスレも出てくるかも。 Sorry
Please try again in ~32 min. Crawling this host is paused because they notified us that they are overloaded right now. 「Archive up to 3,200 most recent Tweets from this Twitter profile」
これ やべっ誤操作で途中で書き込まれちゃった。
「Archive up to 3,200 most recent Tweets from this Twitter profile」
未ログインでも出てくるこのオプションって、ログインしないと有効にならないの？
未ログインでそのオプション付けても付けなくても41件しか取れてないようだった。 3/31夜〜さっきまで順調だったのに・・・
>>826がいうように引っかかってしまったのだろうか
今のところ数分待ちで済んでるからまだ良いが、また数時間待ちとかなりかねないのが心配
>>824
確かにオーバーロードの表示がないのに始まらないことがあるなぁ /*/のページだけど1度しか保存されてないURLはリンク先が/*/じゃなくて直接保存されてるスナップショットURLに変わった? 835の件、結局1時間待ちに
先月末の膨れ上がり方よりは増しとはいえ・・・ 皆さんインスタって何で保存してますか？
evernote良かったんですけど無料版の容量少なすぎる…
WAYBACKもarchive.todayもfreezepageもzoom.itも保存出来ないし… TwitterのAPIが止まったら最新3200個の選択肢のやつもダメなわけ?
それでもsnscrapeはAPI止まった今でも使えるんだよな。だからツイートURL取り出すだけなら今もできるはず。 This URL has been excluded from the Wayback Machine.
https://sakue.com/ 上の方も書き込んでおられましたが、やはりwaybackは１万URLしか保存できず、古いものから順番に消えていくのでしょうか？
archivestodayも2700個しか見れず、それより古いものは見れないような。 >>842
todayの方は知らないけど、/*/のページのことなら、そのドメインかディレクトリ以下のURLは1万件までしか検索結果として表示されてないだけで、削除されたわけじゃない。
もうちょっと細かくディレクトリ指定をすれば探してるページを見つけられるのでは?
2021年12月までは10万件まで表示されてたんだけどね >>209 ここ一週間ほど、訳あって非ログイン且つ Tor 経由で作業してるけど
今日初めて、それも 8:50 になってからやっとこのメッセージを見た。
>>39 より保存数の制限は厳しくなってるけど、24 時間で使いきれるかどうかの線なのね。
9:00 まで待ったら保存できたのは言うまでもない。
>>826
3〜4回目どころかすぐに30分待ち・・・ 3200ツイートのやつを使おうとしたときに出たエラー
Sorry.
This snapshot cannot be displayed due to an internal error. 非ログイン状態で3200ツイート取れるの無くなってるな
やっぱバグだったのか 俺の環境では表示されるけど。ただし一度も保存に成功した事ない。
「twitter.com/アカウント名」だけでURL最後に/があると表示されない。 851の件は今は3時間台
あれから落ち着いてるのか、一旦落ち着いてからまた膨れ上がってるのか・・・ >>853
ああなるほど、確かに最後の/を抜いたら表示されたわ
でも850のエラーが出てしまう 同時に2つ保存しようとしたらそれぞれ40分と5時間40分待ちになった
826と似た状態がまだ続いてるのか？
ページ削除される時間がわかってるなら都合の悪いURLを長時間待ち状態して保存されないよう時間稼ぎする悪用方法が思いついたわw >>856
こっちも5時間台
昨日はずっとひどくて今日も相変わらず
>>787の問題は閉じても取得はできるという建前どおり閉じることで回避できる反面、
建前どおり閉じたら閉じたで一部が取得できてないリスクがなぁ・・・ >>857
建前も何もSPNボタンを押した時点で保存ジョブは開始されてる
>>434-435に詳しく書いてあるが、待機中はジョブの状態について問い合わせを繰り返してるだけ
無駄な負荷になってるからさっさと閉じるべき
失敗するときは閉じようが閉じまいが失敗してる ＞失敗するときは閉じようが閉じまいが失敗してる
それは確かにそうだが・・・
閉じなければ「Job failed」が出てるのかどうかで区別がつくが、
閉じたらどれが取得できててどれが失敗してるのか調べないとなぁ
取得するものが少ないときはそれでも良いが多いときは・・・ ようやく数時間待ちから数十分待ちに
数十分ですら増しに思えてくる状況 アーカイブされたWEBページ見ると
管理人プロフィールに電話番号書いてあったり
住所書いてあったりすることあるな…
リンクからアーカイブURL探さないとまともに辿れないから
検索機能が進化しなきゃ今の所問題にはならないんだろうけど
問題になった時アーカイブ大量削除されそうで怖いな ネットで匿名で物を売りたいやつは特商法違反なんで警察と消費者庁へ通報どうぞ We're sorry — something's gone wrong.
Our team has been notified.
保存できない やっぱり非ログイン状態で3200ツイートをやろうとするとこのエラー（>>850）が出るな
バグというか、本来はログインしてない状態で表示しちゃいけないやつかな この前非ログインで保存かけて2日後に/*/を見てみると、十数個のツイートURLがボタン押した時間以降に短期間で保存されてるのを確認した。
非ログインでエラー出ても一応動いてるっぽいけど、3200ツイートの保存はしてくれなかった。不安定すぐる 昨日ぐらいからTwitterのHTMLとJavascriptの仕様が変わったようで、
IA側が対応できてないからちゃんと保存されない模様。
犬の404エラーしか保存されない。 >>867
今やったけど普通に保存できたよ
>>868
一昨日辺りから非ログイン状態でツイート検索が出来なくなったから
その影響かも 質問です。
Imgurの規約が変更され
ポルノコンテンツなどが削除される可能性があるため
5ちゃんのスレの画像などをアーカイブしようと考えています
その際、InternetArchive側の規約違反になる可能性はありますか？
アメリカなどはポルノコンテンツに厳しいイメージがあるのですが… 別にならんでしょ
むしろポルノコンテンツ大国では？
児ポとかには厳しいが >>871
JKとかのエロイラストとかも
スレによってはあるのであっちの児ポに該当しないか心配です
該当していたとしたらInternet Archiveの規約には違反するのでしょうかね…？ 違反したところで保存したスナップショットが見えなくなるだけだから気にしなくてもいいよ。
気になるなら「俺が保存したぞ〜」と足がつくような記録をネットに残さなきゃいいし。
逆にそういう選別をしてたら時間もったいないと思うけど。 IAで弾かれるがfoではなんともないっていうパターンは普通なんかな >>873
ありがとうございます
とりあえず保存することにします Hrm.
Twitter、ログインしないと検索できないの不便過ぎるなぁ・・・
そのうち非ログイン状態では閲覧できないとかやりそうなのが >>877
インスタグラムみたいに閉鎖的なサービスに改悪されるのはありそうだな… このサイト、ストリートビューのアーカイブって見れる？
アーカイブのデータ自体はいっぱいあるんだけど読込が遅すぎて ここ最近ようつべの動画の再生ページがウェイバックマシンに保存されるの遅すぎだろ・・・。
公開から1～4時間後って。
自動アーカイブも全然機能されてないし。
何やってんだよアクティブチームといつもアーカイブを取ってる人は、やる気あんのか？
もしかしてエラーでも引っかかって保存されるのに時間かかってんのか？ ここ最近YouTubeの再生ページのアーカイブが自動で取られなくなってる？
もしかしてYouTube側から御叱りを受けたのか？
それともエラーにでも引っかかって早期保存が難しくなっているとか？
みんなめんどくさいのに何故！？ Haasie: imgurの画像をアーカイブするサイト
https://haasie.com
【使い方】
テキストボックスに https://i.imgur.com/* のリンクを改行区切りで入力して Backup をクリック
保存後は https://i.haasie.com/* のリンクから閲覧可能
5月15日に、ポルノ画像・匿名ユーザーが投稿した非アクティブコンテンツが削除されるという報告を受けて開発に至ったとのこと
↓開発者の投稿
https://news.ycombinator.com/item?id=35835971 IRC覗いてたら、ガチ勢がプロキシ8000個動かして
ブルートフォースでimgurの5文字URL特定しててワロタ
半日で全走査して約3億5千個集まったらしい >>885
ArchiveTeamはIRCっていうチャットツールを使って活動してる
チャット除いてるとアーカイブの進捗状況とかわかるよ リンク>>885 知識ある人はWarriorをダウンロードすればアーカイブに参加出来て面白いよ
自分も1GB程度imgurのアーカイブに貢献してる
https://wiki.archiveteam.org/index.php/ArchiveTeam_Warrior Twitterのプロフィールページ、SPNだと取れてるのにSPN-outlinksだと取れてないの不思議だな
通常のSPNとoutlinksとで環境が別なのか？ twitter・google の検索画面とnoteはarchive .todayで保存可能なのか 先月からGoogle Spreadsheetからアーカイブのキュー入れられるやつが全く機能してないんだが原因は何なのだろう
https://archive.org/post/2427823/is-wayback-gsheets-very-busy-recently
Outlinks機能が使えて、URLのリストをまとめて保存できる手段なにかないですか？
pythonで試してみたんだけど、うまくいかず。。。
https://pastebin.com/raw/YhuQGPj1 Python は使ったこと無いけど、/save/ に GET メソッド?
あそこ POST の時しか認証情報見てくれないでしょ。
クッキーも、Authorization: ヘッダで S3 API Keys を送った場合も然り。
認証情報と capture_outlinks=1 を見てもらえるようになったら、
今度は 1 つの URL から outlinks の保存のために並行プロセス数が
20 とか 30 とかに増えてしまうのに、それが 5 秒なんかで終わる訳が無い。
きちんと https://web.archive.org/save/status/user で空きをチェックしなよ。 1時間待ちとか今月になって初めてか
○時間待ちでないほうが珍しいぐらいの先月だか先々月よりは増しとはいえ・・・ ようやく落ち着いた
>>897
上のほうにあるが、環境によってバラバラなのがなぁ PDFファイルのURLを保存させたらその1ページ目しか保存されないのだけど仕様？
なわけないよなぁ >>900
閲覧環境によっては、1ページ目しか表示されない場合がある
(iOSとかだとダメっぽいな)
解決策は、閲覧したいページのURLを編集して数字の後ろにid_ をつけ加えると保存されたまんまの状態で表示されるから、これで全ページ閲覧できるようになるよ
↓こんな感じ
https://web.archive.org/web/数字id_/ページURL >>901
thx。たしかにiOSのSafariで見てた
保存ではなく閲覧環境の問題なのね >>903
WSL使うのが嫌だったので遠ざけていましたが使ってみます。
ありがとうございます。 「リンクと画像の抜き出しツール」のアーカイブから画像のURLを入れると画像が保存されているか確認できる。 「URLからタイトルゲット君」というサイトも保存確認できる。 >>904
そんなに量がないんだったら無料版Colabで走らせてもいいかもね >>892
3月までtodayでアーカイブしたGoogle検索結果をorgで重バックアップしたり出来たが（アクセス環境により検索ワード化けが生じるため）、4月からエラーで弾かれるようになってしまった。
ヤフオクの出品物もorgから取れなくなったし Something went wrong. Try reloading.
ツイッターのアーカイブ閲覧しようとするとこうなるけど、おま環？ ふとIAの動画ブラウジングしてたんだけど字幕付きのアニメとか滅茶苦茶うpされて、無法地帯になっててワロタ
アメリカのフェアユースってそんな強いのか >>912
いや普通にアウトだし消されてるよ、いたちごっこだけど
IAの人も何が重要なデータか分からなくなるから止めろってツイートしてたりする
基本的にIAのアカウントがアップしたもの以外は信用しない方がいい アイテムの方にある動画、一定以上のサイズだとブラウザで再生出来ないっぽいな
自分が見たのは20GB超だけど読み込みがされなかった
curlでダウンロードしてローカルで再生は出来たので、ちゃんとアーカイブはされてるらしい それってエンコード時の設定に依ったりしない？
例えば mp4 なら moov atom をファイル先頭に持ってきていないとか。 トップページの保存数（Explore more than XXX billion）がたまに十億単位で減るの
何なんだろうか？ 詳しいことよく知らなくてTorのブラウザでarchivetoday使おうとしたらTor使ってないときでもarchivetodayにアクセスできなくなった
クッキー消去したらまた使えるようになったけどブラックリスト的なものに載ってないか不安 >>918
まともにTor使ってるなら、生IPとの関連付けが出来ないんだからTor使ってないときにアクセス不可になるはずがない
それすら分からないならtorは使わない方が良いよ、絶対にどこかでやらかす なんでわざわざTorブラウザでarchivetoday使おうとしたの？普通のブラウザでも使えるよ >>920
10年以上前にTor使えばInstagramでも魚拓取れるって書き込みを見つけたので試したくなったんです
無知ですいませんでした IP紐づいてなくてもフィンガープリントで同一デバイスだと疑われてる可能性はある
とは言っても、torブラウザでtoday使うとCloudflareにブロックされて要JSの認証要求されるから回避も難しいんだよな
唯一の回避策は、使えそうなweb串探してtor→web串→todayでアクセスするくらいか
フィンガープリント追跡防止の拡張機能とかもあるからそういうのを普段使いしてみるのも対策の一つになるかもね 今更だけど3200ツイート保存のやつエラーで動かなくなってる
Twitterの仕様が変わった辺りからかな？確認してなかった >>867>>869
Twitterの鍵垢を保存したら犬のエラーが保存されたわ。原因はこれじゃない? >>927
いや普通の公開アカウントだった
なぜか木曜日だけどのツイートも犬のエラーになってた https://esica.shop/collections/weekly-ranking/products/eset-4660
↑みたいなサイトを保存すると保存直後は画像が表示されてるのに数か月後保存ページにアクセスすると、
一部画像が表示されないって事が多々あるんだけどおま環？
そのページの画像（大きい小さい表示されるの全て）を一括で保存する方法って無いのかな >>929
数か月後どころか、保存直後も大量の画像が欠落してるんだけど・・・
スクリプトで読み込ませてる画像の一括取得は現状では無理。
ブラウザでアーカイブを表示したときに初めて取得リクエストが発行されるが、
毎分 2 個か 3 個の画像を取得するだけで、あとは 429 Too Many Requests エラーが返ってしまう。
必要な画像を拾い終えるまで、同じアーカイブを数分おきにブラウザで繰り返し表示するしかない。
昨晩ここの画像を全部拾わせてみたので、数か月後にどうなってるか見てみよう。
https://web.archive.org/web/20230627123623/esica.shop/collections/weekly-ranking/products/eset-4160 今風のスクリプトマシマシ動的サイトはアーカイブするのが難しいからね
画像だけ欠落するならまだマシで、サイト自体が取れないことも珍しくない Twitterの投稿、wayback machineはアーカイブできるけどarchive todayはできなくなってない？ >>932
Twitterの仕様変更でログイン状態じゃないとログインページにリダイレクトされるようになったっぽいな
Internet Archiveは何か特別な処理挟んでるのかね save-page-now-outlinksって今動いてないの?
リンク先の保存もやらなきゃいけないじゃんか >>933
ほんとだログインしたらアーカイブできた
どうやってログイン状態検出してるのかも謎だ Pixivのページを保存したいとき、英語ページのURL（en）へ転送されないようにするにはヘッダーに何を指定すればいい？
なんか方法ある？ Pixiv から user_language=ja ってクッキーを食べたことにしておけば、
つまりそれを capture_cookie 引数に与えて Save Page Now すれば
転送はされなくなるけど・・・どこも真っ白だぁ waybackもtodayもtwitter保存できねえ Twitter自体が現在不調だからね直してもらわないと Twitterの仕様変更で
魚拓取れなくなるのかな…
アカウント必須になったら魚拓取れない… Twitterは仕様変更するわ、IAは保存しても読み込めるまで1日以上かかるわ、インターネットに波乱起きすぎ archive.org/details/save-page-now?sort=-addeddate
日本時間13時21分のファイル以降、SPNの新しいコレクションファイルが増えてないので止まってたっぽいが、今は復帰して保存できるっぽい。 Twitter、一応取れるようにはなったが単体ツイートしか取れなくなったな
前はリプライも全部保存出来たが不可能になった
あとプロフィールページも保存出来ない
IAの問題ではなく、Twitter側が非ログイン状態での表示を止めたせい 5chもぼちぼちアーカイブしていかないとヤバイ感じか？ 5ちゃんのスレも個人的に保存はちょくちょくやってはいるんだけど、すぐ人大杉になって作業が止まるのが難点。
自分の住民やってるスレやその過去スレからでいいので、やっておいた方がいいよ。 これはヤバいな
過去ログごと消えたら洒落にならない 筑波大吉田光男准教授が公開してる5chスレタイのデータセット
http://open.ceek.jp IAのチームに過去ログ全部クロールして欲しいな。今はなんとか過去ログが見れるけど、明日急に全部見れなくなっても全く不思議じゃないからヒヤヒヤしてる
似たようなサイトでredditって過去ログ保管されてるんだろうか threadsってアーカイブ出来ないタイプのサイトかぁ・・・ threadsってアーカイブ出来ないタイプのサイトかぁ・・・ 「好き嫌い.com」は魚拓サイトで魚拓を取ってもコメント欄だけが保存されない
どうすればコメント欄も保存できるかな？
i.imgur.com/2uPwBGz.png archive.li/6nRmy 5chを保存しようとクロールしたらクロールが全く意味を成さないわね…なにかいい方法あるだろうか？ これからAI時代になると、IAのデータってますます重要になりそうだな（AIとIAでややこしい） yahooニュースのコメント保存できるようになったな 過去ログ取ろうとしたけど膨大やな
自分の環境だと七時間で2500urlぐらい >>961
2chから5chにURL変わった影響もありそう
てかTwitterの会話取れなくなったの不便すぎるな ここ最近やる気を感じないな、アクティブチームは。
自動アーカイブも全然取れてないし。 アクティブチームって何だArchive-teamのこと？ うーん、ボタンを押しても即座にこれが返ってくる
俺もや、ついに規制くらったかと思ったけど
サーバー側の問題か どこか特定のサイトを取得する場合の問題かと思ったら別のサイトで試しても>>969 放置してたらURL8万行分集めてて、もう飽きたからこれアーカイブしてdatアーカイブやめます
保存されるやつみたら文字化けしてるし意味あるのかなといった感じでもある
普通の過去ログやる方が有意義におもう スクリプト回してるのにim_とかid_とか知らないって嘘くせぇ Twitchもyoutubeみたいにアーカイブ保存出来るようにならんかなぁ
というかyoutubeと違って一定期間で消えるから、むしろこっちを優先して欲しいまである 動画ファイルバカでかいししゃーないでしょ
キリないもん、あとtubeupえばupはできると思う
だけどあれ待機時間がすげー長いんだよなぁ >>976
それなに？ スクリプト使ってないから知らない >>975
どうやって8万行も集めたの？
詳しく聞かせてほしい
Googleの拡張機能でアーカイブ常に取る設定にしてたとか？ >>980
ただずっと>903のスクリプト動かしてただけ
outlinkの取得先は全板の過去ログのurlを指定した スクリプト回してるのにim_とかid_とか知らないって嘘くせぇ 1週前ぐらいに取得した（ことになってる）はずなのに取得できてないのがいくつも・・・
The snapshot may not be available right now, please try again later.
最近が↑たまに出るが、
それとの関係だろうか・・・
せっかく時間かけて取得したはずができてないのは残念 archive.isはもう3日ほど繋がらないし
Wayback Machineは相変わらずツイッタープロフィールとリプがダメで
リプで繋がってるものも個々でしか取れないから面倒くさい archive.today は、まだ Cloudflare の DNS(1.1.1.1) を拒否しているのかな？ >>991
おま環なのかわからないけどtodayは4日前までは普通に繋がってたけど
急に繋がらくなって今も繋がない
このサイトにアクセスできませんarchive.is により途中で接続が切断されましたって出る
chrome・edge・Fire Foxの全部で繋がらないから環境だとしたら何が原因なのかさっぱり
因みにCloudflare の DNS(1.1.1.1)ではないよ レス間違えましたすみません
>>994 は >>992 が正しいです >>993
とか言うだけで、実際に叩いてみたりしないんだ
所詮その程度ｗ
あれarchive.org落ちてる？spnエラー吐いてる >>997-998
ここ数日 web.archive.org への接続自体がエラーとなるケースが増えてると思うよ。 このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 730日 9時間 39分 0秒 5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。
───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────
会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。
▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/
▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php レス数が1000を超えています。これ以上書き込みはできません。
![http://o.5ch.net/20p7u.png"](http://o.5ch.net/20p7u.png"){kind=link}
