X

Internet Archive総合 (web.archive.org) #3

■ このスレッドは過去ログ倉庫に格納されています
2020/04/02(木) 02:08:09.83
なんだかんだでお世話になってるInternet Archiveについて語りましょう
Internet Archive
ttp://www.archive.org/index.php

インターネット・アーカイブ - Wikipedia
ttp://ja.wikipedia.org/wiki/InternetArchive
　　------------------


Ｑ.Internet Explorerで日本語などの2byte言語のページのWeb Archiveキャッシュを見ようとしても
真っ白なページ＆文字化けが起きる＆極端に重いなどの症状が出てしまう

Ａ.[表示]もしくは右クリック→[エンコード]→[日本語(自動選択)]やその言語の文字コードに則したものをクリック


Ｑ.Web Archiveでダウンロードしたzipなどが開けない＆CRCが違うと表示される

Ａ.よくWeb Archiveは1byte欠けを起こすのでバイナリエディタなどで該当ファイルを開き、
16進数の最後の末尾に「00」を付加すると正常なファイルになることがあります。


前スレッド
Internet Archive総合 (web.archive.org) #2
http://mevius.5ch.net/test/read.cgi/esite/1475246713/
2021/02/15(月) 19:35:35.74
>>739
>>739
毎日保存してるのに24時間以上たたないと保存できないのは困る

----------

> このサイトにアクセスできませんweb.archive.org で接続が拒否されました。
> ERR_CONNECTION_REFUSED

保存しすぎて個人的に Web.archive.org にアクセス拒否されたかと思ったｗ

Down for Everyone or Just Me
https://downforeveryoneorjustme.com/web.archive.org
> Web.archive.org Status
> Is web.archive.org down right now?
> It's not just you! web.archive.org is down.
2021/02/15(月) 19:36:14.63
Internet Archive 鯖落ち？繋がらないわ
2021/02/15(月) 19:40:02.46
>>740
その表示初めて見るけどブラウザ何使ってる？
743名無しさん＠お腹いっぱい。
垢版 |
2021/02/15(月) 19:52:03.70
wayback machineぶっ壊れた
2021/02/15(月) 20:02:02.56
>>742
Google Chrome
https://i.imgur.com/xmvdeg3.png
2021/02/15(月) 20:18:19.09
telnet で web.archive.org:80 へ接続を仕掛けても繋がらない。
鯖が死んでるわ。
2021/02/15(月) 21:30:42.26
アメリカは今早朝だから運営寝てるのか
747名無しさん＠お腹いっぱい。
垢版 |
2021/02/15(月) 22:21:55.65
メンテナンス情報も書いてない。まさか、F5アタックなのか?
2021/02/15(月) 22:24:25.21
あぁ朝鮮半島からか
2021/02/15(月) 23:18:16.36
復活したね
保存もできるよ
2021/02/15(月) 23:21:29.92
あ、何ページか保存したら接続エラーの連続だらけになった
まだ完全復活できてない模様
2021/02/16(火) 01:10:12.48
>>747
てかIAは鯖落ちしようが何も言わない
サンフランシスコ時間で朝になったから、今日も@internetarchiveは更新を始めたようだが、
いつも通りだんまりだね。4時間近く止まってたんだから一言欲しいけど
2021/02/16(火) 02:53:38.24
>>717
そこにメールしても返信すらないから意味ないよ
送っても誰もメール見てないんじゃね
2021/02/16(火) 10:22:33.21
APIのレスポンス増やしてほしいな
せめて落ちてるときは今落ちてるよ的なのを返して欲しい
2021/02/16(火) 22:20:35.70
https://twitter.com/internetarchive/status/1361387442410938370
午前中に技術的な問題が発生
https://twitter.com/internetarchive/status/1361454580869947395
鯖落ちは一時的なバグが原因
https://twitter.com/5chan_nel (5ch newer account)
755名無しさん＠お腹いっぱい。
垢版 |
2021/02/17(水) 23:26:58.40
東京大学総合図書館、Internet Archiveとの連携を開始：同館デジタルアーカイブ資料4,000点以上が対象
ttps://current.ndl.go.jp/node/43304
2021/02/19(金) 13:11:41.55
job failedの連打
2021/02/19(金) 18:11:43.08
job failed多すぎて笑う
APIの反映も遅いし
2021/02/19(金) 22:14:59.50
job failedでも保存はされてるか
2021/02/20(土) 20:16:11.82
job failedは保存されてなくね？
internal server errorは一応されてるみたいだけど
2021/02/21(日) 09:59:06.84
時間おいてやり直すしかないね
2021/02/21(日) 13:11:02.40
あれ？job failedでもThis URL has been already captured 10 times todayが出たな
ということは内部的には取れてるのか・・・？よく分からん
2021/02/22(月) 14:27:20.34
Fail with status: 498 No Reason Phrase
なんやこれ
2021/02/24(水) 15:46:58.89
>>761
上でも書いてる人いるけど、多分保存できてないと思う
最新から10個前の保存時間から24時間経たないとできない
2021/02/25(木) 00:31:49.91
job faildばっかり(´・ω・`)
2021/02/25(木) 14:27:18.94
job faildは取れている時と取れていない時があるから困りもの
2021/02/27(土) 10:54:16.04
We're sorry ― something's gone wrong.
Our team has been notified.
これしか表示されなくなった
完全にぶっ壊れてる
2021/02/27(土) 21:12:05.69
チームは何してるの
2021/02/28(日) 11:46:27.82
Save Page Nowで保存中に他人が保存したアドレスがたまに表示されてるんだけど、これやばくない?
試しにcurlで/save/から保存するのと同時に、WebブラウザからVPN使って別のIPアドレスにした上でSPNで別のサイトを保存してみたら、
curlで保存中の画像やJavascriptのアドレスがWebブラウザの方に出てきてしまった。
普通に情報流出していてワロタ

このスレでも他人のアドレスが出てくる状態になった報告があるみたいだけど、直す気ないのかな。マジで直したほうがいいと思う。
>>568-570
>>584-589
769名無しさん＠お腹いっぱい。
垢版 |
2021/03/01(月) 20:37:48.02
ここ２週間ぐらい、

archive.todayで、

インスタグラムを保存できなくなってるの　俺だけ？

２週間くらい前までは、インスタグラム保存できてたのに。

他に インスタグラムを保存できる魚拓サイトありますか？
2021/03/01(月) 23:25:20.89
インスタビューア的な外部サイトがいくつもあるから
それを介して保存するって方法がある
URLをしっかり記録しておかないと参照できなくなるってのが面倒だけど
771名無しさん＠お腹いっぱい。
垢版 |
2021/03/02(火) 14:01:49.74
web.archive.org/save であるべーじを保存できた(3月2日)
保存出来た時に表示されるリンクをクリック
→二月中旬に保存したものに飛ぶ

カレンダーを見ると3月2日に保存マークがある
→それをクリックすると二月中旬に保存したものに飛ぶ

これって3月2日に保存は出来たけど閲覧できない状態ということ？
772名無しさん＠お腹いっぱい。
垢版 |
2021/03/03(水) 13:37:44.10
>>770

＞インスタビューア的な外部サイトがいくつもあるから
＞それを介して保存するって方法がある

回答 ありがとうございます。
「インスタビューア的な外部サイト」でググっていますが、見つかりませんorz。
ちなみにパソコン ユーザーです。

保存ができる、おすすめのインスタビューア的な外部サイトを教えていただければ幸いです。ｍ（＿　＿）ｍ
2021/03/03(水) 15:26:40.68
この保存職人たちの怒りのスレいわく、
ttps://archive.org/post/1105471/pages-refusing-to-save-this-is-asinine
Poster: Hitsmello Date: Nov 29, 2020 10:39am

Also, lately, I've noticed that the "Job failed" only seems to happen if I check the "Save outlinks" AND the "Please email me the results" boxes.
It WILL save properly if I just check "Save also in my web archive" and "Save outlinks". Gee, I wonder why...

ログインしてSave outlinksとPlease email me the resultsにチェックを入れるとjob failedが出ずに保存できるらしい
俺はアカウントから保存して、ファイルに名前が残るのはやだから、試してないけど
2021/03/03(水) 15:31:00.65
>>771
反映待ち状態になってるから、数日後に見れるようになったか確認してみて
大抵は24時間、遅くても2日以内に見れるようになるはず
急いでるか保存失敗してそうなら、同じURLなら30分後以降にまた保存できるので再度保存するのもあり
2021/03/03(水) 18:22:54.32
This URL has been already captured 10 times today

同じURLで連続10回保存失敗した場合でもこのエラーが出る。
失敗してるのにこれはないだろ。capturedできてねーぞ。
2021/03/03(水) 20:33:32.32
>>772
instagram viewerとかでググって出てきたサイトに投稿を表示させて、その内容を保存するってこと
サイトによって表示される情報量がまちまちだから色々試して使いやすいのを探す必要がある

(例) プロフィール画面
https://web.archive.org/web/20210303101254/https://instastory.net/profile/cristiano
(例) 投稿画面
https://web.archive.org/web/20210303090845/https://instastory.net/post/CL7sxQPgvB6

可能な限りは公式サイトを保存したいところだけど
どうしても無理ならこうするしかないんじゃないかな
777名無しさん＠お腹いっぱい。
垢版 |
2021/03/04(木) 17:47:00.70
save画面でキャプチャできたのかリンクが出たからクリックしたらサイトは保存されていませんと出る
2021/03/05(金) 04:44:26.90
なんか調子悪いな？
2021/03/05(金) 16:53:21.35
さっき知ったけど、IAの社員でWayback Machine責任者のマーク・グラハムさんがSave Page Nowや/save/のAPIの仕様説明書を公開してくれた
ttps://webapps.stackexchange.com/a/151360

自動翻訳かけても読む価値あると思う

Save Page Now 2 Public API Docs Draft
https://docs.google.com/document/d/1Nsv52MvSjbLb2PCpHlat0gkzw0EvtSgpKHu4mk0MnrA/edit
https://docs.google.com/document/d/19RJsRncGUw2qHqGGg9lqYZYf7KKXMDL1Mro5o1Qw6QI/edit

Limitationsのところに制限について書いてあるのを拾ってみると
・同じIPアドレスから同時に6ページ以上SPNや/save/で保存すると自動でエラーになる
・10秒でレスポンス戻ってこなかったらタイムアウト
・50秒で保存先URLはタイムアウト
・spn@archive.org宛に保存したいURLのメールを送ると500個まで保存してくれる(俺の経験上結果がエラーだらけになる可能性大なので確実に保存したいなら手動で)
・ログインしてない同じIPアドレスから画像なども含めて1日2万ページ以上は保存リクエストだせない、ログインしてれば制限なし
・ログインしてAPIキーを取得すれば、プログラムから保存するのもできる

この制限に引っかからないようにすれば、大量保存してる人はうまくいくはず
サンプルコードにも失敗したら保存を繰り返すようなコードになってるから、保存エラーが多いのは認識してるんだろう
2021/03/05(金) 16:59:20.94
あとこんなのを発見

IAにログインした上で、Googleスプレットシートに保存したいURLを並べて登録すると保存してくれるサービス
https://archive.org/services/wayback-gsheets
781名無しさん＠お腹いっぱい。
垢版 |
2021/03/05(金) 18:13:28.08
>>776

ありがとうございます。上手くいきました
2021/03/05(金) 19:51:34.90
A snapshot was captured.が出ればとりあえずは様子見でいいんかな
スナップショット等への反応が即時でないが
2021/03/05(金) 20:16:22.56
保存できてもその保存できたページが表示できるまで時間かかってるっぽい？
カレンダーで確かに今日の日付で保存されてるのにそこをクリックしても過去に保存されたページしか出ない
first archiveの場合は成功しましたのリンククリックしても保存されてないになっちゃう
2021/03/05(金) 21:10:51.47
>>9を見ろ
2021/03/06(土) 02:15:27.01
>>779
思ってたより全然神サービスだったわありがてー
2021/03/06(土) 17:13:17.16
>>775
これが一番腹立つ
2021/03/07(日) 17:50:27.08
頑なにとってくれないサイトあるよね
788名無しさん＠お腹いっぱい。
垢版 |
2021/03/09(火) 01:33:30.80
ページによって挙動が違うのがなんとも
2021/03/09(火) 01:45:34.00
数日にわたって全く保存されなかったやつが今試したら一発で通りやがる
気分屋だなあ
2021/03/09(火) 21:49:05.86
またおかしなurlに飛ぶようになった
今回はgoogle系ばかり
2021/03/10(水) 07:27:06.81
なんか論文検索始まった
https://scholar.archive.org/

Sci-Hubキラーになるかwww
2021/03/10(水) 21:05:30.75
google系の変なurlに飛ぶようになってない？今までもそんなことあった？
2021/03/10(水) 21:12:27.07
去年もあったが今回はgoogle系にだけだな
794名無しさん＠お腹いっぱい。
垢版 |
2021/03/10(水) 21:25:03.54
>>793
なるほど　しばらく待てば直るものか？
2021/03/10(水) 22:53:02.34
http://web.archive.org/web/1im_/i.imgur.com/DCiDUjh.png
Save Page Now から保存を完了した後に表示される Visit page のリンク先が
保存したページそのもののアーカイブではなく、
その中の画像だったりスクリプトだったりのアーカイブになることがあるんだよね。
これも一連の異常と関係してるのかな。
796名無しさん＠お腹いっぱい。
垢版 |
2021/03/11(木) 00:11:38.24
>>795そう！それになるんだよ。最近調子悪いんだな……
2021/03/11(木) 13:41:23.28
結局最近のは保存できていないってことかな？
798名無しさん＠お腹いっぱい。
垢版 |
2021/03/11(木) 15:47:38.66
>>797
その通り…保存できてなくて困ってるよ
799795
垢版 |
2021/03/11(木) 15:57:13.93
念のため記しておくと、こちらでは「保存できない」という問題は起きていない。
確かに保存完了直後には見られないことがあっても、数時間〜数日後には表示できている。
保存完了画面のリンクが別のファイルを指しているので、実際に見てみるには
URL を入れ直さなきゃならないという点は何とかしてほしいと思う。
2021/03/11(木) 17:54:51.72
おかしなurlに飛ばされても後でチェックすると保存はできているな
801名無しさん＠お腹いっぱい。
垢版 |
2021/03/11(木) 18:44:03.64
おお、今確認したらちゃんと保存されてた！保存しなおさないといけないと思ったから焦ったよ
教えてくれてありがとう
2021/03/12(金) 02:59:00.85
google系だけじゃないぞ、多分アナリティクスのjsファイルURLが帰ってくることがあるからそう言ってるだろうけど
例えばある人のfc2ブログの記事を保存したら帰ってきたのはそのページで読み込まれるcssやjsファイルだったし
2021/03/13(土) 18:56:41.68
Live page is not available:が出たけどちゃんとセーブされてるのもあるな
2021/03/13(土) 22:35:06.61
「おかしなurlに飛ばされる」ってのは結局
物事をきちんと説明できない池沼が騒いでいただけなのか?
2021/03/15(月) 00:54:48.12
保存して本来表示されるべきページではないurlが表示されている事を報告しているものを
池沼呼ばわりとはどういう了見かな？
806名無しさん＠お腹いっぱい。
垢版 |
2021/03/15(月) 08:05:56.29
韓国人・朝鮮人式に考えれば良いのですよ。

行先の違うリンクを確認もせずにクリックして、勝手に飛んで行ったのであっても、
チョンにとっては「自分は常に正しい、悪いのは他人」ですから
飛ばされたことになっちゃうんですよ。
2021/03/15(月) 11:07:06.87
Job failedは無くなったけどエラー自体はあんまり変わってないな
ページが存在するのにLive page is not availableが出たりするし
2021/03/15(月) 15:13:50.78
全く意味がわかってないアホがいるようだ
まあ今はあの現象は直ってるようだがな
2021/03/18(木) 01:41:28.07
あーページにぐぐる地図が埋め込まれてるとおかしくなるな　なるほど
2021/03/18(木) 09:04:58.59
Google地図だけtodayで取る
2021/03/20(土) 19:27:34.98
直ってないな
812イモー虫
垢版 |
2021/03/22(月) 04:29:32.07
あんま騒ぎになってないがなんでだろ
ガラケーからだけエラーが頻発かと思えば違うんだね
813名無しさん＠お腹いっぱい。
垢版 |
2021/03/24(水) 20:24:38.95
twitterでjsonとられる現象減ったね
2021/03/27(土) 19:47:08.19
Live page is not available
815名無しさん＠お腹いっぱい。
垢版 |
2021/04/01(木) 09:36:27.49
案の定エイプリルフールページで殺到してるのか重いな
2021/04/02(金) 14:14:32.26
そういうことか
2021/04/04(日) 15:52:25.36
archive,todayってURL保存した後にzipでDL出来るみたいだけど
攻略サイト保存したらちゃんと階層や画像も一括でまとめてzipでDL出来んの？
818名無しさん＠お腹いっぱい。
垢版 |
2021/04/05(月) 16:29:25.73
https://lab.syncer.jp/Tool/Twitter-Video-URL-Converter/

このサイト使うとtwitterの動画保存できる
819名無しさん＠お腹いっぱい。
垢版 |
2021/04/07(水) 05:09:08.66
This page is not available on the web/because of server error　がでてこんにゃろと思ってたら
いきなりロードされて保存済みページが表示されたりがあるな
2021/04/16(金) 00:59:24.77
なんかYahooニュースのURLを保存するとこれが出たりする
ブロックリストに入れるような記事かこれ?

This URL is in our block list and cannot be captured.
Please email us at "info@archive.org" if you would like to discuss this more.
2021/04/16(金) 05:40:19.79
特定個人が発信する政治的記事の過去の言質を取られないようにするためと思われる
主にコロナ関連で
822名無しさん＠お腹いっぱい。
垢版 |
2021/04/16(金) 07:10:27.48
もしあれだったら５ｃｈのニュースキャップなどでニューススレ立ててそっちを保存するか
yahooなら大抵二次なので一次ソースをたどってそっちを保存
2021/04/16(金) 10:12:44.29
24時間経過しないと取得できたか分からない
2021/04/16(金) 17:12:55.38
同じドメインのサイトを一括で保存してDL用にZipでまとめてくれるサイトってねーの？
2021/04/17(土) 09:24:30.32
ウェブ魚拓の方なんだけど取得できる時とできない時の条件の違いがよく分からんわ
2021/04/17(土) 11:41:17.37
IA全然とれねー
2021/04/19(月) 11:42:38.28
iaは最近ずっと調子悪い印象
828名無しさん＠お腹いっぱい。
垢版 |
2021/04/20(火) 01:48:29.85
最近またjob failed出るようになったな
2021/04/20(火) 16:17:10.58
>>825
うちウェブ魚拓いくら待ってもロボット拒否でbanされたわｗ
830名無しさん＠お腹いっぱい。
垢版 |
2021/04/20(火) 21:36:13.88
twitterぜんぜん保存されてないな。万単位のフォローがいる垢でも保存されてなかったりする
2021/04/21(水) 21:20:44.52
>>829
Web魚拓はReCaptchaのマークが右下に表示されてから12秒くらい待ってボタン押すと保存できるはず。
長く待ちすぎるとロボット拒否される
2021/04/21(水) 23:45:37.52
スマートフォンでアーカイブしたものをスマートフォンで見ようとすると見れないが3Gガラケーでは見れる謎
2021/04/22(木) 21:24:08.86
俺が対策書いた途端にWeb魚拓の仕様が変わって草。
このスレ見てる誰かがスクリプトでも走らせてるのか
2021/04/23(金) 17:18:11.69
最新のブラウザ使ってても「お前のブラウザ古いぞ」的な警告文（黄色）出るの俺だけ？
835名無しさん＠お腹いっぱい。
垢版 |
2021/04/25(日) 18:05:22.97
インターネット官報誰も保存してない
2021/04/30(金) 13:23:56.96
アカウント作成時の捨てアド排除が始まってるなぁ
二ヶ月前はこんなこと無かったのに
2021/04/30(金) 13:34:48.94
あと、ユーザプロフ画面でアバター画像をアップロードしてない場合に
Gravatarを参照しなくなった

画像のタイムスタンプからして先月初旬の変更か
https://archive.org/images/person2.png
Last-Modified: Sun, 07 Mar 2021 00:42:48 GMT
2021/04/30(金) 18:23:16.44
>>830
ちょっと違うけど20年近く続いてる個人サイトとか、あとベテラン作家のブログが保存されてたのにサイトの方は自分が作業するまでアーカイブに無かったってことはあったな
（後者は今のサイトが出来てから2年ぐらいしか経ってなかったのもあるんだろうけど）
2021/04/30(金) 21:42:19.54
Twitterのアーカイブは殆どArchive Teamのやつだから
ユーザーページは取られてないけど個別のツイートは殆ど取られてるはず
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。