X
Internet Archive総合 (web.archive.org) #2　©2ch.net
レス数が1000を超えています。これ以上書き込みはできません。
0002名無しさん＠お腹いっぱい。
垢版 |
2016/09/30(金) 23:54:00.45
　
なんだかんだでお世話になってるInternet Archiveについて語りましょう
Internet Archive
ttp://www.archive.org/index.php

インターネット・アーカイブ - Wikipedia
ttp://ja.wikipedia.org/wiki/InternetArchive
　　------------------


Ｑ.Internet Explorerで日本語などの2byte言語のページのWeb Archiveキャッシュを見ようとしても
真っ白なページ＆文字化けが起きる＆極端に重いなどの症状が出てしまう

Ａ.[表示]もしくは右クリック→[エンコード]→[日本語(自動選択)]やその言語の文字コードに則したものをクリック


Ｑ.Web Archiveでダウンロードしたzipなどが開けない＆CRCが違うと表示される

Ａ.よくWeb Archiveは1byte欠けを起こすのでバイナリエディタなどで該当ファイルを開き、
16進数の最後の末尾に「00」を付加すると正常なファイルになることがあります。
　
0006名無しさん＠お腹いっぱい。
垢版 |
2016/10/01(土) 15:05:09.01
乙
0007名無しさん＠お腹いっぱい。
垢版 |
2016/10/04(火) 06:16:20.88
浮上
0008名無しさん＠お腹いっぱい。
垢版 |
2016/10/04(火) 15:20:50.65
スレ保全
0009名無しさん＠お腹いっぱい。
垢版 |
2016/10/08(土) 19:41:25.44
これでインフォシークの消えたページ見る方法ないの？
0010名無しさん＠お腹いっぱい。
垢版 |
2016/10/09(日) 06:07:06.45
Internet archiveでYoutubeの動画をダウンロードするのに簡単な方法は何かありますか？
0011名無しさん＠お腹いっぱい。
垢版 |
2016/10/09(日) 06:45:07.16
>>9
インフォシーク自身はロボット除けの robots.txt を置いたり
コンテンツを Internet Archive からごっそり削除させたりということは
やっていないので、アーカイブさえ残っていれば問題なく見られます。
0014名無しさん＠お腹いっぱい。
垢版 |
2016/10/17(月) 12:49:50.07
Youtubeとかrobots.txtで保存できないサイトは、
Archive.is→ウェブ魚拓と経由させると保存できるよ
これ結構やってる豆知識
0015名無しさん＠お腹いっぱい。
垢版 |
2016/11/30(水) 18:35:43.93
robots.txtで

Disallow: /
Allow: /nullpo/

とかアロウ指定されてても効いてなくて一括ではじかれるやつが痛い
0017名無しさん＠お腹いっぱい。
垢版 |
2016/12/01(木) 19:00:58.64
サービス終了したniftyの保存し忘れてたサイトをInternet archiveで
サルベージしようと思ったのに出来るサイトとできないサイトがあるんだな
homepage2.nifty.comはThis URL has been excluded from the Wayback Machine.が出て全くダメで
homepage3.nifty.comはいけた これ2の方はアーカイブされてないってことか
データベース系サイトの消失が勿体無い
0021名無しさん＠お腹いっぱい。
垢版 |
2016/12/13(火) 17:26:17.11
前は500billionページ超えてた気がするけど保存ページへってない？
自分が以前保存させたのも今見てみたら保存できてないし
0023名無しさん＠お腹いっぱい。
垢版 |
2016/12/17(土) 04:17:40.90
>>21
ttp://web.archive.org/web/20161015012725/archive.org/web/web.php
510 billion web pages saved over time.

これが最高値かな。10 日後には半減してる。
0029名無しさん＠お腹いっぱい。
垢版 |
2016/12/26(月) 23:21:17.03
今Chromeでアクセスして過去ページ見るとどこを見てもファビコンが「あたまにきた」になるんだけど俺だけ？
0035名無しさん＠お腹いっぱい。
垢版 |
2017/01/12(木) 22:29:14.71
単語で検索できたら最高なのにな
URLが分からなきゃせっかく保存されてる過去の遺産も永遠に見れないままとか糞
0041名無しさん＠お腹いっぱい。
垢版 |
2017/02/11(土) 23:37:08.87
あちらの時間で9日に取得してアーカイブ成功したときの表示になった62ページのうち
20ちょっとが失敗してることを今確認してて気付いた
使ってた端末とかの環境も取得対象にしたドメインも分散してるからあちらの問題ぽい
そのあたりに取った人は成功してるかチェックしたほうがいいかも
0043名無しさん＠お腹いっぱい。
垢版 |
2017/02/12(日) 22:39:45.19
http://page.freett.com/brave_heart/atm_inspire/
こっちのサイトのFlashを見ようと思って、最近の日時のやつだと表示されないから古い日時のやつ見ようと思ったら勝手にinfoseekのトップに飛ばされてしまう…
飛ばされないようにすることとか出来ぬのか
(ブラウザはedge、chrome、Firefox)
0044名無しさん＠お腹いっぱい。
垢版 |
2017/02/12(日) 23:27:33.37
見てみたけどInfoseekトップじゃなくてhttp://binyudaisuki.hp.infoseek.co.jp/に飛ばそうとしてる(そしてinfoseek側がトップにリダイレクトしてる)。
Flashのことは知らないけど、他サイト(この場合web.archive.org)からの再生を検出してそこに飛ばす、みたいなのが組み込まれてるんじゃないの？
0045名無しさん＠お腹いっぱい。
垢版 |
2017/02/17(金) 00:42:15.71
バイナリエディッタって復元したい画像があるんですが、やってくれる神様いますか？
潰れた撮影会系サイトのアーカイブデータなんですが、一連の画像のうち、ほぼ半分が割れて開けません
（わいせつ性もジポ性も皆無のピチピチという言葉にハマらないクソつまらない画像だというのは一連の画像なのでわかります。）
0047名無しさん＠お腹いっぱい。
垢版 |
2017/04/02(日) 01:20:23.71
最近robot.txtで弾かれるの増えたな
ついったの動画とかみんなどうやって補完するんだろう

>>29
ここのファビコンはしょっちゅう化ける　原因は不明だが
最近自分が見たサイトのものと入れ替わることが多い
archive自体のファビコンはちゃんとあるのにな
0056名無しさん＠お腹いっぱい。
垢版 |
2017/04/17(月) 14:46:28.12
自分のサイトが中途半端にアーカイブされていて恥ずかしかったから
なんちゃらtxt入れたら過去の分もアクセスできなくなったがそれじゃないのか
0058名無しさん＠お腹いっぱい。
垢版 |
2017/04/18(火) 22:12:00.90
なんか数日前から突然ツイッターとか他のサイトも色々robot.txtが云々で保存できなくなってて絶望してたんだけど、みんなもそうだったのか
色々なサイトが仕様変更したんじゃなくてInternetArchiveの方が何か改悪したのか？
0064名無しさん＠お腹いっぱい。
垢版 |
2017/04/19(水) 11:06:54.58
firefox10で表示できなくなった。
それとは別に、robots.txtのせいで表示できないサイトがあるのって全体的にそうなの？
0066名無しさん＠お腹いっぱい。
垢版 |
2017/04/21(金) 00:53:19.35
フレームの件はサイト名がタブに出るから直る可能性があるけど
biglobe系のサイトが全滅?してしまったのが痛すぎる
0071名無しさん＠お腹いっぱい。
垢版 |
2017/04/25(火) 09:40:01.45
いわゆる機種依存文字だけが化けるという問題なら
2014 年 7 月にすでに始まっているはず。

自称 Shift_JIS の Windows-31J な文書も、あくまで厳密に Shift_JIS として
UTF-8 への変換を掛けてしまってるんだよね。
0075名無しさん＠お腹いっぱい。
垢版 |
2017/04/25(火) 21:37:43.40
フレームのページは見れるようになったが、通常は上に表示される棒グラフが出ないな。
フレームじゃないページでも棒グラフのところが真っ白になるのもある。
0077名無しさん＠お腹いっぱい。
垢版 |
2017/04/26(水) 22:19:13.11
>>73
ハーメルンも
0078名無しさん＠お腹いっぱい。
垢版 |
2017/04/27(木) 04:07:25.92
>>74
推測だけど、レンタルサーバーに自分のページを作って削除報告→ドメインごと見れなくなるだと思われ
0080名無しさん＠お腹いっぱい。
垢版 |
2017/04/27(木) 13:31:04.19
古いサイトの魚拓をとる場合はGoogleキャッシュ→archive_isが文字化けしないから確実だと思う
0082名無しさん＠お腹いっぱい。
垢版 |
2017/04/27(木) 13:57:40.78
IAも誰かが削除依頼すればドメインごと見れなくなるという欠点あるからなぁ
ドメイン（サブ含む）保有者ならrobot.txtを設置するだけで見れなくすることができるし
0085名無しさん＠お腹いっぱい。
垢版 |
2017/04/28(金) 22:16:54.34
最近旧operaだとうまく機能しなくなったからおかしいと思ったら他のブラウザもそうなのか
アドレスが文字化けしたりカレンダー画面出せなくなったり
JS切ると1つだけ検索出てくる(たくさん登録されてても)
システム戻してほしい
0087名無しさん＠お腹いっぱい。
垢版 |
2017/04/30(日) 22:51:56.31
本当に前と比べてかなりのサイトが魚拓できなくなってるし表示もおかしいし今までの魚拓も大部分見れなくなってるしでイライラする
0088名無しさん＠お腹いっぱい。
垢版 |
2017/05/05(金) 10:09:28.44
もうダメだこのサイト使い物にならん…
0089名無しさん＠お腹いっぱい。
垢版 |
2017/05/05(金) 10:23:10.93
Bummer
Hrm
robot.txt
こればっかりで今ネットの9割以上のサイトがこれで全く保存も閲覧もできなくなってる感じなんだけど？
InternetArchiveはネットの保存収集あきらめたの？バカなの？
0091名無しさん＠お腹いっぱい。
垢版 |
2017/05/07(日) 19:41:05.12
あるサイト(ジオ)で10あるサイト内リンクのうち6つが「7d6 0」としか表示されないんだけど、
これって何でか分かりますか？
他4つは正常に表示されるんですが……
0092名無しさん＠お腹いっぱい。
垢版 |
2017/05/10(水) 16:29:22.43
「HTML はアーカイブされているけど、そこで使われている画像はアーカイブ無し」
という状況のとき、その画像について以前は /save/ の URL にリダイレクトして
オリジナルサーバへ読みに行かせていたのが、ただ 404 を返すだけに変わった。
0093名無しさん＠お腹いっぱい。
垢版 |
2017/05/10(水) 16:47:46.15
>>89
Sorry. This URL has been excluded from the Wayback Machine.
これが抜けてる
009694
垢版 |
2017/05/18(木) 08:40:15.31
え？
もしかしてfirefox10が悪いの？
つい先日まで使えてたのに。
0097名無しさん＠お腹いっぱい。
垢版 |
2017/05/18(木) 19:48:20.59
収得ページの上に表示されるグラフやら時間移動の左右矢印やら消えてるのはIA側の不具合ですか？
一番新しい登録から移動できないのは不便。ブラウザ変えてもダメ
0099名無しさん＠お腹いっぱい。
垢版 |
2017/05/19(金) 05:37:34.37
古いブラウザでは動作しなくなっていますね。
Firefox 13.0.1 ttp://i.imgur.com/D8ugVF8.png
Firefox 14.0.1 ttp://i.imgur.com/3VhIJse.png
Firefox 21.0 ttp://i.imgur.com/OqutIJD.png
Firefox 22.0 ttp://i.imgur.com/GFL3Imq.png

14.0.1 ～ 21.0 ではカレンダーは一応表示されるのですが、
日付が縦に並び、下の月の数字と重なってしまうので使い物になりません。
0100名無しさん＠お腹いっぱい。
垢版 |
2017/05/19(金) 08:08:36.19
>>82
そのうち全サイトがrobots.txtかexcludedで見れなくなりそう
010299
垢版 |
2017/05/19(金) 10:55:43.46
>>101
PortableApps.com のポータブル版ですよ。
Windows XP 自体も仮想環境でして、この仮想マシンを複数用意して
素の Firefox の各バージョンを個別にインストールしたとしても、
レンダリングに関しては有意な差は出ないと思います。
010599
垢版 |
2017/05/21(日) 11:18:43.39
Windows 2000 SP4 + Opera 12.02 だとカレンダーは出るのですが、
日付が縦一列になってしまいますね。
素の Windows 2000 ではこの辺が限界でしょうか。
ttp://i.imgur.com/QxJpn2k.png

こっちは魔改造版 Windows 2000 (^_^;)
ttp://i.imgur.com/WTJsWcj.png
0110名無しさん＠お腹いっぱい。
垢版 |
2017/06/04(日) 05:17:07.49
今まで自分の日記ブログを生きた証としてしこしこ魚拓し続けてきて
たとえサービス終了してもIAの中には残り続けるだろうと思ってたのに
突然robot.txtにより禁止で今まで保存してきた魚拓もすべて見れなくなった
自分のしてきた事は何の意味も無かった結局何も残らないんだと思うととても虚しい…何なんこの仕打ちは
0111名無しさん＠お腹いっぱい。
垢版 |
2017/06/04(日) 08:48:06.37
イミフ
他人じゃなく自身がアカウント管理してるブログなんだから
公開/非公開の設定問わずいつの記事でも閲覧や編集できるじゃん

別業者の類似サービスへ引っ越しとかも自由だし
なによりオフラインで読み返せるダイアリーとして綴っていくっていう
他者が提供してるのに乗っかるより手近な途があるのに
0112名無しさん＠お腹いっぱい。
垢版 |
2017/06/04(日) 21:42:34.02
いずれにせよブログサービスが終了しドメインが解放されたときには不死鳥のように蘇ることになるであろう
0113名無しさん＠お腹いっぱい。
垢版 |
2017/06/05(月) 11:13:16.50
>>110
人ん家で遊んでるだけなのに何を勝手なこと言ってるんだ?
そこまでやりたかったら持ち家買えよ。

ユーザ用の空間をディレクトリ形式 (blog.example.com/user/) で提供している所は
robots.txt から見れば「管理権無しの借家人」だからしゃーないわな。
0114名無しさん＠お腹いっぱい。
垢版 |
2017/06/07(水) 10:41:31.93
1月ごろまではフル取得できてたサイズのフォトギャラリー的なページが
最近取るとところどころ歯抜けになる
pngやjpgの個別アーカイブめんどいが取れるだけ良いか
0115名無しさん＠お腹いっぱい。
垢版 |
2017/06/10(土) 04:54:34.00
今やったらrobotで魚拓できなくなってたサイトがまたできるようになってる！嬉しい！
0116名無しさん＠お腹いっぱい。
垢版 |
2017/06/10(土) 10:24:53.43
自身のブログなんかIAでとってるやついるんだね
すごいキモい
こいつの事なんて他者はぜんぜん興味ないってのに
大仰にも「生きた証」とか・・・病的な自意識過剰やばい
危険人物
0121名無しさん＠お腹いっぱい。
垢版 |
2017/06/10(土) 18:59:22.23
うん、何を残してもいいと思うけど
突っ込むならば
大事な物をいつまでも残しておく手段にIAを使う
という所では^_^;
0122名無しさん＠お腹いっぱい。
垢版 |
2017/06/11(日) 01:17:03.81
自殺配信して死んだだるまが生きた証と言って残したブログも速攻で消されたけど誰かがIAに保存してたおかげで読めたな
0124名無しさん＠お腹いっぱい。
垢版 |
2017/06/11(日) 06:23:44.63
amebloをIAで開くと、トップページはアーカイブされているけど、
月別や個々のURLを入れるとアーカイブされていないことが多い。
まあ、amebloに限った話じゃないが。
0126名無しさん＠お腹いっぱい。
垢版 |
2017/07/07(金) 22:15:10.17
>>125
普通に有り得る例としては、そのサイトに直リン除けが掛けられていて
画像向けのリファラーのチェックが行われていたとか。
0128名無しさん＠お腹いっぱい。
垢版 |
2017/07/12(水) 16:31:21.72
伺かの小鳩とクロver1.0の2003年のファイル落としたら
中に2007年と2008年と2015年の日付のファイルが入ってた謎
0131名無しさん＠お腹いっぱい。
垢版 |
2017/07/12(水) 22:43:57.30
何か意味あるのかな。
ブログでトップに表示させるために2050年とかの記事があるようなものだったりするの？
0134名無しさん＠お腹いっぱい。
垢版 |
2017/07/18(火) 05:49:05.50
これ、もうすぐ完全にダメになりそうだ
0137名無しさん＠お腹いっぱい。
垢版 |
2017/07/28(金) 11:48:29.31
過去の保存アーカイブの大半が死んでる。検索機能も駄目だし…

ミラー鯖は若干は検索機能でヒットするがやはりあるはずアーカイブにはエラーなのかたどりつけない。
0138名無しさん＠お腹いっぱい。
垢版 |
2017/07/28(金) 17:22:45.77
アーカイブ済ページから未アーカイブページへのリンク踏むと
前はsave this url画面になったのに
こないだから404になっていちいちボックスにurl入れなきゃなので面倒
0139名無しさん＠お腹いっぱい。
垢版 |
2017/07/28(金) 19:23:03.47
とうとうミラーのtopまで落ちた…
0142名無しさん＠お腹いっぱい。
垢版 |
2017/07/31(月) 03:28:01.11
情報求めて初めて来たが、こんな板あったのか……
繋がらないのは俺だけじゃなかったんだな……
ここ使えないとマジで困りますよ……
0145名無しさん＠お腹いっぱい。
垢版 |
2017/08/04(金) 20:16:57.48
昨日から久しぶりに使ってたんだが、全然つながらなくなったので調べてたが
ずっと調子悪かったのか
便利なんだけどな
0146名無しさん＠お腹いっぱい。
垢版 |
2017/08/05(土) 11:39:53.24
日刊ス○ーツ公式
記事に関して新しいものが取得できなくなってる！？

2～3日前までに取った記事は表示できるんだが

魚拓で取得不可能になったから（トップページは除く）
ここが使えないと何気に困る
0149名無しさん＠お腹いっぱい。
垢版 |
2017/08/16(水) 00:08:42.74
日付が変わって昨日になるが、18時ごろから1時間くらい、
タイムアウトとか言って、使い物にならなかった。

この時間帯で1時間も使えなかったのって、ほんと酷だわ…。
0155名無しさん＠お腹いっぱい。
垢版 |
2017/09/01(金) 10:16:43.71
>>153だけど、きのう書いたように仕様変更と思いきや
以前と同じく404吐くのに戻っていた

ちなみに昨日取得したページは、某著名人のブログ2017.8.29夕方アップ記事
きょう取得したのは、昨日と同アカのブログ内の昨晩アップ記事
0157名無しさん＠お腹いっぱい。
垢版 |
2017/09/01(金) 21:02:34.83
> IA内に履歴ないURL踏ん
でみたけど
クリックと同時に"Saving page now..."になるページと404のワンクッションおくページとが混在。
中の人らがどこをどういじってるのか知らんが当分は不安定な状態が続きそう。
まーどうにかこうにか取得できてるんでありがたくフリー利用させてもらいまふ
0158名無しさん＠お腹いっぱい。
垢版 |
2017/09/02(土) 01:51:59.68
一昨日（８月３１日）、「Wayback Exception」という表示が何度も出て、
サイトの取得を妨げていたんだけど、見られた方はいますか？

「Exception」は“例外”という意味らしいけど、毎日のように取ってるサイトで
このような現象が起きたので驚いてる。

因みに昨日（９月１日）は逆に、その表示を一切見ていない。
0160名無しさん＠お腹いっぱい。
垢版 |
2017/09/03(日) 10:40:23.83
>>159
そう、確かにその表示なのだが、

＞どうして例外が発生したのか見てないの?

そこまでは見ていない、というよりも分からない。

何しろ、普段から取得している複数の新聞社のニュースサイトを
取る作業をしていた際に、この現象が起きたから。
どうにも原因が思いつかない。
0161名無しさん＠お腹いっぱい。
垢版 |
2017/09/04(月) 21:57:17.78
Shift_JIS が宣言されていても Windows-31J として処理しくれるような
融通は利かせてくれないものだろうか。
http://web.archive.org/web/1/mevius.2ch.net/test/read.cgi/esite/1475246713/161

①②③④⑤⑥⑦⑧⑨⑩⑪⑫⑬⑭⑮⑯⑰⑱⑲⑳ⅠⅡⅢⅣⅤⅥⅦⅧⅨⅩ㍉㌔
㌢㍍㌘㌧㌃㌶㍑㍗㌍㌦㌣㌫㍊㌻㎜㎝㎞㎎㎏㏄㎡㍻〝〟№㏍℡㊤㊥㊦㊧㊨
㈱㈲㈹㍾㍽㍼∮這�
ⅰⅱⅲⅳⅴⅵⅶⅷⅸⅹ￤＇＂纊褜鍈銈蓜俉炻昱棈鋹曻彅丨仡仼伀伃伹佖
侒侊侚侔俍偀倢俿倞偆偰偂傔僴僘兊兤冝冾凬刕劜劦勀勛匀匇匤卲厓厲叝
﨎咜咊咩哿喆坙坥垬埈埇﨏塚增墲夋奓奛奝奣妤妺孖寀甯寘寬尞岦岺峵崧
嵓﨑嵂嵭嶸嶹巐弡弴彧德忞恝悅悊惞惕愠惲愑愷愰憘戓抦揵摠撝擎敎昀昕
昻昉昮昞昤晥晗晙晴晳暙暠暲暿曺朎朗杦枻桒柀栁桄棏﨓楨﨔榘槢樰橫橆
橳橾櫢櫤毖氿汜沆汯泚洄涇浯
涖涬淏淸淲淼渹湜渧渼溿澈澵濵瀅瀇瀨炅炫焏焄煜煆煇凞燁燾犱犾猤猪獷
玽珉珖珣珒琇珵琦琪琩琮瑢璉璟甁畯皂皜皞皛皦益睆劯砡硎硤硺礰礼神祥
禔福禛竑竧靖竫箞精絈絜綷綠緖繒罇羡羽茁荢荿菇菶葈蒴蕓蕙蕫﨟薰蘒﨡
蠇裵訒訷詹誧誾諟諸諶譓譿賰賴贒赶﨣軏﨤逸遧郞都鄕鄧釚釗釞釭釮釤釥
鈆鈐鈊鈺鉀鈼鉎鉙鉑鈹鉧銧鉷鉸鋧鋗鋙鋐﨧鋕鋠鋓錥錡鋻﨨錞鋿錝錂鍰鍗
鎤鏆鏞鏸鐱鑅鑈閒隆﨩隝隯霳霻靃靍靏靑靕顗顥飯飼餧館馞驎髙
髜魵魲鮏鮱鮻鰀鵰鵫鶴鸙黑
0163名無しさん＠お腹いっぱい。
垢版 |
2017/09/07(木) 00:12:02.88
>>161 は (0x8794) が 這 (0x9487) に化けてるけど、これは 2ch 側の問題だな。
具体的には、 の文字の 1 個以上の連続のうち、先頭バイトだけが
なぜか HTML 上では脱落する。
専ブラで dat を直接読んでいれば脱落は起こらない。

バイト列で表現するとこんな感じ。
41 41 87 94 87 94 87 94 87 94 41 41 (AA這這這尿A)
↓
41 41 -- 94 87 94 87 94 87 94 41 41 (AA這這這尿A)
http://web.archive.org/web/1/mevius.2ch.net/test/read.cgi/esite/1475246713/163

算術記号の ではなくて、ギリシャ文字の Σ (0x83B0) だと起こらない。
0167名無しさん＠お腹いっぱい。
垢版 |
2017/09/16(土) 18:16:34.78
悪いひとたちがやって来て
みんなを殺した

理由なんて簡単さ
そこに弱いひとたちがいたから

女達は犯され
老人と子供は燃やされた

悪いひとたちはその土地に
家を建てて子供を生んだ

そして街ができ
悪いひとたちの子孫は増え続けた


朝鮮進駐軍 関東大震災 日本人大虐殺
https://goo.gl/1ntWvZ
https://youtu.be/D0vgxFC04JQ
https://goo.gl/h1o4eV
https://www.youtube.com/watch?v=sYsrzIjKJBc
https://goo.gl/FTqHJ1
0168名無しさん＠お腹いっぱい。
垢版 |
2017/09/20(水) 14:00:49.17
こういうのもちゃんと読んで反応してるんだろうか
問答無用で弾いてるような印象があるが
http://yahoo-mbga.jp/robots.txt
0169名無しさん＠お腹いっぱい。
垢版 |
2017/09/20(水) 14:03:00.66
User-Agent: *
Disallow: /

もうこれだけ読んでやめてる気がしてならない
0170名無しさん＠お腹いっぱい。
垢版 |
2017/09/20(水) 19:07:51.75
10分くらい前から使えなくなってる
何が起きた
0172名無しさん＠お腹いっぱい。
垢版 |
2017/09/20(水) 19:12:57.86
一応戻ったが、何でまた急に…
0174名無しさん＠お腹いっぱい。
垢版 |
2017/09/20(水) 19:23:19.47
今落ちてないかい？
ついに…
0175名無しさん＠お腹いっぱい。
垢版 |
2017/09/20(水) 19:26:13.63
うむ、まただ

メンテの予告はないよね？
0178名無しさん＠お腹いっぱい。
垢版 |
2017/09/20(水) 19:31:33.35
もう、急に何ヒス起こしてるんだよ…
0179名無しさん＠お腹いっぱい。
垢版 |
2017/09/20(水) 19:38:10.25
>>168
問答無用も何も、その robots.txt を規則通りに解釈したら
Internet Archive (ia_archiver) の場合は全拒否になるのだが。

| User-Agent: ia_archiver
| Disallow: /

この少し後ろに "User-Agent: *" で始まるグループがあるが、
上の "User-Agent: ia_archiver" を優先するため無視される。

| User-Agent: *
| Disallow: /
| Allow: /sitemap
| Allow: /$
| ...

仮に上の "User-Agent: ia_archiver" とその次の行が無かったとしても、
Internet Archive は Allow 命令には対応していない。
つまり、"User-Agent: *" とその次の Disallow 命令だけが解釈されて、
どっちみち全拒否となる。
0180名無しさん＠お腹いっぱい。
垢版 |
2017/09/20(水) 20:39:47.04
何度かYahooスポーツの世話になっていたが、久しぶりに古いページを
見ようとしたらデータが取れなくなってるな。
0182名無しさん＠お腹いっぱい。
垢版 |
2017/09/27(水) 06:43:46.15
Saving page now...が消えたと思いきやまた表示され
Saving page now...が今度こそ消えたと思いきやまた表示され
Saving page now...が（ｒｙ
この自動ループに陥って結局手動で停止させるんだが
後から確認してみると取れてるのと取れてないのが2:1ぐらい
めんどくせ
0185名無しさん＠お腹いっぱい。
垢版 |
2017/10/02(月) 11:53:53.32
画像が全然保存できてないな

下手するとさっき保存したものよりも同じページの2009年くらいのスナップショットのほうがたくさん画像が見れたりする
0186名無しさん＠お腹いっぱい。
垢版 |
2017/10/02(月) 19:51:18.22
>>184
Bummerが3～4回繰り返されるので
既に根気もくそも無くなってるわ

特に19時台が酷い気がするけど
単に気のせいかな
0190名無しさん＠お腹いっぱい。
垢版 |
2017/10/04(水) 20:16:52.84
URL検索機能が相変わらず死んだまんまや…
0198名無しさん＠お腹いっぱい。
垢版 |
2017/10/26(木) 00:50:42.39
悪いひとたちがやって来て
みんなを殺した

理由なんて簡単さ
そこに弱いひとたちがいたから

女達は犯され
老人と子供は燃やされた

悪いひとたちはその土地に
家を建てて子供を生んだ

そして街ができ
悪いひとたちの子孫は増え続けた


朝鮮進駐軍 関東大震災 日本人大虐殺
https://goo.gl/FTqHJ1
https://goo.gl/1ntWvZ
https://youtu.be/D0vgxFC04JQ
https://goo.gl/h1o4eV
https://www.youtube.com/watch?v=sYsrzIjKJBc
0201名無しさん＠お腹いっぱい。
垢版 |
2017/11/24(金) 13:46:14.14
アーカイヴされたことないページへのリンク踏んだら
久々に404にならず"Save this url in the Wayback Machine"が現れてクリック取得ができた
これ常時できてたのって夏休み前だったから感動すら覚える
0206名無しさん＠お腹いっぱい。
垢版 |
2017/12/17(日) 18:45:14.54
ちくしょ完全にダウンしやがった、、
0207名無しさん＠お腹いっぱい。
垢版 |
2017/12/17(日) 18:55:40.85
2h前にあった現地の停電の影響
さすがに回避不能だしイラついてもしょうがない
大人しく復旧を待とう
0212名無しさん＠お腹いっぱい。
垢版 |
2018/01/04(木) 15:44:23.36
>>211
取得しようとしたら、一旦反応はあるものの、
なぜか取得する前段階の画面に戻ってしまっていたな。

結局、1月1日は終始そんな状態だったが、
1日中使えなかったのはあまりに痛すぎる。
0213名無しさん＠お腹いっぱい。
垢版 |
2018/01/04(木) 20:29:56.52
去年10月の第一週に取得しといたのが半分ぐらい駄目になってる
重要だと思うページは取れてるか確認してみたほうがいい
0214名無しさん＠お腹いっぱい。
垢版 |
2018/01/04(木) 21:15:03.46
>>213
2015 年よりスクリプトで毎日一回ずつ保存させているものがあるんだけど、
昨年 10 月は第一週に限らずポツポツと抜けている。
URL は公開したくないのでスクショでご勘弁。
ttp://i.imgur.com/4qDvnsI.png
ttp://i.imgur.com/l0lfBpa.png
ttp://i.imgur.com/ZKixGUA.png
0217214
垢版 |
2018/01/04(木) 22:01:04.72
>>215
403 ページが繰り返し記録されているので Internet Archive の問題ではない。

ちなみにスクリプトは /save/ にリクエストを投げてから、リダイレクトを処理して
最終的に 200 番か 504 番の応答が返ってくれば保存できたと判断、
それ以外なら計 10 回まで試行するように組んである。
ログは取っていないので、保存できなかった日にどういう応答が
返ってきていたのかは判らない。
0219名無しさん＠お腹いっぱい。
垢版 |
2018/01/04(木) 23:15:25.28
>>214
スクリプトを作成する技術があるのなら、アーカイブするよりも
そのページを直接ハードディスクにhtml（またはmhtml）で保存
するほうが確実ではないのか？
0220214
垢版 |
2018/01/05(金) 03:49:29.13
以下長文失礼。

>>219
いわゆる「証拠保全」の目的で、ブログなどを保存させることもあるでしょう・・・。

>>216
こちらでは Windows Scripting Host 用のスクリプトを JScript で書き、
それを Windows のタスクスケジューラで実行させている。
以下、Internet Archive へ仕掛けるアクセスの内容と、HTTP の応答コードの扱いについて簡単に。

1) 保存させたい URL の前に https://web.archive.org/save/ を付けて、
その URL 向けに HEAD リクエストを投げさせる。
2) 300 番台の応答 (リダイレクト) が返って来た場合、順次追跡して HEAD リクエストを投げさせる。
これは、使用する API によっては特に記述せずとも勝手にやってくれる。
3) 最終的に 200 番の応答が返ってくれば、たぶん保存できている。

保存成否は HTTP の応答コードだけでほぼ判定できる。
コンテントボディは不要なので HEAD メソッドを使っているが、
HEAD を扱えない環境なら GET メソッドでも問題無い。

数百メガバイトの巨大ファイルを保存させようとした場合など、
オリジンサーバから Internet Archive への転送に時間が掛かってしまうと
途中でタイムアウトとなり、504 番の応答が返ってきてしまう。
スクリプトを汎用とする (URL を別途パラメータとして与える) のであれば、
これも一応「保存できた」として扱った方が無難。
504 でも保存がキャンセルされる訳では無いようで、
これをエラーとして扱い再試行させてしまったがために
巨大ファイルを短い間隔で重複して保存させてしまったことがある。
0221216
垢版 |
2018/01/05(金) 20:15:59.49
>>220
ご丁寧にご解説ありがとうございましたm(__)m

定期保存の方法は大体理解できたのですが
当方JScriptに詳しくないのでスクリプトの具体的な書き方がわかりません(ノД`)・゜・。

ご無理は承知しておりますが
Pastebin.comなどにスクリプトのサンプルを貼って頂けると有り難いのですが・・・
ぜひとも後学の為によろしくお願い致します。（o_ _)ｏ））
0224名無しさん＠お腹いっぱい。
垢版 |
2018/01/06(土) 17:38:17.30
時間の流れ方は人それぞれだし、顔文字とか個性があるのは別にいいんじゃない
Internet Archiveに関するスクリプトなら満更スレ違いとも言えないだろうし
Pastebin指定している所見ると、極力スレに迷惑かからないように考慮しているみたいだし
大体このスレ、1年過ぎても1スレの1/5くらいも消費してないくらい話題ないんだから
多少のスレ違いは問題ないっしょ
0225名無しさん＠お腹いっぱい。
垢版 |
2018/01/06(土) 19:40:14.08
＞スクリプトの具体的な書き方がわかりません(ノД`)・゜・。

から判るのは"参考"までに問うてみるなんてレベルには
背伸びしても達しない現状を隠しつつ>>216を書き
レスが来たと見るやベース丸コピの勢いで乞食メンタリティを現す
呆れた自己中ｸﾚｸﾚ厨という事実
0226216
垢版 |
2018/01/06(土) 22:55:52.85
私のせいでスレが荒れてしまってすみません(>_<)
すべて無知で乞食で心が貧しかった私のせいです。。。
気分を害された方々、本当に申し訳ありませんでしたm(__)m
0229名無しさん＠お腹いっぱい。
垢版 |
2018/01/12(金) 22:39:58.08
今さっきからメンテナンスに入った
今日は夕方あたりから「５０３」乱発だったから仕方ないか…

というか昨日・一昨日あたり消えてるっぽいものもあるのだが
0231名無しさん＠お腹いっぱい。
垢版 |
2018/01/13(土) 08:32:56.05
ありゃりゃ
0232名無しさん＠お腹いっぱい。
垢版 |
2018/02/27(火) 05:25:01.33
過去に取得されてるURLを現在の表示内容に更新する為に再度保存するにはどこのボタンを押せばいいんですか？
0234名無しさん＠お腹いっぱい。
垢版 |
2018/02/27(火) 08:43:21.75
☆ 日本の、改憲を行いましょう。現在、衆議員と参議院の
両院で、改憲議員が３分の２を超えております。
『憲法改正国民投票法』、でググってみてください。国会の発議は
すでに可能です。平和は勝ち取るものです。お願い致します。☆☆
0238名無しさん＠お腹いっぱい。
垢版 |
2018/03/05(月) 18:14:49.67
去年保存されてしばらくは完全に保存されてたページが
いつの間にかそのページの画像の大半が失われてた
0239名無しさん＠お腹いっぱい。
垢版 |
2018/03/07(水) 22:29:59.08
This URL has been excluded from the Wayback Machine.
なサイトが復活した事例ってある？
BIGLOBEの例とか見るに必ずしも運営者が手を回したわけじゃないようだし、問い合わせたら復活したりするんじゃないかと思ったんだが
0240名無しさん＠お腹いっぱい。
垢版 |
2018/03/12(月) 00:57:39.67
Archive.is で Facebook のアーカイブが取れなくなっている。

Archive.is のクローラは Facebook 上では登録ユーザとして振舞っていて、
パブリックでは無いコンテンツのアーカイブも取れるようになっているのだが
そこで使われていたアカウントがブロックされたっぽい。
ttp://Archive.is/TT0nA
Masha とか Nathan とか、過去にアカウント名が変わったことが何回かあるので
今回が初めてでは無いのかも。

>>239
聞いたことが無いですね・・・。
0241名無しさん＠お腹いっぱい。
垢版 |
2018/04/17(火) 11:35:00.65
今日深夜ずっと繋がらないんだけど何かあった？
0242名無しさん＠お腹いっぱい。
垢版 |
2018/04/20(金) 09:29:40.69
Archive.isはweb.archive.orgと違ってソース見るとリンクが別の文字列に置き換わるんだな
だから記録したリンクのアドレスをソースで調べようとしてもわからない
リンクアドレスが直接サイト上にすべて表示してあるなら大丈夫だけど
web.archive.orgtが禁止してるサイトを記録できるのはありがたいが中途半端
0243名無しさん＠お腹いっぱい。
垢版 |
2018/04/23(月) 22:52:27.15
悪いひとたちがやって来て
みんなを殺した

理由なんて簡単さ
そこに弱いひとたちがいたから

女達は犯され
老人と子供は燃やされた

悪いひとたちはその土地に
家を建てて子供を生んだ

そして街ができ
悪いひとたちの子孫は増え続けた


朝鮮進駐軍 関東大震災 日本人10万人大虐殺

https://youtu.be/iBIA45CrE30
https://youtu.be/D0vgxFC04JQ
https://www.youtube.com/watch?v=sYsrzIjKJBc
https://www.youtube.com/watch?v=SiHp41uWo1I
https://www.youtube.com/watch?v=zYBCTRryFP8
https://youtu.be/-wF31xbwqPM
0246名無しさん＠お腹いっぱい。
垢版 |
2018/05/31(木) 08:55:50.66
別のところで耳にしたので本当かどうかわかりませんが
webarchiveを用いて消えてしまったリンク
例えばhttp://www.chinpoppo.ne.jp/images/xxxx.jpg
が昔あったが現在images以下が表のページからのリンクが消されたとして（サーバー内には存在するる）
その画像一覧をWebarchiveを用いると現在のページからも落とせると聞いたが本当でしょうか？
もし可能ならその方法を，またWebarchiveを用いないで出来る方法があれば教えてください
スレ違いならこの質問に適したスレを教えてください
0247名無しさん＠お腹いっぱい。
垢版 |
2018/05/31(木) 10:37:12.73
>>246
日本語でおk。

「Wayback Machine に保存されているファイルの一覧」は出力できても、
「元サーバには置いてあっても Wayback Machine では保存しなかったファイルの一覧」なんか
出力できるわけ無いわ。
0249名無しさん＠お腹いっぱい。
垢版 |
2018/06/01(金) 09:35:59.56
>>247
ありがとうございました
0250名無しさん＠お腹いっぱい。
垢版 |
2018/06/23(土) 22:07:00.35
このアーカイブてデータをSSDに全部入れ替えたら
アクセスすごい速くなるんだろうな、金額や手間を
考えたら途方もない話だろうけど
0251名無しさん＠お腹いっぱい。
垢版 |
2018/06/24(日) 21:17:52.37
ストレージの速度も大事なんだろうけれど
データベース系はメモリが足らないとダメなんだろうなって気がする
それこそカネがかかる話だけれどもね
0252名無しさん＠お腹いっぱい。
垢版 |
2018/07/05(木) 01:48:27.48
ここ数日 /save/ で保存を試みても失敗することが多くなった。
数回ないし十数回リロードすれば通るけど、本当に鬱陶しい。
0253名無しさん＠お腹いっぱい。
垢版 |
2018/07/07(土) 04:58:10.52
>>252
右に同じ。

しかも、
＞数回ないし十数回リロードすれば通るけど

これがまた結構時間をロスする。
意外とこのサイトの重要性は高まっているので、
ここが機能しなかったら本当に困る。
0254名無しさん＠お腹いっぱい。
垢版 |
2018/07/07(土) 05:50:54.11
というか基本的な話だが、
同じサイトを複数回取る場合（頻繁にトップページが変わる、新聞社の公式とか）、
Internet Archiveは『１０分程度』、間（あいだ）を置かなきゃダメなんだよね。

「Wayback Exception」でタイムロスがあっては尚更困るんだが。
0256名無しさん＠お腹いっぱい。
垢版 |
2018/07/07(土) 15:39:37.64
もちろん他のところも利用してるけど、
1日20回限定だったり、サイトの方から拒否しちゃったりでねえ…

それにしてはここ数日、
ＩnternetArchiveにアクセスが集中しすぎているのか？
0259名無しさん＠お腹いっぱい。
垢版 |
2018/07/07(土) 19:14:44.12
午後から本当に「Sorry」ばかりでガチで不調

一時期のウェブ魚拓もそうだったが
不可解な画像を多量にアーカイブするような
平たく言えば「荒らし」が出てきてるのか？
0262名無しさん＠お腹いっぱい。
垢版 |
2018/07/12(木) 17:50:11.87
保守
0264名無しさん＠お腹いっぱい。
垢版 |
2018/07/24(火) 06:42:47.65
これが無くなるとかなり困るな
0266名無しさん＠お腹いっぱい。
垢版 |
2018/07/25(水) 10:07:04.60
いっそグーグルが買収してその脅威のメカニズムで
ウェイバックをワード検索できたり、負荷を軽くしたりプログラムを再構成してくれないかな
0267名無しさん＠お腹いっぱい。
垢版 |
2018/07/25(水) 10:39:55.70
>>266
「他人の著作物を勝手に保存してそのまま勝手に再公開する」という
インターネット・アーカイブがやっている行為について訴訟が起こされたけど、
非営利組織であることが米国著作権法のフェアユース規定を適用できるかどうかの
鍵となっていたはず。
買収で営利組織の傘下に入ると、おそらくそこが崩れて
保管されているアーカイブの殆どが違法コピーに成り下がる。
0268名無しさん＠お腹いっぱい。
垢版 |
2018/07/29(日) 21:16:40.87
ひ
0276名無しさん＠お腹いっぱい。
垢版 |
2018/10/02(火) 18:31:41.89
頼れるのがInternet Archiveしかいない…！
0277名無しさん＠お腹いっぱい。
垢版 |
2018/10/02(火) 21:28:33.03
ジオシティーズ消滅でだいぶ貴重なデータが失われるな
黒歴史サイトが消える～って喜んでるのも居るがそんなもんより損失が大きいのが
アーカイブされりゃいいけどニフティなんかアーカイブで見れないサイト多い惨状
他では誰も扱っていないすんげーマニアックなデータを蓄積したサイトとか 勿体無い
0281279
垢版 |
2018/10/11(木) 02:20:55.03
>>279 の件は直ったようだ。
0284名無しさん＠お腹いっぱい。
垢版 |
2018/10/21(日) 11:22:22.45
全ページ検索はまだ？
でもモラル上厳しいか
0286名無しさん＠お腹いっぱい。
垢版 |
2018/10/21(日) 18:07:24.21
ジオシティーズ削除までに出来る限りアーカイブしとかんとなあ
アーカイブされてそうで意外とされてなかったりする＞ジオ
0290名無しさん＠お腹いっぱい。
垢版 |
2018/10/22(月) 12:41:35.09
実質、魚拓やArchive isと比べたら、アーカイブサイトでは一番順調なところなのに。
何で数日前以降のものが消えるかね！？

管理者は気がついてるのか！？
0291214
垢版 |
2018/10/22(月) 12:43:48.87
>>288-289
ウチはどうだろう、と思って見てみたら・・・今月 6 日以降の分が全く保存されていない。
ttp://i.imgur.com/cEWjNjz.png
どうも原因はサーバ不調とは別のよう。参考にならず申し訳ない。

>>220 で紹介した手順のまま何も変えていないのだが、明らかにおかしいので
通信内容を追ってみたところ、こちらが送った HEAD リクエストに対して 404 応答を返している。
試しに GET リクエストに切り替えてみると、きちんと 200 応答が返る。多分保存できている。
(以前は途中でリダイレクトがあったはずだが・・・どうだったっけ?)
おそらく仕様が変更されて、HEAD リクエストは使えなくなった、という事だと思う。

以下余談。
>>214 の 3 つのスクショと同じ URL、同じ年のカレンダーを再度見てみた。
ttp://i.imgur.com/71H5nOH.png
ttp://i.imgur.com/8aO7RgA.png
ttp://i.imgur.com/dUdgy82.png
>>214 の時点では歯抜けになっていた 10 月分が、かなり埋まっている。
0295名無しさん＠お腹いっぱい。
垢版 |
2018/10/23(火) 18:24:41.33
ここ数日はりきってgeocitiesのアーカイブ保存してたのに消えてるじゃん...最悪
非表示じゃなくてアーカイブごと消滅したってこと？あまり詳しくないからわからんが
0298名無しさん＠お腹いっぱい。
垢版 |
2018/10/26(金) 07:00:40.48
どうやら復旧した模様 過去の分も含めてリンクが表示されるようになった
どこかにアナウンスとか上がっているだろうか？
0301名無しさん＠お腹いっぱい。
垢版 |
2018/11/01(木) 01:59:51.46
ジオ全盛の頃って累積アクセス数でキリ番踏んだら報告するよう書いてる人結構いたなあ
報告めんどくて毎回スルーしてたら後で踏み逃げ常習者として晒されてたりした
懐かしくて確認してみたらアーカイブ取得されてて(ﾉ∀`)ｱﾁｬｰ
0304名無しさん＠お腹いっぱい。
垢版 |
2018/11/09(金) 09:26:29.80
ぺージを見すぎるとエラーになる？
0305名無しさん＠お腹いっぱい。
垢版 |
2018/11/09(金) 09:27:20.70
全ページ検索はまだ実現しないんですか？
0308名無しさん＠お腹いっぱい。
垢版 |
2018/11/09(金) 15:20:03.04
Wayback Machine does not have this page archived.
見たかったページさようなら
0309名無しさん＠お腹いっぱい。
垢版 |
2018/11/13(火) 10:50:38.41
また消えてるページがある！？

昨日（11月12日）頻繁に「再読み込み」を促す画面が何度も出ていたが…。
0311名無しさん＠お腹いっぱい。
垢版 |
2018/11/13(火) 20:29:41.27
最近、google chromeでアーカイブを見ようとすると
「The Wayback Machine is an initiative of the Internet Archive, a 501(c)(3) non-profit, building a digital library of Internet sites and other cultural artifacts in digital form.
Other projects include Open Library & archive-it.org.

Your use of the Wayback Machine is subject to the Internet Archive's Terms of Use.」
ってのが出てきて、先に進めない
別のブラウザだと普通に見えるのに
0315名無しさん＠お腹いっぱい。
垢版 |
2018/12/08(土) 10:29:30.08
あとAtwikiも魚拓とろうとするとスパム扱いされてできない
0321名無しさん＠お腹いっぱい。
垢版 |
2018/12/11(火) 19:58:30.15
ふむふむ
http://web.archive.org/web/20181211102115/www26.atwiki.jp/gcmatome/pages/1017.html
Mozilla/6.0 (Macintosh; Intel Mac OS X 10.13; rv:60.0) Gecko/20100101 Firefox/60.0

>>320
/save/ を叩いた時なんだけど、もし点数方式で判定するなら
◎ IP は archive.org の取得用サーバ群の中の何れか一つが使われる。
米国の IP であること、また名前に www が入っていることは加点対象になる可能性あり。
同じ IP からの繰り返しアクセスも加点対象になる可能性あり。
◎ User-Agent を含め、リクエストヘッダはクライアントのものがそのまま転送される。
古いブラウザを使っていると加点対象になる可能性あり。
◎ さらに Via: HTTP/1.0 web.archive.org (Wayback Save Page) が追加される。
これは間違いなく加点対象。

この辺が総合的に判断されて弾かれているのだろう。
保存に成功することもあるので、Wayback Machine だからと言って一律に判断しているのでは無いと思う。
0325名無しさん＠お腹いっぱい。
垢版 |
2018/12/13(木) 12:44:14.27
先週くらいから、上のほうに寄付金募集のバナーが出るようになったな。

しかもIEだと、右上の「×」をクリックしても、どうしたわけかバナーが消えない。

この募集は本気だな。
0334名無しさん＠お腹いっぱい。
垢版 |
2018/12/24(月) 16:33:59.12
221 名前：名無しさん＠お腹いっぱい。[] 投稿日：2018/12/22(土) 16:36:12.78

こういう海外サービスを発見した。
まだちょこっとしか試していないが。

Archive.st
https://archive.st

Time Travel
（ブラウザから「このサイトはやばいかもしれない」
という警告が出たが、おそるおそる行ってみると
特にまずいことはなかった）
http://timetravel.mementoweb.org
0337名無しさん＠お腹いっぱい。
垢版 |
2019/01/01(火) 06:17:17.53
12月30日に取った分が消えてる！？
0339名無しさん＠お腹いっぱい。
垢版 |
2019/01/02(水) 16:26:04.27
保守
0342名無しさん＠お腹いっぱい。
垢版 |
2019/01/03(木) 10:14:56.81
以前のいつかと同じく、18年12月29日深夜から現在に至るまで取得したアーカイブの消失が起きている
注意されたし
0343 ◆P0jSlC5fJs
垢版 |
2019/01/09(水) 13:23:55.37
名前上がらないけどWebrecorderとかInterPlanetary Waybackとか知ってる？
いいぞ～これ
0344名無しさん＠お腹いっぱい。
垢版 |
2019/01/09(水) 17:39:45.59
>>343

クラウド保存でなくローカル保存？
0346名無しさん＠お腹いっぱい。
垢版 |
2019/01/10(木) 15:23:06.86
>>343
使い方がよくわからん。
0347 ◆P0jSlC5fJs
垢版 |
2019/01/11(金) 00:33:29.73
Webrecorderは、Webページからwarcファイルを生成するWebアプリケーション
生成したwarcはコレクションに保存され、そのまま表示したり、
会員なら公開コレクションにすることでURLを貼って公開できる
+ New Sessionの隣の「…」から「Download Collection」でコレクション内のwarcファイルをダウンロードできる

warcファイルは魚拓の規格化された形式で、HTTPのステータスコードから画像や動画までそのページを表示するのに必要な情報を格納している
とりあえずwarcファイルさえあれば後からどうにでもなるから残したいサイトは今すぐcaptureしてこい

warcファイルを表示するには、「Webrecorder-player」というアプリが使える
またWebrecorderのコレクションにwarcファイルをアップロードして追加することも可能なので、そうやって表示や公開をしてもいい

InterPlanetary Waybackはもうちょっと高度な話で、IPFSと連携するためのものなんだけどこれは後でいい
0352名無しさん＠お腹いっぱい。
垢版 |
2019/01/15(火) 11:10:48.03
保守
0355214
垢版 |
2019/01/24(木) 03:33:30.27
>>214 と同じ URL の 2018 年カレンダーを貼ってみます。
10 月に連続して欠けているのは、Internet Archive の仕様変更に対し
こちらの対応が遅れた (>>291) ことが原因です。
ttp://i.imgur.com/aYSmomB.png
ttp://i.imgur.com/35RP1No.png
ttp://i.imgur.com/fRsG33D.png

こちらは URL を公開しちゃってもいいや。
この人の騒動について個人的に興味が無くなってきていること、
また別途取得させている個別エントリのアーカイブで十分なことから、いずれ止めるかもしれません。
ttp://web.archive.org/web/*/blog.goo.ne.jp/chimaki-1014
昨年 3 月以降、一日 2 回の取得に対し計 4 回のスナップショットが記録されているのは、
HTTP から HTTPS へのリダイレクトと HTTPS で取得したブログコンテンツが
それぞれ計上されているためかと思われます。
0357名無しさん＠お腹いっぱい。
垢版 |
2019/01/28(月) 07:20:53.88
NHKニュース公式のスクショが
ちゃんと保存されないポンコツびりには
あきれた
0358名無しさん＠お腹いっぱい。
垢版 |
2019/01/28(月) 07:22:08.67
×ポンコツびり
〇ポンコツぶり

あー本当に腹が立つ
0359名無しさん＠お腹いっぱい。
垢版 |
2019/01/29(火) 10:32:25.48
近々でNHK NE○S W○Bのトップページを
InternetArchive経由で魚拓を取った人は
一度確かめてほしい

なぜか画面が「本日現在」の状態になっているから

ウェブ魚拓ではMETAタグが引っかかって駄目
ArchiveTodayも変な画像（白地に黒文字の注意書き？のみ）
を結果として返してくるので駄目

まさか頼みの綱のInternetArchiveで大失敗するとは思わなんだ

どうしてもN○K NEWS ○EBのトップページを残したければ
画面を直に撮影するしか方法は無いようだ
0360名無しさん＠お腹いっぱい。
垢版 |
2019/01/29(火) 13:31:19.65
htmlに本文が入ってなくて、ajax的に別のファイルから読み込むやつはいかんな。
wixも同じ理由で保存されてない。
本文ファイルのキャッシュが残ってたとしても、それを読み込みに行ってくれないのよね
0361 ◆P0jSlC5fJs
垢版 |
2019/01/30(水) 15:31:24.94
で、それはwebrecorderでも保存できないのかい？
0362名無しさん＠お腹いっぱい。
垢版 |
2019/02/01(金) 19:43:12.41
>>361
使い方が分かりにくいな
記録（魚拓）は取れても
その取り出し方がいまいち分かり辛い

後日に取り出してその当時の状態を
再現できなければ意味がないし
0363名無しさん＠お腹いっぱい。
垢版 |
2019/02/02(土) 19:49:25.42
>>360-361
何で「NHK NE○S W○B」のトップページの話を出したかといえば
先週日曜（1月27日）にあった某「国民的」グループの活動休止発表からだった

この時「N○K NEWS ○EB」のトップページでは
最上部の「速報」・そのすぐ下の「JUST IN」・本記事と
同時に3つの見出しで「○活動休止」の文字が並ぶという
何とも稀な状態になっていた

そこでInternetArchiveでページの魚拓を取り
同時にIｒfanview経由でスクリーンショットを取った“はず”だったのだが
その画像を何らかの形で保存することをうっかり忘れてしまっていた

そして翌朝になってInternetArchiveを確認したら…
下のような状況になっていた
https://i.imgur.com/IBOpfrs.jpg

すなわち明けて1月28日になったが
前日27日に取ったものが表示されないという状態

一応は類似の画像を検索してみたがこんなのしか出なかった
https://pbs.twimg.com/media/Dx56MVSV4AEsqgB.jpg
0364363続き
垢版 |
2019/02/02(土) 19:50:59.02
そんなわけで試しに1月27日以前に取られたものも表示してみたが
結局どの日でも表示されるのは“作業当日”の画面だった

つまりは二重三重で痛恨のミスをやらかしたことになり
本当に今週はそれを引きずった…

このままでは何か癪に障るので
おまけを罪滅ぼしに置いておく

（1月31日）
https://i.imgur.com/E96yEeA.jpg
https://i.imgur.com/bCjdPXO.jpg
https://i.imgur.com/EAUNldo.jpg

（昨2月1日）
https://i.imgur.com/hpvfmr9.jpg
0366名無しさん＠お腹いっぱい。
垢版 |
2019/02/09(土) 01:56:12.20
時々出てくるこれ、具体的に何かやっているというより、
503 応答のエラーページがこのように書かれているだけとしか思えないんだけどなぁ。
0367名無しさん＠お腹いっぱい。
垢版 |
2019/02/09(土) 17:40:02.31
>>366
文字通りメンテナンス中と思わせるくらいに
数時間表示される場合もあれば…

この画面が出た後で再読み込みをしたら
すぐにトップ画面に戻る場合もある
0371名無しさん＠お腹いっぱい。
垢版 |
2019/02/21(木) 00:37:48.78
たしかに2/19にとったやつが消えてますね
前もこんなこと1週間くらい続いたけど戻ったときがあったので様子見ですかね
0373名無しさん＠お腹いっぱい。
垢版 |
2019/02/25(月) 18:11:13.56
アーカイブのサイトが何だかおかしいね

当サイトは昨日「Sorry,we are busy」なんていう
初めて見た表示が出た

ウェブ魚拓は今日の午前中重かった

Archive isは断続的にキレる

一体全体どうなってるのか
0379名無しさん＠お腹いっぱい。
垢版 |
2019/03/04(月) 13:45:25.05
Yahoo!ブログ消えるのにYahoo!系はなぜかInternet Archiveで保存しても全部トップページに転送されちゃうから保存できないんだよな…
0381名無しさん＠お腹いっぱい。
垢版 |
2019/03/16(土) 12:44:48.31
何だか重くなってるぞ
20分くらい前にはアクセス不能になっていたし
0393名無しさん＠お腹いっぱい。
垢版 |
2019/04/10(水) 18:40:23.58
>>392
そのブックマークレットを作った人間ではないけど、Wayback Machine初心者の自分に/web/2/が何なのか教えて下さい
あと保存回数の計上が増えると何か問題があるの？
0399214
垢版 |
2019/04/12(金) 15:44:18.86
>>398
っぽいですね。
https://i.imgur.com/gZyzB5u.png

ただ、アーカイビングとインデクシングはそれぞれ独立しているみたいなので、
後者だけでデータの欠落が発生しているという可能性もあると思います。
0403名無しさん＠お腹いっぱい。
垢版 |
2019/04/19(金) 08:25:11.36
全ページ内全文検索はまだ？

なんか問題でもあるのか？
0408名無しさん＠お腹いっぱい。
垢版 |
2019/04/25(木) 15:36:04.78
>>406
米国政府のサイトと米軍のサイト限定って書いてあるな
そこまで強調して書いてある訳ではないとは言えもうちょっと慎重に読もう
しかし、robots.txtが邪魔なら全サイトで無視しちゃば良いのにな
どうせ法的拘束力はないんだし
0412名無しさん＠お腹いっぱい。
垢版 |
2019/05/03(金) 15:57:31.30
数分前から「HTTP ERROR 400」と出て使えない
0413名無しさん＠お腹いっぱい。
垢版 |
2019/05/14(火) 05:19:52.89
手動で1ページ1カテゴリーづつ保存するの面倒くさいんですけど、
自動巡回で指定のサイトやブログをhttps://web.archive.org/に保存出来る方法なんて無いですよね？
毎日毎日徹夜で保存して疲れた…保存しても保存してもキリがない…
0414名無しさん＠お腹いっぱい。
垢版 |
2019/05/14(火) 12:56:17.84
>>413
＞毎日毎日徹夜で保存して疲れた…
＞保存しても保存してもキリがない…

アーカイブサイト全般のユーザーの
最大の悩みでもあるな

一度やり始めたら強迫観念が出てきて
毎日やらねばならなくなる

しかも誰もがやっているわけじゃなさそうだから
自分が休んでも他の人が補完してくれる保証はないしね
0415名無しさん＠お腹いっぱい。
垢版 |
2019/05/15(水) 02:06:18.98
やろうと思えばプログラム組んで出来るよ、ネット探せば色々見つかる
さっきWebアーカイブ総合スレに投稿されたやつを転載

0175 py ◆o3kzHb/in8w0 2019/05/14 19:06:58
https://u1.getuploader.com/irvn/download/1657
web2IAWBM.dms ver0.000.007　WayBackMachineに保存　(web.archive.org) 2019/05/14

web2IAWBM.dmsはIrvineとDorothy2を使ってInternet Archive WayBack Machineに自動登録(保存)するためのスクリプトです。
自動で全てのリンクをたどって保存してくれるはずです。
web2IAWBM.dmsは素人が作った物なので至らない点も多々ありますが、
一応使える水準になったと思われるので公開します。
無料のウィルススキャンはしましたが、念のためもう一度スキャンされることをお勧めします。
同梱のDorothy2(の一部)は別の方が作った物です。
■ Irvine初回起動前に必ず jwordフォルダを削除してください。■

動作試験環境：windows10pro　Irvine1.3.1
0416名無しさん＠お腹いっぱい。
垢版 |
2019/05/15(水) 02:09:48.66
IAヘビーユーザーが多いであろうここの住人なら、
自動化手段を発見済みかスクリプト自作してる人がいるだろうと思ってたが、案外そういう訳でもないのかな
0421名無しさん＠お腹いっぱい。
垢版 |
2019/05/26(日) 03:07:17.45
重宝していた攻略サイトが消えてしまった・・
アーカイブされていたのに何故？何が原因でまるごと
消えてしまったんだ？
0424名無しさん＠お腹いっぱい。
垢版 |
2019/05/31(金) 17:26:07.60
ベータ版の新しいSave Page Nowを使ってみたかったからユーザー登録してみた
思いのほかあっさり登録できて少し驚いた
0427名無しさん＠お腹いっぱい。
垢版 |
2019/06/08(土) 04:29:23.99
スマホからSave Page Nowを使ってTwitterをアーカイブしようとすると必ずエラーを吐いてくる
PCではそんなことになった経験がないんだけど何がおかしいんだろう

あと、これはスマホもPCも関係ないんだが、
Internet Archiveの場合ツイートがjsonと解釈さ
れてしまう場合が多い
Archive.todayやmegalodonは普通のHTMLコンテンツと解釈してくれるんだが、IAだと何でjsonになってしまうんだろう
0428名無しさん＠お腹いっぱい。
垢版 |
2019/06/25(火) 13:34:53.69
エラー入りました（この表示は初めてだ）

500 Internal Server Error
nginx/1.10.3 (Ubuntu)
0431名無しさん＠お腹いっぱい。
垢版 |
2019/06/25(火) 18:07:29.24
まだ駄目だね
0432名無しさん＠お腹いっぱい。
垢版 |
2019/06/25(火) 18:25:49.56
にしてもこうまで長時間の「メンテナンス」はいつ以来か
0442名無しさん＠お腹いっぱい。
垢版 |
2019/06/28(金) 20:13:41.33
>>424

> ベータ版の新しいSave Page Now


初耳
0443名無しさん＠お腹いっぱい。
垢版 |
2019/06/28(金) 20:25:37.04
あー、すまん。勘違いしていた。
0446名無しさん＠お腹いっぱい。
垢版 |
2019/07/13(土) 13:26:19.30
なんか保存済みページをIA開いて記事とかの2ページ目から3ページ目に移動しようとすると2ページ目に移動する(移動できてない)。
なんかちょっとおかしい。
0454鈴木喜三郎 ◆PEYInCbx5g
垢版 |
2019/07/23(火) 05:49:06.07
これarchive.vnだと保存できない奴も保存出来るから便利
0455名無しさん＠お腹いっぱい。
垢版 |
2019/07/23(火) 16:22:05.75
>>454

> これ


どれ？
0457名無しさん＠お腹いっぱい。
垢版 |
2019/07/23(火) 18:28:08.66
そうか
0460名無しさん＠お腹いっぱい。
垢版 |
2019/07/27(土) 17:52:51.11
https://web.archive.org/web/20190727084527/https://toyokeizai.net/articles/-/293979?page=2
東洋経済の記事で未保存記事を1ページ目を保存して、1ページ目のアーカイブから2ページ目のリンクを開くと
保存されていないから当然保存用のリンクが表示されるけど、2ページ目のアーカイブから3ページ目のリンクを
クリックすると2ページ目のアーカイブが再度表示される。
以前だったら連続で保存できたのにできなくなって直接SavePageNowに打ち込むしかなくなったっぽい。
0461名無しさん＠お腹いっぱい。
垢版 |
2019/07/27(土) 17:53:37.41
>>459
具体的にこれ>>460
0462459
垢版 |
2019/07/27(土) 18:55:41.10
https://toyokeizai.net/articles/-/293789
https://toyokeizai.net/articles/-/294305
この 2 つを Internet Archive の入力欄に突っ込んでやってみたけど、
どちらも先頭から最後のページまで、"This page is available on the web!" を経て保存できたけどなぁ。
https://web.archive.org/web/20190727093955/https://toyokeizai.net/articles/-/293789
https://web.archive.org/web/20190727094921/https://toyokeizai.net/articles/-/294305
どうもこちらでは現象が再現できない。
0463名無しさん＠お腹いっぱい。
垢版 |
2019/07/31(水) 16:56:51.69
>>462
もう一回試してみたけど、また同じ症状になった。page=2が再表示。駄目やん
Firefoxアプデ放置してたのが原因かと思って、他のタブ閉じたりしてしばらくたったところで
アプデ前にもう一回挑戦したら、何故かpage=3も保存できた。あれ？できた。どうなってるんだ？
0470名無しさん＠お腹いっぱい。
垢版 |
2019/08/10(土) 13:00:17.06
ひょっとしたら改悪が行われたか？

以前ならば、（うまく説明できないが）例えばニュースサイトならば、
本記事以外の近隣記事なり参照記事のURLをクリックすると、
取得前のものについては、新規の取得を促す画面が出ていた。

これが大量に記事を取りたい場合には、非常に助かっていたのだが…

ところが昨日からは、上記と同じ動作を行うと、そういう画面が出なくなった。
代わりに出てきたのがこれ↓
https://i.imgur.com/2mOTHmt.jpg

そのため、いちいち一つずつ「Save Page Now」の部分に
URLを打ち込んで、対処している状態だが…。
やっぱりどうにも面倒くさい。

「This page is not available on the web」「because of server error」
ということは、一部のサーバーが動いていないのが原因で、
それさえ治れば、先に触れた機能も復活するのか？

このままでは仕事量が多くなる一方だから、何とかしてほしいんだが。
0472471
垢版 |
2019/08/10(土) 17:16:33.62
因みに>>470とはメッセージが異なる。

「The Wayback Machine has not archived that URL.」

「This page is not available on the web」
「because request is invalid」
0473214
垢版 |
2019/08/10(土) 20:23:49.05
>>470
それ、起こるサイトでは以前から発生しているけどなぁ。

> そのため、いちいち一つずつ「Save Page Now」の部分に
> URLを打ち込んで、対処している状態だが…。

アドレスバーの /web/日付時刻数字/ を /save/ に変えるだけでは駄目なのか?
面倒なことには変わりは無いが。

せっかくブラウザにブックマークツールバーを出してるんだったら
強制保存させるブックマークレットを登録してしまえ。
ttps://pastebin.com/NA4c5krN
0475名無しさん＠お腹いっぱい。
垢版 |
2019/08/11(日) 16:13:46.46
>>473
＞それ、起こるサイトでは以前から発生しているけどなぁ。

東京スポーツの公式サイトのうち「バックナンバー（本日の紙面）」に関しては、
こうした現象を確認していたんだが 、本当にあるとすればそのくらいで、
いきなり対象となる範囲が広がってしまった印象。

＞アドレスバーの /web/日付時刻数字/ を /save/ に変えるだけでは駄目なのか?
＞面倒なことには変わりは無いが。

これを試してみたけど、幾分作業が楽になった。これ、しばらく続けてみます。
本当にありがとうございます。
0478名無しさん＠お腹いっぱい。
垢版 |
2019/08/17(土) 13:08:01.08
>>470に関しても、元に戻ったみたいだ（新規取得を促す画面が復活）。

とはいえ>>473最下段のブックマークレットは、使ってみたら
結構便利なので、しばらく併用ということで。


ところでchromeはともかくとして、先日からＩＥではかなり使い辛くなった。

保存の後、以前なら左上隅のロゴマークをクリックするとトップページに戻っていたのが、
なぜか違うページに飛ばされるようになった。
上方に四角形がいくつか並んでいるのと、小さな英文が表示されたページだが、
その四角形は関連サイトへのリンクらしく、左端の四角形をクリックすると、
やっとこさ当サイトのトップページに戻ることができた。

さらに言えば、「BROWSE　HISTORY」（過去の保存リストが表示される画面行き）が
ＩＥでは使えなくなってしまってる。
0479名無しさん＠お腹いっぱい。
垢版 |
2019/08/19(月) 18:42:22.44
IEだと使いづらいね。過去のキャプチャ一覧も見られなくなったし。
Microsoft Edgeなら問題なく見られるから今後はEdgeで見ようかな
0481214
垢版 |
2019/08/20(火) 00:08:02.41
>>480
元々そういう仕様。

/save/ を使って保存させたとき、ブラウザから Internet Archive へ送られた
リクエストヘッダ類 (俗に環境変数と呼ばれているやつ) は
一部の改変・追加のみで元サーバへ送られるので、
これを偽装することによって直リン回避は可能。
リファラーのみチェックしているサイトについては、やったことがある。

ただ、同一の URL について複数の日付のアーカイブが存在しているときに、
自分が /save/ したものだけ画像あり、他人が /save/ したものは画像無し、
ということになるのであまり実用性は無いと思う。
0483名無しさん＠お腹いっぱい。
垢版 |
2019/08/20(火) 04:09:28.55
Internet Archiveがどうかは分からないけど、最近のサイトは面倒なIE対応を放棄してるところも多いし、
悪いこと言わないからEdgeとかChromeとかFirefoxとかに乗り換えた方が良い
というかIAも長くてあと2,3年でIEじゃちゃんと見れなくなると思うぞ
0484名無しさん＠お腹いっぱい。
垢版 |
2019/08/20(火) 11:55:38.40
IEだとまったく使い物にならなくなっていたのか。
検索かけて原因見てもだれも指摘してないので調べたら、5ｃｈのこのスレでようやく原因判明

クローム使えってか。たしかにweb.archive.org/web/*/　の保存一覧がちゃんと出るようになった

見られないからwebarchiveに無駄に垢とっちゃったよ消したい・・・・
0486名無しさん＠お腹いっぱい。
垢版 |
2019/08/21(水) 01:38:06.53
IEは業務決め打ちシステム用が多くて下手に改変もできないが無視して捨てるわけにもいかないがんじがらめ状態なんだろうな
0489名無しさん＠お腹いっぱい。
垢版 |
2019/08/31(土) 13:23:41.39
429 Too Many Requests
You have sent too many requests in a given amount of time.

…ありゃスレもあがってないや
0491名無しさん＠お腹いっぱい。
垢版 |
2019/09/03(火) 17:20:01.26
ここ数日
すぐに結果が表示されずに
画面が真っ白になる現象が起きている

今のところ少し時間を置けば普通の状態になるので
使えはするが何だか謎
0493名無しさん＠お腹いっぱい。
垢版 |
2019/09/03(火) 23:53:16.60
>>488
スクショをJPEGで上げてる時点で程度が知れてる
0496名無しさん＠お腹いっぱい。
垢版 |
2019/09/06(金) 17:35:27.43
>>479
URL検索がずっと死んだままで特定サイトの年代別アーカイブが探りにくい

検索エンジンも昔はサクサクで一覧出てきたのが、何年か前にUIがリニュされてから、ずっと激重で不便極まりなかったけど…
0498名無しさん＠お腹いっぱい。
垢版 |
2019/09/07(土) 17:00:08.96
ピザ
0500名無しさん＠お腹いっぱい。
垢版 |
2019/09/09(月) 21:12:02.33
30分ほど前からサイトにつながらない
0501名無しさん＠お腹いっぱい。
垢版 |
2019/09/09(月) 21:26:42.32
こっちは普通に問題なく繋がってる
今もSave Page Nowでいくつか保存してきた
ベータ版SPNのSave outlinksってオプションを初めて使ってみたがめちゃくちゃ便利だな
0503名無しさん＠お腹いっぱい。
垢版 |
2019/09/10(火) 06:26:29.17
>>501

> ベータ版SPNのSave outlinksってオプション


知らない
0504名無しさん＠お腹いっぱい。
垢版 |
2019/09/10(火) 06:31:20.60
ベータ版SPNのSave outlinks　

いま試してみたが、ヤフーニュースはやっぱり魚拓とれなかった。
0507501
垢版 |
2019/09/10(火) 16:04:06.39
Save outlinksってのは、SPNに投げたURLのページに貼られてるリンク先も全て読み込んで保存してくれるオプション
さすがに無制限にリンクを辿る訳ではなくて1段階しか辿ってくれないけど、それでもかなり手間が省ける
遷移スクリプトの発火をキャンセルしてくれるような機能はおそらくないと思う
0509名無しさん＠お腹いっぱい。
垢版 |
2019/09/10(火) 17:21:54.72
>>506
>>504

今までインターネットアーカイブでヤフー関連のページの魚拓を
取ってもヤフートップに飛ばされた魚拓しか表示されなかったので
ここでは魚拓は取れないものと思っていたが、実は取れていたと知
恵袋に書いてあった。
http://superbabooooo.blog.jp/archives/27043737.html
0511名無しさん＠お腹いっぱい。
垢版 |
2019/09/10(火) 17:50:40.56
確か/web/1/が最古、/web/2が最新のアーカイブなんだよね
これ以外に隠しコマンドというか隠しエンドポイント的なURLはあるの？
0515214
垢版 |
2019/09/11(水) 13:00:53.66
>>514
/web/年/ とか /web/年月/ とかは、現在の UI が Beta から本導入となった時に廃止された。
今でもエラーとはならないものの、数字の意味する通りには動かなくなっている。

>>511
数字の後ろに付ける、コマンドみたいなものは前スレでほぼ挙がっているから、
いわゆる文字化け騒動以降のレスに一通り目を通しておくと良いと思う。
0517名無しさん＠お腹いっぱい。
垢版 |
2019/09/12(木) 03:00:49.41
>>515
情報ありがとう
主なものをまとめるとこんな感じだろうか、間違いや抜けがあったら教えてくれ
(全てhttps://example.comで利用可能なのは検証済み)
/save/：保存
/web/*/：アーカイブ一覧表示
/web/1/：最古のアーカイブ
/web/2/：最新のアーカイブ
/web/日付時刻数字fw_/：時系列・クローラー情報の非表示（文字コード変換あり）
/web/日付時刻数字id_/：アーカイブ時の生ファイル（文字コード変換なし、HTMLコード内のURLの置換も行われない）

こちらも参照のこと：https://en.wikipedia.org/wiki/Help:Using_the_Wayback_Machine#Specific_archive_copy
まだ情報を精査出来てないけどここも参考になりうるかも：https://github.com/iipc/openwayback/wiki
0518名無しさん＠お腹いっぱい。
垢版 |
2019/09/12(木) 03:03:53.26
新しいSPNのSave outlinksなどのオプションのオンオフ情報はやはりHTTPリクエストの中に含まれてるのかな
このオプションを使った/save/を自動化できたらいいんだが
0519名無しさん＠お腹いっぱい。
垢版 |
2019/09/12(木) 03:09:00.47
どうでもいいことだが、前スレに比べるとこのスレは書き込み数がだいぶ多いな
何かのきっかけで人口が増えたのかもな
0521名無しさん＠お腹いっぱい。
垢版 |
2019/09/12(木) 06:36:52.72
>>520

ヤフーブログやヤプログまで消滅するからな。
0522名無しさん＠お腹いっぱい。
垢版 |
2019/09/12(木) 11:08:25.50
>>510
ここ2～3日おかしいね。
使える時もあるけど、すぐに息切れするかのように
アクセス不可になってしまう。

瞬時に見出しや内容を変えかねないニュースサイトについては、
他が調子が悪かったり、動作のスピードがゆっくりになった分、
ここのサイトがぴったりになってるが、ここもダメになったら本当に痛い。
0523名無しさん＠お腹いっぱい。
垢版 |
2019/09/12(木) 19:20:26.85
魚拓界という言い方があるかは知らないが、
今年は受難の年だなあ。
0526名無しさん＠お腹いっぱい。
垢版 |
2019/09/13(金) 00:48:04.43
自分はいつアクセスしても特に何事もなく保存できているが、不安定で使えないという人もいるのか
回線か時間帯かマシンかブラウザかサイト特有の問題かはたまた別の何かか、何がおかしいんだろうな
0527名無しさん＠お腹いっぱい。
垢版 |
2019/09/13(金) 14:33:47.72
使っていくうちに後になって「アクセス不可」と返してきたり
昨日などは一日中動きが固くなった末やっと画面が変わったら「アクセス不可」
と本当に様々だが

自分にとっては必要なんだよ
誰も新聞社のニュースサイトなんて取ってねえから
環境によって使えませんという話なら誰か自分の代わりにやってほしいわ…
0535名無しさん＠お腹いっぱい。
垢版 |
2019/09/18(水) 00:05:26.20
>>534
まさに稀によくあるの好用例すぎるｗ
あの図解を思い出せる


●●●●●●●
●●●●●●●
●●●○○○○
○●●●●●●
●●●
0537名無しさん＠お腹いっぱい。
垢版 |
2019/09/21(土) 13:13:25.89
最近の人ってInternetArchiveって知ってるんだろうか
0539名無しさん＠お腹いっぱい。
垢版 |
2019/09/21(土) 23:54:10.27
知らない年長者も多く見かけるし、知ってて活用してる若者も多く見かける
老いも若きも関係なく、知ってる人は知ってるし知らない人は知らないんだと思う
0540名無しさん＠お腹いっぱい。
垢版 |
2019/09/23(月) 02:12:26.72
>>517
id_のコマンドを初めて知ったがすごく便利だなこれ、thx
0541名無しさん＠お腹いっぱい。
垢版 |
2019/09/24(火) 11:18:16.68
30分くらい前から、5chのスレッドや、imgurの画像が
ハネられるようになったな。

>>539
分かるなあ。
「魚拓を取る」という行為自体が、まだまだ一般的ではないんだよな。
0542名無しさん＠お腹いっぱい。
垢版 |
2019/09/24(火) 14:20:55.70
twitterとか見ると発言の証拠にスマホのスクショ使ってるのをよく見るよね
あんなんやろうと思えばいくらでもいじれるのに…
0544名無しさん＠お腹いっぱい。
垢版 |
2019/09/24(火) 15:42:33.91
>>543
アニメ板とかだとこだわるんだろうか
スクショの目的の多くは再現性では無いと思うから別にファイル形式はどうでもいいのでは
0546名無しさん＠お腹いっぱい。
垢版 |
2019/09/24(火) 19:07:47.61
>>541
>「魚拓を取る」という行為自体が、まだまだ一般的ではないんだよな。
同感だわ
過去の文書や書籍を将来のために保管するのが大事だって意識自体、日本では今ひとつ根付いてない
（どこかの地方図書館が入り切らない蔵書を焼却処分したという最近のニュースが好例）
昔からある紙の資料ですらそんな扱いなんだから、Webアーカイブを取るという意識が根付いているはずもないわな

それにしても、スクショのファイル形式がjpegだとなんか問題があるの？
確かにアニメのキャプとか高い画質が要求される種類の画像なら確かにダメだろうけど
0547名無しさん＠お腹いっぱい。
垢版 |
2019/09/25(水) 01:58:43.16
学校でweb魚拓の存在を解説するべきだと思うの
0550名無しさん＠お腹いっぱい。
垢版 |
2019/09/27(金) 16:39:51.22
既に重いんだから多少人が増えたってどうせ主観的な重さ具合は変わらんだろ
少しくらい重くてもアーカイブが増えた方がいい
0551名無しさん＠お腹いっぱい。
垢版 |
2019/09/28(土) 23:22:06.24
はじめまして。無知ですがすみません。

もう何日もこのインターネットアーカイブ（http://web.archive.org/）
どんなURLを入れても、何も出来ないです。
トップも前まであったURLいれる欄がなくなって（右上のsearchならある）、おかしな文出てるし。

↓トップはURLいれる欄がなくなり、こういう文だけ出てますが、英語わからないので日本語訳してもわけわかりません。


（The Wayback Machine is an initiative of the Internet Archive,a 501(c)(3) non-profit, building a digital library ofInternet sites and other cultural artifacts in digital form.
Other projects include Open Library & archive-it.org.
Your use of the Wayback Machine is subject to the Internet Archive's Terms of Use. ）


右上から何のURL検索してみても、日付のも出て来ずにこのトップ文のままです。


でもスマホからなら前みたいに普通に検索出来ることを、スマホからやって、たった今知りました。でもどうしてもパソコンから見たいので。


何日もパソコンからインターネットアーカイブ出来ないのですが、スマホからなら出来るので、
出来ないのはうちのパソコンからだけなのか気になってます。
これはどういうことなのかわかる方いらっしゃいませんか。無知なのですみません。
0555名無しさん＠お腹いっぱい。
垢版 |
2019/09/30(月) 17:16:34.34
【ヤフー】Yahoo!ブログ【アーカイブ】
http://mevius.5ch.net/test/read.cgi/blog/1554380939/l50/

74 Trackback(774) 2019/09/30(月) 17:07:59.58ID:th5gp/Yr
Internet ArchiveでYahooブログを保存すると遷移スクリプトが発火する話なんだけど、
web.archive.org/save のページから「Save outlinks」にチェックを入れて保存すると
どうもYahooのトップページに遷移されずにアーカイブできるみたいだ
さっき偶然発見して何回か試したけど今のところ全て上手く保存されてる
0556214
垢版 |
2019/09/30(月) 18:20:55.67
>>555
> Internet ArchiveでYahooブログを保存すると遷移スクリプトが発火する話なんだけど、

ニュースとか知恵袋は yjsecure.js が埋め込まれてるが
ブログも埋め込みあったっけ?
0558名無しさん＠お腹いっぱい。
垢版 |
2019/09/30(月) 22:23:16.38
>>556
ヤフーブログにもyjsecure.jsがあるかは分からない
でも以前web.archive.orgトップページのSPNフォームから保存した時は何回やってもリダイレクトされたよ
向こうのスレでもそれが問題になってたみたいだね

>>557
おそらくない
ただHTTPリクエストにsave outlinksが有効かどうか指定するオプションはあった（ブラウザの開発者機能で確認した）
何とも言えないけどsave outlinksで保存するスクリプトを組める可能性はあると思う
0559558
垢版 |
2019/09/30(月) 22:25:47.87
&#10005;何とも言えない
○断言はできない
0561558
垢版 |
2019/10/01(火) 01:08:39.74
少し実験して分かったこと
・少なくともYahooブログの場合、yjsecure.jsはモバイル版表示の時のみ発動する（と思われる）
・web.archive.orgトップページのSPNフォームをモバイル端末（スマホやタブレット）のブラウザから使うとモバイル版表示で保存される
・/save/のsave outlinksを使うと利用デバイスに関係なくデスクトップ表示で保存される（と思われる）
0562214
垢版 |
2019/10/01(火) 02:05:43.05
>>561
> ・少なくともYahooブログの場合、yjsecure.jsはモバイル版表示の時のみ発動する（と思われる）
あぁ、道理で見つからなかった訳だ・・・。

気になったので、診断くん http://taruo.net/e/ をアーカイブさせてみた。
http://web.archive.org/web/20190930162118/taruo.net/e/
HTTP_USER_AGENT の行に注目。多分これだなぁ。
通常の /save/ を使うと、操作を行ったブラウザ名がそのまま相手先へ送られる。
ところが件の新機能を使うと、別の名前が送られる模様。
Firefox を使ったのに、それが一切現れていない。

つまり、新機能を使うとブラウザ名が隠されるので、
モバイルブラウザ向けに特別な動作をするサーバであっても、それが行われない。
Yahoo! ブログの場合、yjsecure.js を含まないデスクトップ向けのコードが出力される。
こういうことではないかと。
技術的な説明は省略。
0565名無しさん＠お腹いっぱい。
垢版 |
2019/10/01(火) 16:16:15.14
楽天かどっかで「あなたが見ているドメインは楽天じゃないよ！」みたいなエラーは出たりするなあ。
何かの詐欺で部品だけ呼び出してつかわれたりすることがあるんだろうか。
0567名無しさん＠お腹いっぱい。
垢版 |
2019/10/03(木) 19:50:57.28
rom-setが何なのか検索しても今ひとつ分からなかったが、
もう販売されてない古いゲームのROMのことなら米国法のフェアユース規定で守られてるのではと予想
0569名無しさん＠お腹いっぱい。
垢版 |
2019/10/03(木) 21:48:36.34
>>568

> リロードすれば普通に取れるけど


なにげに気がつかなかったよｗ
0575名無しさん＠お腹いっぱい。
垢版 |
2019/10/06(日) 17:12:51.36
Too Many Requests
Please email info@archive.org if you have questions about why are you being blocked

…もう、冗談抜きでいい加減にしてほしいよ。
もはやここしか頼るところがない、といっても過言ではないのに。

で、上に掲げた文の下段は、どういう意味？
ブロックに関しての質問はこちらまで、というだけか？
0576名無しさん＠お腹いっぱい。
垢版 |
2019/10/06(日) 21:02:22.74
今のところToo Many Requestsで怒られた事ないんだが、どのくらいの頻度で何回くらいやると出てくるものなの？
0577名無しさん＠お腹いっぱい。
垢版 |
2019/10/06(日) 22:24:15.60
俺もToo Many Requests出るな
感覚としては3~5連続で取ると出る、が出ないときは出ない
単純にサーバー側の問題な気がする
0578214
垢版 |
2019/10/07(月) 21:48:35.31
>>577
> 感覚としては3~5連続で取ると出る、が出ないときは出ない

ベースとなる HTML だけでなく、個々のファイル単位ではどうでしょう。
HTML が保存できても、そこで使われている画像等を保存するために
副次的に発行される /save/ リクエストが Too Many Requests となってしまい、
結果としてそれらを取りこぼす、なんて事態が発生し始めたように思えます。

このエラーメッセージ、語順がちょっと変な上に文末のピリオドを忘れていて、
Internet Archive であまりこういう英文を見ることが無いので違和感がありますね。
0579名無しさん＠お腹いっぱい。
垢版 |
2019/10/08(火) 11:06:26.40
>>578
ごめん、個々のファイルまでは見てないから分からない
表示が出るようになったのは最近

語順に関しては、IAは割とそういう適当な所があるような気もするｗ
0580名無しさん＠お腹いっぱい。
垢版 |
2019/10/08(火) 15:56:29.37
この語順そんな変か？
ピリオドがないのも、この手のエラーメッセージの場合はそこそこあると思うけどな
0581名無しさん＠お腹いっぱい。
垢版 |
2019/10/09(水) 19:13:13.16
>>578
ということは、今後IAについても、
ウェブ魚拓に見られるような、
画像（写真など）の抜け落ちが出てきそうってこと？
何かそれも嫌だなあ
0582名無しさん＠お腹いっぱい。
垢版 |
2019/10/09(水) 19:41:48.03
Twitterの埋め込みがきちんと保存されないのが個人的に一番困ってるんだけど、この現象って以前からなんだろうか
0583名無しさん＠お腹いっぱい。
垢版 |
2019/10/10(木) 20:49:37.09
Save Page Nowの仕様変更をいくつか確認した
・web.archive.orgトップのSPNフォームで保存ボタンを押すと一旦/save/に誘導されるようになった
・/save/のオプションに「Save screen shot」が加わった
→有効にすると「/web/日付時刻数字/http://web.archive.org/screenshot/https://example.com」の形式でスクショ画像が保存される
→Save outlinksとの併用も可能だがリンク先のスクショは取得してくれないっぽい
0587名無しさん＠お腹いっぱい。
垢版 |
2019/10/11(金) 11:15:07.84
>>584
厳密にはちょっと違うかもしれない
Wayback Machineのスクリーンショット機能は単なる画像ファイルとして保存される
対してarchive.todayやウェブ魚拓は一応HTMLコンテンツとして保存するから、リンクなどは一応機能する
0588名無しさん＠お腹いっぱい。
垢版 |
2019/10/11(金) 11:25:19.46
>>586
おそらく違う
User Agentをめちゃくちゃな文字列にした上で、上の方で出てたプロキシ確認サイトをスマホのFirefoxからアーカイブしてみた
https://web.archive.org/web/20191011021858/http://taruo.net/e/
見れば分かるけど、使用したブラウザの情報がUAも含めて別の内容に置き換わってる
おそらくweb.archive.orgのサーバ側の情報なんだと思う
ヘッドレスブラウザか何かを使ってるのかも
0589名無しさん＠お腹いっぱい。
垢版 |
2019/10/11(金) 18:56:09.01
どういうことなの
0592名無しさん＠お腹いっぱい。
垢版 |
2019/10/11(金) 20:58:38.55
>>590
それは分かってるから大丈夫
でもInternet Archiveの方にはスクリーンショットと普通のアーカイブを簡単に切り替える機能がないっぽいからな
比較の対象にはならないような気もする
0593名無しさん＠お腹いっぱい。
垢版 |
2019/10/12(土) 01:10:01.25
所詮IAはアメリカ人様の物で日本人の物ではない。そこはわきまえるべき。
日本でも公正利用の概念を法律化するしかない。
0594名無しさん＠お腹いっぱい。
垢版 |
2019/10/12(土) 09:22:47.74
台風で軒並みあらゆる施設が臨時休業の最中だが、
うおーい、「Too Many Requests」に添付された文章が変わったぞ！
https://i.imgur.com/Cy8ibMt.jpg


Too Many Requests

We are limiting the number of URLs you can submit to be Archived to the Wayback Machine, using the Save Page Now features, to no more than 15 per minute.
If you submit more than that we will block Save Page Now requests from your IP number for one day.

Please feel free to write to us at info@archive.org if you have questions about this. Please include your IP address and any URLs in the email so we can provide you with better service.
0596名無しさん＠お腹いっぱい。
垢版 |
2019/10/12(土) 17:50:17.15
>>594
google翻訳　
> リクエストが多すぎる
>
> [今すぐページを保存]機能を使用して、Wayback Machineにアーカイブするために送信できるURLの数を1分あたり15個以下に制限しています。
> それ以上送信すると、(あなたの)IPアドレスからのSave Page Nowリクエストが1日間ブロックされます。
>
> これについて質問がある場合は、info @ archive.orgまでお気軽にご連絡ください。 より良いサービスを提供できるように、メールにIPアドレスとURLを含めてください。
「(あなたの)」だけ俺が付け足した
0597名無しさん＠お腹いっぱい。
垢版 |
2019/10/12(土) 19:59:49.32
各地域の避難情報を見れる自治体のURLがたまにしか見れないから
アーカイブ取って見ようと思ったがずっとbummer
0598名無しさん＠お腹いっぱい。
垢版 |
2019/10/12(土) 20:51:44.68
bummerってなんなん
0599名無しさん＠お腹いっぱい。
垢版 |
2019/10/12(土) 22:53:46.49
>>595
ベータ版としては割と前から実装されてたけど、つい数日前に正式版になった
色々オプションが付けられるようになったんよ
0601名無しさん＠お腹いっぱい。
垢版 |
2019/10/13(日) 12:38:24.44
>>596
下手したらブロックもされるのか。
急いで大量に取るのも難しくなるんだな。困ったなあ。

>>600
確かにそうだが、1日辺り60回までだからな。
どこも慎重にやらないと駄目か。
0602名無しさん＠お腹いっぱい。
垢版 |
2019/10/13(日) 15:44:29.87
InternetArchive側も限られた回線のリソースで全世界からのリクエストを受け付けないといけないんだから、多少のリミットは仕方ないよ
規模を考えると1分間に15個までならむしろ緩い方じゃないかな
0603名無しさん＠お腹いっぱい。
垢版 |
2019/10/13(日) 16:09:30.72
今日100リンクほど一気にsaveしたけど20近くは一度に保存されるしブロックもされなかったけどな
HTTPリクエストに直後POSTしてる訳じゃないからかもしれないが
0608名無しさん＠お腹いっぱい。
垢版 |
2019/10/14(月) 10:42:20.01
4秒に1個だから十分すぎるくらいだな
よほど大量のURLを数時間で処理したい場合ならもしかしたら足りないかもしれないけど、そんな状況はそうそうない
0609名無しさん＠お腹いっぱい。
垢版 |
2019/10/14(月) 10:59:14.84
>>608
＞よほど大量のURLを数時間で処理したい場合ならもしかしたら
＞足りないかもしれないけど、

…正直言って自分はそれなんだよなあ。
だってデイリースポーツの公式なんて、ひとつのカテゴリーでも
記事を続々上乗せしていくものだから、トップが馬鹿みたいにコロコロ変わっていくのよ。
だから目を放した隙に、取りたかった状態と、魚拓の結果が異なることが本当に多い。

しかも同じように記事を上乗せしていくのを、中日スポーツも
やり始めたんで、非常に今困ってる。
スポニチや日刊みたいに、記事は追加してもトップはしばらく変えない
くらいがいいのだけど。
0611名無しさん＠お腹いっぱい。
垢版 |
2019/10/14(月) 14:29:56.82
>>609
目指すところがよく分からないから的外れなこと言ってるかもしれないが、
定期的に更新をチェックして、以前の状態と変更があったら/save/を投げるようなスクリプト組んだら？
0612611
垢版 |
2019/10/15(火) 02:14:16.40
>>611
「的外れなこと言ってるかもしれない」ってのは
「定期的に更新をチェックして、以前の状態と変更があったら/save/を投げるようなスクリプト組んだら？」
というのがそちらにとっては的外れなコメントかもしれないって事ね
0614名無しさん＠お腹いっぱい。
垢版 |
2019/10/16(水) 01:14:03.99
通常時でも動作が不安定になることが少なくないから、新機能ということで余計に不安定さが増してるのかもな
念のために一応スクショを取得し直してみては
0616名無しさん＠お腹いっぱい。
垢版 |
2019/10/16(水) 16:05:11.45
また不調で全然取得出来ない・・・
日本からのアクセスだけ弾いてるとかないよね?
この手のアーカイブ取得しまくってるのは日本人多いからとかで
0618名無しさん＠お腹いっぱい。
垢版 |
2019/10/16(水) 21:33:46.55
・ブラウザが古い
・連投しすぎてて1日間のIPブロックを食らっている
・いつものシステム不調
好きな原因候補を選ぼう
0620214
垢版 |
2019/10/16(水) 23:47:39.24
>>612
皮肉だなぁ。

>>619
変換すべき URL が HTML 内部に大量にあるため異常と判断され、
結果としてインデックスから外されているとか、そういう予感。
元のソースを見るとスタイルシートが <style> 要素で挿入されていて、
その中にフォント等の外部参照が 1000 個以上ある。
0625名無しさん＠お腹いっぱい。
垢版 |
2019/10/17(木) 18:58:41.63
新しいSavePage、UserAgentが書き換わるせいかサイトのデフォルト言語が英語になってしまうな
まあ誰が取っても統一されるから良いといえば良いんだが
0628名無しさん＠お腹いっぱい。
垢版 |
2019/10/18(金) 09:24:59.82
昨日あたりからSave outlinksの調子もおかしいような
Save Page Nowフォームに投げたリンク元のURLのアーカイブは取れるけど、リンク先のは全然取れない
エラーも出ずにただワーキングカーソルが延々とぐるぐる回り続ける
回線速度やマシンスペックの問題ではないはずなんだけどな
数時間おきに間隔を空けて試してるが、やっぱり問題解消まで待つしかないのか
0629名無しさん＠お腹いっぱい。
垢版 |
2019/10/18(金) 10:08:22.49
根気よくリトライしてdoneになったページも半日おいて確認してみたらｽﾞｺｰってのが高頻度発生
徒労感はんぱないんで安定するまでしばしのお別れ
0631名無しさん＠お腹いっぱい。
垢版 |
2019/10/18(金) 17:14:03.81
数時間前のでもアーカイブ一覧を見ると全然残ってないのよね
いつか復活するだろうと取得し続けるけど精神的につらい
0635名無しさん＠お腹いっぱい。
垢版 |
2019/10/19(土) 00:20:52.13
あまりにもエラー連発するからステータスコード毎に適宜リトライするようなスクリプト書いてたら調子良い時期に突入したらしく確認がとれねえ
0641名無しさん＠お腹いっぱい。
垢版 |
2019/10/19(土) 07:42:23.08
殆どのサイトやページが何回登録押しても一発で簡単には？取れないようになってる
寄付集めて何改悪してんだよ
最悪だよ、これならスクショ取った方がマシだ
0642名無しさん＠お腹いっぱい。
垢版 |
2019/10/19(土) 08:33:50.57
>>636
そうです
つい先日変更されたばかり

>>637
ブラウザのURL入力バーにweb.archive.org/save/https://example.comと直打ちしたら自分も「Wayback Exception」になった
単なる不具合かもしれないが、もしかしたら/save/のページからの入力のみ受け付ける仕様変更になったのかもな

>>641
チェックボックスのオプションのことかな
あれ便利だから個人的には重宝してるんだけど人それぞれか
0643642
垢版 |
2019/10/19(土) 12:05:49.13
>>642
>直打ちしたら自分も「Wayback Exception」になった
今試したら問題なくsaveできた
やっぱり一時的な不具合だったみたいだ
0648名無しさん＠お腹いっぱい。
垢版 |
2019/10/21(月) 20:55:58.53
Bummer出現率はどうも環境や時間帯によって変わるっぽいからな
自分は体感で0.5~2%くらいだが、5割を越える人もいるらしい
0652名無しさん＠お腹いっぱい。
垢版 |
2019/10/23(水) 16:02:36.31
Wikipediaみたいなしつこい広告をされると却って寄付する気が失せるが、
Internet Archiveみたいに全く何も言ってこないと逆に心配になって寄付したくなってしまう
0653名無しさん＠お腹いっぱい。
垢版 |
2019/10/24(木) 12:46:11.33
Save outlinksで読み込んでくれるリンクは50個が限界みたい
外部リンクがいくつあろうと最大で50個しか読み込まれてない
まあ無尽蔵に外部リンクを辿ると大変なことになるから制限をかけるのは無理ないけどな
ただ読み込むリンクをどういう基準で選定しているのかが気になる、もしかしたらランダムなのかもしれない
0655名無しさん＠お腹いっぱい。
垢版 |
2019/10/25(金) 16:28:24.43
ブラウザの履歴消すとweb.archiveで取った筈の履歴がweb.archiveから消えてる事が多いんだけど、
どうしたらいいんでしょう…？
0657名無しさん＠お腹いっぱい。
垢版 |
2019/10/25(金) 20:44:45.21
100％それで消える事はない
多分、カレンダー経由かアーカイブURL直打ちかの違いだと思うけど（カレンダーは反映が遅い）
0658名無しさん＠お腹いっぱい。
垢版 |
2019/10/25(金) 23:04:26.68
確かに100%ありえないな
これまで見れてたアーカイブがブラウザの履歴を消した後見れなくなったって言いたいんだと解釈したけど、
そういうことならWayback側のシステム不具合と履歴消去のタイミングが偶然重なったんじゃないかな
0659名無しさん＠お腹いっぱい。
垢版 |
2019/10/26(土) 01:26:02.18
あれ強制セーブどうやんだっけ
/save/にアドレス入れたとたん保存済みの古いページに飛ぶから現時点のが保存できん
0660名無しさん＠お腹いっぱい。
垢版 |
2019/10/26(土) 20:17:47.54
>>659
それ保存されているはずでは？
アドレスの日時は今現在の時刻になっているはず。
ただし日本の時刻とはズレている
0662名無しさん＠お腹いっぱい。
垢版 |
2019/10/27(日) 19:18:43.25
.isが.phになった
0664名無しさん＠お腹いっぱい。
垢版 |
2019/10/27(日) 20:43:47.15
>>663

そうだ
0665214
垢版 |
2019/10/28(月) 21:12:51.70
18 日あたりからでしょうか、一部の古いブラウザへの対応が復活していますね。
全く使い物にならなくなっていた Internet Explorer 11 で
カレンダ画面が描画できていることを確認。
https://i.imgur.com/5XWVxdq.png
0667名無しさん＠お腹いっぱい。
垢版 |
2019/10/29(火) 00:40:26.39
Web開発やってるとIEはとにかく邪魔者でしかないんだけどな
個別対応とかが面倒だしセキュリティ上の懸念もある
IAもよくサポート復活したな、要望が多かったんだろうか
0671名無しさん＠お腹いっぱい。
垢版 |
2019/11/04(月) 19:47:08.99
あげとくよ
0673名無しさん＠お腹いっぱい。
垢版 |
2019/11/05(火) 12:28:57.16
URLの末尾が「?」だとアーカイブが取れないバグ無いか？
正確に言うと勝手に「?」が取られて意図しないページが取得される

例えば
example.com/test?
をアーカイブしようとしても
example.com/test
となってアーカイブできない

対策としては適当なクエリを付ければアーカイブできる。上の例なら
example.com/test?hoge
とすれば取れる、URLは変わるけど...

クエリの開始点と誤認識してるのかな？
0675名無しさん＠お腹いっぱい。
垢版 |
2019/11/05(火) 15:27:44.29
>>673

> URLの末尾が「?」


そんなサイトがあるのか。知らなかったのだ。
0685214
垢版 |
2019/11/07(木) 20:22:03.37
>>683
Edge なんかだと、location.href も document.URL も
decodeURI() された状態で入っていますからねぇ。
アドレスバーの中身をコピーした場合もまた然り。
https://ja.wikipedia.org/wiki/ソウナンですか%3F

まぁ同一ブラウザ内で単純に http://web.archive.org/save/ を頭に付けて
アドレスバーへ再投入するだけなら問題は起こらないとは思いますが。
0687名無しさん＠お腹いっぱい。
垢版 |
2019/11/08(金) 20:42:41.32
Wayback Machine
いつの間にかヤフーニュースのスクリーンショットを取れるように
なっていた。
これだとヤフーのトップページに遷移されることもない。
Save screen shot　　にチェックを入れてからクリック。
0689名無しさん＠お腹いっぱい。
垢版 |
2019/11/09(土) 19:10:59.19
何か「attention request」とか出る(´･ω･`)
0690名無しさん＠お腹いっぱい。
垢版 |
2019/11/10(日) 14:47:45.08
午後から503が頻発すると思ったら
いきなりメンテナンスに突入
0691名無しさん＠お腹いっぱい。
垢版 |
2019/11/10(日) 17:47:38.07
>>686
もし良かったら取得できたURLを張ってくれないか？
本当に取れてるなら悪いがマウント取りたいだけにしか見えなくてな

↓のカレンダーでは青丸になってるが取れてない（エンコード有り無し両方）
https://web.archive.org/web/*/https://ja.wikipedia.org/wiki/ソウナンですか%3F
0692214
垢版 |
2019/11/10(日) 19:24:48.83
個人的にまとめるとこんな感じかな。
末尾に ? (%3F) があると問題なのは間違いなさそう。

A) https://ja.wikipedia.org/wiki/%E3%82%BD%E3%82%A6%E3%83%8A%E3%83%B3%E3%81%A7%E3%81%99%E3%81%8B%3F
B) https://ja.wikipedia.org/wiki/%E3%82%BD%E3%82%A6%E3%83%8A%E3%83%B3%E3%81%A7%E3%81%99%E3%81%8B
A が本来の URL、B は間違い。

A は先頭に ～/save/ を付けた URL にアクセスすると
暫くの間ウィキペのコンテンツが表示されるので、それが保存できているとは思う。

A のアーカイブ一覧、現在 10 件。
http://web.archive.org/web/*/ja.wikipedia.org/wiki/%E3%82%BD%E3%82%A6%E3%83%8A%E3%83%B3%E3%81%A7%E3%81%99%E3%81%8B%3F
B のアーカイブ一覧、現在 2 件。
http://web.archive.org/web/*/ja.wikipedia.org/wiki/%E3%82%BD%E3%82%A6%E3%83%8A%E3%83%B3%E3%81%A7%E3%81%99%E3%81%8B
これらのカレンダ表示は、おそらく正しい値ではないかと思う。

ところが A の個別のアーカイブを開こうとすると、
なぜか B の個別のアーカイブにリダイレクトされてしまう。
0694名無しさん＠お腹いっぱい。
垢版 |
2019/11/11(月) 01:49:34.32
またなんか挙動がおかしいな
保存完了したから確認しようとすると「セーブしますか？」のページに飛ぶ
ドメインから引こうとしても1個もヒットしない
0695名無しさん＠お腹いっぱい。
垢版 |
2019/11/11(月) 19:47:40.14
>>690

メンテナンスは事前に予告してほしいよな
0696名無しさん＠お腹いっぱい。
垢版 |
2019/11/12(火) 00:42:02.53
アドレスの文字列にＮＧワードがあってublockが反応してるケースがあった
archive全体もスルーにしないとあかんかな
0700名無しさん＠お腹いっぱい。
垢版 |
2019/11/14(木) 14:43:21.45
？
ttps://i.imgur.com/nINvdBL.jpg
0701名無しさん＠お腹いっぱい。
垢版 |
2019/11/14(木) 18:02:27.39
正直日本ではこれ以上有名になって欲しくない
アーカイブの重要性が広まってない状態で有名になっても
アーカイブの削除や拒否だらけになる未来しかみえん
0703名無しさん＠お腹いっぱい。
垢版 |
2019/11/19(火) 14:18:01.39
>>701
国会図書館のアーカイブがもっと貪欲で解放的ならいいんだけど
0705名無しさん＠お腹いっぱい。
垢版 |
2019/11/19(火) 20:27:30.18
某所で炎上したとあるサイトの管理人がInternet Archiveに英語メール送って、証拠用にSavePageNowで取られたアーカイブを非表示にさせた事例は前に見たことがある
Archive.todayにもアーカイブ取ってる人がいたから証拠が消え失せることはなかったけど、Wayback Machineのアーカイブって結構危ういよね
0706名無しさん＠お腹いっぱい。
垢版 |
2019/11/19(火) 20:37:29.65
ちなみにそのサイトは炎上騒ぎの後ia_archiverを弾くようにrobots.txtを変更してたけど、
SPNではブラウザのUserAgentが用いられるのでSPNでアーカイブを取ること自体は今でも可能なまま
ただし取得しても"This URL has been excluded from the Wayback Machine."という例の表示が出て閲覧はできない
"
0709名無しさん＠お腹いっぱい。
垢版 |
2019/11/21(木) 18:41:47.05
outlinkが一覧の他のページも保存しちゃうから次のページのoutlink取得しようとしても10分以上待たなくてはならない。
取得直後のページは10分間保存なしにして、他のページだけ保存してくれればいいのに。
0710名無しさん＠お腹いっぱい。
垢版 |
2019/11/21(木) 20:46:01.10
>>709

> outlinkが一覧の他のページも保存しちゃうから次のページのoutlink取得しようとしても10分以上待たなくてはならない。


あー、そうなのか。それは知らなかった。
0712名無しさん＠お腹いっぱい。
垢版 |
2019/11/23(土) 14:33:03.22
先週辺りからまたおかしくなってるな。
新しく取得したものが、過去の一覧にすぐ反映されないとか。
または取得できたと思ったら、確認すたらまだ取得前の画面に戻っちゃったりとか。
0714名無しさん＠お腹いっぱい。
垢版 |
2019/11/24(日) 04:12:55.82
503が返ってくるようになったので、アク禁されたのかと思ったが、
TOP開いたらScheduled Maintenanceだった。永久アク禁されてなければいいけど。
0717名無しさん＠お腹いっぱい。
垢版 |
2019/11/24(日) 18:20:09.27
最近調子いいなぁと思ったら急に悪くなったりツンデレなのか？

>>715
今日はAPIにすら反映されてないから止めたほうが良さげ
0722名無しさん＠お腹いっぱい。
垢版 |
2019/11/25(月) 08:18:55.82
毎日取得されているurlのアーカイブ一覧でも23日の10:00(UTC)くらいからバタッと取得止まってるのな
週末に入ってるから復旧遅れてそう
0730名無しさん＠お腹いっぱい。
垢版 |
2019/11/27(水) 13:38:00.12
寄付しないと余計に酷くなるだろうし、財布に余裕が出来たら少し寄付しようかと思う
インターネットアーカイブが完全に使えなくなったら本当に困るし
0731名無しさん＠お腹いっぱい。
垢版 |
2019/11/27(水) 20:11:21.49
Twitter社が半年以上ツイートしてないアカウントを12月に削除するらしい
故人のアカウントも消えてしまうのかと問題になってるんだけど消えたら困る
とりあえず急いで特に大事なツイートはここに保存してるけど
0733名無しさん＠お腹いっぱい。
垢版 |
2019/11/27(水) 23:33:06.17
みんなが捨て垢やらサブ垢やら作りまくってるからサーバを圧迫してるんだろな
UserStreamを廃止したのも資金の問題があったみたいだし事情は分かるが、
にしてもログイン確認できなければ一括削除ってのは残酷すぎる気はするな
0734名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 01:48:23.89
半年ってなあ
逆にbot投稿ならこれに引っかからずに生き残るんだろうし
バランス悪い結末になりそうだ
0735名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 11:40:49.76
混乱と反対が大きかったためか、故人のアカウントをどうするか上手い方法が見つかるまで削除は当面延期するそうな
とりあえず余裕は出来たけど、Twitterのアーカイブという懸案事項もできたな
0736名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 15:06:24.40
archive.is 鯖臨終か(´･ω･｀)？

#192q…とか出る 👀
Rock54: Caution(BBR-MD5:1322b9cf791dd10729e510ca36a73322)
0738名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 16:00:47.27
ttps://news.livedoor.com/lite/article_detail/17447598/
0739名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 16:48:06.51
>>736-737
確かに保存はできるが、いかんせん待ち時間がクソ長過ぎる。

案の定、デイ○ースポーツの芸能カテゴリー取ったら、
待ち時間のあいだに記事が一つ追加されて、先にIAで取ったやつと比べて
「ズレ」が生じちゃったじゃないか…。魚拓を取るなら、全て同じ条件で取りたいのに。
0741名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 17:09:30.25
でも俺はやりたいんだよ。でもやるんだよ！文句あるか？

ただ、あそこはメンテナンスでもやったのか？
しぱらくデ○リースポーツの記事が、テキスト状態でしか取れなかったが、
今日取れたものは、以前と同じようにカラー・写真入りで取れてる。
0742名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 18:22:24.06
そこまでデイリースポーツの完全なるアーカイブに固執する理由が気になる
傍から見てると、こういう言い方も良くないが正直異常に見えてしまう
0743名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 18:39:07.23
それも固執している対象が個別の記事とかではなくて、
トップページとかカテゴリー別とかの一覧ページだからなｗｗｗ
0744名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 19:36:04.74
デイリースポーツのマニア　＝　熱狂的な阪神ファン
0745名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 19:54:18.49
>>146あたりが初出かな。
キーボードをバンバン叩いてアーカイブを取得する行為そのもので
アドレナリンがピュピュッと出ちゃう人なんだろうな。
本当に必要性を感じているなら、自動化とかもう少し別の方向を
考えてるだろ。二年間もの間、何やってたんだ。
0746名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 21:51:58.70
「自動化は信用ならない、自分の手でしっかりとアーカイブできたか確認したい」ということな分からないではないが、それにしても時間の無駄では？
0747名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 23:01:43.61
実際画像メインのサイトなのに画像が全く取れておらず
アーカイブ検索時の邪魔になってるだけのアホアーカイブもチラホラ見かけるんで
確実にってのはわからなくはない
0748名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 23:27:32.18
何？コレ
ttps://f.uploader.xzy.pw/eu-prd/upload/20191128232625_34756b6f49.png
0749名無しさん＠お腹いっぱい。
垢版 |
2019/11/28(木) 23:56:56.97
>>748
何年か前の閉鎖された海外ロダ群でコレよく見かけたな
先に読みづらい認証コードいれろってヤツ
0750214
垢版 |
2019/11/29(金) 12:25:26.34
Archive.is の待ち時間がクソ長過ぎるという話。

同サイトで定期的にアーカイブを取得させるスクリプトを走らせていますが、
1. 事前に http://Archive.is/ からトークンを取得。
2. ターゲット URL 等の情報を http://Archive.is/submit/ へ送信 (POST)。
3. 200 応答が返り、コンテントボディに loading.gif への参照が
含まれていればアーカイブ成功と判断し終了、あとは知らんぷり。
― 以上の手順で問題は起きていないですね。

取得開始からアーカイブ完了まで時間が掛かるのはあちら側のプロセスなので
仕方が無いとして、取得状況を羅列したページを繰り返し読ませるのは
人間向けのただの演出。

>>739
記事のリストはベースの HTML に含まれていて、アーカイブ時は一番最初に
保存されるファイルですから、待ち時間云々は無関係。
単にアーカイブを開始させるまでに時間が掛かってしまっただけ。

>>748
CloudFlare でホストされているサイトに Tor 経由でアクセスすると良く出ていましたね。
数ヶ月前にそれが突然出なくなってしまい、逆にこちらが「まさか生で繋がってる?」と
不安になったことがあります。
0751名無しさん＠お腹いっぱい。
垢版 |
2019/11/29(金) 13:07:14.17
214氏には各アーカイブサイトの自動化の知見についてブログかQiitaかどこかにぜひまとめて文章化して欲しい
需要はかなりあると思うんだが
0752名無しさん＠お腹いっぱい。
垢版 |
2019/11/29(金) 14:16:06.48
archive.is、内部リンクの置換が廃止された？
28日以降のアーカイブは元リンクに飛ぶ
0754名無しさん＠お腹いっぱい。
垢版 |
2019/11/29(金) 18:41:10.81
なんかアーカイブしたはずなのに検索にURL入れてもアーカイブされて無いって出るんだけど…
それでもう一度アーカイブすると初めてアーカイブした扱いになってて、検索でURL入れるとまた無いってなるんだけど…なにこれ
0755名無しさん＠お腹いっぱい。
垢版 |
2019/11/29(金) 21:43:52.53
もう一度やってみたらどうもアーカイブは一応とれてるみたいだけど
検索でURL入れても最近のアーカイブは結果に出てこなくなってるっぽい
0757名無しさん＠お腹いっぱい。
垢版 |
2019/11/29(金) 22:59:48.91
保存関連の処理とアーカイブのインデクシング・閲覧関連の処理は別々のプログラムが担ってるからな
今回は後者の部分が不安定になってるんだと思う
0762214
垢版 |
2019/12/01(日) 15:11:22.39
>>757
ファイルが Internet Archive に保存できているかどうかを確認するために
先頭に http://web.archive.org/web/2/～ を付けた URL でチェックするのですが、
/2/ を保存日時の数字に置き換えた URL へリダイレクトできているのに、
つまり当該日時のアーカイブが存在することが判っているのに、
そのリダイレクト先では Save Page Now (404 Not Found)。
ここ二週間ほど、こんなことが度々起きています。
つくづく「別プロセスなんだなぁ」と感じます。
0767名無しさん＠お腹いっぱい。
垢版 |
2019/12/01(日) 17:44:15.43
普通にワンクリックで取っていても「リダイレクトが繰り返し行われました」
「Cookie を消去してみてください」という表示が時々出るな.
0769名無しさん＠お腹いっぱい。
垢版 |
2019/12/01(日) 21:43:13.83
IAは「クッキーを食べないブラウザ」として動作するから
クッキーを食わせるために無限リダイレクトループ、
それがそっくりそのままアーカイブされてしまったんじゃないの？
0771名無しさん＠お腹いっぱい。
垢版 |
2019/12/02(月) 15:20:57.07
archive.is

robots.txtに従わない 👀
Rock54: Caution(BBR-MD5:1322b9cf791dd10729e510ca36a73322)
0775名無しさん＠お腹いっぱい。
垢版 |
2019/12/03(火) 01:43:21.99
donate
草 ttps://i.imgur.com/g3xBqiq.jpg
0782名無しさん＠お腹いっぱい。
垢版 |
2019/12/03(火) 16:06:30.58
再巡回時に同じデータだった場合「同じでした」とだけ記録してるのかな
それとも完全重複で保存してるのかな
0783名無しさん＠お腹いっぱい。
垢版 |
2019/12/03(火) 19:38:11.00
スポーツ紙をアーカイブすると「記事を見る」の部分が折り畳まれる(´･ω･｀) 開けない(´･ω･｀)
0786名無しさん＠お腹いっぱい。
垢版 |
2019/12/04(水) 13:27:45.32
>>783
自前でアーカイブ取るか？
鯖からのソース保存じゃなく、その瞬間ブラウザで表示してる状態で保存する自作のブックマークレットある

ブラウザでブックマークすれば保存できる
冒頭のjavascript:はブラウザによってはペーストしたときに自動で剥がれるので、剥がれてたら自分で付け直してブックマークすること
javascript:(()=>{'use strict';const c=new Date(),h=document.documentElement.cloneNode(true);
let n=h.querySelectorAll('[href]'),i=n.length-1;while(i>=0){n[i].href=new URL(n[i].href,location.href).href;i--;}n=h.querySelectorAll('[src]');i=n.length-1;while(i>=0){n[i].src=new URL(n[i].src,location.href).href;i--;}
const b=new Blob([new XMLSerializer().serializeToString(document.doctype)+h.outerHTML],{type:'text/html'});const a=document.createElement('a');
a.download=c.toUTCString()+
' - '+decodeURI(location.href).replace(/\*/g,'＊').replace(/\//g,'／').replace(/:/g,'：').replace(/:/g,'：').replace(/\\/g,'＼').replace(/\|/g,'│').substring(0,123)
+'.html';a.href=(URL||webkitURL).createObjectURL(b);a.click();})();
0787名無しさん＠お腹いっぱい。
垢版 |
2019/12/04(水) 13:41:01.27
>>786
レスの一行制限で改行入れたけど、多分「"+"の前の改行」で動かんと思うから
改行消してやってくれ
改行全部取っても動くようにしてあるからそれでも良いが
0788名無しさん＠お腹いっぱい。
垢版 |
2019/12/04(水) 18:15:27.35
最近のarchiveisはもう駄目だな
待ち時間長くなったうえに今日は巻き戻るから取得すらまともに行われない
0792名無しさん＠お腹いっぱい。
垢版 |
2019/12/04(水) 23:06:06.88
Archive.isやら何やらの話してる人はウェブ魚拓スレに行ってや
IAの話の中で他サービスの話題が出るのは分かるがこの場合はそうじゃないだろ
0794名無しさん＠お腹いっぱい。
垢版 |
2019/12/05(木) 01:05:02.52
>>793
いくつかSPNに突っ込んで試してきた
保存完了の表示は出るけどWayback自体が不安定なせいか、アーカイブが表示できたり出来なかったりするんだよな
スクリーンショットの方はとりあえず取れてたから、おそらく普通のアーカイブの方も取れてるんじゃないかと思う
まとめると、おそらくアーカイブIA側が不安定だから
0795名無しさん＠お腹いっぱい。
垢版 |
2019/12/05(木) 01:07:00.25
途中送信してしまった
まとめると、おそらくアーカイブは出来るがIA側が不安定なせいで上手く行ってないだけだと思われる
あとアーカイブ時に日本国外の回線からアクセスするので、英語版ページへリダイレクトされる点にも注意
0797214
垢版 |
2019/12/05(木) 22:39:02.46
ここでは、動画の内容に関する話は抜きで。
ttp://web.archive.org/web/20190717122047id_/video.twimg.com/ext_tw_video/1146432912117489664/pu/vid/1280x720/DhxeMNq_qWw8iakm.mp4
普通にアクセスを掛けても、どういう訳か 200 OK ではなく 206 Partial Content を返してくる。
当然、返してはいけない応答なので一般的なクライアントではダウンロードできない。

レスポンスヘッダを見ると
X-Archive-Orig-Content-Range: bytes 0-3091160/3091161
という行があるので、あるクライアントが Internet Archive に当該ファイルを
保存するよう要求したときに
Range: bytes=0-3091160
の指定が何故か付いてしまっていて、それがそのまま IA から video.twimg.com に送られ、
範囲指定付きリクエストとして処理された応答が IA にアーカイブされた、
ということだと思う。
しかし、何をどうやったら範囲指定付きのアーカイブ要求なんか出るのかねぇ。
0798名無しさん＠お腹いっぱい。
垢版 |
2019/12/06(金) 01:10:23.89
>>797
グロ
0799名無しさん＠お腹いっぱい。
垢版 |
2019/12/06(金) 16:10:30.65
検証用環境がなくて断定出来ないので完全な予想だが、Heritrixか何かの設定のせいなのかもな
Save Page Now経由で取得できる動画の容量にあらかじめ制限をかけてあるんじゃないだろうか
動画はかなり通信量を食うし、無制限の取得を許可したら色々な面で大変な事になるだろうから、
そういうリミッターが存在しても不思議ではないと思う
0802名無しさん＠お腹いっぱい。
垢版 |
2019/12/14(土) 00:52:12.88
>>801
これはヤバいな
2019年だけで10ペタバイト、1996年～2011年に保存した量の2倍ものデータが追加されたとか…
いくら寄付を集めたところでこんな膨大な量がずっと増え続けていくんじゃじり貧になるのは目に見えてる気が…
お金だけじゃなくて置き場所も足りなくなりそう
AI使って同じだったりほとんど変化の無いページは消していくとかしないと
あとは結局クロールする範囲を元と同じに減らすしかなくなる気がする
それとクラウド使ってないってことはここのサーバーが火事とかになったら全部パーってことでそれも怖いな
Googleみたいに世界中に何十にもバックアップとか入念な事はしてなさそうだし
0804名無しさん＠お腹いっぱい。
垢版 |
2019/12/14(土) 02:32:43.65
10PB（10000TB）多杉ワロタ
0806名無しさん＠お腹いっぱい。
垢版 |
2019/12/14(土) 09:20:55.55
不安定なのに寄付なんかできないとか言ってる人をどこかで見かけたがアホかと思う
寄付しないといけない状況だからこそ不安定なんだろ
0807806
垢版 |
2019/12/14(土) 09:32:00.38
逆だな
不安定だからこそ寄付しないといけない
0810名無しさん＠お腹いっぱい。
垢版 |
2019/12/14(土) 22:59:39.72
客観的に勧化得た場合
もしも残す価値や必要性があると思ったらお金持ちは寄付するだろうね

荒らしみたいなことを言ってすみません
0812名無しさん＠お腹いっぱい。
垢版 |
2019/12/15(日) 00:25:51.05
確かに荒らしっぽくないし同時に客観的でもない
慈善事業にしてもそんな地味なことに金使う富豪はいないだろ
苦しんでる人を援助することに優先して金を使うと考えるのが妥当
0814名無しさん＠お腹いっぱい。
垢版 |
2019/12/15(日) 05:26:37.27
試しにvプリカ買ってきて寄付しようとしてみたけど寄付の受付部門にメールして問い合わせろって文章が表示されて弾かれっぱなし

海外の住所の書き方の通りにフォームは埋めたし、カードの番号も期限もセキュリティコードも全部確認したけど受け付けてもらえない

普通のクレジットカードからの寄付しか受け付けないってんなら、日本語版の案内を用意してない不親切さも頭に来るし寄付は無しだな
0815名無しさん＠お腹いっぱい。
垢版 |
2019/12/15(日) 09:24:11.52
関係ないけどarchive.isの方でYouTubeのコメントが保存できるようになってるな
昔もできてたけどここ何年かはできなくなってたから嬉しい
Internet ArchiveだとYouTubeは保存できないから
0817名無しさん＠お腹いっぱい。
垢版 |
2019/12/15(日) 10:24:48.92
いやVプリカが使えるとかどこにも書いてないだろ
PayPalアカウント持ってるならあらかじめ入金しておいた上で支払う事は出来ると思うが
むしろクレジットカードと同じようにしてVプリカを使えると思ってる方が間違ってるぞ
0818名無しさん＠お腹いっぱい。
垢版 |
2019/12/15(日) 10:32:20.60
個人的な経験で理由は分からないけど、国外との支払いでVプリカ使うと上手くいかない場合がそれなりにある
PayPal併用した方が確実
0819名無しさん＠お腹いっぱい。
垢版 |
2019/12/15(日) 11:13:52.79
>日本語版の案内を用意してない不親切さも頭に来る
随分身勝手な奴だな、Wikipediaじゃあるまいしそこまでするリソースも余裕もある訳無いだろうが
寄付関連の案内が全く存在しなかったら不親切と言えるだろうがそういう訳でもないし、
Google翻訳使えば読めるものを不親切だとか言うのはおかしい
5chは使える癖にGoogle翻訳を使う脳味噌は無いのな、哀れ
0822名無しさん＠お腹いっぱい。
垢版 |
2019/12/15(日) 18:36:34.75
寄付のお願いだけで済ませてくる分宗教としてはだいぶ良心的
本物の宗教と違って無くなったら困るけど
0823名無しさん＠お腹いっぱい。
垢版 |
2019/12/15(日) 19:09:23.94
Internet Archive以外でネット情報の保存活動に積極的なところが全然無いのは
著作権とかの問題もあるがそれよりも結局はこうやって天文学的な量の情報が日々無限に増え続けていって困るのが予想できるからなんだろうな
それだけにあえて頑張っているここは貴重で応援したいが
本当にどうするんだろうな
もはや現代ではほとんどの情報がネット依存状態なのに
もしここが無くなったら人類の歴史で現代の情報だけがすっぽり消えてしまって空白地帯になって大損失だろう
0825名無しさん＠お腹いっぱい。
垢版 |
2019/12/17(火) 01:26:51.36
Googleはやろうと思えば出来るだろうけど
まぁ結局金にならないっていう問題にぶち当たるんだよねぇ・・・
0827名無しさん＠お腹いっぱい。
垢版 |
2019/12/17(火) 13:09:42.33
非営利団体だからこそWayback Machineなんてグレーな代物を運用できるわけで
Googleが寄付するって形にすれば法的にはセーフかもしれないが、Googleの金がInternet Archiveにまで入ったら法律とは別の問題でマズいことになりそう
0835名無しさん＠お腹いっぱい。
垢版 |
2019/12/19(木) 19:01:15.90
WebCite　は新しい魚拓は取れないのではなかったかな？
0838名無しさん＠お腹いっぱい。
垢版 |
2019/12/20(金) 09:54:11.83
ここってアメリカ政府とかも利用してなかったっけ？いざとなったらお偉いさんが金出して保護するんじゃないかな
0839名無しさん＠お腹いっぱい。
垢版 |
2019/12/20(金) 19:46:31.57
そこまで楽観的でもない
非営利の図書館やアーカイブ団体はどこも大体同じように財政難に直面してる
世界最大規模の図書館として有名なニューヨーク公共図書館でさえ、資金繰りに四苦八苦して寄付を求めて駆けずり回ってる訳で
0841名無しさん＠お腹いっぱい。
垢版 |
2019/12/24(火) 11:02:46.59
寄付600万ドルがゴールになってるけど、そんだけでやってけるもんなのかね？
とりあえず5ドル投げたけど
0843名無しさん＠お腹いっぱい。
垢版 |
2019/12/27(金) 22:10:02.02
最近Twitterのどんなちょっとした下らないいいねもリツイートもないような呟きでも全て即座に網羅的にここに保存されてる事に気づいた
そりゃパンクするわ
0846名無しさん＠お腹いっぱい。
垢版 |
2019/12/28(土) 10:54:17.93
裏を返せば「保全する方法が見つかったら削除開始するよ」って意味でもある訳だからそりゃアーカイブするわ
0849名無しさん＠お腹いっぱい。
垢版 |
2019/12/28(土) 18:46:36.33
とりあえずアーカイブされたがurlがわからず
二度と発掘されないただの化石と化してるデータも多いだろう
0857名無しさん＠お腹いっぱい。
垢版 |
2020/01/04(土) 20:37:04.38
We're sorry ? something's gone wrong.

Our team has been notified.
0858名無しさん＠お腹いっぱい。
垢版 |
2020/01/04(土) 20:50:33.63
”donate done”が邪魔
0861名無しさん＠お腹いっぱい。
垢版 |
2020/01/07(火) 00:05:36.73
600万ドルは確保出来たのかね

あとpaypalを通じて寄付をするって日本では違法だし、良くて規約違反でアカ消滅か悪くて警察沙汰にならね？
0865名無しさん＠お腹いっぱい。
垢版 |
2020/01/07(火) 16:15:54.94
ttp://2chan.tv/jlab-long/s/long200107161313.jpg
0868名無しさん＠お腹いっぱい。
垢版 |
2020/01/08(水) 10:17:03.71
まぁアーカイブという面では
そういう無償で熱心にやってくれる人が多い方がいいので
なんでそれに拘ってるのかは知らんが
0869名無しさん＠お腹いっぱい。
垢版 |
2020/01/08(水) 10:42:18.77
その辺が、ただマウスをポチポチするだけの人と
そうで無い人との違いなのかと。

PCを使った単純繰り返しの定型作業、自動化させてみたら
それが原因で首切られたなんて話もあるくらいだからねぇ。
0870名無しさん＠お腹いっぱい。
垢版 |
2020/01/08(水) 13:11:21.35
それにしても同一IPからこんな立て続けにリクエスト送れないはずだよな、自動で弾かれそうなもんだが
0871名無しさん＠お腹いっぱい。
垢版 |
2020/01/08(水) 16:25:36.62
報知だけバグ？

報知
ttp://2chan.tv/jlab-long/s/long200108162357.jpg

日刊スポーツ
ttp://2chan.tv/jlab-long/s/long200108162444.jpg
0874名無しさん＠お腹いっぱい。
垢版 |
2020/01/13(月) 07:11:00.39
応答が不安定になってる
0875名無しさん＠お腹いっぱい。
垢版 |
2020/01/13(月) 15:48:21.42
firstじゃないurlのは直近アーカイブからx週経過しないとNGの制限設ければいいのにな
未経過だと有料で取得できるようにすりゃタダで爆取得しやがる乞食のとばっちりもマシになる
0876名無しさん＠お腹いっぱい。
垢版 |
2020/01/13(月) 17:07:37.94
>>849
5chの過去ログに貼られてる閉鎖済みサイトをURL検索で発掘したり…


>>869
手動だが、Wikipediaの編集記事とかYahooニュースとかTLS1.2未満のブラウザや端末から直接読めなくなったページを読むために保存している。

魚拓やisにも取ってるがアーカイヴサービスまでTLS1.2必須に仕様変えられないことを祈る。
0877名無しさん＠お腹いっぱい。
垢版 |
2020/01/13(月) 19:49:00.13
Yahoo!ニュースをwaybackするとトップページがアーカイブされる
0881名無しさん＠お腹いっぱい。
垢版 |
2020/01/14(火) 20:36:57.97
adblockの詳細設定のマイフィルターリストに「*/yjsecure.js」を登録してadblock有効

と設定すればいいんだっけ？
0882名無しさん＠お腹いっぱい。
垢版 |
2020/01/15(水) 09:16:22.85
ここ数日は取得しても古いアーカイブにリダイレクトされて本当に取得してあるか確認できないようになっているので注意
0887名無しさん＠お腹いっぱい。
垢版 |
2020/01/15(水) 20:12:34.06
なんか自分の環境からはなぜか5ちゃんだけがアーカイブできなくなってしまった
回線変えたり接続し直したりvpnかましたり何度もリトライしてみたり色々やったら何とかできたスレもあるけどできないスレはどうやってもダメだ…謎
0892名無しさん＠お腹いっぱい。
垢版 |
2020/01/17(金) 20:23:12.53
またアーカイブできない事がよく起きるようになった
5ちゃんだけじゃなくて他のサイトでもできなかったりたまにできたり…
不安定なのかな
0893名無しさん＠お腹いっぱい。
垢版 |
2020/01/17(金) 22:16:49.54
ここ3~4日はアーカイブまともに取得できなくて厳しいは
ウェブアーカイブじゃないと正しく取得出来ない所あるのに・・・
0894名無しさん＠お腹いっぱい。
垢版 |
2020/01/17(金) 22:36:17.99
SavePageNowのｸｯｼｮﾝﾍﾟｰｼﾞが頻繁に表示される
0897214
垢版 |
2020/01/19(日) 18:51:43.22
Internet Archive のファイルアップロード機能、あれを使うと
ユーザ登録に使っているメールアドレスが漏れるなぁ。

例としてこのファイルを挙げる。
https://archive.org/details/Pbtestfilemp4videotestmp4

右側の SHOW ALL のリンクからファイル一覧を開き、
ファイル名末尾が _meta.xml のファイルを見てみると、
<uploader> 要素の中にメールアドレスが記載されている。

元のページに戻り、Uploaded by で示されているアップロード者の
プロフページに入ってみる。
プロフのアバター画像は IA に直接アップロードすることもできるが、
この人はそれを行っていないため Gravatar の画像が参照されている。

Gravatar の画像 URL には、メールアドレスの MD5 ハッシュ値が含まれる。
先の XML から得たメールアドレスについて MD5 を取ってみると、双方の値が一致。
(大文字等を含むアドレスは一定の加工が必要だが、この例では無関係。)
つまり、XML から得たメールアドレスはユーザの登録アドレスで間違いない。

単に IA にユーザ登録を行ってプロフを持っているだけの状態からは
色々探してみたけど漏れっぽいものは見つからなかった。
ただアバター画像が初期状態のままだとメールアドレスのハッシュ値が
判るので、そこから他所で紐付けされてしまうことはあると思う。
0898名無しさん＠お腹いっぱい。
垢版 |
2020/01/19(日) 19:21:36.08
>>897
それは本人のアドレスで間違ってない、数年前からセキュリティ面で指摘されてる。
念のために言うと漏れてるんじゃなくて、アーカイブの証明の為に記載してると思うけどね。
「アーカイブ」である以上何らかの本人確認は必要なので。
0899214
垢版 |
2020/01/20(月) 02:24:26.32
>>898
やはり既出だったか。
メタ情報として「誰がアップロードしたか」を記録しておく必要が
あるのは解るが、こういう形で出てしまうのは「漏れる」と表現したいなぁ。
システム上でユーザ名を名乗らせておきながら、どうしてメアドで記録してしまうのか。

ユーザ名は「一度使用した名前は二度と再利用させない」
(一度変えたら元に戻すことすらできない) なんてロックを掛けたりしているので
こちらの方が重要な識別子なのかと思ったけど、そういう訳では無いんだな。
0901名無しさん＠お腹いっぱい。
垢版 |
2020/01/24(金) 23:16:48.80
>>900
Browser crashed visiting URL

chrome使いだが、ここ数日でよく見るようになったな。
かといって何回も取ったら、後になって「何でこんな大量？」ってなりそうだから、
マーキング感覚で、1～2回で留めるしかないのか。
0904名無しさん＠お腹いっぱい。
垢版 |
2020/01/25(土) 17:15:48.05
アーカイブ出来てないように見えて後日チェックしてみるとアーカイブされてたってのはある
チェックしてみろ
0907名無しさん＠お腹いっぱい。
垢版 |
2020/01/26(日) 21:12:27.93
save outlinksにチェックを入れて保存しようとすると↓みたいなエラーになるな。
ttp://2chan.tv/jlab-long/s/long200126211024.png
まぁ、今朝の9時から18時前位まで全く保存が効かなかったからそれよりはマシだけどさ…
0908◆P0jSlC5fJs
垢版 |
2020/01/27(月) 01:59:35.23
save outlinksなしでもJob failed
26日から
0911214
垢版 |
2020/01/30(木) 20:22:04.84
なんか玉葱経由で保管させると後でアーカイブが消されてるような気がするけど
気のせいかな。
0913名無しさん＠お腹いっぱい。
垢版 |
2020/01/31(金) 23:29:38.35
save outlinksにチェック入れて保存するもリンク先が記録できず
今日でサービス終了するサイトなんで頼む…
0914名無しさん＠お腹いっぱい。
垢版 |
2020/01/31(金) 23:33:58.40
保存時にエラーっぽい表示はなかったし
saveしたページ自体はもう反映されてるが、そのリンク先だけ見れないのでタイムラグだとしても妙

かといってもう一回叩くのも負荷になるしやめたい
0915名無しさん＠お腹いっぱい。
垢版 |
2020/01/31(金) 23:43:47.08
試しにもう一回やったらsave outlinksにチェック入れてるのにそのページしか保存してないorz
0916名無しさん＠お腹いっぱい。
垢版 |
2020/01/31(金) 23:44:20.72
Save error pages抜きとsave outlinksチェックは両立しない？？
0920名無しさん＠お腹いっぱい。
垢版 |
2020/02/02(日) 11:38:13.93
TwitterはmegalodonやArchive.todayの方がまだ取りやすい気がしてきた

>>918
苦手な形式になったってどういうことなんや
詳しく教えてくれないか
0926名無しさん＠お腹いっぱい。
垢版 |
2020/02/05(水) 16:24:47.98
Wayback　はサインイン（ログイン）しないと
スクリーンショットが取れない仕様に改変された。
ヤフーニュースの魚拓を取るときには注意しよう。
0928名無しさん＠お腹いっぱい。
垢版 |
2020/02/05(水) 19:43:07.89
>>927

半月ぐらい前はそうではなかった。
0931214
垢版 |
2020/02/07(金) 12:42:22.25
>>930 の User-Agent、たまたま拾ったのがこの文字列だっただけなので
Internet Explorer と判定されるような内容なら何でも良いと思う。
0939名無しさん＠お腹いっぱい。
垢版 |
2020/02/22(土) 09:16:04.83
ロイター通信の記事キャプチャがおかしくなる
本文が空白で読めない

米とタリバン、29日に和平合意調印　暴力削減期間の終了後に - ロイター
https://web.archive.org/web/20200221235532/jp.reuters.com/article/usa-afghanistan-talks-sign-idJPKBN20F2R6

コラム：円急落、「安全通貨」の機能終えんか＝佐々木融氏 - ロイター
https://web.archive.org/web/20200221235903/jp.reuters.com/article/column-tohru-sasaki-idJPKBN20F10U

アマゾンはURLエンコードすれば通るんちゃう？
https://a%4Dazon.co.jp
0949名無しさん＠お腹いっぱい。
垢版 |
2020/02/27(木) 00:26:30.17
20年以降に保存したのが見えないのか消えてんのか知らんけど
最後に保存したのが2019のものになってんな
0951名無しさん＠お腹いっぱい。
垢版 |
2020/02/27(木) 01:53:05.91
魚拓音痴の質問もいいのかな…

魚拓の確認でカレンダーを開いた時に緑丸のページは絶対に見れない仕様ですか?
自分で調べたら緑丸=リダイレクトはわかったのですが緑丸を見る方法が見つからなくて書き込みました
初心者過ぎる質問で申し訳ないです
0952名無しさん＠お腹いっぱい。
垢版 |
2020/02/28(金) 00:14:02.51
申し訳ないんだが「緑丸のページを見る」ってのが何を言いたいのかよく分からない
リダイレクト先のページがWayback Machineに保存されてたら見れるし、保存されてなかったら見れない、という仕様のはずだけど
0954名無しさん＠お腹いっぱい。
垢版 |
2020/03/02(月) 16:30:56.34
>>953
ダメみたいです
スマホで閲覧してるのですがjavasScriptをオフにしても特に変化はありませんでした
因みに調べているのはbekkoameというサイトです
0955214
垢版 |
2020/03/03(火) 09:45:19.77
リダイレクト応答のコンテントボディが見たいとか、
そんなニッチな話かと思ったけどどうやら違うようだ・・・。

そもそもリダイレクトがどういうものか、質問者氏は理解されていますか。
他の URL を提示して「代わりにここを見よ」と指示するものですから、
リダイレクト自体にそれ以上の内容はありません。
Internet Archive のカレンダで緑色で表示されている、つまり
クロール時にリダイレクトが返された旨記録されているアーカイブを
開くと、数秒後にその当時リダイレクト先として示されていた URL の
アーカイブの読み込みが始まります。

いくらリダイレクト先として示されていたからと言っても、所詮は別の URL です。
当該 URL が Internet Archive にアーカイブされているかどうかは、
元の URL がアーカイブされていることとはあまり関係がありません。
0957名無しさん＠お腹いっぱい。
垢版 |
2020/03/08(日) 12:59:52.71
Summaryタブがあるドメインと無いドメインの違いって何なんだろ？
数年経ってるのに無いのもあれば、半年程度であるドメインもあるし
取得数って訳でも無さそうだしなぁ・・・
0958名無しさん＠お腹いっぱい。
垢版 |
2020/03/09(月) 08:46:14.85
本日で一旦、毎日やっていた作業を休止します。
0962名無しさん＠お腹いっぱい。
垢版 |
2020/03/13(金) 05:03:41.08
なんか保存にすごく時間がかかる...
どうなってんだ
0964名無しさん＠お腹いっぱい。
垢版 |
2020/03/16(月) 08:06:34.04
The same snapshot had been made 38 seconds ago.
↑これ出てるのにAPIでは保存されていないことになってる
/save/でも保存できないし、できるのは保存済みアーカイブの閲覧だけか
0966名無しさん＠お腹いっぱい。
垢版 |
2020/03/16(月) 21:11:50.13
>>965

いまどきアゴ勇のステマをやる人がいるとは！
0967名無しさん＠お腹いっぱい。
垢版 |
2020/03/17(火) 15:30:21.74
昨日アーカイブしてさらに数時間後に確認もしたのに
今日になったらアーカイブされていないことになってる
やり直したらFirst Archiveとなって確認してもちゃんとアーカイブできてるのだが
明日は消えていそう
0968名無しさん＠お腹いっぱい。
垢版 |
2020/03/18(水) 07:31:20.97
>昨日アーカイブしてさらに数時間後に確認もしたのに
>今日になったらアーカイブされていないことになってる

https://web.archive.org/の事なら俺もまったく同じ状態
http://archive.fo/は問題なかったけど、昨晩から使えなくなって保存中の画面になったまま終わらない
0969名無しさん＠お腹いっぱい。
垢版 |
2020/03/21(土) 10:28:41.34
【保存・記録】ウェブアーカイブ総合 Page.01
2020/02/25(火) 23:55:53.96 ID:jlsY//Cy0
>>345
Internet Archiveはアーカイブ実行用クローラ(Heritrix)と
保存したアーカイブの専用ビューワ(Wayback)を組み合わせて動いてるんで、
保存したアーカイブがサーバ不調で一時的に見られなくなってても、
アーカイブさえきちんと出来てればそのうち問題なく見られるようになる
0973214
垢版 |
2020/03/29(日) 07:42:30.68
調子悪いですねぇ。
0982名無しさん＠お腹いっぱい。
垢版 |
2020/04/01(水) 21:18:57.29
そろそろ次スレたのんます
0984214
垢版 |
2020/04/02(木) 03:35:05.77
>>983
乙
テンプレの二つの Q&A は永久保存ですかw
2011 年夏の UTF-8 化以降意味を成さなくなってますが。
0986983
垢版 |
2020/04/02(木) 13:23:35.28
>>984
テンプレはとりあえずそのままにしただけです
4スレ目以降はQ&Aちゃんと整理しなくては
0987名無しさん＠お腹いっぱい。
垢版 |
2020/04/06(月) 15:12:29.34
インターネット・アーカイブの無料電子書籍貸し出しに著者団体が抗議
https://hon.jp/news/1.0/0/29039

インターネット・アーカイブ（Internet Archive）は先月24日、
140万冊のEブックが読める「National Emergency Library」
をオープンし6月末までをめどにユーザーが1人10冊まで借りて
読むことができるようにしたが著者団体が反対の声を上げている。
0988名無しさん＠お腹いっぱい。
垢版 |
2020/04/08(水) 12:50:51.18
https://web.archive.org/web/20200324005017/http://www.mynewsjapan.com/
> 現在メンテナンス中です
> 現在、アクセス妨害行為によって、サイトにアクセスできない状況となり、
> ご不便をおかけしております。何者かが業務妨害をしている模様です。
> 警察庁サイバー犯罪対策班が犯人を逮捕次第、詳細にご報告します。
> 万全を期すため、一時的に停止して、安全を確認しております。
> 対策のうえ、早々に復旧しますので少々お待ちください。
> My News Japan
0990名無しさん＠お腹いっぱい。
垢版 |
2020/04/10(金) 16:00:15.06
次スレが立っているからこっちのスレは埋めよう
0991名無しさん＠お腹いっぱい。
垢版 |
2020/04/10(金) 16:00:35.20
埋め宮アンナ
10011001
垢版 |
Over 1000Thread
このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 1287日 23時間 4分 22秒
10021002
垢版 |
Over 1000Thread
5ちゃんねるの運営はプレミアム会員の皆さまに支えられています。
運営にご協力お願いいたします。


───────────────────
《プレミアム会員の主な特典》
★ 5ちゃんねる専用ブラウザからの広告除去
★ 5ちゃんねるの過去ログを取得
★ 書き込み規制の緩和
───────────────────

会員登録には個人情報は一切必要ありません。
月300円から匿名でご購入いただけます。

▼ プレミアム会員登録はこちら ▼
https://premium.5ch.net/

▼ 浪人ログインはこちら ▼
https://login.5ch.net/login.php
レス数が1000を超えています。これ以上書き込みはできません。
ニューススポーツなんでも実況