【保存・記録】ウェブアーカイブ総合 Page.01

[1 2019/04/06(土) 21:31:22.29 ID:KqAD+H9+0]

ウェブアーカイブ関連の話題を総合的に扱うスレです。
情報交換し合って貴重なインターネット遺産を後世に残しましょう。
Internet ArchiveなどのWebサービスだけでなく、wget・HTTrack・Heritrix等のツールやソフト、自作クローラの話題もOKです。

・関連リンク（Rock54回避のためピリオドをカンマに変更）
Wayback Machine
https://archive,org/
archive,today
https://archive,fo/
ウェブ魚拓
https://megalodon,jp/
Archive Team
https://archiveteam.org/

・関連スレ
Internet Archive総合 (web,archive,org) #2
http://mevius.5ch.net/test/read.cgi/esite/1475246713/
ウェブ魚拓 Part3
http://mevius.5ch.net/test/read.cgi/esite/1498902308/
【和塩】geocitiesスレ10【ジオシティーズ】
http://mevius.5ch.net/test/read.cgi/hosting/1554115546/
【ヤフー】Yahoo!ブログ【アーカイブ】
http://mevius.5ch.net/test/read.cgi/blog/1554380939/

・ジオシティーズでの失敗から学んだアーカイブにあたっての注意事項
1. 早めに行動しましょう
2. まずは既存のプロジェクトや遺産を探しましょう
3. 単独ではなく組織的に動きましょう
4. 呼びかけや情報共有を積極的に行いましょう

[290 2019/11/27(水) 21:52:41.92 ID:+cJOWs3G0]

>>288
とりあえず一番手っ取り早い方法は、>>289のツイートに貼られてるリンク先の入力フォームから、
保存して欲しいアカウントのIDを入力して送ること
もしかしたら他にも誰かが保存プロジェクトをやってるかもしれないから要調査だな

[291 2019/11/30(土) 02:24:56.11 ID:mj1OwWx+0]

minori official web site
http://www.minori.ph/
このサイト、キャプチャできない

[292 2019/11/30(土) 04:08:01.49 ID:IS98dA580]

>>291
海外からのアクセスに対し 403 Forbidden エラーを返すよう
設定されているみたいですから、Internet Archive や Archive.is では
無理でしょうね。
さらにそのエラーページは他サイトへの遷移スクリプトが
埋め込んであるので、フツーの人はエラー扱いされていることすら
気付けないでしょう。

当該エラーページの HTML ソースを貼っておきます。
https://pastebin.com/Vy7uYhiK

[293 215 2019/11/30(土) 05:13:24.84 ID:Yk7eFuvo0]

>>290
DLだけ、自分でってことはできないの？

[294 2019/11/30(土) 10:31:13.20 ID:b+Bfz/GQ0]

>>293
自分のPC中にアーカイブをローカルで保存することは出来ないかってこと？
Heritrixなど動的サイトを処理できるクローラを使えば問題なく出来る、出来るけどアーカイブは死蔵してたら意味が無いからね
自分だけで閲覧する用に保存しておくこともありうるけどそれはアーカイブとは言えない
ArchiveTeamが収集したファイルはWayback Machineに登録されるようになってるので、そういう意味では安全

[295 2019/12/02(月) 04:15:35.70 ID:Z+Zveon+0]

最近のToday
https://i.imgur.com/zJ1Sw31.jpg

[296 2019/12/03(火) 03:09:24.37 ID:zKh+7e4i0]

Current Running Warrior Project: Yahoo! Groups

[297 2019/12/03(火) 03:21:33.26 ID:W45k6bBP0]

Yahoo GroupsはYahooブログとは全くの別サービスだから早とちりすんなよ

[298 2019/12/03(火) 03:23:09.41 ID:W45k6bBP0]

これのことだよ
https://japanese.engadget.com/2019/10/17/yahoo-groups-21-12-14/

[299 2019/12/04(水) 17:38:24.46 ID:OvwZOsOX0]

本日のToday
https://i.imgur.com/n9jpxpY.jpg

[300 2019/12/06(金) 00:57:47.89 ID:QIt7pou20]

300

[301 2019/12/14(土) 23:22:02.29 ID:AA4HPrSj0]

Ci-en移行に伴うDLsite blogサービス提供終了予定のお知らせ
ttp://home-info.dlsite.com/archives/9427708.html

[302 2019/12/15(日) 18:24:18.14 ID:r3L4BzMu0]

Yahooブログ今日までか

[303 2019/12/16(月) 16:10:29.42 ID:RltCXRJ+0]

ほとんど何もできなかった

[304 2019/12/16(月) 19:43:00.36 ID:oxia7Ong0]

少しは頑張れよ

[305 2019/12/16(月) 22:27:54.54 ID:P9Fjib/40]

人いねえもの
呼び掛けが不十分だとこうなってしまう

[306 2019/12/17(火) 00:52:29.58 ID:SWkI+H1w0]

>>272 >>294
リンク構造維持できて程々の容量に収まるなら分割rarやzipに纏めてもらってもいい。

今は低速スマホしか使う余裕無くなったから巡集やWeboxみたいな取り込みアプリで一括アーカイブ化するのも無理だし
読売の縮刷版CD/DVDなんかは1年分で12万もするし

[307 2019/12/17(火) 04:05:12.57 ID:FbEfAMeJ0]

スマホ(笑

[308 2019/12/17(火) 23:19:41.41 ID:ZjrTQ21f0]

ネットサービス企業は、スマホからの収益がメインやから、

PCだけに成ったら大倒産時代や

[309 2019/12/18(水) 01:13:33.38 ID:7iAMrhRQ0]

色々と話がとっ散らかって来たな
>>306からして何が言いたいのか今一つ要領を得ない

[310 2019/12/19(木) 20:23:09.25 ID:s5RLoz8q0]

もうyaplogに行ってる

[311 2019/12/19(木) 22:41:03.12 ID:yyGOrfnZ0]

yaplogって1月でサービス終了するらしいけど
https://nlab.itmedia.co.jp/nl/articles/1908/03/news034.html

[312 2019/12/19(木) 23:36:07.17 ID:P9Gt+F0u0]

geocitiesのアーカイブサイトは複数ある様だけどYahoo!ブログも有る？

[313 2019/12/20(金) 01:21:34.83 ID:W2QHpneb0]

>>312
Yahooブログスレの方にも載ってないから今のところないんじゃないかな

[314 2019/12/28(土) 07:55:33.34 ID:GiJFu1gz0]

Archive.TodayはグーグルやBingのキャッシュを保存した場合でも原本URLを認識できるのが素晴らしい。

[315 ◆P0jSlC5fJs 2019/12/29(日) 21:46:36.02 ID:3C6Rg8sC0]

archive.todayのTwitterの魚拓がモバイル版にならなくなった？
アカウントは新UI、ツイートは旧PC用UI

[316 ◆P0jSlC5fJs 2019/12/30(月) 13:29:31.10 ID:dXRB6Vq/0]

>>315
それどころかアカウントの魚拓がかなり下の方までスクロールされた状態で保存されるようになった
つまり1回の魚拓でかなりたくさんのツイートが保存されるようになった
いいね

[317 2019/12/30(月) 23:49:45.17 ID:Sts0O97Y0]

>>314
検索で出ないことあるからやっぱ微妙だった

[318 2019/12/31(火) 18:45:45.57 ID:eDEktBsz0]

Webサイトの保存ってみんなどうやってしてるの？
このスレにすでに書いてたらすまん

[319 2020/01/02(木) 07:10:20.03 ID:5F6LDkXn0]

ローカル保存&魚拓

[320 2020/01/02(木) 10:39:14.28 ID:ucP82yGj0]

魚拓ってのは
https://megalodon.jp/
でローカル保存ってのはchromeなんかにあるオフラインで読む系機能であってる？

[321 2020/01/03(金) 19:36:03.17 ID:c4MpYdMH0]

それであってる

[322 2020/01/04(土) 18:01:40.04 ID:G3xvEvXn0]

激重で読み込めない…

[323 2020/01/04(土) 20:37:51.83 ID:YBh70eiZ0]

Scheduled Maintenance
The Internet Archive's sites are offline for scheduled maintenance and upgrades.
Please check our twitter feed @internetarchive for updates.
Sorry for the inconvenience.

[324 2020/01/05(日) 21:23:51.28 ID:JtWpXhr50]

Yaplog取ってたらこんなの出てた
https://web.archive.org/web/20200105113649/yaplog.jp/mahou93/archive/645

[325 2020/01/06(月) 15:29:48.32 ID:HEWxGNJX0]

>>321
ありがとう

[326 2020/01/09(木) 07:45:46.22 ID:0Jucozb10]

4年以上未ログインの Yahoo! JAPAN ID、2020年2月から順次利用停止へ
https://japanese.engadget.com/jp-2020-01-07-4-yahoo-japan-id-2020-2.html

これひょっとしてYahooボックスで公開されてるファイルとかもごっそり消えちゃうんじゃ・・・
と思ったけどほとんど見かけないから影響あんまり無いかな

[327 2020/01/09(木) 21:40:15.88 ID:y/kpjRu/0]

Yahooボックスってサービス終了して無かったのか…

[328 2020/01/18(土) 22:33:46.55 ID:Mw+axOW50]

魔法のiらんどは2020年春に大リニューアルします！ - 魔法のiらんど https://maho.jp/renewal/
オワタ

[329 2020/01/19(日) 04:35:51.86 ID:qrJ0vAPo0]

やったぜ

[330 2020/01/19(日) 06:21:23.58 ID:c42zUqjI0]

>>328

魔法のiらんど　はまだ存在しているのかｗ

[331 2020/01/24(金) 17:33:52.87 ID:TbU4PUEj0]

https://archive.org/

ここに

http://ishidate.my.coocan.jp/index.html

の、「Visual C++の勉強部屋」は保存できてるようなんだけど
「Visual Studio Community 2017でPythonを始める」が
トップだけあって他のリンクが上手く保存が出来てないようなんだけど
残す方法ありますか？始めてやろうとしてるので変な残し方をしたら気まずい・・・

[332 2020/01/24(金) 17:40:24.75 ID:TbU4PUEj0]

あれ？慌てただけで反映されてなかっただけかな？

http://ishidate.my.coocan.jp/python/python.htm

上から2個目まではアーカイブされてました、すみません
一個ずつセーブしていくのかな？2個目はやってないはずなんだけど
トップページをセーブすると、自動で全部の保存処理をしてくれてるのだろうか？

[333 2020/01/24(金) 19:35:46.36 ID:DGrUFhpx0]

>>331-332
すみません、反映するまで時間が掛かってただけのようです
順調に保存が進みました

[334 2020/01/30(木) 04:23:53.98 ID:DpjoWFqw0]

上の保存出来たと思ったら何も変わってなかった
もう訳が解らん、個人的にローカルへ残す事にします・・・

[335 2020/01/30(木) 09:17:01.89 ID:QEGy6HlG0]

最近財政難を表明してからInternet Archiveはやけに不安定だからなあ
Internet Archiveのシステムはページをクロールする部分とクロールしたページを表示する部分に分かれてるんだけど、最近は後者の部分がやけに不安定だったりする
閲覧できてないだけで実は保存できてたりすることもあるけど、不安ならオフラインコピーや他のアーカイブサイトを使うといい

[336 2020/01/30(木) 09:18:37.13 ID:QEGy6HlG0]

まあ財政難表明する以前からちょくちょく不安定になることはあったんだけど、最近は不安定になる頻度がやたら高くなってきてる
保存されるアーカイブの量にリソースが追いついてないらしい

[337 GeoLog Project ◆RJRIJK3wcLw8 2020/02/10(月) 00:45:52.91 ID:QUFKIIvC0]

魔法のiらんど のURL収集を始めることにしました
知っているURLがあれば追加してください
https://geolog.mydns.jp/maho/

[338 2020/02/10(月) 15:13:07.48 ID:GaTPIR040]

Geocitiesのときはいくつかブックマークから追加したけどiらんどはなかったよ・・・

[339 2020/02/17(月) 12:57:14.40 ID:JLl8Pqxs0]

Wayback Machine ツイッターが簡単に登録できなくなったね
try againになる

[340 2020/02/21(金) 08:24:33.38 ID:SqQJO7aU0]

ウェブ魚拓にロボット扱いされるようになった。
手動でやってるのに。
https://i.imgur.com/eqgUaln.jpg

[341 2020/02/21(金) 08:42:25.85 ID:SqQJO7aU0]

と思ったらReCaptcha導入でgyo.tc/urlまでもが廃止されたのかよ。
ReCaptchaの画面に飛ばしてくれればいいだけなのに。
タイトル画像詐欺になってるがな。

[342 2020/02/21(金) 08:50:19.65 ID:SqQJO7aU0]

右下のリキャプチャマーク表示されてから5秒数えてから押せばいけるっぽい？

[343 2020/02/25(火) 14:42:33.24 ID:RVV1cF750]

https://web.archive.org/
ここ一週間くらい調子悪いね？

保存できたと思って翌日くらいに見ようとしたら消えてて見られなくなってる

[344 2020/02/25(火) 23:55:53.96 ID:jlsY//Cy0]

Internet Archiveはアーカイブ実行用クローラ(Heritrix)と
保存したアーカイブの専用ビューワ(Wayback)を組み合わせて動いてるんで、
保存したアーカイブがサーバ不調で一時的に見られなくなってても、
アーカイブさえきちんと出来てればそのうち問題なく見られるようになる

[345 2020/02/27(木) 12:58:06.64 ID:mwbfDK4S0]

>>344
本当ですね！
さっき見てみたら復旧されたようでちゃんと保存できてました！

[346 2020/02/29(土) 11:53:24.69 ID:zPIV21fz0]

アーカイヴトゥデイがGoogleキャッシュだけでなくBingキャッシュも原本と関連付けてくれれば神なんだが。

[347 215 2020/03/20(金) 19:04:44.43 ID:JhAw491V0]

大住：僕は父親が来て、探偵ファイルをやめるべき理由を膨大に書き連ね
「これ以上やるなら親子関係を考えざるを得ない」と結んだ手紙を置いていきました。

ｗｗｗｗｗｗｗｗｗ

[348 2020/03/24(火) 15:24:23.68 ID:y1vf31FW0]

Mが九つ…これはリッジレーサーのあの曲ですねぇ…間違い無い

[349 2020/03/29(日) 00:39:38.40 ID:fQaeQ4aI0]

【リマインド】 魔法のiらんど
2020年 3/31 リニューアルに伴いホームページ機能終了
アーカイブの必要がある場合は早急に対応を。

https://maho.jp/renewal/

[350 2020/04/11(土) 13:13:02.49 ID:wGeDLnxf0]

削除されたなろう小説や Wayback Machineでも見れないサイトを見たいなあ

[351 2020/04/12(日) 03:38:35.21 ID:9mojHch+0]

レビューサイトや攻略サイトはどんなに古くても価値があると思う

[352 2020/04/17(金) 16:09:58.55 ID:jHjl/hvx0]

Todayにリキャプチャ付いた。かわりに画像単体のキャプチャができるようになっていた。

[353 2020/04/17(金) 17:07:42.90 ID:hEp8fbMZ0]

archive.today (archive.is)

URLがいくつもあるわけだが

archive.today
archive.is
archive.li
archive.fo
archive.vn
archive.md
archive.ph

ひとつがサーバーダウンしている時には
他のURLも使えないのかどうか。

[354 2020/04/17(金) 19:43:09.88 ID:DEdL3XQ50]

>>353
名前を色々と増やし始めたのはこれが発端。
http://echo.5ch.net/test/read.cgi/esite/1189771222/587-590

ドメイン名乗っ取り攻撃に対する冗長性確保が目的。
何れかの名前が乗っ取られても他の名前で利用できるようにしてあるだけで、
> ひとつがサーバーダウンしている時には
> 他のURLも使え
〜るといった 20 年前みたいな事は意図していないはず。

[355 2020/05/10(日) 10:41:36.22 ID:qgpD+Q890]

「DLsite blog」サービス終了予定のお知らせ【5/28(木) 13:59まで】
http://home-info.dlsite.com/archives/9506936.html
月末ではなく28日昼まで

[356 2020/05/10(日) 18:31:31.05 ID:0BWUOz3X0]

>>355

> 「DLsite blog」

そんなブログサービスがあるということを今はじめて知った

[357 2020/05/13(水) 22:57:43.18 ID:+6V16oE90]

>>351
そう簡単に常識が変わるわけではないジャンルだしな

[358 2020/05/21(木) 20:23:00.43 ID:tw1fIQhk0]

ニッチなニーズかもしれませんがスクリプトを公開しました。
Wayback Machine でURL検索をした際、最古または最新のページに自動で飛びます。
https://greasyfork.org/ja/scripts/403724-wayback-machine-auto-hopper

[359 2020/05/25(月) 18:40:03.53 ID:DqvUJCjh0]

2020年6月30日
連合型SNS『マストドン』 日本2位,3位のインスタンスが閉鎖
・msdtn.jp (登録20万人, 5500万トゥート)
・mastodon.cloud (利用者数6万人, 340万トゥート)

SNS『mstdn.jp』、誹謗中傷への対応の事務負担増に耐えられないと判断して6月30日で閉鎖へ
https://news.yahoo.co.jp/byline/shinoharashuji/20200525-00180247/

運営引き継ぎも募集しているらしい
https://mstdn.jp/about

[360 2020/06/12(金) 19:07:45.35 ID:Ex7ysahg0]

コレで問題無しかな？
>>359
終了予定だった国内最大級のマストドンインスタンス「mstdn.jp」、サービス譲渡し継続
https://nlab.itmedia.co.jp/nl/articles/2006/11/news153.html

[361 2020/06/12(金) 20:04:22.23 ID:kaj5j2rY0]

>>360

外資は儲からないと判断するとすぐ撤退する傾向が強いからなあ。不安。

[362 2020/06/12(金) 23:01:41.40 ID:r8G+EqEg0]

「誹謗中傷の証拠取得用に」と謳った「Twitter魚拓」なるWebサービスが出来てバズってるが、
やってることは単にスクショ撮ってimgurに上げるだけらしい
スクショはブラウザの開発者機能でいくらでも改竄できるし、
これならArchive.isの方がずっと優秀だな
スクショに法的な証拠能力ってあるのかな

[363 2020/06/12(金) 23:03:10.00 ID:r8G+EqEg0]

>>361
買収先は確かTwitter非公式クライアントの開発チームじゃなかったっけ
儲からないのは織り込み済みじゃないかな？

[364 ◆P0jSlC5fJs 2020/06/15(月) 08:25:53.32 ID:8HydZjTx0]

webrecorder.ioの名前とURLが変わった
https://blog.conifer.rhizome.org/2020/06/11/webrecorder-conifer.html
新しいURL
https://conifer.rhizome.org/

[365 2020/06/18(木) 15:31:00.91 ID:YE4F+hQG0]

Twitter魚拓に画像ハッシュを電子署名で埋め込む機能がやっと付いたらしい
結局画像を撮る前の段階で偽造可能なのはどうしようもないけど

[366 2020/06/20(土) 02:54:49.17 ID:h9ZrYl1H0]

archive todayの魚拓検索でURL以外の文字列入力すると
Googleのカスタム検索経由で全文検索できるようになってるな

[367 2020/06/20(土) 03:30:32.99 ID:7f7o1of+0]

旧Yahoo地図が完全終了するらしい
ジオカタログ製の世界地図が便利だったから終了するのは惜しい

https://map.ultra-zone.net/y/35.681236/139.767125/6

[368 2020/06/20(土) 12:12:23.28 ID:D5VLdHFC0]

Googleのやつより見やすいな
日本語で書いてあるせいか？

[369 2020/06/24(水) 20:08:29.48 ID:VaXpj8XL0]

149 名前：名無しさん＠ggmatome ：2020/06/24(水) 19:41:32 ID:GJp4RZxo0
Adobe Flash Playerの2020年末サービス終了は、古いゲームの公式サイトとかに影響が出そう

[370 2020/06/25(木) 23:41:47.74 ID:dwRtuOnD0]

ArchiveTeamがなんかやってるかなと思ったけどまだ動いてないっぽい

[371 2020/06/27(土) 14:07:35.48 ID:qfiK+Scz0]

Flashの保存活動やってる人自体はいるよ
ArchiveTeamが動いてないだけかと

[372 2020/07/01(水) 06:54:14.16 ID:pvfyXrsy0]

This URL has been excluded from the Wayback Machine.のサイトも掘り出したいわね

[373 2020/07/01(水) 07:00:53.26 ID:pvfyXrsy0]

Wayback Machineで見れない主なドメイン
http://dion.ne.jp/
http://biglobe.ne.jp/
http://homepage2.nifty.com/

[374 2020/07/01(水) 11:22:29.30 ID:ha7maYO50]

かなりデカい保存対象がやってきた

NAVERまとめ サービス終了のお知らせ : NAVERまとめ公式ブログ
http://navermatome-official.blog.jp/archives/83259956.html

>突然ではございますが、NAVERまとめは2020年9月30日をもちましてサービスを終了することとなりました。​​
>下書きや非表示のまとめも含め、9月30日をもちましてすべて閲覧ができなくなります。​

[375 2020/07/01(水) 20:40:49.49 ID:36DWDi3y0]

naverブランドじゃ将来性見えないもんな
かといってヤフー、ラインブランドに変えてまでやるほどでもないし

[376 2020/07/01(水) 22:39:13.89 ID:4eKj5JMl0]

>>373
いちいちブロックしてたらキリがないなろう系サイトはともかく
こういうドメインは一部のサイトだけ見れないように緩和してほしいわ

[377 2020/07/02(木) 03:05:37.80 ID:qEIVQ0nx0]

Webサイト保存してる人はなに使ってる？

自分は巡集とWebsite Explorerを使ってる

[378 2020/07/02(木) 22:25:47.86 ID:PGzwXvql0]

>>371
ちなみにFlash のアーカイブって何やるの？

[379 2020/07/02(木) 22:55:14.72 ID:VMG0QPRf0]

>>374
ほぼコピペしか無いサイトだからオリジナルのデータは少なそう…

[380 2020/07/03(金) 01:54:56.18 ID:pnZtief20]

>>379
8割方はどうでもいいコピペまとめなんだけど、これを個人サイトみたいに使ってる人や、真っ当な有益情報をまとめてくれてる人もいるんだよね
そういった情報が消えるのはもったいないし、今後困る人がいそう

[381 2020/07/03(金) 22:23:28.54 ID:0J0hhHF10]

来年から新しい著作権法が施行されるらしいけど、
ウェブ魚拓とかの古いデータが、削除されたりしないか少し心配

[382 2020/07/03(金) 23:54:06.51 ID:pnZtief20]

ウェブ魚拓は削除申請来たらバンバン消してるらしいから今更感ある
archive.todayやInternet Archiveは著作権の前にサーバ処理が追いつくのか心配

[383 2020/07/04(土) 13:35:00.45 ID:inafeRIM0]

>>382
同意

[384 2020/07/08(水) 22:28:06.73 ID:JMicZAgO0]

NAVERまとめだけじゃ無くLINEノベルも終了か…
ソフトバンクグループ特有のサービス終了ラッシュ

[385 2020/07/09(木) 01:28:23.13 ID:c1obRcGo0]

へー、ソフバンは避けよう

[386 2020/07/09(木) 03:09:48.75 ID:K/ssIawO0]

朝鮮系は避けてたから掠りもしないw

[387 2020/07/09(木) 07:32:19.74 ID:qxukY3NX0]

ヤフーと合併するってことはこういうことだ
米国のヤフーがその典型で、買収した企業やサービスはことごとく閉鎖させてるしね

[388 2020/07/09(木) 08:42:41.16 ID:c1obRcGo0]

潰したい企業を買収してからわざと潰すっていう性格の悪い投資家の話聞いたことがあるけど
まさかヤフーがそれだったりしないよな

[389 2020/07/13(月) 15:08:26.85 ID:JeHTcZXr0]

>>384
うーんこの

[390 2020/07/14(火) 15:25:35.44 ID:bp/ba6L20]

>>351
変則将棋とかのニッチすぎるカードゲームやボードゲームのサイトもだね