X
【保存・記録】ウェブアーカイブ総合 Page.01
■ このスレッドは過去ログ倉庫に格納されています
0001192.168.0.774
垢版 |
2019/04/06(土) 21:31:22.29ID:KqAD+H9+0
ウェブアーカイブ関連の話題を総合的に扱うスレです。
情報交換し合って貴重なインターネット遺産を後世に残しましょう。
Internet ArchiveなどのWebサービスだけでなく、wget・HTTrack・Heritrix等のツールやソフト、自作クローラの話題もOKです。

・関連リンク（Rock54回避のためピリオドをカンマに変更）
Wayback Machine
https://archive,org/
archive,today
https://archive,fo/
ウェブ魚拓
https://megalodon,jp/
Archive Team
https://archiveteam.org/

・関連スレ
Internet Archive総合 (web,archive,org) #2
http://mevius.5ch.net/test/read.cgi/esite/1475246713/
ウェブ魚拓 Part3
http://mevius.5ch.net/test/read.cgi/esite/1498902308/
【和塩】geocitiesスレ10【ジオシティーズ】
http://mevius.5ch.net/test/read.cgi/hosting/1554115546/
【ヤフー】Yahoo!ブログ【アーカイブ】
http://mevius.5ch.net/test/read.cgi/blog/1554380939/

・ジオシティーズでの失敗から学んだアーカイブにあたっての注意事項
1. 早めに行動しましょう
2. まずは既存のプロジェクトや遺産を探しましょう
3. 単独ではなく組織的に動きましょう
4. 呼びかけや情報共有を積極的に行いましょう
0271192.168.0.774
垢版 |
2019/11/10(日) 19:44:29.07ID:OJOj/1ou0
何故自分でやらないのか
0272192.168.0.774
垢版 |
2019/11/10(日) 22:43:10.93ID:Qg+FaNtt0
ジオシティーズの時もそうだったが、特定サービスのアーカイブって何だかんだ言ってかなりの時間と労力を必要とするんだよ
自分でやりたいのは山々だが、そこに労力を注ぎ込める余裕がない
なのでアーカイブをやっている人が多少は集まっているであろうここに投げた
0273270=272
垢版 |
2019/11/10(日) 22:45:26.50ID:Qg+FaNtt0
>>270のサイトの作者と自分は何にも関係ないことは一応断っておく
0274192.168.0.774
垢版 |
2019/11/11(月) 09:12:05.10ID:DmcMWPY20
Yahooブログにアーカイブすべき物なんてあるのか？
0275192.168.0.774
垢版 |
2019/11/11(月) 10:42:59.86ID:HD2VAMf80
単なる日常記録も多いけど、そこらのジオシティーズよりも濃い情報が詰まってるものも多いよ
自分が知ってる範囲だと、今は消えた街並みの記録や京都のマイナーな神社の訪問記、イギリスでの聖人信仰の研究サイト、ゲーム業界の裏話やゲーム攻略などがあるよ
自分が知ってる範囲のブログだけはいくつかWayback Machineに突っ込んだが、他にも有益な情報がたくさん眠ってると思うよ
Yahooブログなんて消えても誰も困らないだろうと思ってる人が結構いるみたいだが、とんでもない偏見だよ
0276GeoLog Project ◆RJRIJK3wcLw8
垢版 |
2019/11/11(月) 20:36:22.34ID:kHI2SrFf0
>>270
試しにhttrackに突っ込んだら画像のリンクが取れず、
調べたら元のHTMLにはないリンクを後から生成して突っ込んでますね。。。

動的サイト嫌いです。。。
0277192.168.0.774
垢版 |
2019/11/11(月) 23:27:18.77ID:HD2VAMf80
動的サイトのWebアーカイブ用クローリングとなるとHeritrix(Internet Archiveが使ってるクローラ)の出番ですね
実績もあるし高性能で拡張性もそれなりにあるものの、マシンの要求スペックが比較的高めなのが難点か
0278192.168.0.774
垢版 |
2019/11/14(木) 17:49:41.79ID:zR5VNa+N0
Heritrixの最低動作スペック自体はそこまで高くないよ
ただ、リッチなコンテンツを含むページをアーカイブしようとするとメモリを食うことがある
あと基本的にLinux環境しかサポートしていないので、人によっては手が出しにくいかもしれない
0280192.168.0.774
垢版 |
2019/11/17(日) 22:45:04.48ID:n+VdMpHA0
メモリ持て余してるけどストレージが足りない
ArchiveTeamWarrior的なのがあれば参加するんだけど
0281192.168.0.774
垢版 |
2019/11/19(火) 15:35:27.56ID:WcaVo5T50
ArchiveTeamに常駐してる人がここにいれば捗るんだが
0282192.168.0.774
垢版 |
2019/11/22(金) 05:16:46.52ID:8zBYuW1S0
むしろ元のHTMLの方には正しいリンク先URLがあるんじゃないの。
それで画像取得できないだろうか
0284192.168.0.774
垢版 |
2019/11/24(日) 23:10:35.97ID:Sj5SnpvV0
>>283
「拡大すると大きめの画像のある」って言うのがどういう意味かよく分からないので、もう少し詳しく説明をお願いしたい
0285215
垢版 |
2019/11/25(月) 05:25:36.43ID:U4MdffN+0
>>284
ライトボックスとかじゃない？
0286GeoLog Project ◆RJRIJK3wcLw8
垢版 |
2019/11/25(月) 20:34:05.84ID:KvWZhxVE0
>>284
言葉足らずですみません

Yahoo!ブログは画像をクリックすると別ページに飛んで元の大きい画像が見られるらしいのですが、
ページのimgタグに書いてある画像より、元画像の方が大きい例があるかどうかを気にしました
>>282 の「元のHTML」に元画像へのリンクがあるのか確認したかったので
0287192.168.0.774
垢版 |
2019/11/27(水) 13:24:37.22ID:+cJOWs3G0
Twitter、休眠アカウント削除へ　対象アカウントに12月11日までにログインするよう警告
https://www.itmedia.co.jp/news/spv/1911/27/news069.html

これ亡くなった著名人などのアカウントも容赦なく削除するらしいから、期限までに出来る限りアーカイブしておきたいところ
Twitterで #休眠アカウント削除 がトレンド入りしてるから、アカウントが消えるのが嘆かれてる故人のアカウントはこれでかなり拾えると思う
0288215
垢版 |
2019/11/27(水) 18:54:59.39ID:y0cHyaRo0
>>287
やり方おせーてくれたら手伝えるけど
0290192.168.0.774
垢版 |
2019/11/27(水) 21:52:41.92ID:+cJOWs3G0
>>288
とりあえず一番手っ取り早い方法は、>>289のツイートに貼られてるリンク先の入力フォームから、
保存して欲しいアカウントのIDを入力して送ること
もしかしたら他にも誰かが保存プロジェクトをやってるかもしれないから要調査だな
0292192.168.0.774
垢版 |
2019/11/30(土) 04:08:01.49ID:IS98dA580
>>291
海外からのアクセスに対し 403 Forbidden エラーを返すよう
設定されているみたいですから、Internet Archive や Archive.is では
無理でしょうね。
さらにそのエラーページは他サイトへの遷移スクリプトが
埋め込んであるので、フツーの人はエラー扱いされていることすら
気付けないでしょう。

当該エラーページの HTML ソースを貼っておきます。
https://pastebin.com/Vy7uYhiK
0293215
垢版 |
2019/11/30(土) 05:13:24.84ID:Yk7eFuvo0
>>290
DLだけ、自分でってことはできないの？
0294192.168.0.774
垢版 |
2019/11/30(土) 10:31:13.20ID:b+Bfz/GQ0
>>293
自分のPC中にアーカイブをローカルで保存することは出来ないかってこと？
Heritrixなど動的サイトを処理できるクローラを使えば問題なく出来る、出来るけどアーカイブは死蔵してたら意味が無いからね
自分だけで閲覧する用に保存しておくこともありうるけどそれはアーカイブとは言えない
ArchiveTeamが収集したファイルはWayback Machineに登録されるようになってるので、そういう意味では安全
0296192.168.0.774
垢版 |
2019/12/03(火) 03:09:24.37ID:zKh+7e4i0
Current Running Warrior Project: Yahoo! Groups
0297192.168.0.774
垢版 |
2019/12/03(火) 03:21:33.26ID:W45k6bBP0
Yahoo GroupsはYahooブログとは全くの別サービスだから早とちりすんなよ
0301192.168.0.774
垢版 |
2019/12/14(土) 23:22:02.29ID:AA4HPrSj0
Ci-en移行に伴うDLsite blogサービス提供終了予定のお知らせ
ttp://home-info.dlsite.com/archives/9427708.html
0302192.168.0.774
垢版 |
2019/12/15(日) 18:24:18.14ID:r3L4BzMu0
Yahooブログ今日までか
0303192.168.0.774
垢版 |
2019/12/16(月) 16:10:29.42ID:RltCXRJ+0
ほとんど何もできなかった
0305192.168.0.774
垢版 |
2019/12/16(月) 22:27:54.54ID:P9Fjib/40
人いねえもの
呼び掛けが不十分だとこうなってしまう
0306192.168.0.774
垢版 |
2019/12/17(火) 00:52:29.58ID:SWkI+H1w0
>>272 >>294
リンク構造維持できて程々の容量に収まるなら分割rarやzipに纏めてもらってもいい。

今は低速スマホしか使う余裕無くなったから巡集やWeboxみたいな取り込みアプリで一括アーカイブ化するのも無理だし
読売の縮刷版CD/DVDなんかは1年分で12万もするし
0308192.168.0.774
垢版 |
2019/12/17(火) 23:19:41.41ID:ZjrTQ21f0
ネットサービス企業は、スマホからの収益がメインやから、

PCだけに成ったら大倒産時代や
0309192.168.0.774
垢版 |
2019/12/18(水) 01:13:33.38ID:7iAMrhRQ0
色々と話がとっ散らかって来たな
>>306からして何が言いたいのか今一つ要領を得ない
0310192.168.0.774
垢版 |
2019/12/19(木) 20:23:09.25ID:s5RLoz8q0
もうyaplogに行ってる
0312192.168.0.774
垢版 |
2019/12/19(木) 23:36:07.17ID:P9Gt+F0u0
geocitiesのアーカイブサイトは複数ある様だけどYahoo!ブログも有る？
0313192.168.0.774
垢版 |
2019/12/20(金) 01:21:34.83ID:W2QHpneb0
>>312
Yahooブログスレの方にも載ってないから今のところないんじゃないかな
0314192.168.0.774
垢版 |
2019/12/28(土) 07:55:33.34ID:GiJFu1gz0
Archive.TodayはグーグルやBingのキャッシュを保存した場合でも原本URLを認識できるのが素晴らしい。
0315◆P0jSlC5fJs
垢版 |
2019/12/29(日) 21:46:36.02ID:3C6Rg8sC0
archive.todayのTwitterの魚拓がモバイル版にならなくなった？
アカウントは新UI、ツイートは旧PC用UI
0316◆P0jSlC5fJs
垢版 |
2019/12/30(月) 13:29:31.10ID:dXRB6Vq/0
>>315
それどころかアカウントの魚拓がかなり下の方までスクロールされた状態で保存されるようになった
つまり1回の魚拓でかなりたくさんのツイートが保存されるようになった
いいね
0317192.168.0.774
垢版 |
2019/12/30(月) 23:49:45.17ID:Sts0O97Y0
>>314
検索で出ないことあるからやっぱ微妙だった
0318192.168.0.774
垢版 |
2019/12/31(火) 18:45:45.57ID:eDEktBsz0
Webサイトの保存ってみんなどうやってしてるの？
このスレにすでに書いてたらすまん
0319192.168.0.774
垢版 |
2020/01/02(木) 07:10:20.03ID:5F6LDkXn0
ローカル保存&魚拓
0320192.168.0.774
垢版 |
2020/01/02(木) 10:39:14.28ID:ucP82yGj0
魚拓ってのは
https://megalodon.jp/
でローカル保存ってのはchromeなんかにあるオフラインで読む系機能であってる？
0322192.168.0.774
垢版 |
2020/01/04(土) 18:01:40.04ID:G3xvEvXn0
激重で読み込めない…
0323192.168.0.774
垢版 |
2020/01/04(土) 20:37:51.83ID:YBh70eiZ0
Scheduled Maintenance
The Internet Archive's sites are offline for scheduled maintenance and upgrades.
Please check our twitter feed @internetarchive for updates.
Sorry for the inconvenience.
0327192.168.0.774
垢版 |
2020/01/09(木) 21:40:15.88ID:y/kpjRu/0
Yahooボックスってサービス終了して無かったのか…
0330192.168.0.774
垢版 |
2020/01/19(日) 06:21:23.58ID:c42zUqjI0
>>328

魔法のiらんど　はまだ存在しているのかｗ
0331192.168.0.774
垢版 |
2020/01/24(金) 17:33:52.87ID:TbU4PUEj0
https://archive.org/

ここに

http://ishidate.my.coocan.jp/index.html

の、「Visual C++の勉強部屋」は保存できてるようなんだけど
「Visual Studio Community 2017でPythonを始める」が
トップだけあって他のリンクが上手く保存が出来てないようなんだけど
残す方法ありますか？始めてやろうとしてるので変な残し方をしたら気まずい・・・
0332192.168.0.774
垢版 |
2020/01/24(金) 17:40:24.75ID:TbU4PUEj0
あれ？慌てただけで反映されてなかっただけかな？

http://ishidate.my.coocan.jp/python/python.htm

上から2個目まではアーカイブされてました、すみません
一個ずつセーブしていくのかな？2個目はやってないはずなんだけど
トップページをセーブすると、自動で全部の保存処理をしてくれてるのだろうか？
0333192.168.0.774
垢版 |
2020/01/24(金) 19:35:46.36ID:DGrUFhpx0
>>331-332
すみません、反映するまで時間が掛かってただけのようです
順調に保存が進みました
0334192.168.0.774
垢版 |
2020/01/30(木) 04:23:53.98ID:DpjoWFqw0
上の保存出来たと思ったら何も変わってなかった
もう訳が解らん、個人的にローカルへ残す事にします・・・
0335192.168.0.774
垢版 |
2020/01/30(木) 09:17:01.89ID:QEGy6HlG0
最近財政難を表明してからInternet Archiveはやけに不安定だからなあ
Internet Archiveのシステムはページをクロールする部分とクロールしたページを表示する部分に分かれてるんだけど、最近は後者の部分がやけに不安定だったりする
閲覧できてないだけで実は保存できてたりすることもあるけど、不安ならオフラインコピーや他のアーカイブサイトを使うといい
0336192.168.0.774
垢版 |
2020/01/30(木) 09:18:37.13ID:QEGy6HlG0
まあ財政難表明する以前からちょくちょく不安定になることはあったんだけど、最近は不安定になる頻度がやたら高くなってきてる
保存されるアーカイブの量にリソースが追いついてないらしい
0338192.168.0.774
垢版 |
2020/02/10(月) 15:13:07.48ID:GaTPIR040
Geocitiesのときはいくつかブックマークから追加したけどiらんどはなかったよ・・・
0339192.168.0.774
垢版 |
2020/02/17(月) 12:57:14.40ID:JLl8Pqxs0
Wayback Machine ツイッターが簡単に登録できなくなったね
try againになる
0341192.168.0.774
垢版 |
2020/02/21(金) 08:42:25.85ID:SqQJO7aU0
と思ったらReCaptcha導入でgyo.tc/urlまでもが廃止されたのかよ。
ReCaptchaの画面に飛ばしてくれればいいだけなのに。
タイトル画像詐欺になってるがな。
0342192.168.0.774
垢版 |
2020/02/21(金) 08:50:19.65ID:SqQJO7aU0
右下のリキャプチャマーク表示されてから5秒数えてから押せばいけるっぽい？
0343192.168.0.774
垢版 |
2020/02/25(火) 14:42:33.24ID:RVV1cF750
https://web.archive.org/
ここ一週間くらい調子悪いね？

保存できたと思って翌日くらいに見ようとしたら消えてて見られなくなってる
0344192.168.0.774
垢版 |
2020/02/25(火) 23:55:53.96ID:jlsY//Cy0
Internet Archiveはアーカイブ実行用クローラ(Heritrix)と
保存したアーカイブの専用ビューワ(Wayback)を組み合わせて動いてるんで、
保存したアーカイブがサーバ不調で一時的に見られなくなってても、
アーカイブさえきちんと出来てればそのうち問題なく見られるようになる
0345192.168.0.774
垢版 |
2020/02/27(木) 12:58:06.64ID:mwbfDK4S0
>>344
本当ですね！
さっき見てみたら復旧されたようでちゃんと保存できてました！
0346192.168.0.774
垢版 |
2020/02/29(土) 11:53:24.69ID:zPIV21fz0
アーカイヴトゥデイがGoogleキャッシュだけでなくBingキャッシュも原本と関連付けてくれれば神なんだが。
0347215
垢版 |
2020/03/20(金) 19:04:44.43ID:JhAw491V0
大住：僕は父親が来て、探偵ファイルをやめるべき理由を膨大に書き連ね
「これ以上やるなら親子関係を考えざるを得ない」と結んだ手紙を置いていきました。

ｗｗｗｗｗｗｗｗｗ
0348192.168.0.774
垢版 |
2020/03/24(火) 15:24:23.68ID:y1vf31FW0
Mが九つ…これはリッジレーサーのあの曲ですねぇ…間違い無い
0349192.168.0.774
垢版 |
2020/03/29(日) 00:39:38.40ID:fQaeQ4aI0
【リマインド】 魔法のiらんど
2020年 3/31 リニューアルに伴いホームページ機能終了
アーカイブの必要がある場合は早急に対応を。

https://maho.jp/renewal/
0350192.168.0.774
垢版 |
2020/04/11(土) 13:13:02.49ID:wGeDLnxf0
削除されたなろう小説や Wayback Machineでも見れないサイトを見たいなあ
0351192.168.0.774
垢版 |
2020/04/12(日) 03:38:35.21ID:9mojHch+0
レビューサイトや攻略サイトはどんなに古くても価値があると思う
0352192.168.0.774
垢版 |
2020/04/17(金) 16:09:58.55ID:jHjl/hvx0
Todayにリキャプチャ付いた。かわりに画像単体のキャプチャができるようになっていた。
0353192.168.0.774
垢版 |
2020/04/17(金) 17:07:42.90ID:hEp8fbMZ0
archive.today (archive.is)

URLがいくつもあるわけだが

archive.today
archive.is
archive.li
archive.fo
archive.vn
archive.md
archive.ph

ひとつがサーバーダウンしている時には
他のURLも使えないのかどうか。
0354192.168.0.774
垢版 |
2020/04/17(金) 19:43:09.88ID:DEdL3XQ50
>>353
名前を色々と増やし始めたのはこれが発端。
http://echo.5ch.net/test/read.cgi/esite/1189771222/587-590

ドメイン名乗っ取り攻撃に対する冗長性確保が目的。
何れかの名前が乗っ取られても他の名前で利用できるようにしてあるだけで、
> ひとつがサーバーダウンしている時には
> 他のURLも使え
〜るといった 20 年前みたいな事は意図していないはず。
0356192.168.0.774
垢版 |
2020/05/10(日) 18:31:31.05ID:0BWUOz3X0
>>355

> 「DLsite blog」

そんなブログサービスがあるということを今はじめて知った
0357192.168.0.774
垢版 |
2020/05/13(水) 22:57:43.18ID:+6V16oE90
>>351
そう簡単に常識が変わるわけではないジャンルだしな
0359192.168.0.774
垢版 |
2020/05/25(月) 18:40:03.53ID:DqvUJCjh0
2020年6月30日
連合型SNS『マストドン』 日本2位,3位のインスタンスが閉鎖
・msdtn.jp (登録20万人, 5500万トゥート)
・mastodon.cloud (利用者数6万人, 340万トゥート)

SNS『mstdn.jp』、誹謗中傷への対応の事務負担増に耐えられないと判断して6月30日で閉鎖へ
https://news.yahoo.co.jp/byline/shinoharashuji/20200525-00180247/

運営引き継ぎも募集しているらしい
https://mstdn.jp/about
0361192.168.0.774
垢版 |
2020/06/12(金) 20:04:22.23ID:kaj5j2rY0
>>360

外資は儲からないと判断するとすぐ撤退する傾向が強いからなあ。不安。
0362192.168.0.774
垢版 |
2020/06/12(金) 23:01:41.40ID:r8G+EqEg0
「誹謗中傷の証拠取得用に」と謳った「Twitter魚拓」なるWebサービスが出来てバズってるが、
やってることは単にスクショ撮ってimgurに上げるだけらしい
スクショはブラウザの開発者機能でいくらでも改竄できるし、
これならArchive.isの方がずっと優秀だな
スクショに法的な証拠能力ってあるのかな
0363192.168.0.774
垢版 |
2020/06/12(金) 23:03:10.00ID:r8G+EqEg0
>>361
買収先は確かTwitter非公式クライアントの開発チームじゃなかったっけ
儲からないのは織り込み済みじゃないかな？
0365192.168.0.774
垢版 |
2020/06/18(木) 15:31:00.91ID:YE4F+hQG0
Twitter魚拓に画像ハッシュを電子署名で埋め込む機能がやっと付いたらしい
結局画像を撮る前の段階で偽造可能なのはどうしようもないけど
0366192.168.0.774
垢版 |
2020/06/20(土) 02:54:49.17ID:h9ZrYl1H0
archive todayの魚拓検索でURL以外の文字列入力すると
Googleのカスタム検索経由で全文検索できるようになってるな
0368192.168.0.774
垢版 |
2020/06/20(土) 12:12:23.28ID:D5VLdHFC0
Googleのやつより見やすいな
日本語で書いてあるせいか？
0369192.168.0.774
垢版 |
2020/06/24(水) 20:08:29.48ID:VaXpj8XL0
149 名前：名無しさん＠ggmatome ：2020/06/24(水) 19:41:32 ID:GJp4RZxo0
Adobe Flash Playerの2020年末サービス終了は、古いゲームの公式サイトとかに影響が出そう
0370192.168.0.774
垢版 |
2020/06/25(木) 23:41:47.74ID:dwRtuOnD0
ArchiveTeamがなんかやってるかなと思ったけどまだ動いてないっぽい
■ このスレッドは過去ログ倉庫に格納されています
ニューススポーツなんでも実況