【保存・記録】ウェブアーカイブ総合 Page.02

[1 2023/11/21(火) 07:23:34.80 ID:QN4SUfby0]

ウェブアーカイブ関連の話題を総合的に扱うスレです。
情報交換し合って貴重なインターネット遺産を後世に残しましょう。
Internet ArchiveなどのWebサービスだけでなく、wget・HTTrack・Heritrix等のツールやソフト、自作クローラの話題もOKです。

・関連リンク（Rock54回避のためピリオドをカンマに変更）
Wayback Machine
https://archive,org/
archive,today
https://archive,fo/
ウェブ魚拓
https://megalodon,jp/
Archive Team
https://archiveteam.org/

・関連スレ
Internet Archive総合 (web,archive,org) #2
https://mevius.5ch.net/test/read.cgi/esite/1690495133/
ウェブ魚拓 Part3
https://mevius.5ch.net/test/read.cgi/esite/1498902308/
【和塩】geocitiesスレ10【ジオシティーズ】
https://mevius.5ch.net/test/read.cgi/hosting/1554115546/
【ヤフー】Yahoo!ブログ【アーカイブ】
https://mevius.5ch.net/test/read.cgi/blog/1554380939/

・ジオシティーズでの失敗から学んだアーカイブにあたっての注意事項
1. 早めに行動しましょう
2. まずは既存のプロジェクトや遺産を探しましょう
3. 単独ではなく組織的に動きましょう
4. 呼びかけや情報共有を積極的に行いましょう

[2 998 2023/11/22(水) 11:01:01.11 ID:QZxCudHS0]

勝手に次スレ立てたなら、前スレのURLぐらい貼れよ
https://mevius.5ch.net/test/read.cgi/internet/1554553882/

[3 998 2023/11/22(水) 11:13:01.57 ID:QZxCudHS0]

>>1の関連リンクや関連スレのリンク先の状況確認もしてなさそうだし

[4 998 2023/11/22(水) 11:30:01.04 ID:QZxCudHS0]

前スレで、残り書き込めれるレス数が少ないのに悪口で埋めるのかよ。阿保らしい

[5 2023/11/22(水) 12:17:26.13 ID:DuzB/ozg0]

>>2
うるせえよ死ねゴミ

[6 2023/11/22(水) 12:58:35.19 ID:gLGwnryk0]

次スレどうする云々は早めに議論始めないと大抵こうなるんだよね。
5CH自体、人減ったからそういうのを仕切れる人も減った。

[7 2023/11/22(水) 13:08:04.66 ID:R+bORu+V0]

>>3
リンク先の確認はしてる
文句言う前にお前こそ確認しろ

[8 2023/11/22(水) 20:45:03.42 ID:RBjZhLtj0]

例のスレを私物化してるというかひたすら日記帳にしてた句読点空改行マンは正直叩かれても仕方ないかと

[9 2023/11/23(木) 16:21:52.04 ID:M5PJ+4vU0]

次スレ立ったんだし別になんでも良いでしょ
仮にこのスレの次スレが立つなら>>950が立てれば良いさ
テンプレは使い回しして

[10 2023/11/29(水) 19:55:45.97 ID:Bv4X1MKX0]

今さらだがtok2の無料プラン6月に死んでたのね

[11 2023/11/29(水) 20:05:03.99 ID:hfZzT9ef0]

長期で見たらどのアーカイバが飛ぶかわからない砂上の楼閣感がある

[12 2023/11/30(木) 15:45:33.23 ID:CeXtDLxF0]

信用度で言ったら
インターネットアーカイブ>>>>>>>>>today>その他
って感じだしな

特に運営元が分からない奴はいつ飛んでもおかしくない

[13 2023/12/01(金) 20:55:06.14 ID:/RlTQaSn0]

.orgで連続で弾かれた内部的な仕様変更だろうか
"Not Found
The requested URL was not found on the server. If you entered the URL manually please check your spelling and try again."

[14 2023/12/01(金) 21:02:28.18 ID:/RlTQaSn0]

Windows版FireFox、Chrome、BraveとSafariで同じ症状

[15 2023/12/01(金) 23:14:24.37 ID:WQmdyjUL0]

IAのスレでもその話題出てるけどIAの不具合ぽい

[16 2023/12/06(水) 10:23:22.54 ID:9VVxiS460]

archive.is
日本時間今朝10時7分にサーバ証明書期限切れ、更新されてない

[17 2023/12/12(火) 19:22:42.21 ID:hW2qVqPj0]

archive todayで気軽にアーカイブ化できるようなショートカットとかないですか？

[18 2023/12/13(水) 12:39:45.28 ID:pBChJXnH0]

公式にブックマークレットあったはずだけど使えなくなったのか？

[19 2023/12/18(月) 14:32:47.54 ID:rr5iksGZ0]

ブックマークレット見当たらないんだけどどこにある？

[20 2023/12/18(月) 22:09:24.58 ID:VHkEpDN70]

>>19
確かにそんなものがあったなぁ。
https://web.archive.org/web/20191022034909/archive.is/

archive.today で定期的にアーカイブさせるスクリプトを動かしていたことがあるけど、
ブックマークレットが行っていたような「保存したい URL を付けて送信するだけ」という方法が
何年か前に受け付けられなくなり、http://archive.is/ のトップページでトークン (submitid) を
得ることを要求するようになった。
ブックマークレットが掲載されなくなったのはその頃。

[21 2023/12/18(月) 23:02:56.83 ID:SRfhFfWq0]

今も一応第三者が作ってGithubに上げてるブックマークレットならちゃんと今見てるページのワンポチ魚拓取得出来るよ
トップページ一回経由するやつ

[22 2023/12/19(火) 14:10:59.19 ID:be8ZnnnO0]

>>21
ま？探してくるわ

[23 2023/12/28(木) 15:22:56.59 ID:aVvZh5OJ0]

archive.today
今朝、運良く取得できたけど、welcome to nginx病・・・
しかも一度出ると再アクセスしても接続がタイムアウトして繋がらなくなる・・・
回避方法あったら教えて

[24 2023/12/28(木) 15:53:07.15 ID:eQrjkTct0]

>>23
見た感じ archive.today の応答がかなり悪くなってるみたいだけど
archive.is とか archive.md とか archive.li とか、リダイレクトの生じない名前なら
サクサク返って来るんだよね

[25 2023/12/29(金) 16:14:00.57 ID:mcUEm1710]

今日もarchive.todayでWelcome to nginx!になって取得できない・・・
取得するコツってないの？

[26 2023/12/29(金) 16:24:41.89 ID:56/eqjqc0]

>>25
あるよｗ

[27 2023/12/29(金) 16:30:00.41 ID:QoMdPNgl0]

>>5
お前みたいな人はボランティアとかに向いていないから、ここのスレとかに来ない方が良いんだけどな。

>>8
ここ匿名なのに、「日記帳にしてた人」と「指摘した人」同じに見える能力があるんだな。すげえな。

もし有事があっても朝鮮人の所為にするなよ。

[28 2023/12/29(金) 16:44:03.51 ID:QoMdPNgl0]

>>7
関連スレの「#2」の部分は直さなかったのかｗ　#5なのに

[29 2023/12/29(金) 16:53:00.74 ID:QoMdPNgl0]

まあ、>>5 >7 >8はもう居ないだろうけど。

[30 2023/12/29(金) 21:39:19.78 ID:BeXMuX5W0]

スレを日記帳にしてた連投句読点おじさん帰ってきちゃったじゃん…

[31 2024/01/02(火) 12:32:26.24 ID:W/dfs4mD0]

質問です
このサイトをそのままの形で落としたいのですが
https://goodsmileshop.com/ja/
HTTrackでやったら、商品ページまで落とせず終わったり商品の画像が表示されません

そこでwgetで
wget -m -p -E -k -np をつけてやってみました。コマンドはよく分かりませんがネットでサイトそのまま再現
で検索したらこのコマンドを使えと記載がありました
まだ終わってませんがindexを覗いてみたら、カテゴリページを延々とダウンロードしてるようで
商品ページはまだで、途中ですがやっぱり画像が表示されてません
またいつまで経っても終わりません

画像が表示されないのは、表示方法にjavascriptとかを使っているからなんでしょうか
放置してダウンロードが終了すれば、きちんと表示されるんでしょうか

[32 2024/01/02(火) 16:22:32.88 ID:lNtBlc7t0]

>>31
スレタイ
❌ ローカルアーカイブ総合
⭕ ウェブアーカイブ総合

[33 2024/01/02(火) 19:16:28.75 ID:W/dfs4mD0]

wget・HTTrack・Heritrix等のツールやソフト、自作クローラの話題もOKです。

って書かれてたんで来ちゃいました。すみません
wgetの使い方に詳しい方がいる板ってどのあたりなんでしょうかね

[34 2024/01/09(火) 19:48:58.47 ID:p24Ans9E0]

最近インターネットアーカイブで見れる閉鎖サイトを丸々コピーしてる攻略サイトが増えてるわ
代表的なのはこれ
https://xneo.jp/
https://kouryaku7.com/

[35 2024/01/22(月) 15:30:21.91 ID:YHuj1Ww20]

スラド終了のお知らせ
https://srad.jp/story/24/01/22/0311225/

[36 2024/01/22(月) 15:33:31.38 ID:BqifyO/10]

スラドの保存を依頼しに来たが、既に書かれてた
1月いっぱいで閉鎖との事なので、技術を持ってる方がいたらWayback Machineへの保存をお願いします

[37 2024/02/01(木) 03:41:51.12 ID:uruf4q6/0]

>>31
亀レスだけど、落とそうとしてるファイルが多すぎる&サイトにJavaScriptが使われてる、の両方では
でかいサイトをwgetでまともにクロールするなら1週間くらい置いといた方がいい
あと最近のサイトは大概JavaScriptを多用してるから、Heritrixを使った方が楽かもしれん

参考にしたというのは多分このサイトだな
https://tex2e.github.io/blog/shell/wget-entire-website

あと>>32は間違ってる、ローカルアーカイブもれっきとしたWebアーカイブの一種だよ
>>1にもちゃんとwgetも含むと書いてあるし

[38 2024/02/04(日) 23:33:32.14 ID:wTdVULUN0]

採択

[39 2024/02/20(火) 12:53:52.46 ID:cyS+ObVG0]

『OKMusic』サービス終了のお知らせ
https://okmusic.jp/news/548328

＜終了までのスケジュール＞
・2024年3月31日（日）午後11時59分
　記事更新を終了

・2024年4月1日（月）午前11時59分
　会員機能の提供を終了
　※以降会員登録、ログインできません

・2024年5月以降（予定）
　サイトの公開を終了
　※終了日時に関しては、このページにて改めて告知させていただきます

[40 2024/02/25(日) 02:04:04.75 ID:cjUiDYTX0]

自作ツールの話だけど、DLしたデータを保存するファイル形式って何かいいのある？

例えば https://example.com/blog/article?mode=view&page=10 とかのURLを保存する時、
リクエストしたURL、レスポンスヘッダー、日時等のメタデータ、もちろんレスポンス本文 を保存したい。
もちろんレスポンス本文はバイナリの場合もある。

wgetだとローカルに example.com フォルダの中に blogフォルダの中に article_mode=view&page=10 というファイルを作る(半角の？はファイル名で使えないので置換される)
みたいなのがベタだと思うけど、それだとまずURL文字列の情報が失われてるし、レスポンスヘッダも消えてる。
それに1URLが1ファイルに保存されるから1サイトまるごとだとファイル数が多すぎて取り回しがしにくくなる。

warcファイルでいいやと思ったけど、一般的にはマイナーでエコシステムが力不足な事があるし
じゃあsqlteに自分でテーブルやカラムを作ってやればいいけど独自規格は後々困りそうだし…。

どうすればいいんすかね。

[41 2024/02/25(日) 15:52:11.05 ID:6fhfw2DW0]

warcで良いだろ
今後どれだけ時を経てもエコシステムが充足することはないから考慮する必要もない

[42 2024/02/25(日) 19:29:29.32 ID:cjUiDYTX0]

うーん、それもそうか…

[43 2024/02/26(月) 21:52:37.14 ID:badvTVSb0]

warcは腐ってもISO規格で標準化されてて、マイナーな業界とはいえ世界中の専門機関で使われてる訳だしな
下手に自作するよりはずっと良い

[44 2024/02/26(月) 21:58:07.39 ID:badvTVSb0]

エコシステムが不足してるなら自分が貢献できるよう頑張ろう、位のガッツがあった方が良いよ（実際に貢献できるかは別として）
何しろマイナーな技術分野で先駆者が少ないから、それくらいの意気込みがないと現実的にやっていられない

[45 2024/02/27(火) 00:51:18.39 ID:o1ZUbZhQ0]

流行ると後から来たお客様にオワコンにされる流れ多すぎるのが悪い
先駆者利益も大きなお客様に乗っ取られた後の利益と比べたらリスクとリターン見合ってないし

[46 2024/02/27(火) 12:09:56.51 ID:ncN5iY7H0]

オープンソースかつアーカイブ界隈でそれ気にする必要ある？