【保存・記録】ウェブアーカイブ総合 Page.01
■ このスレッドは過去ログ倉庫に格納されています
ウェブアーカイブ関連の話題を総合的に扱うスレです。
情報交換し合って貴重なインターネット遺産を後世に残しましょう。
Internet ArchiveなどのWebサービスだけでなく、wget・HTTrack・Heritrix等のツールやソフト、自作クローラの話題もOKです。
・関連リンク（Rock54回避のためピリオドをカンマに変更）
Wayback Machine
https://archive,org/
archive,today
https://archive,fo/
ウェブ魚拓
https://megalodon,jp/
Archive Team
https://archiveteam.org/
・関連スレ
Internet Archive総合 (web,archive,org) #2
http://mevius.5ch.net/test/read.cgi/esite/1475246713/
ウェブ魚拓 Part3
http://mevius.5ch.net/test/read.cgi/esite/1498902308/
【和塩】geocitiesスレ10【ジオシティーズ】
http://mevius.5ch.net/test/read.cgi/hosting/1554115546/
【ヤフー】Yahoo!ブログ【アーカイブ】
http://mevius.5ch.net/test/read.cgi/blog/1554380939/
・ジオシティーズでの失敗から学んだアーカイブにあたっての注意事項
1. 早めに行動しましょう
2. まずは既存のプロジェクトや遺産を探しましょう
3. 単独ではなく組織的に動きましょう
4. 呼びかけや情報共有を積極的に行いましょう 情報が古くても需要がありそうなのは
小説・漫画・映画のレビュー・考察サイト
ゲーム関係のサイト（攻略サイト・レビューサイトなど）
Web小説
あたりか アーカイブしたいサイトがある時、どうやって保存するの？
Winなら巡集みたいなソフト使ってやるの？ Macではターミナル？ >>237
Windowsしか書いてないけど、macで行ける？ Macはもってないので分からない。
>>175のやつWindowsでも機能していない可能性がある。保存されたって出てるけど実際は保存されていないとか。 サービス終了に関するご報告
https://www.rich.co.jp/news_article/20190930/
＞この度、2015年よりサービスを続けてまいりましたメディア「ヘルスケア大学」について、当社事業領域の整理に伴い社内リソースを別領域に集中させることに決定し、2019年9月30日にサービスを終了することとなりました。 ワイ「古い車買ったろ。整備は大変そうやけど、ネットには先人の知恵がいっぱいや」
1 ：名無しさん＠おーぷん：19/09/27(金)23:31:11 ID:2JG主 ×
ジオシティーズ「ん？」
ディオン「んん？」
ニフティー「んんん？」
2：名無しさん＠おーぷん：19/09/27(金)23:31:38 ID:2JG主 ×
先人の知恵、消える
3：名無しさん＠おーぷん：19/09/27(金)23:31:46 ID:6EZ ×
しゃーない
5：名無しさん＠おーぷん：19/09/27(金)23:32:30 ID:cUL ×
悲しいなぁ… 各アーカイブサービスの検索機能が優秀なら良いんだけどな
保存してもそれを探し出せないなら死蔵と変わらんな 無料ソフトウェアのサイトは保存されてても実行ファイルを含むzipファイルは保存されていません。
可能な限り保存します。 >>242
単にアーカイブしたファイルの中身に対して検索を行えるかどうかの話。
それを優秀などという語でしか表現できない貧弱なボキャブラリー。 Googleとかで「 site:web.archive.org」を付けて検索するのが現実的かと。 wikiうんぬんの話が出ているので、いくつか使ったことがあるから書いておくけど
atwiki SeesaaWiki FC2wiki などはそれぞれ記法が独特でバックアップが取れない
atwikiは特に仕様がころころ変わる上に不具合発生率も高くて、書き込みだけに集中できないし
アカウントを削除してもサーバーからデーターが完全削除されないみたい
pukiwiki／pukiwiki plusベースのところはdumpデーターは取得できるけど
運営が個人だったり個人で会社を作ってやっているところはその人がどうにかなると連絡が取れなくなる
それでもサーバーやドメインが維持されいるとサービスは利用できるけど
ある日突然使えなくなることがある コンテンツ制作側としてのバックアップの話をここでやってどーするの。 個人サイトで無料／有料に関わらず共用サーバーを使っている場合
サーバー管理会社によってサーバーのスペック変更が行われると
サービスが終了していなくてもサイトが閲覧不可になることがあるよね
PHP5.3までしか対応していないものを使ってサイト運営をしているのに
サーバー側がPHP7.2にしちゃったとか
サーバーを丸ごと交換してデフォルトがUTF-8になったのに
サイトのほうでcharsetを指定していないとか
DBのバージョンが上がってデーターが呼び出せなくなった
等の理由で、閲覧が困難になるケース
閲覧しに行って真っ白だったり文字化けしていたりするのはこの辺の理由 そういやPukiWikiのサイトをInternetArchiveで保存させる場合、
一覧ページから数階層分のURLを掘って、その全URLに/save/リクエストを
発行すれば完了だろうな。
適当なツールが無ければIrvineとメモ帳のテキスト置換機能を使えばよい。
ソースのバックアップの話はスレチ。 このスレで使うwikiが消滅する場合の対策の話じゃないの。 >>244
人の揚げ足取る暇があったらアーカイブしろ だいたいページ内容の走査だけで検索機能実装しても優秀とは到底言えないからな
検索エンジンサービスのようにページランク等を考慮して初めて、優秀というかようやく使いものになる
アーカイブサービスのように膨大な数のページを検索しなきゃいけない場合は、そういったアルゴリズムの必要性がさらに高まる
こういう話をいちいちするのが面倒だから話を全部ひっくるめて「優秀」の一語で表現した
これで満足か？ ページランクは固有名詞に近いからランキングアルゴリズムと言うべきだったかもしれない クソリプが跋扈するツイッターや人口の多い他の5ch板ならまだしも、
このご時世にこんな専門板で、横からいきなり会話してる訳でもない相手からレスが飛んでくるとは思わなかった
随分面食らったわ >>256
また話が出るかもしれないから一応書いておいただけ
atwiki上のサイトで差分が見れないところがあったから
archive.orgで探してみたけど
archive.orgのbotをatwikが蹴っているみたいで最近はエラーページが保存されちゃってる
意図的にそのページを残したい人がarchive.orgのアカウントを作って残す場合は別として
消えちゃったページを後からarchive.orgで探すのは難しくなっていると思うよ
クローリングの期間がだいぶ開いている
これはGoogleのキャッシュもそうだと思う
サイトを運営している人がGoogleのアカウントを取得して
Google Search Consoleからクローリングのリクエストを出して当然ってなってきているみたい >>245
実際に検索してみると分かるけど、その方法だと引っかからないアーカイブが結構あるんだよな
Googleのクローリングが追いついてないんだと思うけど 【ヤフー】Yahoo!ブログ【アーカイブ】
http://mevius.5ch.net/test/read.cgi/blog/1554380939/l50/
74 Trackback(774) 2019/09/30(月) 17:07:59.58ID:th5gp/Yr
Internet ArchiveでYahooブログを保存すると遷移スクリプトが発火する話なんだけど、
web.archive.org/save のページから「Save outlinks」にチェックを入れて保存すると
どうもYahooのトップページに遷移されずにアーカイブできるみたいだ
さっき偶然発見して何回か試したけど今のところ全て上手く保存されてる アメリカの図書館はもうTwitterの全保存やめたんじゃなかったか 当時の「魔法のiらんど」上で作られたサイトは現在ではほとんど残っていない。
WebArchiveでも表層しか掘れないサイトばかりである。
当時の掲示板でのやりとり等はもちろん、かのクレリアさんが自サイトに書き記していた構築解説ですらも現在は散逸してしまった。 手動で一ページずつやってもToo Many Requestsになって捗らないな。
Wayback Machineは金払うから一気に取得かアップロードさえて欲しい。 >>264
有料取得依頼みたいなんなかったっけ
最近Archive Today重いのは俺だけかい？
すぐNetwork Errorになる したらば掲示板が丸一日メンテナンスしてたみたいですな。 >>258
そういや最近グーグルってサイト作成者がクロール要求しないと
なかなかクロールしてくれないってどっかの記事で読んだような気がする。
↓こういうのをテキストエディタで作ってからIrvineの「URLを展開して貼り付け」をすると全頁まとめて登録できる。画像一覧とかも同様
https://blogs.yahoo.co.jp/************/MYBLOG/yblog.html?m=l&;p=[1-最後のページ番号]
例のスクリプトの登録漏れをある程度減らせると思う。 ジオシティーズの時もそうだったが、特定サービスのアーカイブって何だかんだ言ってかなりの時間と労力を必要とするんだよ
自分でやりたいのは山々だが、そこに労力を注ぎ込める余裕がない
なのでアーカイブをやっている人が多少は集まっているであろうここに投げた >>270のサイトの作者と自分は何にも関係ないことは一応断っておく Yahooブログにアーカイブすべき物なんてあるのか？ 単なる日常記録も多いけど、そこらのジオシティーズよりも濃い情報が詰まってるものも多いよ
自分が知ってる範囲だと、今は消えた街並みの記録や京都のマイナーな神社の訪問記、イギリスでの聖人信仰の研究サイト、ゲーム業界の裏話やゲーム攻略などがあるよ
自分が知ってる範囲のブログだけはいくつかWayback Machineに突っ込んだが、他にも有益な情報がたくさん眠ってると思うよ
Yahooブログなんて消えても誰も困らないだろうと思ってる人が結構いるみたいだが、とんでもない偏見だよ >>270
試しにhttrackに突っ込んだら画像のリンクが取れず、
調べたら元のHTMLにはないリンクを後から生成して突っ込んでますね。。。
動的サイト嫌いです。。。 動的サイトのWebアーカイブ用クローリングとなるとHeritrix(Internet Archiveが使ってるクローラ)の出番ですね
実績もあるし高性能で拡張性もそれなりにあるものの、マシンの要求スペックが比較的高めなのが難点か Heritrixの最低動作スペック自体はそこまで高くないよ
ただ、リッチなコンテンツを含むページをアーカイブしようとするとメモリを食うことがある
あと基本的にLinux環境しかサポートしていないので、人によっては手が出しにくいかもしれない Windows でも動くには動きますね
しかしやたら遅い・・・ メモリ持て余してるけどストレージが足りない
ArchiveTeamWarrior的なのがあれば参加するんだけど ArchiveTeamに常駐してる人がここにいれば捗るんだが むしろ元のHTMLの方には正しいリンク先URLがあるんじゃないの。
それで画像取得できないだろうか >>282
拡大すると大きめの画像のあるページってどこかありますか？ >>283
「拡大すると大きめの画像のある」って言うのがどういう意味かよく分からないので、もう少し詳しく説明をお願いしたい >>284
言葉足らずですみません
Yahoo!ブログは画像をクリックすると別ページに飛んで元の大きい画像が見られるらしいのですが、
ページのimgタグに書いてある画像より、元画像の方が大きい例があるかどうかを気にしました
>>282 の「元のHTML」に元画像へのリンクがあるのか確認したかったので Twitter、休眠アカウント削除へ 対象アカウントに12月11日までにログインするよう警告
https://www.itmedia.co.jp/news/spv/1911/27/news069.html
これ亡くなった著名人などのアカウントも容赦なく削除するらしいから、期限までに出来る限りアーカイブしておきたいところ
Twitterで #休眠アカウント削除 がトレンド入りしてるから、アカウントが消えるのが嘆かれてる故人のアカウントはこれでかなり拾えると思う >>288
とりあえず一番手っ取り早い方法は、>>289のツイートに貼られてるリンク先の入力フォームから、
保存して欲しいアカウントのIDを入力して送ること
もしかしたら他にも誰かが保存プロジェクトをやってるかもしれないから要調査だな minori official web site
http://www.minori.ph/
このサイト、キャプチャできない >>291
海外からのアクセスに対し 403 Forbidden エラーを返すよう
設定されているみたいですから、Internet Archive や Archive.is では
無理でしょうね。
さらにそのエラーページは他サイトへの遷移スクリプトが
埋め込んであるので、フツーの人はエラー扱いされていることすら
気付けないでしょう。
当該エラーページの HTML ソースを貼っておきます。
https://pastebin.com/Vy7uYhiK >>290
DLだけ、自分でってことはできないの？ >>293
自分のPC中にアーカイブをローカルで保存することは出来ないかってこと？
Heritrixなど動的サイトを処理できるクローラを使えば問題なく出来る、出来るけどアーカイブは死蔵してたら意味が無いからね
自分だけで閲覧する用に保存しておくこともありうるけどそれはアーカイブとは言えない
ArchiveTeamが収集したファイルはWayback Machineに登録されるようになってるので、そういう意味では安全 Current Running Warrior Project: Yahoo! Groups Yahoo GroupsはYahooブログとは全くの別サービスだから早とちりすんなよ Ci-en移行に伴うDLsite blogサービス提供終了予定のお知らせ
ttp://home-info.dlsite.com/archives/9427708.html 人いねえもの
呼び掛けが不十分だとこうなってしまう >>272 >>294
リンク構造維持できて程々の容量に収まるなら分割rarやzipに纏めてもらってもいい。
今は低速スマホしか使う余裕無くなったから巡集やWeboxみたいな取り込みアプリで一括アーカイブ化するのも無理だし
読売の縮刷版CD/DVDなんかは1年分で12万もするし ネットサービス企業は、スマホからの収益がメインやから、
PCだけに成ったら大倒産時代や 色々と話がとっ散らかって来たな
>>306からして何が言いたいのか今一つ要領を得ない geocitiesのアーカイブサイトは複数ある様だけどYahoo!ブログも有る？ >>312
Yahooブログスレの方にも載ってないから今のところないんじゃないかな Archive.TodayはグーグルやBingのキャッシュを保存した場合でも原本URLを認識できるのが素晴らしい。 archive.todayのTwitterの魚拓がモバイル版にならなくなった？
アカウントは新UI、ツイートは旧PC用UI >>315
それどころかアカウントの魚拓がかなり下の方までスクロールされた状態で保存されるようになった
つまり1回の魚拓でかなりたくさんのツイートが保存されるようになった
いいね >>314
検索で出ないことあるからやっぱ微妙だった Webサイトの保存ってみんなどうやってしてるの？
このスレにすでに書いてたらすまん 魚拓ってのは
https://megalodon.jp/
でローカル保存ってのはchromeなんかにあるオフラインで読む系機能であってる？ Scheduled Maintenance
The Internet Archive's sites are offline for scheduled maintenance and upgrades.
Please check our twitter feed @internetarchive for updates.
Sorry for the inconvenience. 4年以上未ログインの Yahoo! JAPAN ID、2020年2月から順次利用停止へ
https://japanese.engadget.com/jp-2020-01-07-4-yahoo-japan-id-2020-2.html
これひょっとしてYahooボックスで公開されてるファイルとかもごっそり消えちゃうんじゃ・・・
と思ったけどほとんど見かけないから影響あんまり無いかな Yahooボックスってサービス終了して無かったのか… 魔法のiらんどは2020年春に大リニューアルします！ - 魔法のiらんど https://maho.jp/renewal/
オワタ >>328
魔法のiらんど はまだ存在しているのかｗ https://archive.org/
ここに
http://ishidate.my.coocan.jp/index.html
の、「Visual C++の勉強部屋」は保存できてるようなんだけど
「Visual Studio Community 2017でPythonを始める」が
トップだけあって他のリンクが上手く保存が出来てないようなんだけど
残す方法ありますか？始めてやろうとしてるので変な残し方をしたら気まずい・・・ あれ？慌てただけで反映されてなかっただけかな？
http://ishidate.my.coocan.jp/python/python.htm
上から2個目まではアーカイブされてました、すみません
一個ずつセーブしていくのかな？2個目はやってないはずなんだけど
トップページをセーブすると、自動で全部の保存処理をしてくれてるのだろうか？ ■ このスレッドは過去ログ倉庫に格納されています
