【保存・記録】ウェブアーカイブ総合 Page.01
■ このスレッドは過去ログ倉庫に格納されています
ウェブアーカイブ関連の話題を総合的に扱うスレです。
情報交換し合って貴重なインターネット遺産を後世に残しましょう。
Internet ArchiveなどのWebサービスだけでなく、wget・HTTrack・Heritrix等のツールやソフト、自作クローラの話題もOKです。
・関連リンク（Rock54回避のためピリオドをカンマに変更）
Wayback Machine
https://archive,org/
archive,today
https://archive,fo/
ウェブ魚拓
https://megalodon,jp/
Archive Team
https://archiveteam.org/
・関連スレ
Internet Archive総合 (web,archive,org) #2
http://mevius.5ch.net/test/read.cgi/esite/1475246713/
ウェブ魚拓 Part3
http://mevius.5ch.net/test/read.cgi/esite/1498902308/
【和塩】geocitiesスレ10【ジオシティーズ】
http://mevius.5ch.net/test/read.cgi/hosting/1554115546/
【ヤフー】Yahoo!ブログ【アーカイブ】
http://mevius.5ch.net/test/read.cgi/blog/1554380939/
・ジオシティーズでの失敗から学んだアーカイブにあたっての注意事項
1. 早めに行動しましょう
2. まずは既存のプロジェクトや遺産を探しましょう
3. 単独ではなく組織的に動きましょう
4. 呼びかけや情報共有を積極的に行いましょう >>585
一般に動画のアーカイブは技術的に難しい
ストリーミング配信の動画なんかは特に難しい 動画ダウンローダあるんだからアーカイブ自体は可能
無劣化は無理っぽいけど mp4のまま丸々上げてるサイトなら別だけど普通は無理だよ
自分でダウンロードして動画のアーカイブの方にアップロードするしかない そりゃ情弱には無理
痛いpc雑誌読者以下の情弱っぽいし ストリーミング形式はHeritrixも無理らしいという話は聞いたことがある
本当かは知らん そういえば既に知っている人もいるかも知れないが、URLのリストから一括でSavePageNowできるアドオンがある
Firefox、Chromeともにウェブストアにはないけど起動時に読み込めば、一括保存(BulkSave)、右クリックで保存とかができる
https://github.com/internetarchive/wayback-machine-webextension
ここのInstalling the Latest Buildのところにインストール方法が載ってる >>591
野良だからな〜
コード読める人、こういうの↓の検証頼む
【Firefox,Chrome】危険なアドオン・拡張機能の一覧を作るスレ【Edge,etc】 [無断転載禁止]©2ch.net
https://egg.5ch.net/test/read.cgi/software/1483763294/33
33 名前：名無しさん＠お腹いっぱい。[sage] 投稿日：2018/02/13(火) 11:00:20.51 ID:aB7Xo92Z0
ソース見てXMLHttpRequestかfetchが書いてある場合は注意した方が良い。
XMLHttpRequestかfetchはpostで情報送信できるので。manifestのパーミッションも不要だし。
拡張で情報送信できるのはこの2つの関数だけだと思う。 WayBackMachineにSo-netが追加されてた
今回は全てを取得することはできなかったみたいだがほとんどを取得できたみたい
感謝ですね 外出自粛で引きこもり増えてるんだからウェブサービス全盛かと思うのにな
サービス終了ラッシュで流れ弾のどれかに当たって鬱こもり増えそう IPFSが普及すれば価値のある情報がもうちょっとは残りやすくなるのかな
ピン打つだけでローカルに保存できるの便利 >>596
家でもスマホって人が多数派だろうからPC向けのサービスには辛い時代 そういや自分で適当にサイト立ち上げてそこにバックアップしたいURL書き込み、してIAでsave outlinks使えば実質的にそこに書いてあるURL一括でバックアップできるよな？
save outlinksは会員限定機能で特定のページ内に書いてあるURL全部バックアップする機能 これ思いついて今までURLに置換ツールで/save/つけてクリップボード一括開きしてたのが馬鹿らしくなった
あれサーバーに負担かけるしエラーの確認だので時間とられるし
注意点としては余計なリンク作らないことだな、だからブログとかでやるのはやめたほうがいい
何回も同じリンクをバックアップするから規制される可能性もあるし、真っ白なページ作ってURL記述が最善
読取用にHTMLでURL記述する必要があるが置換ツール使うかブックマークインポート使えば簡単にできるはず 何個だったか忘れたが、save outlinksは読み込める外部リンクの数に上限があったはずだからそれは要注意だな やってみたらできた
URLの一覧をHTMLコードに変換してホームページ作成サイトにアップロードしてからそのリンクをバックアップ
save outlinksでバックアップできるURLは100個が限界で100個超えてたらランダムに選ばれるみたいだから要注意
FC2ホームページ使うと最後にPowered by FC2ホームページ っていうリンクが強制で1つ最後に入ってしまうから実質は99個が限界かな
完全に真っ白なページ(広告もなし)作れれば理想なんだがどっかないかな、ちなみにAndroidスマホをWebサーバー化したらバックアップ時にエラーが出た >>602
GitHub PagesかNetlify使ったら？
前者はGitの知識がないと厳しいから実質後者一択かな >>603
なるほど、やってみたけどやはり手軽なのはFC2だな、indexファイル含めたフォルダごとアップロードしないといけないのは地味に手間だ
FC2はファイルマネージャーにドラッグドロップするだけでアクセスできるようになるからかなり時間効率はいい
複数バックアップのリスクもこれ見る限りでは大丈夫そうではあるな
https://imgur.com/a/f0XwCdA.png ただ複数ファイル最初からアップロードするならNetlify使ってやったほうがやりやすいかもね
100ジャストだから数えやすいし
URLに/ファイル名 つけるだけでまとめてアップロードしたhtmlにはアクセス可能 https://i.imgur.com/WXbHftz.jpg
https://i.imgur.com/xdvJ1eJ.jpg
とりあえずまとめてバックアップしてみたけど上限の100個でも問題なくできるね
特定のURLがずっとSavingが続く場合は画面のURLをバックアップ成功したの含めて全部コピーしてメモ帳に貼り付けしてサクラエディタとかで「Done!」が入ってる行を一括削除処理するとバックアップできてないURLだけメモ帳に残せる
そしたらサクラエディタで/web/2/付け足して数日経ったらまとめて開いて保存できてるか確認、一見ずっとsavingになってても後で確認したら保存できてる可能性が高い、バックアップできてなければ再度バックアップ
これで、手間がだいぶ減る
あとFC2ホームページは日本語の入ってるURLは文字化けするね、netlifyは特に何も設定しなくても文字化けはしない あと、これやるならsave error pagesのチェックは毎回外したほうがいいかも
大量にやるとバックアップされる側が一時重くなるのもあるから404ページが保存されてしまうかもしれない ゲームやりながらほぼ放置でURL1600個バックアップできた、一度に100個保存できるのは革命だな
やはりsave error pagesのチェック外すのは必須、結構高い頻度でgatewayエラー出るから
多くて100個中5個くらい、出るときはだいたい1.2個エラーになる
チェック外しておくとwaybackmahineがどのURLがエラーで保存できなかったか通知してくれるからそれは手動で個別にバックアップ >>608
さすがに大量のリンクをアーカイブするのはSPN側のキャパもあるだろうしArchiveTeamに頼んでSPNじゃないところでアーカイブしたほうがいいと思う。
じゃないとSPNのサービス縮小、最悪の場合はSPN終了になりかねない
ArchiveTeamのIRCでDeepl翻訳とか使って言うと対応してくれるらしいので
https://webirc.hackint.org/#irc://irc.hackint.org/#archiveteam-bs Save Page Nowあんまり使いすぎてSPN自体が無くなったらどうしようもないから、自分はSPNでアーカイブする量をセーブしてる
多くても週300くらい >>609
Save outlinks自体が大量バックアップしてくれっていうような機能だし大丈夫じゃないか？
ブログとかだったら意図的じゃなくても1ページ50リンク以上あるとかザラだし、大量バックアップ推奨してなかったらあんな機能普通つけないよ
個人的に無会員で大量にタブ開いてバックアップするのが一番負担かけるやり方だと思うわ、それよりはかなり負担少ないように感じる
save outlinksが会員限定機能な以上邪魔になったらアカウント制限しにくるだけ、何個も重複してバックアップとか意図的に負担かけるようなことしなければ平気だとは思うけど、ただしやりすぎは禁物かもね
あと正直archive teamは画像のバックアップを正常にとれないみたいだから画像ありきのページだと正直依頼するには微妙かもしれない、Naverまとめとか画像まともに表示されてないものが多い、手動で保存したものはしっかり表示される
waybackmachineの自動クロールも画像保存されないことある、手動だとやはり保存される
負担減らしたいならバックアップ済はバックアップしないってチェック項目あればいいのにね 別に問題ないと思うよ
よく負荷がどうこうっていうけど、個人サイトじゃあるまいし影響は無い 【告知】ニコニコ動画のコメントサーバーリニューアルに向けた機能提供終了・変更のお知らせ【PC版ニコニコ動画】｜ニコニコインフォ
https://blog.nicovideo.jp/niconews/147588.html >>614
■ 実施スケジュール
実施日時 実施内容
2021年3月1日（月）
過去ログ機能の変更
過去ログのURL共有機能を提供
2021年3月15日（月）
削除された動画へのコメント投稿とコメント表示の終了
- 動画タイトルや説明文などの情報も表示されなくなります
マイメモリー機能の提供を終了
- マイメモリーの新規作成や、 既存マイメモリーの視聴ができなくなります
2021年 春以降
動画コメントサーバーを新コメントサーバーに順次リニューアル
2021年リニューアル
完了後
動画投稿一覧などに表示される最新コメントに、投稿者用NG設定を適用
「コメント投稿ユーザーをNG登録」する機能の効果を永続化
自分が投稿したコメントを削除できるように outlinksとGoogleSpreadsheetのバッチ処理が使える。 iRONNA終了
> ２０１４年１０月にスタートした総合オピニオンサイト「iRONNA」は、
> 諸般の事情により２０２１年３月下旬をもって新規コンテンツの公開を終了することになりました。(中略)
> 尚、終了後もこれまでのiRONNAのコンテンツが閲覧できる環境を維持するための態勢構築を進めています。(後略)
https://ironna.jp/article/16883
閲覧は維持してくれるらしいので緊急性はない。 せっかくwaybackmachineでアーカイブしたのに、どうアーカイブされているか見ようとしたら別の日にアーカイブされたものに飛ばされてしまった。
少し待たないとダメな感じ？ 基本少し待って確認だけどそれでも反映されてなかったり、反映されてるけど取れてなかったりする。 ここ最近は調子悪いからしばらく様子見たほうがいいよ この前読んだ漫画に、WaybackMachineを使っているシーンがあった
1コマ程度だけど Archive Teamでニコ動のコメントとメタデータ（タイトルとか説明文）の保存が始まった
動画の中でも日本からしか見れないものとかはArchiveTeamの人からは取得できないらしく
Dockerを扱える人いたらWarriorというパッケージを導入すれば誰でも貢献できるのでやってくれるとありがたい
https://hub.docker.com/r/archiveteam/warrior-dockerfile/
https://wiki.archiveteam.org/index.php?title=ArchiveTeam_Warrior 最近ニコ動の調子が悪いのはこれのせいなの？
落とすようなのはリスクあるから自分とこのIPではあまりやりたくないな… 割と可能性はあるな
【3/1 0時追記】動画が視聴できない不具合など【調査中・ニコニコ動画】
連日の不具合につき、ご利用の皆様にご不便をおかけし、大変申し訳ございません。
本不具合について、海外からの通常の量ではないアクセスにより、引き起こされております。
現在、さらなる原因調査と、追加の対応を行っております。
不具合発生時間
2021年2月28日（日） 06:06頃〜
https://blog.nicovideo.jp/niconews/148255.html この公式ページの情報によると2月27日23時頃から断続的に不具合が起こってるらしいね
ニコ動アーカイブのトラッカーはここから確認できるっぽい
残り70万/3500万で今も動いてる
https://tracker.archiveteam.org/niconico/ luaスクリプト読んでみたら、waitもかけずに全力でぶん回すようになってるじゃん
そりゃニコ動も不安定になるわ。DDoSそのものだもん
ttps://github.com/ArchiveTeam/niconico-grab/blob/ade778c0df8bd3ee5b0aa497c79e9ed97a604883/niconico.lua#L356 >>630
間隔を1秒たりとも空けてないとは思わなかった
プルリクエストした方がええんかな
ArchiveTeam側に連絡取れるようならあちら側で対処してもらうよう依頼した方が良さそうかな 今気付いたがアーカイブする対象の動画はどういう指定になってるんだろう
sm+数字連番とかで指定されているようならnmはどうなるんだ 間隔なしでアクセスしてたのか
連絡できる方お願いします 意図的に止めたか、UserAgentとかでブロックされたか 今日archive.isでページを保存しようとしたら
「One more step
Please complete the security check to access archive.is」という画面になった
（そのページのURLは”ttps://archive.is/submit/”、あと”私はロボットではありません”っていうのも出てくる）
こうなるのはなぜ？ >>637
ボットからのアクセスからじゃないかをチェックするため
「私はロボットではありません」ってボックスをクリックかタップするとボットでは無いことを証明出来る >>636
>>628で「対策を行なった」らしいから止められている可能性もあるね ニコ動のやつWaybackMachineで見れるようになってる
けど、コメントは無い模様
ttp://web.archive.org/web/20210228064205/https://www.nicovideo.jp/watch/sm100000 上の方で、「はてな」のサービス終了に触れてるのを見かけたけど、2020年1月末で終わったはてなグループについては誰も言及してないあたりそんなにも影が薄いサービスだったんだろうか…
はてなグループ終了時に運営がデータエクスポートしてくれるやつを実際に頼んだ人っているんだろうかね。 はてなグループなついw
Twitter調べたらエクスポート依頼してる人いたよ 掲示板やタスクのデータはjson形式で送られてるみたい ニコニコのユーザーブロマガもサービス終了
https://site.nicovideo.jp/ch/userblomaga_thanks/
>2021年10月7日をもってユーザーブロマガの提供を終了することとなりました。 最近のニコニコはサービスの改善を図ってか古いものを終了させてるね
いちユーザーとしてはようやくニコニコが大規模に改修されるのかという安堵があるけど、アーカイブしなければならないものが増えるのは厄介だな MMDモデルのライセンス情報をブロマガに書いてた人もいるらしい
全員が全員とも引っ越しできるはずはないからライセンス関係のトラブルが起きそう 来年の今頃はau3G終了で古い掲示板が更に無くなりそう… 「Webメディア『WHAT’s IN? tokyo』終了のお知らせ」
https://tokyo.whatsin.jp/634630
3月末日をもって終了らしい >>650
結構有名なアーティストのインタビューとかライブレポートが載ってるから早めにやった方がいいかも >>651
自分でいくつかアーカイブ作業したけど記事やコラムもいっぱいあるから自力でやるには限界がある…
Archive Teamに頼めないかな（でも画像の表示とかできるようになるか心配、有名人の写真とか結構載ってるから） >>652
>>507あたりから読んでみるといいかも 今ざっと確認してみた感じほとんど保存されてるから
頼む必要はなさそう >>654
保存されてないものも多いようだけど.. 質問です
なぜWayback Machineやarchive.isでのTwitterのページは昔のUIの表示で保存されるのですか? >>657
Waybackmachineのユーザーエージェント情報が不明または古いブラウザのものだから Twitterの旧UIって前に廃止された様な気が… >>657
Twitterの旧UIは2年くらい前に廃止されたはずだけど、それ以前に取られたアーカイブの話してる？
もしそうなら、それがウェブアーカイブというものだからですとしか答えられない
廃止以後に取られたアーカイブで旧UIになってるものはそもそも遭遇した事がない >>654
保存されてないの結構あるから依頼の必要があると思う
もう少し注意して確認してみてくれ >>661
今waybackのAPIで7300記事の保存状況を確認したところエラーが起きたのは30記事くらいだった
念のためこれはアーカイブし直してるけど何か抜けてたりミスしてるところがあるのかな テレビ番組表の記録
っていう2007年からの膨大な番組表データを記録しているサイトがあるんだけど、
番組の詳細内容が表示されなくなったり過剰なアクセス制限があったりと最近改悪が激しい
Waybackのクロールも拒否してるし、
貴重なデータの割にこのサイトにしか残っていない情報が多いので今後ちょっと不安だ 503のせいで四月馬鹿サイトのキャプチャができない aimix-BBSというレンタル掲示板を見たら今月末でサービス終了するそうだ… 【よほど都合が悪いようだ】LINEに否定的だった山本一郎氏、自身のヤフー記事1000本がヤフーによって削除される [Toy Soldiers★]
https://asahi.5ch.net/test/read.cgi/newsplus/1616979021/ archive.todayの検索したページ全部ローカルに落としたいんですけどいい方法ありませんか？ 「同人用語の基礎知識」
https://www.paradisearmy.com/doujin/
が閉鎖されたようだ。
4日までは存在、5日に閉鎖されたようだ
まあ大体アーカイブに保存されてるようだが。 選択範囲のリンクをコピーするアドオンでコピー。
改行置換できるテキストエディタで
「(改行)https://archive.ph/」を 「.zip(改行)http://archive.fo/download/」に 置換してダウンローダーに登録。 >>674
ごめん。素人すぎて理解できない。ありがとう >>644 に出てるブロマガってarchive teamで動いてる？
動いてなかったら誰か頼んでもらえます？ >>673
今試したが繋がるね
サーバダウンかドメインの期限切れだったのでは ここで聞いていいかわからないけどiPhoneでサイト丸ごと保存できるようなアプリってある？ ローカルの話だったらプリントしてpdfとして保存するのが楽
ネット使っていいならInternet archive safariでできる、真ん中のボタン押してプリント押してpdfプレビュー見えたら拡大してから右上のボタン押してファイルに保存 >>682
「サイト丸ごと」が全てのページって意味なら無理
IAのアカウント作ってTOPページからアーカイブすれば近い事は出来るけど 1ページ全部保存できるよ、pdfのページの切れ目は気になるかもしれんけど そのページだけでなくサイト全体、全てのページという意味でした
紛らわしくて申し訳ない ■ このスレッドは過去ログ倉庫に格納されています
