【保存・記録】ウェブアーカイブ総合 Page.01
■ このスレッドは過去ログ倉庫に格納されています
ウェブアーカイブ関連の話題を総合的に扱うスレです。
情報交換し合って貴重なインターネット遺産を後世に残しましょう。
Internet ArchiveなどのWebサービスだけでなく、wget・HTTrack・Heritrix等のツールやソフト、自作クローラの話題もOKです。
・関連リンク（Rock54回避のためピリオドをカンマに変更）
Wayback Machine
https://archive,org/
archive,today
https://archive,fo/
ウェブ魚拓
https://megalodon,jp/
Archive Team
https://archiveteam.org/
・関連スレ
Internet Archive総合 (web,archive,org) #2
http://mevius.5ch.net/test/read.cgi/esite/1475246713/
ウェブ魚拓 Part3
http://mevius.5ch.net/test/read.cgi/esite/1498902308/
【和塩】geocitiesスレ10【ジオシティーズ】
http://mevius.5ch.net/test/read.cgi/hosting/1554115546/
【ヤフー】Yahoo!ブログ【アーカイブ】
http://mevius.5ch.net/test/read.cgi/blog/1554380939/
・ジオシティーズでの失敗から学んだアーカイブにあたっての注意事項
1. 早めに行動しましょう
2. まずは既存のプロジェクトや遺産を探しましょう
3. 単独ではなく組織的に動きましょう
4. 呼びかけや情報共有を積極的に行いましょう >>1
> Archive Team
> https://archiveteam.org/
これは知らなかった。 >>53
Internet Archiveのスレと間違われそう
誰かwikiの管理をできる時間がある人がいたらwiki作成宜しく
自分は管理者業務とか無理だわ どこか既存のwikiに専用のページを作るっていう方法もある
アーカイブ関係のwikiがすでにあればそういうところがいいんだけど 一分に一件ずつ保存しても一日1440頁しか保存できない。 これで立てようとしたけどホスト規制に引っ掛かってしまったので誰か頼んだ
タイトル：ウェブアーカイブ総合【Internet Archive・魚拓】#1
内容：
ウェブアーカイブ関連の話題を総合的に扱うスレです。
情報交換し合って貴重なインターネット遺産を後世に残しましょう。
Internet ArchiveなどのWebサービスだけでなく、wget・HTTrack・Heritrix等のツールやソフト、自作クローラの話題もOKです。
・関連リンク
Wayback Machine
https://archive.org/
archive is
http://Archive.is/
ウェブ魚拓
https://megalodon.jp/
WebCite
https://www.webcitation.org/archive
Archive.st
http://archive.st
Archive Team
https://archiveteam.org/
・関連スレ
Internet Archive総合 (web.archive.org) #2
http://mevius.5ch.net/test/read.cgi/esite/1475246713/
ウェブ魚拓 Part3
http://mevius.5ch.net/test/read.cgi/esite/1498902308/
【和塩】geocitiesスレ10【ジオシティーズ】
http://mevius.5ch.net/test/read.cgi/hosting/1554115546/
【ヤフー】Yahoo!ブログ【アーカイブ】
http://mevius.5ch.net/test/read.cgi/blog/1554380939/
・ジオシティーズの件から学んだアーカイブにあたっての注意事項
1. 早めに行動しましょう
2. まずは既存のプロジェクトや遺産を探しましょう
3. 単独ではなく組織的に動きましょう
4. 呼びかけや情報共有を積極的に行いましょう
・旧スレ
http://mevius.5ch.net/test/read.cgi/internet/1554553882 正直そんなに慌てて次スレ建てなくてもいい
このスレでwikiの作成や話し合いを十分にやってから立てればいい それもそうか
Wiki作るって言っても無計画にやったら瓦解するだろうし、具体的に何を書く（書いていい）Wikiなのか決めとかないと 規律と理念、主要なアーカイブサイトのアーカイブリクエスト方法と見方、主要なツールの使い方、アーカイブに便利なソフトウェア一覧、関連リンク集、サービス終了が告知されている中で保存に公益性がありそうなサイト一覧、将来的に保存が必要になりそうなサイト一覧
とか？
多少ArchiveTeamに倣ったほうがよさそう 他力本願で技術力が足りない人が多すぎるから、人を集めることも重要だな 【12日まで】500円を貰える春のばらまきキャンペーン開催中です
① スマホのApp Storeから「プリン(pring)」をインストールする
② 会員登録を済ませる
③ 下図の通りに進む
https://pbs.twimg.com/media/D3pIexoU0AY4_so.jpg
④ コードを登録 [5gAYSz]
これで五百円を貰えます
スマホでセブンATMからお金を下ろせたり便利なアプリですので是非お試し下さい。 結局wikiはどこに作るんだ
atwikiかwikiwiki辺りか？ >>64
というか ArchiveTeam の日本語版を作ったほうがいいな
向こうが全てにおいて優れているから自分達で１から始める理由がない
日本支部的な感じで翻訳から始めよう そのまま日本語化は無理だろうね、法律違うし
アーカイブをまとめてtorrentで配布とかそもそもサイトをアーカイブして勝手に公開することとか
禁止しないといけないこと、解釈を変えないといけないこと色々あるでしょう Torrent配布は日本では完全に無理だな
Archive Teamはインターネットアーカイブをデータを提供しているらしいから、それに倣った方がいい そういえば少し前にググルマップがゼンリン切ったけど、ゼンリンが提供してた部分以外で何か独自の消失したものってあった？ このスレってパソコン初心者感がすごいな
このまま進んでも上手くいかないだろうな、というのが見てて分かる 初心者っぽいポイントを挙げてみろよ
出来ないならそれは単にイチャモン付けてるだけだぞ ×初心者っぽいポイント
○上手くいかないであろう根拠
逆に聞くが>>74はどうやったら上手くいくと思うよ？ 適当に作ったブックマークレット各種
google cache化
javascript:{window.open('http://webcache.googleusercontent.com/search?q=cache:'+escape(window.location.href.replace(/^https?:\/\//,''))+'');eval();}
保存 WayBackMachine (web.archive.org)
javascript:{window.open('https://web.archive.org/save/'+escape(window.location.href.replace(/^https?:\/\//,'')).replace('http://','')+'');eval();}
WayBackMachine最新
javascript:{window.open('https://web.archive.org/web/submit/?url='+escape(window.location.href.replace(/^https?:\/\//,'')).replace('http://','')+'&type=replay');eval();}
GeoLog化
javascript:{window.open('https://thaliana.mydns.jp/GeoLog/'+escape(window.location.href.replace(/^https?:\/\//,'')).replace('http://','')+'');eval();} 適当に作ったブックマークレット各種(2)
Save to Archive.today
javascript:void(open('http://archive.today/?run=1&;url='+encodeURIComponent(document.location)))
Web魚拓化
javascript:{window.open('http://gyo.tc/'+escape(window.location.href.replace(/^https?:\/\//,''))+'');eval();} >>78
google cacheをWayBackMachineに保存するときに保存のブックマークレット使うと失敗しますね。
最新の方で開いてから「Save this url in the Wayback Machine」をクリックで成功。
一度失敗してしまった場合はgoogle cacheのURLの後ろに「&hl=ja」等をつけてから最新で開いて「Save This URL」。 >>1
INTERNATIONAL INTERNET PRESERVATION CONSORTIUM - IIPC
http://netpreserve.org/ >>78
Internet Archiveスレから引用
http://mevius.5ch.net/test/read.cgi/internet/1554553882/78-79
/save/ を知ってて /web/2/ を知らないとは。
あと保存の際に http:// や https:// を無条件に外すのも考え物。
HTTP から HTTPS へリダイレクトするサイトだと、そのリダイレクトも
保存回数に計上されてしまう。 /web/2/ってのは/web/*/の勘違いかタイポなんだろうな
/web/*/使えばもっと簡潔に書けると思うよ /web/*/だと一覧に飛んで/web/2/だと最新のに飛ぶんでないの 保存 WayBackMachine (web.archive.org)
javascript:{window.open('https://web.archive.org/save/'+escape(window.location.href+''));eval();}
WayBackMachine最新
javascript:{window.open('https://web.archive.org/web/2/'+escape(window.location.href+''));eval();} このスレ見つけらんねえよ
魚拓,archive,waybackとかスレタイに含まれてなきゃ 上の方で話してたけどスレタイの文字数制限厳し目だからウェブアーカイブ総合の横にInternetArchiveと魚拓入れただけでカツカツになっちゃうんだよね
板設定変更依頼スレッド見ると簡単には設定変更してくれないようだしなんか削らないと
いっそ魚拓・InternetArchive総合にすりゃいいのか？ 良スレだな。応援してるわ
日本のサイトもサービス終了対策しないと空白になってしまうので
管理人が全員生きてて引っ越し出来るとも限らんし、消された情報が将来誰かに必要・不要なんて分からんのよね
日本の法律から、終了するサイトは丸ごと個人のローカルへ保存する方法が有ると良いな
分散バックアップにもなると思う >>89
タイトル案
【魚拓】ウェブアーカイブ1【Internet Archive】
【魚拓】ウェブアーカイブ1【InternetArchive】
【魚拓】ウェブアーカイブ1【IA】
【魚拓】ｳｪﾌﾞｱｰｶｲﾌﾞ1【Internet Archive】
【魚拓】アーカイブ1【Internet Archive】
【魚拓】Web archiving1【Internet Archive】
魚拓：ウェブアーカイブ1：Internet Archive
ウェブアーカイブ1【Wayback Machine,魚拓】
ウェブアーカイブ1【Internet Archive,魚拓】
ウェブアーカイブ1【魚拓】
ウェブアーカイブ1😂InternetArchive魚拓
ウェブアーカイブInternetArchive魚拓1
archive 1【魚拓】
魚拓 1 魚拓やWayback Machine以外のツールも扱うよ、ってことで「総合」は付けておきたい >>91
追加
ウェブアーカイブ総合【Internet Archive・魚拓】#1
【ウェブ魚拓】インターネットアーカイブ総合 #1
>>1にリンクがあるウェブ魚拓スレやIA専用スレと間違われないようなスレタイが望ましい となるとやっぱりウェブアーカイブ総合は外せないか？
魚拓、InternetArchiveの他にウェブページを保存したい人が調べそうな単語ってあるんかな
収集、保存、保管、ダウンロード、キャプチャ、スクラップ
うーん・・・ 魚拓もウェブ魚拓って完全にスレタイに含めないと話にならない ウェブ魚拓は固有名詞としても使うだろ
https://info.5ch.net/index.php/魚拓
このサイトでも「魚拓」とだけ紹介してるし、何よりスレタイ制限の48バイトって結構カツカツだし、魚拓だけで良いんじゃないかな >>96
×魚拓だけで良いんじゃないかな
○「ウェブ魚拓」と完全にスレタイに含める必要は無いんじゃないかな そんなにこだわってないならIAは略していいってことになるけどそうはならないのと同じ
ウェブ魚拓とスレタイに含めないと立てる意味がない 【ウェブ魚拓】ウェブアーカイブ総合 Page.1【InternetArchive】
sjisで60バイト
ウェブ魚拓をweb魚拓にすれば57バイト
ウェブアーカイブもwebアーカイブにすれば54バイト
64バイトまで引き上げてもらえば全部入る
【ウェブ魚拓】を抜けば48バイトに収まる
とりあえずウェブ魚拓抜いて立て直して申請通ったら次のスレからウェブ魚拓も入れるのがいいんじゃないか
なぜIAじゃなくてウェブ魚拓を抜くのかについてはGoogleの検索トレンドを参考にした
https://i.imgur.com/cNx29z9.png 大抵「Archive」でスレタイ検索するなあ自分は 「ウェブ魚拓」と「魚拓」のどちらでも、Googleなら上手いこと検索に引っ掛かってくれそうではある
Bingは知らん 「魚拓」 でも引っかかるから「ウェブ」は要らないね
https://www.google.com/search?q=%E9%AD%9A%E6%8B%93+site%3A5ch.net
というか普通にスレあった
https://mevius.5ch.net/test/read.cgi/esite/1498902308
>>92
「ウェブアーカイブ」だけで全てを説明できてるから「総合」も要らないと思う
Internet Archive, Wayback Machine, archive.is, 魚拓, ArchiveTeam は全部「ウェブアーカイブ」で説明できる 👀
Rock54: Caution(BBR-MD5:1322b9cf791dd10729e510ca36a73322) ウェブアーカイブ（に関するものを）総合（したスレッド）
ていうかそれ総合格闘技とか格闘技で空手やら柔道やら説明できるから総合いらないじゃんって言ってるようなもんでしょ
総合とわざわざ表記することによって一つではなく全体であることを暗に示してるんだよ いや、どっちかというと「空手 part1」でも十分なのに「空手総合 part1」 にしてる感じ
ウェブアーカイブの技術としては１つにまとまるから総合しなくてもいい
「ウェブアーカイブサービス総合」なら自然だね
文字列制限があるなら省いても問題ない 今気づいたけど「ウェブアーカイブ」が何を指すかの認識の違いだね
① ウェブアーカイブ → アーカイブのサービス (digital archive or archive site)
② ウェブアーカイブ → アーカイブ技術 (web archive or web archiving)
アーカイブ技術という意味で使っても良いかと思う >>78-79
window.open()の後ろにeval()付けたり、void()の引数にしたり、
未定義値を返したいだけなのに方法がバラバラ。
同じ人が作ったにしては変な話だな。 公式が公開しているものをコピペしたのも含まれてるのかな 67 名前：192.168.0.774
投稿日：2019/04/09(火) 02:14:18.12 ID:Xrq4p9iW0
結局wikiはどこに作るんだ
atwikiかwikiwiki辺りか？
69 名前：192.168.0.774
投稿日：2019/04/09(火) 07:35:20.06 ID:aX1j4Hrw0
MediaWiki 一択でしょ
↑
まずここから考えよう シーサーブログのシーサーウィキというのもあるらしいが。 Seesaa Wiki（シーサーウィキ）とはシーサー
株式会社が運営するレンタルウィキサービスである。
@wiki（あっとうぃき、atwiki）とは、和歌山県の有限会社アット
フリークスが提供するレンタルウィキ。2ちゃんねる掲示板のパート
スレッド（パートスレ）まとめに用いられることが多い。
（以上ウィキペディアより） MediaWikiはきちんとしたシステムが作れるのはメリットだけど管理が面倒
Pukiwikiはどうだろう
https://pukiwiki.osdn.jp ミクシィもSNSはお荷物事業だからそろそろたたむ準備してそうだな 相変わらずパソコン初心者感が満載
おかげさまで、パクりの寄せ集めを「作った」と詐称しても
その不自然さに気付けないという
>>113
この流れだと、セットアップ済みのレンタルWikiの方が無難だと思うよ 使えりゃ何でも良いから不自然だろうが気にしないけどな
使ってて問題がありゃ自分で作り直すまでだ >>115
>セットアップ済みのレンタルWikiの方が無難
確かにな、一からサーバ立てて設定しなきゃいけないWikiだと結局グダりそうだ
そうなるとポピュラーなatwikiあたりかな ShoutWiki なら無料で MediaWiki 使えるね
とりあえず有能な人が来るまではこれでいいでしょ >>104
「総合」を付けることを発案した者です
単に「ウェブアーカイブ」というとIAやArchive.is等のウェブサービスを使うことを連想している人が多かったようなので、
ウェブアーカイブはそれだけじゃないよ、wget等のツールや自作ソフトを使うのも立派なウェブアーカイブなんだよ、ということを強調したかった
そして、IA専用スレやウェブ魚拓スレで扱われないウェブアーカイブ技術関連の話題の受け皿にしたかった
>>105の言う通り認識にズレがあるみたいだね >>126
126名無しさん＠お腹いっぱい。2019/04/06(土) 09:24:43.110
インターネット遺産のアーカイブ系総合スレみたいなところってどこ？
そういうところは5chに無いのかな
総合ってはじめに使い出したのは俺なんだけどな >>127
すまん、ここのスレタイを考えたのは自分だったので思い違いをしてた 日本だとウェブアーカイブは著作権侵害（犯罪）になるからこのスレ危ないよね？
逮捕されたくないので消えます 実際その辺は心配ではある
弁護士に聞いてもやめとけで終わりそう
個人でDLしての私的利用ならアリなのかな
とりあえずツール中心の紹介にとどめておくべきかもね ちゃんと説明すると、非親告罪化された著作物は金銭的な利益が絡むものに限られてるので、
大体のウェブアーカイブの場合問答無用で捕まることはないはず（多分）
あと著作権法に抵触するのはウェブアーカイブを無断で公開した場合のみであって、
各個人でサイトを保存して私的に取っておくこと自体は違法でもなんでもない
Archive Team経由でInternet Archiveにデータを寄付してしまえば日本の法律では手が出せないはず 削除依頼無視でもしない限りは大丈夫なんじゃないの
アーカイブしたサイトに違法なコンテンツがあったらどうなるかわからんけど >>134
そうなんだよね
パッと見完全にアウトなサービスだけどちゃんと続いてるってことは、上手くやれば訴訟を起こされるようなことにはならないってことだし
それにあそこの運営は企業だから、事業の一つにもなりうるってことでもある Shoutwikiでサイト立てるのは誰がやる？
暇だったら自分がやってたんだが正直管理業務とかやってる余裕がない いっそ最初はwikiじゃなくて各々が個人サイトとかブログで情報まとめたりしてそれらのサイトをリスト化すればいいんじゃないか >>138
全員が個人サイトやらブログやらを持っている訳じゃないし、持ってても手間がかかって面倒だって人間もいるだろう
各々が直接情報を書き込んで行く方が手間がかからない
そうなると、きちんとした体制さえ構築できるのならWikiが一番良い それはわかってるけどwikiを管理する技術と時間がある人いるのかって話なんすわ・・・ wikiが必要なほどの量の情報が集まるのかが疑問
アーカイブに関することと言ってもツールの使い方を翻訳するくらいしかできないだろう
本格的なアーカイブ作業をするのならArchiveTeamに入るべき
日本支部を作るにしても結局はArchiveTeam本部の力が必要
日本のサイトは英語圏から見逃されやすいから日本人の注目を集めることでArchiveTeamに貢献することもできるかもしれない
ただし本当に技術がある人は既に英語圏のコミュニティに参加しているからどれほど効果があるかは分からない それは確かになぁ
正直>>115がやれば良いんじゃないかという感じがする ArchiveTeamって多くの日本人は入りづらい所があると思うんだ
だからArchiveTeam本部と一般の日本人ネットユーザーの架け橋になるような組織はあって損はないと思う
ArchiveTeamのサイトにはアーカイブについての知見がまとめられているから、MediaWikiなんて大仰なものが必要かは疑問ではあるけど、
彼らの知見を翻訳して日本人向けに公開する場所はそれなりに有意義じゃないだろうか とりあえず最初はgoogleドキュメントみたいな手軽なところでやってみれば 日本でウェブアーカイブというと既存のウェブサービスを利用するイメージが強いからね
英語コミュニティで活動する日本人エンジニアはある程度いるが、そうした人の中でもウェブアーカイブについて詳しい人はそんなにいないと思うよ 英語コミュニティで活動する日本人エンジニアで、ウェブアーカイブについて詳しい人は結構いると思うが
ウェブアーカイブに関する活動に多くのリソースを使おうと考える人は非常に少ないだろうね ウェブアーカイブ専門の日本人は、国内コミュニティ・英語コミュニティ問わずかなり少ない
機械学習用のデータ収集やWebサービスの構築などの目的で、クローラを動かしてスクレイピングすることはエンジニアの間でかなり一般的になってきた感じがある
（ウェブアーカイブについての知識があるエンジニアにはこういう事をやってる人が多い）
でもそれは「データ収集手段としての保存」であって、ウェブアーカイブという「目的としての保存」を専門にしている人はほんの一握りよ Webスクレイピングは仕事になるけどWebアーカイブは仕事にならんものな
専門家が少ないのも道理 結局サイトはどうするよ
Googleドキュメントはお手軽だけど検索エンジンで見つからないし、Wikiサービスがいいと思う
Wikiの選択肢はatwikiかShoutWikiになるのかな 完全に人が消えてるな
>>74の予言が順調に実現して来てて笑う ネット上のデータを残し続けることに皆そこまで意義感じてないんじゃね 全部のリンクたどると凄い数になる。
数が多いと絞り込むのも大変だし、応答なしになるし、全部処理するということ自体出来るのか？と不安になるくらい次から次へとアドレスが出てくる。
過去に処理したやつ除外すれば…と思ったがかえって遅くなった。
あとURLが一部壊れてしまうのも原因不明。 あまりにも膨大で途方もないから
大抵の人は投げてしまうのさ ■ このスレッドは過去ログ倉庫に格納されています
