【KVS】 Key-Value Storeを勉強するスレ
RDBMSの時代は終わるのか?
クラウド(笑)時代のデータベース技術KVSについて語ろう! つまり、Hadoop/MapReduceのデータloadにHbaseは使えても、RDBとかは適切じゃないって意味ですよね?
結果のsaveなんかは、多分何のデータベースでもOKなんでしょうね。 Hadoopが対象とするデータの想定はテラバイトやエクサバイトといったビッグデータだからデーRDBのI/O性能ではボトルネックになってしまうと思われます. データの一貫性少し犠牲にしても処理速度を→KVS
DBのでっかいダンプファイルから統計とったりしたい→Hadoop
大雑把に言うとこんな感じでしょ なるほど、なるほど。
「ビッグデータでもI/O性能OK」、かつ、「データを分散して持てる」(←あってますよね?)、
といったものでないと、Hadoopがマトモに動かないってことですよね?
次はなぜKVSではOKなのか(データが分散してるから、ビッグデータでもI/O性能OK?)なのかを考えてみまつ。
(教えて下さる方があるなら、このスレに書いて頂ければ、全部読んでます) あれ? >>102
>データの一貫性少し犠牲にしても処理速度を→KVS
>DBのでっかいダンプファイルから統計とったりしたい→Hadoop
KVS単体 VS Hadoop単体、ですか?
再度、あれ?
http://d.hatena.ne.jp/okachimachiorz/20110619/1308490440
>基本的に単純に分散KVSを使いたいならHbaseにこだわる必要はない。
hBase=KVSだと思っていたのだが、違うのか。。。
色々読んでみると、KVSという一般的なデザインがあって、
Hadoop用データストアってのがhBaseで、それはKVSより機能が多い、
って感じ? KVSはカラムがKeyとValueしか定義されていない単純なデータ構造で代表的なものが
CassandraやHbase。
HadoopにデータストアとしてHbaseしか利用できないことではありません。 なるほど。
Hbase (- KVS //HbaseはKVSの集合に含まれる
Hadoopのデータストアは、データ分散OK、ビッグデータでもI/O性能OK、が好ましい。
→RDBよりもKVS、その中でもhBaseが妥当じぇね?
ってことですね。 LDAPスレはここにないよね?
あのクエリ言語はそれなりに面白いので、うまくバックエンドとして活用できれば嬉しいのだけど 実際に欲しいのはシンプルなBTreeデータベースなのに、うまくスケールする実装がないから
仕方なしにRDBMSを使っているってシーンが色々ありまして。。 Cassandraは、海外ではTwitterなど大規模なサイトでの導入事例
がたくさんあるようだけど、国内ではほとんど聞かない。
日本の大規模サイトで、Cassandra使ってるところってあるかな?
Cassandra、Write性能もスケールするっていうのは魅力的だな・・
RDBMSだとMasterがボトルネックになるのは不可避だろうし、かといって
Shardingをやるとアプリ側の作りこみがめんどうになる。
>>1
NoSQLのスレのが良かったんでは? >>41
Cassandraは牛刀すぎて、それ相応の規模を持ち合わせていないとなぁ。。
でもエンタープライズ市場やデータウェアハウス市場という実業分野では、素直にカネ払ってOracle導入するし
KVSは、多量のデータを扱う必要があるけどあまりカネ使えないっすー、というネトゲみたいな
虚業分野での導入実績が多いかんじ >>113
まったく的外れだな
いまどきエンタープライズ=Oracleなんて認識は時代遅れすぎる。
FacebookもDeNAも金持ってるがMySQLやNoSQLを使っている。
FacebookやAmazonは自社でNoSQLの開発もやっている
NoSQLとRDBの違いは予算ではない。
それぞれの長所、短所がある
NoSQLはビッグデータを扱える。
運用の負担が少なく、数百台のサーバーにスケールアウトできる
シンプルなデータモデルのためRDBでは実現できないようなパフォーマンスも叩き出せる。 エンタープライズ=Facebook、DeNA、Amazon
って感覚にも問題ある
どこの企業もWebサービスが生命線ってわけじゃないし >>113
ビッグデーター関連の技術の活用や研究をしていてしかも金があるところ
だと日本だと例えばNTTがそうだね。
hadoop関連では国内でも有名だし、対外的にも国際学会に論文出している。 古典的なエキスパートvsプロフェッショナルの分類だと
エンタープライズと言えばプロフェッショナルで出来合いDB
Web企業はエキスパートだから自前かトガったツルシのDB。
といいつつもOracleだって今時の売りはビッグデータだ。
今やハードも持ってるしな。 Oracleはカネ払えばベンダーが面倒見てくれるけど、KVSはそういう会社がまだないので。。
企業財産そのものであるデータベース分野で、「自分でソース読んで解決すればOK」みたいな
ソフトウエアは使わせてもらえない。
ネトゲみたいに「ゴメンゴメンぶっ飛んじゃったわ」で済む範囲ならいいかもしれないけど あのgmailでさえデータぶっ飛ばしてるし、まだエンタープライズ用途では様子見で。。 ところが、自前管理の方がデータぶっ飛ばしてる率が高そうだ データの規模って…ビッグデータはスケールしてなんぼでしょ?
そういうのでなかったら、Oracleで足りるし
結局ビッグデータでも維持のために専任管理者を置いておく必要があるけど、
もしもぶっとんだら、彼だけの能力でデータ復旧できるのかというとまだ微妙
そして彼の退職後に誰もメンテできないようだと、会社の存続が危うくなる
そういうスタッフを自前で置けないんだったら、Oracleを契約しておいた方が面倒がないような >>123
googleだってデフォでバックアップ取ってるし、
こっちがあーだこーだ言わなくても自動で修復もしてくれる。
oracleはちゃんとした会社だしサポートも営業体制も安定してるが、
ロストしてバックアップもダメになってる時だってあるし、ダメな時はダメ。
誰も無から有は作り出せない。 もうfusion-ioさんでmysqlでnosqlに勝てちゃうだろ
nosqlはフラッシュ系ストレージのせいでオワコンになったんや キャッシュ置き場ならいいかもしれないが、現状で一次データをKVSに置くのはさすがに怖い >>127
お前が怖いのは、根拠もなしにクラウドは危険だと言う同僚や上司を説得できないことだろ。
リスクの種類が違うからって危険とは限らないが、はなっから信用していない人間を説得するのは骨だ。 >>128
「動かないコンピュータ」に載るような深刻な大事件がいくらか起こって、
その結果、「クラウドでこうやってはいけないバッドノウハウ集」がそれなりに溜まってきたら、
そろそろ入れようかと思うよ。
クラウド向きじゃない用途が明らかになって、「クラウドは欠点が多くて使えねーわ」って言う人が
増えてきたら、ちゃんと検討する。他人が地雷を一通り踏みまくってくれている。
クラウド関連記事が賞賛ばかりの状況では、マーケ盛んだな、ぐらいでまだ入れない。
機雷掃海は他人にやって頂くに限ります。 >>123
Googleはデータやハードの故障への耐性ってのをまず考えてる。
安いマシンを並列に、で大きくなったんだから第一の関心がソレだ。
一部故障しても、少しの影響で済むような分散処理。
故障の素早い隔離と復旧そして同期のとりかた。
でも大事なのは、統計合計マシンだから本質的に少々データが
壊れてもあまり影響のないサービスだって事だ。
いわゆる業務システムじゃそうは行かんわな。 ぶっ飛ばしても、障害報告を書いて謝って終わり、で済む安いデータならいいかもしれないけど
システムが止まると一日あたり数百万づつ売り上げが消える、という業務系ではまだ無理だよ MTTF・MTBF共に短いが可用性が高いというのがクラウドの特徴。
これが許せるか許せないかは業務系云々より、社会体質に依るんじゃないかなあ。
「あれ?動かないぞ・・・責任者出せ」みたいな体質の所だったらダメだろうし、
「あれ?動かないな・・・後でやり直そう、あ、動いた動いた、OK」みたいな体質のところだったらOK。 そう考えると、やはりIT部門の責任者は相当な地位が必要だよなぁ。
システムは利用者の考え方をも変えてしまうのだから。 分散させれば障害に強くなる…って論は、現状の信頼性研究でも確実に断言できない所があるね
とあるエンジニアは、RAID5の存在を認めず事あるごとに批判し、RAID10以上を要求しているけど
それがマネーが動く業務システムってもんだよなぁ。。 ネットワーク透過型のHashテーブルが欲しいな、と思ってKVSに当たるのだけど、
それの保守チームを確保できないから、やっぱりMySQLのように運用人口の多いRDBで代用してしまう
鶏と卵だなー >>135
保守チームって何?
コードの隅々まで理解してる人達を養成でもしたいの? スレチかもしれんのだけど、
エクスペディアの「このホテル、○分前に予約が入りました」
ってあれは、KVS使ってるのかな?
REDISかHBASEあたり?
探ってるんだけど、SAS入れたって情報しか見えてこない… 言われたら、「○分前に予約が入りました」は、RDBで行ける気がしました。
13万のホテルに最終予約時刻入れとけばいいから、対したこと無いですね。 ◎2ch勢いランキングサイトリスト◎
★+ニュース板
・ 2NN (推薦)
・ 2chTimes
★+ニュース板新着
・ 2NN新着
・ Headline BBY
・ unker Headline
★+ニュース板その他
・ Desktop2ch
・ 記者別一覧
★全板
・ 全板縦断勢いランキング (推薦)
・ スレッドランキング総合ランキング
・ ログ速
★全板実況込み
・ 2勢
・ READ2CH
・ i-ikioi
※ 要タイトル名検索 ☆ 日本の核武装は絶対に必須ですわ。☆
http://www.soumu.go.jp/senkyo/kokumin_touhyou/index.html
☆ 日本国民の皆様方、2016年7月の『第24回 参議院選挙』で、改憲の参議院議員が
3分の2以上を超えると日本国憲法の改正です。皆様方、必ず投票に自ら足を運んでください。
私たちの日本国憲法を絶対に改正しましょう。☆ もともとRDBでなくてもいいものは、それぞれのシステムで実装していただけで、NoSQLのたぐいは昔からある。
でも結局、仕様の変化に耐えられなくてRDBになる。
SQL文は作られた時代から、古臭いけど、デファクトスタンダードだから仕方ない。 ( ゚д゚ )
_(__つ/ ̄ ̄ ̄/_
\/ /
 ̄ ̄ ̄