RDBMSの時代は終わるのか?
クラウド(笑)時代のデータベース技術KVSについて語ろう!
探検
【KVS】 Key-Value Storeを勉強するスレ
1NAME IS NULL
2010/02/26(金) 01:38:45ID:y+tdcYdD2010/02/26(金) 08:03:35ID:???
お前の態度が気にくわない
2010/02/26(金) 13:32:51ID:???
いままで無かったのが不思議なスレ
しかしたぶん伸びない
しかしたぶん伸びない
2010/02/26(金) 18:01:44ID:???
もっと普及しないと
このスレで使ってる奴なんていないだろう
このスレで使ってる奴なんていないだろう
2010/02/27(土) 02:55:59ID:???
ACIDが保証されないなんて
2010/02/27(土) 13:30:12ID:???
NoSQLでこの前スレ立てたのに落ちたんだぜ…
2010/02/27(土) 16:20:06ID:???
"distributed" が付かないと普通の dbm も入っちゃうんじゃ…
2010/02/27(土) 19:58:10ID:???
perlとかのハッシュオブジェクトを保存するのもいけるな
2010/02/27(土) 20:16:54ID:???
具体的に、何を勉強すれば良いんだろうね
本とか出てる?
本とか出てる?
2010/02/28(日) 04:09:42ID:???
先月の software design で特集してたよ
2010/03/08(月) 21:22:59ID:???
2010/03/09(火) 02:18:29ID:???
2010/03/09(火) 19:28:50ID:???
>>12
dクス、あとで読む。
dクス、あとで読む。
2010/03/11(木) 02:27:32ID:???
Hadoop本買ってきた。
KVSって読み出しの速度だけなのかと思ってたけど、
SUMとかMAXみたいな演算にもアドバンテージがあるんだな。
言われてみれば検索エンジンなんて、統計処理の嵐か。
よく、OLAP Cubeを構築するまででもないけれど、
単純なクエリで解決するには件数が多すぎるみたいなことがあって、
まぁ大体はインデックスの張り方とかクエリ最適化とかで逃げるんだけど、
こういう部分の代替になりえるかなぁ。
KVSって読み出しの速度だけなのかと思ってたけど、
SUMとかMAXみたいな演算にもアドバンテージがあるんだな。
言われてみれば検索エンジンなんて、統計処理の嵐か。
よく、OLAP Cubeを構築するまででもないけれど、
単純なクエリで解決するには件数が多すぎるみたいなことがあって、
まぁ大体はインデックスの張り方とかクエリ最適化とかで逃げるんだけど、
こういう部分の代替になりえるかなぁ。
2010/03/14(日) 11:55:50ID:???
sum()もmax()も読み出しそのものと言えるから当然だな。
しかも f(A,B) = f(f(A),f(B)) が成り立つから分散処理にも適しているし。
しかも f(A,B) = f(f(A),f(B)) が成り立つから分散処理にも適しているし。
2010/03/14(日) 16:34:12ID:???
時系列で保存するデータなんかは更新処理がほぼ無いから、KVSとか向いてるんだろね。
これまでは何でもRDBMSに入れとけ、的な考えが多かったけど。
これまでは何でもRDBMSに入れとけ、的な考えが多かったけど。
2010/03/22(月) 14:25:03ID:???
それにしても人いないな。
試しに使ってみた人の感想とか聞きたい。
環境構築の手間とか、ものによって違うものだろうか。
試しに使ってみた人の感想とか聞きたい。
環境構築の手間とか、ものによって違うものだろうか。
2010/03/24(水) 20:36:50ID:???
NoSQL 系は構築もそうだけど運用がね…
定番といえるモノがまだ無いし SQL でちょろっとクエリかければ済む仕組みじゃないから
最低限 perl や python で格納されたデータをごにょごにょする必要はある
定番といえるモノがまだ無いし SQL でちょろっとクエリかければ済む仕組みじゃないから
最低限 perl や python で格納されたデータをごにょごにょする必要はある
2010/03/26(金) 15:06:17ID:???
>>17
君がいろんなものを試して感想を書けばいいんじゃないかな。
君がいろんなものを試して感想を書けばいいんじゃないかな。
2010/03/26(金) 22:24:27ID:???
ちなみに>>17は「KVS」に何を期待してるの?
2010/03/27(土) 23:52:56ID:???
2ch クラスのデータアクセスが無いと KVS というか NoSQL 入れる意味が無いように思う
2010/03/28(日) 00:21:23ID:???
そうなの?業務アプリのバックエンドとして
高速な読み出しが確保できるかなという淡い期待があったんだけど。
どういった面で意味がないのか教えてもらえると嬉しい。
高速な読み出しが確保できるかなという淡い期待があったんだけど。
どういった面で意味がないのか教えてもらえると嬉しい。
2010/03/28(日) 01:04:56ID:???
その高速性がいらないから意味がないんでしょ
○速い
×トランザクションなし
×障害保護弱い
×APIがプロダクトごとにばらばら
×テーブル結合なし
×詳しい人が少ない
×集計処理に弱い
高速性とスケーラビリティのために他をいろいろ犠牲にしているから
○速い
×トランザクションなし
×障害保護弱い
×APIがプロダクトごとにばらばら
×テーブル結合なし
×詳しい人が少ない
×集計処理に弱い
高速性とスケーラビリティのために他をいろいろ犠牲にしているから
2010/03/28(日) 16:01:13ID:???
>>22
CAP定理を学ぶんだ
CAP定理を学ぶんだ
2010/04/02(金) 14:04:28ID:???
Key Value Storeについて ≪ さくらインターネット研究所
http://research.sakura.ad.jp/2010/03/17/kvs-intro/
ただのアニヲタ企業じゃなくて、研究もしてるんだな
http://research.sakura.ad.jp/2010/03/17/kvs-intro/
ただのアニヲタ企業じゃなくて、研究もしてるんだな
2010/04/08(木) 21:34:51ID:???
保守
2010/04/10(土) 19:58:23ID:???
>>25
つか、日本のIT企業で NoSQL を研究し実務に取り込んでいるのはこういうベンチャー系だけなんだな
大手は自力でサポートできるスキルが無いことをサポートシステムが無いと言う理由だけで
OSS には手を出さない
そもそも、国内には NoSQL を必要とするほどのトラフィックやトランザクションを捌くサイトや
Web システムが無い(Yahoo! Japan や 2ch くらい)
勘定系には BASE な NoSQL は向かないから論外
ということで、国内での利用は進まないと思う
つか、日本のIT企業で NoSQL を研究し実務に取り込んでいるのはこういうベンチャー系だけなんだな
大手は自力でサポートできるスキルが無いことをサポートシステムが無いと言う理由だけで
OSS には手を出さない
そもそも、国内には NoSQL を必要とするほどのトラフィックやトランザクションを捌くサイトや
Web システムが無い(Yahoo! Japan や 2ch くらい)
勘定系には BASE な NoSQL は向かないから論外
ということで、国内での利用は進まないと思う
2010/04/10(土) 21:28:22ID:???
結局業務アプリのSQLは集計処理がメインだからな。
遅い処理ってのは、あっちとこっちのテーブルをjoinしてunionして加重平均してなんてので、
その部分には分散KVSでも対応できないし。
遅い処理ってのは、あっちとこっちのテーブルをjoinしてunionして加重平均してなんてので、
その部分には分散KVSでも対応できないし。
2010/04/11(日) 09:56:46ID:???
それ自体が独立しているシステムならいいけど、
他所と連携して動くシステム(営業部がSQLで課金情報引き出してるとか)だと、
SQLで扱えないのは導入の阻害要因になるな
位置付け的には、sqliteとかの、組み込みSQLの代用なんだろう。
あとは、大規模システムのコストを下げるために、SQL無しで割り切れるかどうか
なんでもかんでもOracleRACで組んでたらカネがかかりすぎる
他所と連携して動くシステム(営業部がSQLで課金情報引き出してるとか)だと、
SQLで扱えないのは導入の阻害要因になるな
位置付け的には、sqliteとかの、組み込みSQLの代用なんだろう。
あとは、大規模システムのコストを下げるために、SQL無しで割り切れるかどうか
なんでもかんでもOracleRACで組んでたらカネがかかりすぎる
2010/04/11(日) 10:41:21ID:???
普通のSIer向けの使いどころ何かないだろうか
2010/04/14(水) 22:49:57ID:???
何かと話題のツイッターのDBは、ApatchCasandoraっていうNoSqlを使ってるらしい。
2010/04/15(木) 04:57:02ID:???
Twitter規模のサービスを作る必要があるなら使っても良いんじゃない?
2010/04/15(木) 14:42:46ID:???
34NAME IS NULL
2010/05/06(木) 02:36:49ID:7n/FuzR2 NoSQLという部類だとドキュメント型?データベースてのがあるみたいだけど
あれはどうなんですかね?
あれはどうなんですかね?
2010/05/06(木) 05:27:50ID:???
基本的にはJSONストア。
高速化はIndexだったりMaterialized viewだったり。
高速化はIndexだったりMaterialized viewだったり。
2010/05/08(土) 23:58:28ID:???
速いRDBMSが欲しかったらTimesTenでいいんじゃないか。
2010/05/09(日) 18:06:55ID:???
別に速さがだけが欲しいわけではないのでは。
スケールさせる必要が無かったらKVSなんて必要ないだろう。
スケールさせる必要が無かったらKVSなんて必要ないだろう。
2010/05/09(日) 19:11:08ID:???
んん?求めているのは速さそのものだろ。
逆にそれ以外の部分をいろいろ割り切っているくらいだ。
逆にそれ以外の部分をいろいろ割り切っているくらいだ。
2010/05/09(日) 20:54:25ID:???
機能としてシンプルだから
一般的なRDB知らない人はむしろ固定概念なく理解できるんじゃないですかね?
一般的なRDB知らない人はむしろ固定概念なく理解できるんじゃないですかね?
2010/05/09(日) 21:18:26ID:???
KVSそのものの理解は容易でも、逆に要件をKVSの仕組に落とし込むのに
苦労すると思うな、そういう人は。
そんなレベルの人は、Postgresでも入れてキーと値だけのテーブルを
作って試してみる方が、情報も多いし後々役に立つと思うぞ。
苦労すると思うな、そういう人は。
そんなレベルの人は、Postgresでも入れてキーと値だけのテーブルを
作って試してみる方が、情報も多いし後々役に立つと思うぞ。
2010/05/09(日) 21:51:04ID:???
日本国内でNoSQLが必要になっているシステムってそもそもあるの?
それによってはそんなものもあるよ、って知識だけで充分な気もする。
それによってはそんなものもあるよ、って知識だけで充分な気もする。
2010/05/09(日) 22:35:13ID:???
ユーザー多くて負荷が高いサイトとか
mixi、グリー、楽天あたりはみんな使ってるんじゃない
mixi、グリー、楽天あたりはみんな使ってるんじゃない
2010/05/09(日) 22:55:44ID:???
スケールアウトによる総合パワーが分散KVSのオーバーヘッドを上回る
規模じゃないと意味ないからなぁ。
はっきりいって、mixiとかそういう規模のシステムを作るんでもなけりゃ
>>41の言う通り知識で十分、本気で検討するもんじゃないと思うが。
規模じゃないと意味ないからなぁ。
はっきりいって、mixiとかそういう規模のシステムを作るんでもなけりゃ
>>41の言う通り知識で十分、本気で検討するもんじゃないと思うが。
2010/05/09(日) 22:59:45ID:???
mixiを作らなくても、mixiアプリを作って当たるとあの規模のアクセスが来るぞ
俺はモバゲーアプリを作るので検討してる
俺はモバゲーアプリを作るので検討してる
2010/05/09(日) 23:26:32ID:???
それ、シングルノードで済むような規模の話なんじゃないの?
想定しているレベルが全然違う。
シングルノードなら、使用する製品、チューニング次第で
KVSとRDBMSのどっちが上なんて一概に言えないぞ。まぁ
フリーのRDBMSはやや不利かも知れんが。
想定しているレベルが全然違う。
シングルノードなら、使用する製品、チューニング次第で
KVSとRDBMSのどっちが上なんて一概に言えないぞ。まぁ
フリーのRDBMSはやや不利かも知れんが。
46NAME IS NULL
2010/05/11(火) 22:38:15ID:psYyVaov なぜKVSなのか?なぜRDBMSではダメなのか?をしっかり理解しないと
なかなか使いどころが見えてこないね。
なかなか使いどころが見えてこないね。
2010/05/11(火) 22:54:14ID:???
カッコイイからだろ
Hadoopとか使いこなしてるとモテそう
Hadoopとか使いこなしてるとモテそう
48NAME IS NULL
2010/05/11(火) 23:02:16ID:psYyVaov >>47
Hadoopがなにか理解してる?w
Hadoopがなにか理解してる?w
2010/05/11(火) 23:23:31ID:???
MapReduce もややこしい名前だよな。
実際はソートしたりして、Map と Reduce ダケぢゃないし。
実際はソートしたりして、Map と Reduce ダケぢゃないし。
2010/05/11(火) 23:45:24ID:???
このスレみてると、KVSってのもbuzzwordのひとつだなって思うよ。
2010/05/11(火) 23:47:14ID:???
それでは、代わりにディストリビューテッド・シングル・カラム・ハッシュ・データベースと呼ぼうか
2010/05/11(火) 23:55:45ID:???
或は、ウルトラ・ファスト・クエリー・ウィズ・リミテッド・アグリゲーターとか
53NAME IS NULL
2010/05/17(月) 08:34:22ID:9Qb2d0iM ネーミングは大事だと思う。全部ひっくるめてNoSQLとかひどいw
2010/05/17(月) 22:58:31ID:???
てめー俺が立てたNoSQLスレが一瞬で落ちたことをバカにしてんのか
2010/05/18(火) 04:33:14ID:???
DB板でスレ落とすってよっぽどのことじゃね?
2010/05/18(火) 07:36:13ID:???
うるさいうるさい!
2010/05/18(火) 23:32:49ID:???
Cassandraが本命だと思ってればいいの?
2010/05/19(水) 03:44:04ID:???
今の時代はACIDを捨ててまでスピードを求めてるってことかな?
比較する必要があるのだからRDBMSを改めて勉強するにはいい機会かも。
比較する必要があるのだからRDBMSを改めて勉強するにはいい機会かも。
2010/05/19(水) 04:11:15ID:???
>>58
プリミティブだけど安くてスケールするデータストレージは提供
するからデータの整合性を保証する仕組みはアプリケーションに
あわせて各自手作りして下さい、みたいな流れだと認識している。
> 比較する必要があるのだからRDBMSを改めて勉強するにはいい機会かも。
比較の有無にかかわらずRDBの理論面や設計論は勉強しておいて
損はないと思う。
なんかNoSQL界隈ではスキーマレス->故に正規化なんて必要ない、
データモデリングも不要、お手軽です、みたいな風潮も一部で散見
されるけど、それは全くの誤解だと思う。
悪名高いRDBの正規化にしても、背景にある各種従属性に基づいた
データ構造の分析はデータの一貫性や更新時異常を理解する上で
RDBモデルに限らず他のどんなデータモデルにも適用可能なもの。
むしろRDBモデルはそういった理屈を実際のスキーマ設計に反映
する作法やノウハウが既に蓄積された大変お得なモデルだと思う。
他方でそれぞれの実装でバラバラなデータモデルや高速化手法を
採用しているNoSQLではそれぞれ手探りで妥当な落とし所を探る
必要があるわけで、まぁご苦労な話だなぁとは思う。
プリミティブだけど安くてスケールするデータストレージは提供
するからデータの整合性を保証する仕組みはアプリケーションに
あわせて各自手作りして下さい、みたいな流れだと認識している。
> 比較する必要があるのだからRDBMSを改めて勉強するにはいい機会かも。
比較の有無にかかわらずRDBの理論面や設計論は勉強しておいて
損はないと思う。
なんかNoSQL界隈ではスキーマレス->故に正規化なんて必要ない、
データモデリングも不要、お手軽です、みたいな風潮も一部で散見
されるけど、それは全くの誤解だと思う。
悪名高いRDBの正規化にしても、背景にある各種従属性に基づいた
データ構造の分析はデータの一貫性や更新時異常を理解する上で
RDBモデルに限らず他のどんなデータモデルにも適用可能なもの。
むしろRDBモデルはそういった理屈を実際のスキーマ設計に反映
する作法やノウハウが既に蓄積された大変お得なモデルだと思う。
他方でそれぞれの実装でバラバラなデータモデルや高速化手法を
採用しているNoSQLではそれぞれ手探りで妥当な落とし所を探る
必要があるわけで、まぁご苦労な話だなぁとは思う。
2010/06/29(火) 19:43:29ID:???
ひとつのkeyに複数value持たせたいときは
もういっこテーブル?みたいなの作ればいいの?
もういっこテーブル?みたいなの作ればいいの?
2010/07/01(木) 05:45:49ID:???
keyはともかくvalueはatomicでなくともよい実装が多い。
なので一つのキーに配列でも持たせればよい。
なので一つのキーに配列でも持たせればよい。
2010/07/10(土) 00:06:27ID:???
そして再びコボラー型思想が栄えるのであった
2010/08/12(木) 08:37:05ID:???
結局使っていくと範囲取得とかしたくなる。
2010/08/12(木) 12:23:43ID:???
テラメモリがエントリ鯖で使えるくらいにならんとね。
2年で倍として、10年後くらいか。
2年で倍として、10年後くらいか。
2010/08/12(木) 13:12:07ID:???
2Uのサーバで72GBとか積めるのは積める
2010/08/14(土) 00:29:15ID:???
セッション情報のキャッシュを保存して複数鯖で共有するのにKVS使いたいんだけど
何が良い?
「ディスクに保存するmemcached」みたいな感じで使いたいんだが
何が良い?
「ディスクに保存するmemcached」みたいな感じで使いたいんだが
2010/08/14(土) 01:22:02ID:???
2010/08/14(土) 03:50:13ID:???
なるほど、memcached互換を目指してるのか。現時点で安定して動くかな?検討してみる。
2010/08/19(木) 08:58:21ID:???
TokyoTyrantあたりはmemcached互換だったよね。
結構互換のやつはあるっぽい。
結構互換のやつはあるっぽい。
2010/08/19(木) 11:10:36ID:???
mixiみたいに落ちちゃうの怖い
2010/09/07(火) 04:50:58ID:???
なんのための分散なんだか・・・
2010/09/08(水) 23:43:53ID:???
memcachedのスレってない?
もうWebやるんなら必須ぽいけど
もうWebやるんなら必須ぽいけど
2010/09/09(木) 00:22:20ID:???
たぶんこのスレ
2010/09/09(木) 09:46:39ID:???
必須ではないけどな別に
2010/09/29(水) 07:22:41ID:???
高信頼クラウド実現用ソフトウェア開発(分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業)
http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf
小杉
http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf
小杉
2010/10/06(水) 05:01:20ID:???
memcachedに画像を保存するには
base64エンコードするのが定番ですか?
base64エンコードするのが定番ですか?
2010/10/06(水) 22:59:46ID:???
バイナリでそのまま入れないの?
2010/10/07(木) 02:02:38ID:???
入れられた。なんだできるのか。
2010/10/27(水) 08:04:46ID:???
NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ/秒を実現
http://www.publickey1.jp/blog/10/nosqlmysqldenamemcached75.html
すげーじゃん
http://www.publickey1.jp/blog/10/nosqlmysqldenamemcached75.html
すげーじゃん
80NAME IS NULL
2010/11/14(日) 14:20:57ID:nZUldWt9 mongoDBが良さそう
C#でもPHPでも使える
C#でもPHPでも使える
2010/11/14(日) 15:01:48ID:???
mongodbはいろんな機能がついてて、
SQLの高機能に慣れてる人にも移行しやすそうだよね
SQLの高機能に慣れてる人にも移行しやすそうだよね
82NAME IS NULL
2010/11/14(日) 17:03:17ID:nZUldWt9 linqが使えるのが良い
他のコレクションとjoinできるのでRDBMSと同等のことはできるのでは
他のコレクションとjoinできるのでRDBMSと同等のことはできるのでは
2010/11/17(水) 21:47:08ID:???
これって東京なんたらとか京都なんたらとかでしょ
2011/04/04(月) 18:20:51.40ID:???
Cassandra!
2011/04/04(月) 23:08:12.33ID:???
鬼の哭く街か・・・
2011/05/10(火) 00:18:18.09ID:???
2011/07/04(月) 15:11:38.32ID:???
2011/07/19(火) 10:12:59.01ID:???
インデックスサーバを持たない場合、どっか適当なノードに
「このノードを追加しろー」ってメッセージを送出させるんだろうか。
「このノードを追加しろー」ってメッセージを送出させるんだろうか。
2011/07/19(火) 10:55:14.11ID:???
構造によってちがうから一概に言えない
2011/07/20(水) 02:19:35.59ID:???
>>88
Chord とかの話?
Chord とかの話?
2011/07/27(水) 17:38:50.67ID:???
skip graphとかをシミュレートしてみようと思う。
とりあえず、数値化するのはホップ数やメッセージ数だけでいいよね・・・。
とりあえず、数値化するのはホップ数やメッセージ数だけでいいよね・・・。
2011/11/13(日) 15:47:25.67ID:???
>>79
これも似たようなことかな?ttp://www.atmarkit.co.jp/fdb/rensai/dbwatch2011/dbwatch201111_02.html
(MySQL 5.6では)ラボで開発中のNoSQLオプションにも注目です。従来のRDBのようにinsertやselectだけではなくputやgetで、NoSQLデータベースのようにmemcachedでMySQL(InnoDBデータ)に話しかける機能も加わることになります。
これも似たようなことかな?ttp://www.atmarkit.co.jp/fdb/rensai/dbwatch2011/dbwatch201111_02.html
(MySQL 5.6では)ラボで開発中のNoSQLオプションにも注目です。従来のRDBのようにinsertやselectだけではなくputやgetで、NoSQLデータベースのようにmemcachedでMySQL(InnoDBデータ)に話しかける機能も加わることになります。
93NAME IS NULL
2012/02/21(火) 11:21:50.60ID:KIHR+Wqd >Hadoop
KVSとhadoop系ってセットのものなの?
つまり2つの技術がセットになってやっと動くものなのか、
あくまで”1+1=2”なのか。。。
教えて下さいorz
KVSとhadoop系ってセットのものなの?
つまり2つの技術がセットになってやっと動くものなのか、
あくまで”1+1=2”なのか。。。
教えて下さいorz
2012/02/22(水) 22:03:12.61ID:???
HadoopはHBaseとセットで考えたほうがいいんじゃね。
KVSはキーと値の組み合わせ。memmapdとか。
オンメモリのハッシュだと思えばOK
KVSはキーと値の組み合わせ。memmapdとか。
オンメモリのハッシュだと思えばOK
2012/02/22(水) 22:03:48.18ID:???
mcachedだまちがいた
9693
2012/02/23(木) 08:50:45.90ID:??? レスd。
Hadoop/MapReduceとセットなのが、hBaseである。
hBase側から見ると、KVSは密な繋がりはなくて、あくまでone of them?
Hadoop/MapReduceとセットなのが、hBaseである。
hBase側から見ると、KVSは密な繋がりはなくて、あくまでone of them?
97NAME IS NULL
2012/02/24(金) 07:20:41.54ID:5WcS76rf KVSはデータ永続化用
Hadoopはデータ処理用
じゃないの?
Hadoopはデータ処理用
じゃないの?
9893
2012/02/24(金) 10:09:26.60ID:??? つまり、その2つはload処理とsave処理で繋がってるだけで、それ以外は無関係ってことですね。
何となく繋がりがあるイメージだったんだけど。。。
何となく繋がりがあるイメージだったんだけど。。。
2012/02/27(月) 01:38:01.06ID:???
HadoopはHDFS(ファイルシステム)とMapReduce(分散処理フレームワーク)で構成される.
Hbaseはそのデータストアとしてされる
Hbaseはそのデータストアとしてされる
10093
2012/02/27(月) 12:26:47.01ID:??? つまり、Hadoop/MapReduceのデータloadにHbaseは使えても、RDBとかは適切じゃないって意味ですよね?
結果のsaveなんかは、多分何のデータベースでもOKなんでしょうね。
結果のsaveなんかは、多分何のデータベースでもOKなんでしょうね。
101NAME IS NULL
2012/02/27(月) 14:01:41.85ID:??? Hadoopが対象とするデータの想定はテラバイトやエクサバイトといったビッグデータだからデーRDBのI/O性能ではボトルネックになってしまうと思われます.
102NAME IS NULL
2012/02/28(火) 01:08:49.07ID:??? データの一貫性少し犠牲にしても処理速度を→KVS
DBのでっかいダンプファイルから統計とったりしたい→Hadoop
大雑把に言うとこんな感じでしょ
DBのでっかいダンプファイルから統計とったりしたい→Hadoop
大雑把に言うとこんな感じでしょ
10393
2012/02/28(火) 11:25:37.44ID:??? なるほど、なるほど。
「ビッグデータでもI/O性能OK」、かつ、「データを分散して持てる」(←あってますよね?)、
といったものでないと、Hadoopがマトモに動かないってことですよね?
次はなぜKVSではOKなのか(データが分散してるから、ビッグデータでもI/O性能OK?)なのかを考えてみまつ。
(教えて下さる方があるなら、このスレに書いて頂ければ、全部読んでます)
「ビッグデータでもI/O性能OK」、かつ、「データを分散して持てる」(←あってますよね?)、
といったものでないと、Hadoopがマトモに動かないってことですよね?
次はなぜKVSではOKなのか(データが分散してるから、ビッグデータでもI/O性能OK?)なのかを考えてみまつ。
(教えて下さる方があるなら、このスレに書いて頂ければ、全部読んでます)
10493
2012/02/28(火) 11:28:19.03ID:???105NAME IS NULL
2012/02/28(火) 13:06:31.37ID:??? Hadoopとkvsは対になるのではないはず。
10693
2012/02/28(火) 13:16:47.34ID:??? 再度、あれ?
http://d.hatena.ne.jp/okachimachiorz/20110619/1308490440
>基本的に単純に分散KVSを使いたいならHbaseにこだわる必要はない。
hBase=KVSだと思っていたのだが、違うのか。。。
色々読んでみると、KVSという一般的なデザインがあって、
Hadoop用データストアってのがhBaseで、それはKVSより機能が多い、
って感じ?
http://d.hatena.ne.jp/okachimachiorz/20110619/1308490440
>基本的に単純に分散KVSを使いたいならHbaseにこだわる必要はない。
hBase=KVSだと思っていたのだが、違うのか。。。
色々読んでみると、KVSという一般的なデザインがあって、
Hadoop用データストアってのがhBaseで、それはKVSより機能が多い、
って感じ?
107NAME IS NULL
2012/02/28(火) 14:21:05.01ID:??? KVSはカラムがKeyとValueしか定義されていない単純なデータ構造で代表的なものが
CassandraやHbase。
HadoopにデータストアとしてHbaseしか利用できないことではありません。
CassandraやHbase。
HadoopにデータストアとしてHbaseしか利用できないことではありません。
10893
2012/02/28(火) 15:36:17.27ID:??? なるほど。
Hbase (- KVS //HbaseはKVSの集合に含まれる
Hadoopのデータストアは、データ分散OK、ビッグデータでもI/O性能OK、が好ましい。
→RDBよりもKVS、その中でもhBaseが妥当じぇね?
ってことですね。
Hbase (- KVS //HbaseはKVSの集合に含まれる
Hadoopのデータストアは、データ分散OK、ビッグデータでもI/O性能OK、が好ましい。
→RDBよりもKVS、その中でもhBaseが妥当じぇね?
ってことですね。
109NAME IS NULL
2012/08/04(土) 22:22:41.80ID:hNSFSVJW LDAPスレはここにないよね?
あのクエリ言語はそれなりに面白いので、うまくバックエンドとして活用できれば嬉しいのだけど
あのクエリ言語はそれなりに面白いので、うまくバックエンドとして活用できれば嬉しいのだけど
110NAME IS NULL
2012/08/07(火) 17:47:42.55ID:lgaLRZBM 実際に欲しいのはシンプルなBTreeデータベースなのに、うまくスケールする実装がないから
仕方なしにRDBMSを使っているってシーンが色々ありまして。。
仕方なしにRDBMSを使っているってシーンが色々ありまして。。
111NAME IS NULL
2012/08/16(木) 09:14:44.75ID:??? googleも最初はそうだったよね。
112NAME IS NULL
2012/09/03(月) 20:06:49.61ID:ojogcPbp Cassandraは、海外ではTwitterなど大規模なサイトでの導入事例
がたくさんあるようだけど、国内ではほとんど聞かない。
日本の大規模サイトで、Cassandra使ってるところってあるかな?
Cassandra、Write性能もスケールするっていうのは魅力的だな・・
RDBMSだとMasterがボトルネックになるのは不可避だろうし、かといって
Shardingをやるとアプリ側の作りこみがめんどうになる。
>>1
NoSQLのスレのが良かったんでは?
がたくさんあるようだけど、国内ではほとんど聞かない。
日本の大規模サイトで、Cassandra使ってるところってあるかな?
Cassandra、Write性能もスケールするっていうのは魅力的だな・・
RDBMSだとMasterがボトルネックになるのは不可避だろうし、かといって
Shardingをやるとアプリ側の作りこみがめんどうになる。
>>1
NoSQLのスレのが良かったんでは?
113NAME IS NULL
2012/09/30(日) 20:51:16.91ID:lf9RHx2G >>41
Cassandraは牛刀すぎて、それ相応の規模を持ち合わせていないとなぁ。。
でもエンタープライズ市場やデータウェアハウス市場という実業分野では、素直にカネ払ってOracle導入するし
KVSは、多量のデータを扱う必要があるけどあまりカネ使えないっすー、というネトゲみたいな
虚業分野での導入実績が多いかんじ
Cassandraは牛刀すぎて、それ相応の規模を持ち合わせていないとなぁ。。
でもエンタープライズ市場やデータウェアハウス市場という実業分野では、素直にカネ払ってOracle導入するし
KVSは、多量のデータを扱う必要があるけどあまりカネ使えないっすー、というネトゲみたいな
虚業分野での導入実績が多いかんじ
114NAME IS NULL
2012/10/02(火) 08:19:38.09ID:??? >>113
まったく的外れだな
いまどきエンタープライズ=Oracleなんて認識は時代遅れすぎる。
FacebookもDeNAも金持ってるがMySQLやNoSQLを使っている。
FacebookやAmazonは自社でNoSQLの開発もやっている
NoSQLとRDBの違いは予算ではない。
それぞれの長所、短所がある
NoSQLはビッグデータを扱える。
運用の負担が少なく、数百台のサーバーにスケールアウトできる
シンプルなデータモデルのためRDBでは実現できないようなパフォーマンスも叩き出せる。
まったく的外れだな
いまどきエンタープライズ=Oracleなんて認識は時代遅れすぎる。
FacebookもDeNAも金持ってるがMySQLやNoSQLを使っている。
FacebookやAmazonは自社でNoSQLの開発もやっている
NoSQLとRDBの違いは予算ではない。
それぞれの長所、短所がある
NoSQLはビッグデータを扱える。
運用の負担が少なく、数百台のサーバーにスケールアウトできる
シンプルなデータモデルのためRDBでは実現できないようなパフォーマンスも叩き出せる。
115NAME IS NULL
2012/10/02(火) 20:06:46.95ID:??? エンタープライズ=Facebook、DeNA、Amazon
って感覚にも問題ある
どこの企業もWebサービスが生命線ってわけじゃないし
って感覚にも問題ある
どこの企業もWebサービスが生命線ってわけじゃないし
116NAME IS NULL
2012/10/02(火) 23:49:35.16ID:???117NAME IS NULL
2012/10/03(水) 00:14:23.43ID:??? 古典的なエキスパートvsプロフェッショナルの分類だと
エンタープライズと言えばプロフェッショナルで出来合いDB
Web企業はエキスパートだから自前かトガったツルシのDB。
といいつつもOracleだって今時の売りはビッグデータだ。
今やハードも持ってるしな。
エンタープライズと言えばプロフェッショナルで出来合いDB
Web企業はエキスパートだから自前かトガったツルシのDB。
といいつつもOracleだって今時の売りはビッグデータだ。
今やハードも持ってるしな。
118NAME IS NULL
2012/10/15(月) 04:37:16.22ID:??? Oracleはカネ払えばベンダーが面倒見てくれるけど、KVSはそういう会社がまだないので。。
企業財産そのものであるデータベース分野で、「自分でソース読んで解決すればOK」みたいな
ソフトウエアは使わせてもらえない。
ネトゲみたいに「ゴメンゴメンぶっ飛んじゃったわ」で済む範囲ならいいかもしれないけど
企業財産そのものであるデータベース分野で、「自分でソース読んで解決すればOK」みたいな
ソフトウエアは使わせてもらえない。
ネトゲみたいに「ゴメンゴメンぶっ飛んじゃったわ」で済む範囲ならいいかもしれないけど
119NAME IS NULL
2012/10/20(土) 07:22:48.37ID:??? あのgmailでさえデータぶっ飛ばしてるし、まだエンタープライズ用途では様子見で。。
121NAME IS NULL
2012/10/20(土) 10:15:49.67ID:+nLxsDLu ところが、自前管理の方がデータぶっ飛ばしてる率が高そうだ
122NAME IS NULL
2012/10/20(土) 10:17:28.47ID:??? gmailは扱ってるデータの規模がそもそも違う。
123NAME IS NULL
2012/10/21(日) 07:58:39.36ID:??? データの規模って…ビッグデータはスケールしてなんぼでしょ?
そういうのでなかったら、Oracleで足りるし
結局ビッグデータでも維持のために専任管理者を置いておく必要があるけど、
もしもぶっとんだら、彼だけの能力でデータ復旧できるのかというとまだ微妙
そして彼の退職後に誰もメンテできないようだと、会社の存続が危うくなる
そういうスタッフを自前で置けないんだったら、Oracleを契約しておいた方が面倒がないような
そういうのでなかったら、Oracleで足りるし
結局ビッグデータでも維持のために専任管理者を置いておく必要があるけど、
もしもぶっとんだら、彼だけの能力でデータ復旧できるのかというとまだ微妙
そして彼の退職後に誰もメンテできないようだと、会社の存続が危うくなる
そういうスタッフを自前で置けないんだったら、Oracleを契約しておいた方が面倒がないような
124NAME IS NULL
2012/10/21(日) 20:13:30.21ID:??? >>123
googleだってデフォでバックアップ取ってるし、
こっちがあーだこーだ言わなくても自動で修復もしてくれる。
oracleはちゃんとした会社だしサポートも営業体制も安定してるが、
ロストしてバックアップもダメになってる時だってあるし、ダメな時はダメ。
誰も無から有は作り出せない。
googleだってデフォでバックアップ取ってるし、
こっちがあーだこーだ言わなくても自動で修復もしてくれる。
oracleはちゃんとした会社だしサポートも営業体制も安定してるが、
ロストしてバックアップもダメになってる時だってあるし、ダメな時はダメ。
誰も無から有は作り出せない。
125NAME IS NULL
2012/10/22(月) 02:22:01.76ID:Fprj7xN3 もうfusion-ioさんでmysqlでnosqlに勝てちゃうだろ
nosqlはフラッシュ系ストレージのせいでオワコンになったんや
nosqlはフラッシュ系ストレージのせいでオワコンになったんや
126NAME IS NULL
2012/10/22(月) 08:30:09.53ID:??? そんなんその辺のクラウドじゃ使えませんやん…
127NAME IS NULL
2012/10/22(月) 16:45:23.58ID:??? キャッシュ置き場ならいいかもしれないが、現状で一次データをKVSに置くのはさすがに怖い
128NAME IS NULL
2012/10/22(月) 18:24:46.15ID:???129NAME IS NULL
2012/10/22(月) 18:45:15.98ID:??? >>128
「動かないコンピュータ」に載るような深刻な大事件がいくらか起こって、
その結果、「クラウドでこうやってはいけないバッドノウハウ集」がそれなりに溜まってきたら、
そろそろ入れようかと思うよ。
クラウド向きじゃない用途が明らかになって、「クラウドは欠点が多くて使えねーわ」って言う人が
増えてきたら、ちゃんと検討する。他人が地雷を一通り踏みまくってくれている。
クラウド関連記事が賞賛ばかりの状況では、マーケ盛んだな、ぐらいでまだ入れない。
機雷掃海は他人にやって頂くに限ります。
「動かないコンピュータ」に載るような深刻な大事件がいくらか起こって、
その結果、「クラウドでこうやってはいけないバッドノウハウ集」がそれなりに溜まってきたら、
そろそろ入れようかと思うよ。
クラウド向きじゃない用途が明らかになって、「クラウドは欠点が多くて使えねーわ」って言う人が
増えてきたら、ちゃんと検討する。他人が地雷を一通り踏みまくってくれている。
クラウド関連記事が賞賛ばかりの状況では、マーケ盛んだな、ぐらいでまだ入れない。
機雷掃海は他人にやって頂くに限ります。
130NAME IS NULL
2012/10/24(水) 02:32:30.99ID:??? >>123
Googleはデータやハードの故障への耐性ってのをまず考えてる。
安いマシンを並列に、で大きくなったんだから第一の関心がソレだ。
一部故障しても、少しの影響で済むような分散処理。
故障の素早い隔離と復旧そして同期のとりかた。
でも大事なのは、統計合計マシンだから本質的に少々データが
壊れてもあまり影響のないサービスだって事だ。
いわゆる業務システムじゃそうは行かんわな。
Googleはデータやハードの故障への耐性ってのをまず考えてる。
安いマシンを並列に、で大きくなったんだから第一の関心がソレだ。
一部故障しても、少しの影響で済むような分散処理。
故障の素早い隔離と復旧そして同期のとりかた。
でも大事なのは、統計合計マシンだから本質的に少々データが
壊れてもあまり影響のないサービスだって事だ。
いわゆる業務システムじゃそうは行かんわな。
131NAME IS NULL
2012/10/24(水) 11:26:19.39ID:??? ぶっ飛ばしても、障害報告を書いて謝って終わり、で済む安いデータならいいかもしれないけど
システムが止まると一日あたり数百万づつ売り上げが消える、という業務系ではまだ無理だよ
システムが止まると一日あたり数百万づつ売り上げが消える、という業務系ではまだ無理だよ
132NAME IS NULL
2012/10/24(水) 11:44:09.09ID:??? MTTF・MTBF共に短いが可用性が高いというのがクラウドの特徴。
これが許せるか許せないかは業務系云々より、社会体質に依るんじゃないかなあ。
「あれ?動かないぞ・・・責任者出せ」みたいな体質の所だったらダメだろうし、
「あれ?動かないな・・・後でやり直そう、あ、動いた動いた、OK」みたいな体質のところだったらOK。
これが許せるか許せないかは業務系云々より、社会体質に依るんじゃないかなあ。
「あれ?動かないぞ・・・責任者出せ」みたいな体質の所だったらダメだろうし、
「あれ?動かないな・・・後でやり直そう、あ、動いた動いた、OK」みたいな体質のところだったらOK。
133NAME IS NULL
2012/10/24(水) 11:47:56.57ID:??? そう考えると、やはりIT部門の責任者は相当な地位が必要だよなぁ。
システムは利用者の考え方をも変えてしまうのだから。
システムは利用者の考え方をも変えてしまうのだから。
134NAME IS NULL
2012/10/25(木) 20:33:57.35ID:??? 分散させれば障害に強くなる…って論は、現状の信頼性研究でも確実に断言できない所があるね
とあるエンジニアは、RAID5の存在を認めず事あるごとに批判し、RAID10以上を要求しているけど
それがマネーが動く業務システムってもんだよなぁ。。
とあるエンジニアは、RAID5の存在を認めず事あるごとに批判し、RAID10以上を要求しているけど
それがマネーが動く業務システムってもんだよなぁ。。
135NAME IS NULL
2012/11/15(木) 14:22:58.16ID:??? ネットワーク透過型のHashテーブルが欲しいな、と思ってKVSに当たるのだけど、
それの保守チームを確保できないから、やっぱりMySQLのように運用人口の多いRDBで代用してしまう
鶏と卵だなー
それの保守チームを確保できないから、やっぱりMySQLのように運用人口の多いRDBで代用してしまう
鶏と卵だなー
136NAME IS NULL
2012/11/15(木) 19:22:53.50ID:??? 買ってくるんじゃ駄目なの?
137NAME IS NULL
2013/02/27(水) 17:31:22.14ID:???138NAME IS NULL
2013/09/18(水) 17:40:30.76ID:??? お勧めは?
139NAME IS NULL
2013/10/24(木) 02:44:32.36ID:??? テスト
140NAME IS NULL
2013/10/24(木) 02:49:10.08ID:??? スレチかもしれんのだけど、
エクスペディアの「このホテル、○分前に予約が入りました」
ってあれは、KVS使ってるのかな?
REDISかHBASEあたり?
探ってるんだけど、SAS入れたって情報しか見えてこない…
エクスペディアの「このホテル、○分前に予約が入りました」
ってあれは、KVS使ってるのかな?
REDISかHBASEあたり?
探ってるんだけど、SAS入れたって情報しか見えてこない…
141NAME IS NULL
2013/10/24(木) 17:11:25.20ID:??? RDBで十分でしょ
142NAME IS NULL
2013/10/24(木) 20:41:52.20ID:??? 探って出てくるような話じゃないと思うんだが。
143NAME IS NULL
2013/10/25(金) 02:30:31.46ID:??? 言われたら、「○分前に予約が入りました」は、RDBで行ける気がしました。
13万のホテルに最終予約時刻入れとけばいいから、対したこと無いですね。
13万のホテルに最終予約時刻入れとけばいいから、対したこと無いですね。
144NAME IS NULL
2013/10/26(土) 03:18:08.46ID:??? なるほどバカなんだな
145NAME IS NULL
2013/11/24(日) 20:50:24.92ID:??? 千葉県松戸市六高台2-78-3
146NAME IS NULL
2014/07/13(日) 15:17:10.74ID:DJgIKLkB ◎2ch勢いランキングサイトリスト◎
★+ニュース板
・ 2NN (推薦)
・ 2chTimes
★+ニュース板新着
・ 2NN新着
・ Headline BBY
・ unker Headline
★+ニュース板その他
・ Desktop2ch
・ 記者別一覧
★全板
・ 全板縦断勢いランキング (推薦)
・ スレッドランキング総合ランキング
・ ログ速
★全板実況込み
・ 2勢
・ READ2CH
・ i-ikioi
※ 要タイトル名検索
★+ニュース板
・ 2NN (推薦)
・ 2chTimes
★+ニュース板新着
・ 2NN新着
・ Headline BBY
・ unker Headline
★+ニュース板その他
・ Desktop2ch
・ 記者別一覧
★全板
・ 全板縦断勢いランキング (推薦)
・ スレッドランキング総合ランキング
・ ログ速
★全板実況込み
・ 2勢
・ READ2CH
・ i-ikioi
※ 要タイトル名検索
147NAME IS NULL
2015/04/21(火) 21:23:41.21ID:pQzWEcgh ☆ 日本の核武装は絶対に必須ですわ。☆
http://www.soumu.go.jp/senkyo/kokumin_touhyou/index.html
☆ 日本国民の皆様方、2016年7月の『第24回 参議院選挙』で、改憲の参議院議員が
3分の2以上を超えると日本国憲法の改正です。皆様方、必ず投票に自ら足を運んでください。
私たちの日本国憲法を絶対に改正しましょう。☆
http://www.soumu.go.jp/senkyo/kokumin_touhyou/index.html
☆ 日本国民の皆様方、2016年7月の『第24回 参議院選挙』で、改憲の参議院議員が
3分の2以上を超えると日本国憲法の改正です。皆様方、必ず投票に自ら足を運んでください。
私たちの日本国憲法を絶対に改正しましょう。☆
148NAME IS NULL
2016/03/29(火) 16:26:06.19ID:sfT27TYg もともとRDBでなくてもいいものは、それぞれのシステムで実装していただけで、NoSQLのたぐいは昔からある。
でも結局、仕様の変化に耐えられなくてRDBになる。
SQL文は作られた時代から、古臭いけど、デファクトスタンダードだから仕方ない。
でも結局、仕様の変化に耐えられなくてRDBになる。
SQL文は作られた時代から、古臭いけど、デファクトスタンダードだから仕方ない。
149 【だん吉】
2021/02/12(金) 00:50:27.64ID:gQk0UUYA ( ゚д゚ )
_(__つ/ ̄ ̄ ̄/_
\/ /
 ̄ ̄ ̄
_(__つ/ ̄ ̄ ̄/_
\/ /
 ̄ ̄ ̄
150NAME IS NULL
2022/10/23(日) 01:03:41.53ID:??? テステス
レスを投稿する
ニュース
- 【速報】流行語年間大賞に高市早苗首相「働いて働いて働いて働いて働いてまいります/女性首相」 [Ailuropoda melanoleuca★]
- 高市首相「いいから黙って全部オレに投資しろ」“進撃の巨人”のセリフで対日投資呼びかけ [おっさん友の会★]
- モーニングショーで女性弁護士、「世界中の国を見渡しても日本ほど中国ともめている国は今はどこもない」「挑発しちゃっている状況」 [muffin★]
- ビットコインの発明者 サトシ・ナカモトさん、資産20兆円 世界富豪ランキング10位以内に「革命的技術を考案しながら名声求めず」 [お断り★]
- 日テレ、国分太一の「答え合わせ」を却下 「答え合わせをするまでもない」「心当たりがあると述べられている」 [muffin★]
- 中国外務省「正式な発言撤回なければ受け入れず」 高市首相は台湾有事「存立危機事態」言及せずも「言及しないことと撤回は別問題」★11 [ぐれ★]
- 高市早苗ちゃん。 流行語大賞をゲット [485983549]
- 【悲報】江戸時代ジャップ「ナマコを中国に売って外貨稼ぎます!」今ジャップ「ナマコを中国に売る奴は売国奴!」 [616817505]
- 日銀総裁「利上げの遅れは、欧米のように高いインフレ率になり、混乱を引き起こします」 [256556981]
- ひるおび「高市総理のおかげで中国でイベントをしたらこういうリスクを伴うというのが世界中に知れ渡った」 [931948549]
- スイス、国民投票で「女性徴兵」に圧倒的多数のNOを叩きつける [377482965]
- ○ッ○ングパパ
