【KVS】 Key-Value Storeを勉強するスレ

**NAME IS NULL** · 2010/02/26(金) 01:38:45

RDBMSの時代は終わるのか？
クラウド(笑)時代のデータベース技術KVSについて語ろう！

**NAME IS NULL** · 2010/02/28(日) 04:09:42

先月の software design で特集してたよ

**NAME IS NULL** · 2010/03/08(月) 21:22:59

>>3
日本の SE でまともな DB 設計が出来る奴が居ないし必要ともされないから
性能が足りなければハードを買い増すことしか出来ないのが日本の技術者

>>5
今のキーワードはスケールしない ACID よりスケールしやすい BASE だろ

>>6
NoSQL という単語は個人的には意味が伝わりにくいと思う

>>9
XML, JSON
本ならオライリーから Hadoop 本がつい最近出てたな

**NAME IS NULL** · 2010/03/09(火) 02:18:29

key-valueストアの基礎知識
http://www.shudo.net/article/Software-Design-201002-KVS/

**NAME IS NULL** · 2010/03/09(火) 19:28:50

>>12
㌧ｸｽ、あとで読む。

**NAME IS NULL** · 2010/03/11(木) 02:27:32

Hadoop本買ってきた。
KVSって読み出しの速度だけなのかと思ってたけど、
SUMとかMAXみたいな演算にもアドバンテージがあるんだな。
言われてみれば検索エンジンなんて、統計処理の嵐か。

よく、OLAP Cubeを構築するまででもないけれど、
単純なクエリで解決するには件数が多すぎるみたいなことがあって、
まぁ大体はインデックスの張り方とかクエリ最適化とかで逃げるんだけど、
こういう部分の代替になりえるかなぁ。

**NAME IS NULL** · 2010/03/14(日) 11:55:50

sum()もmax()も読み出しそのものと言えるから当然だな。
しかも f(A,B) = f(f(A),f(B)) が成り立つから分散処理にも適しているし。

**NAME IS NULL** · 2010/03/14(日) 16:34:12

時系列で保存するデータなんかは更新処理がほぼ無いから、KVSとか向いてるんだろね。
これまでは何でもRDBMSに入れとけ、的な考えが多かったけど。

**NAME IS NULL** · 2010/03/22(月) 14:25:03

それにしても人いないな。

試しに使ってみた人の感想とか聞きたい。
環境構築の手間とか、ものによって違うものだろうか。

**NAME IS NULL** · 2010/03/24(水) 20:36:50

NoSQL 系は構築もそうだけど運用がね…
定番といえるモノがまだ無いし SQL でちょろっとクエリかければ済む仕組みじゃないから
最低限 perl や python で格納されたデータをごにょごにょする必要はある

**NAME IS NULL** · 2010/03/26(金) 15:06:17

>>17
君がいろんなものを試して感想を書けばいいんじゃないかな。

**NAME IS NULL** · 2010/03/26(金) 22:24:27

ちなみに>>17は「KVS」に何を期待してるの？

**NAME IS NULL** · 2010/03/27(土) 23:52:56

2ch クラスのデータアクセスが無いと KVS というか NoSQL 入れる意味が無いように思う

**NAME IS NULL** · 2010/03/28(日) 00:21:23

そうなの？業務アプリのバックエンドとして
高速な読み出しが確保できるかなという淡い期待があったんだけど。

どういった面で意味がないのか教えてもらえると嬉しい。

**NAME IS NULL** · 2010/03/28(日) 01:04:56

その高速性がいらないから意味がないんでしょ
○速い
×トランザクションなし
×障害保護弱い
×APIがプロダクトごとにばらばら
×テーブル結合なし
×詳しい人が少ない
×集計処理に弱い
高速性とスケーラビリティのために他をいろいろ犠牲にしているから

**NAME IS NULL** · 2010/03/28(日) 16:01:13

>>22
CAP定理を学ぶんだ

**NAME IS NULL** · 2010/04/02(金) 14:04:28

Key Value Storeについて ≪ さくらインターネット研究所
http://research.sakura.ad.jp/2010/03/17/kvs-intro/

ただのアニヲタ企業じゃなくて、研究もしてるんだな

**NAME IS NULL** · 2010/04/08(木) 21:34:51

保守

**NAME IS NULL** · 2010/04/10(土) 19:58:23

>>25
つか、日本のIT企業で NoSQL を研究し実務に取り込んでいるのはこういうベンチャー系だけなんだな
大手は自力でサポートできるスキルが無いことをサポートシステムが無いと言う理由だけで
OSS には手を出さない
そもそも、国内には NoSQL を必要とするほどのトラフィックやトランザクションを捌くサイトや
Web システムが無い（Yahoo! Japan や 2ch くらい）
勘定系には BASE な NoSQL は向かないから論外

ということで、国内での利用は進まないと思う

**NAME IS NULL** · 2010/04/10(土) 21:28:22

結局業務アプリのSQLは集計処理がメインだからな。
遅い処理ってのは、あっちとこっちのテーブルをjoinしてunionして加重平均してなんてので、
その部分には分散KVSでも対応できないし。

**NAME IS NULL** · 2010/04/11(日) 09:56:46

それ自体が独立しているシステムならいいけど、
他所と連携して動くシステム（営業部がSQLで課金情報引き出してるとか)だと、
SQLで扱えないのは導入の阻害要因になるな

位置付け的には、sqliteとかの、組み込みSQLの代用なんだろう。

あとは、大規模システムのコストを下げるために、SQL無しで割り切れるかどうか
なんでもかんでもOracleRACで組んでたらカネがかかりすぎる

**NAME IS NULL** · 2010/04/11(日) 10:41:21

普通のSIer向けの使いどころ何かないだろうか

**NAME IS NULL** · 2010/04/14(水) 22:49:57

何かと話題のツイッターのDBは、ApatchCasandoraっていうNoSqlを使ってるらしい。

**NAME IS NULL** · 2010/04/15(木) 04:57:02

Twitter規模のサービスを作る必要があるなら使っても良いんじゃない?

**NAME IS NULL** · 2010/04/15(木) 14:42:46

>>31
×ApatchCasandora
○Apache Cassandra
ttp://cassandra.apache.org/

**NAME IS NULL** · 2010/05/06(木) 02:36:49

NoSQLという部類だとドキュメント型？データベースてのがあるみたいだけど
あれはどうなんですかね？

**NAME IS NULL** · 2010/05/06(木) 05:27:50

基本的にはJSONストア。
高速化はIndexだったりMaterialized viewだったり。

**NAME IS NULL** · 2010/05/08(土) 23:58:28

速いRDBMSが欲しかったらTimesTenでいいんじゃないか。

**NAME IS NULL** · 2010/05/09(日) 18:06:55

別に速さがだけが欲しいわけではないのでは。
スケールさせる必要が無かったらKVSなんて必要ないだろう。

**NAME IS NULL** · 2010/05/09(日) 19:11:08

んん？求めているのは速さそのものだろ。
逆にそれ以外の部分をいろいろ割り切っているくらいだ。

**NAME IS NULL** · 2010/05/09(日) 20:54:25

機能としてシンプルだから
一般的なRDB知らない人はむしろ固定概念なく理解できるんじゃないですかね？

**NAME IS NULL** · 2010/05/09(日) 21:18:26

KVSそのものの理解は容易でも、逆に要件をKVSの仕組に落とし込むのに
苦労すると思うな、そういう人は。
そんなレベルの人は、Postgresでも入れてキーと値だけのテーブルを
作って試してみる方が、情報も多いし後々役に立つと思うぞ。

**NAME IS NULL** · 2010/05/09(日) 21:51:04

日本国内でNoSQLが必要になっているシステムってそもそもあるの？
それによってはそんなものもあるよ、って知識だけで充分な気もする。

**NAME IS NULL** · 2010/05/09(日) 22:35:13

ユーザー多くて負荷が高いサイトとか
mixi、グリー、楽天あたりはみんな使ってるんじゃない

**NAME IS NULL** · 2010/05/09(日) 22:55:44

スケールアウトによる総合パワーが分散KVSのオーバーヘッドを上回る
規模じゃないと意味ないからなぁ。
はっきりいって、mixiとかそういう規模のシステムを作るんでもなけりゃ
>>41の言う通り知識で十分、本気で検討するもんじゃないと思うが。

**NAME IS NULL** · 2010/05/09(日) 22:59:45

mixiを作らなくても、mixiアプリを作って当たるとあの規模のアクセスが来るぞ
俺はモバゲーアプリを作るので検討してる

**NAME IS NULL** · 2010/05/09(日) 23:26:32

それ、シングルノードで済むような規模の話なんじゃないの？
想定しているレベルが全然違う。

シングルノードなら、使用する製品、チューニング次第で
KVSとRDBMSのどっちが上なんて一概に言えないぞ。まぁ
フリーのRDBMSはやや不利かも知れんが。

**NAME IS NULL** · 2010/05/11(火) 22:38:15

なぜKVSなのか？なぜRDBMSではダメなのか？をしっかり理解しないと
なかなか使いどころが見えてこないね。

**NAME IS NULL** · 2010/05/11(火) 22:54:14

カッコイイからだろ
Hadoopとか使いこなしてるとモテそう

**NAME IS NULL** · 2010/05/11(火) 23:02:16

>>47
Hadoopがなにか理解してる？ｗ

**NAME IS NULL** · 2010/05/11(火) 23:23:31

MapReduce もややこしい名前だよな。
実際はソートしたりして、Map と Reduce ダケぢゃないし。

**NAME IS NULL** · 2010/05/11(火) 23:45:24

このスレみてると、KVSってのもbuzzwordのひとつだなって思うよ。

**NAME IS NULL** · 2010/05/11(火) 23:47:14

それでは、代わりにディストリビューテッド・シングル・カラム・ハッシュ・データベースと呼ぼうか

**NAME IS NULL** · 2010/05/11(火) 23:55:45

或は、ウルトラ・ファスト・クエリー・ウィズ・リミテッド・アグリゲーターとか

**NAME IS NULL** · 2010/05/17(月) 08:34:22

ネーミングは大事だと思う。全部ひっくるめてNoSQLとかひどいw

**NAME IS NULL** · 2010/05/17(月) 22:58:31

てめー俺が立てたNoSQLスレが一瞬で落ちたことをバカにしてんのか

**NAME IS NULL** · 2010/05/18(火) 04:33:14

DB板でスレ落とすってよっぽどのことじゃね?

**NAME IS NULL** · 2010/05/18(火) 07:36:13

うるさいうるさい！

**NAME IS NULL** · 2010/05/18(火) 23:32:49

Cassandraが本命だと思ってればいいの？

**NAME IS NULL** · 2010/05/19(水) 03:44:04

今の時代はACIDを捨ててまでスピードを求めてるってことかな？
比較する必要があるのだからRDBMSを改めて勉強するにはいい機会かも。

**NAME IS NULL** · 2010/05/19(水) 04:11:15

>>58
プリミティブだけど安くてスケールするデータストレージは提供
するからデータの整合性を保証する仕組みはアプリケーションに
あわせて各自手作りして下さい、みたいな流れだと認識している。

> 比較する必要があるのだからRDBMSを改めて勉強するにはいい機会かも。

比較の有無にかかわらずRDBの理論面や設計論は勉強しておいて
損はないと思う。
なんかNoSQL界隈ではスキーマレス->故に正規化なんて必要ない、
データモデリングも不要、お手軽です、みたいな風潮も一部で散見
されるけど、それは全くの誤解だと思う。
悪名高いRDBの正規化にしても、背景にある各種従属性に基づいた
データ構造の分析はデータの一貫性や更新時異常を理解する上で
RDBモデルに限らず他のどんなデータモデルにも適用可能なもの。

むしろRDBモデルはそういった理屈を実際のスキーマ設計に反映
する作法やノウハウが既に蓄積された大変お得なモデルだと思う。
他方でそれぞれの実装でバラバラなデータモデルや高速化手法を
採用しているNoSQLではそれぞれ手探りで妥当な落とし所を探る
必要があるわけで、まぁご苦労な話だなぁとは思う。

**NAME IS NULL** · 2010/06/29(火) 19:43:29

ひとつのkeyに複数value持たせたいときは
もういっこテーブル?みたいなの作ればいいの?

**NAME IS NULL** · 2010/07/01(木) 05:45:49

keyはともかくvalueはatomicでなくともよい実装が多い。
なので一つのキーに配列でも持たせればよい。

**NAME IS NULL** · 2010/07/10(土) 00:06:27

そして再びコボラー型思想が栄えるのであった

**NAME IS NULL** · 2010/08/12(木) 08:37:05

結局使っていくと範囲取得とかしたくなる。

**NAME IS NULL** · 2010/08/12(木) 12:23:43

テラメモリがエントリ鯖で使えるくらいにならんとね。
2年で倍として、10年後くらいか。

**NAME IS NULL** · 2010/08/12(木) 13:12:07

2Uのサーバで72GBとか積めるのは積める

**NAME IS NULL** · 2010/08/14(土) 00:29:15

セッション情報のキャッシュを保存して複数鯖で共有するのにKVS使いたいんだけど
何が良い？
「ディスクに保存するmemcached」みたいな感じで使いたいんだが

**NAME IS NULL** · 2010/08/14(土) 01:22:02

>>66
membaseなんてどう？

ttp://www.membase.org/

**NAME IS NULL** · 2010/08/14(土) 03:50:13

なるほど、memcached互換を目指してるのか。現時点で安定して動くかな？検討してみる。

**NAME IS NULL** · 2010/08/19(木) 08:58:21

TokyoTyrantあたりはmemcached互換だったよね。
結構互換のやつはあるっぽい。

**NAME IS NULL** · 2010/08/19(木) 11:10:36

mixiみたいに落ちちゃうの怖い

**NAME IS NULL** · 2010/09/07(火) 04:50:58

なんのための分散なんだか・・・

**NAME IS NULL** · 2010/09/08(水) 23:43:53

memcachedのスレってない？
もうWebやるんなら必須ぽいけど

**NAME IS NULL** · 2010/09/09(木) 00:22:20

たぶんこのスレ

**NAME IS NULL** · 2010/09/09(木) 09:46:39

必須ではないけどな別に

**NAME IS NULL** · 2010/09/29(水) 07:22:41

高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）
http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf

小杉

**NAME IS NULL** · 2010/10/06(水) 05:01:20

memcachedに画像を保存するには
base64エンコードするのが定番ですか？

**NAME IS NULL** · 2010/10/06(水) 22:59:46

バイナリでそのまま入れないの?

**NAME IS NULL** · 2010/10/07(木) 02:02:38

入れられた。なんだできるのか。

**NAME IS NULL** · 2010/10/27(水) 08:04:46

NoSQLとしてMySQLを使うDeNAが、memcachedよりも高速な75万クエリ／秒を実現
http://www.publickey1.jp/blog/10/nosqlmysqldenamemcached75.html

すげーじゃん

**NAME IS NULL** · 2010/11/14(日) 14:20:57

mongoDBが良さそう
C#でもPHPでも使える

**NAME IS NULL** · 2010/11/14(日) 15:01:48

mongodbはいろんな機能がついてて、
SQLの高機能に慣れてる人にも移行しやすそうだよね

**NAME IS NULL** · 2010/11/14(日) 17:03:17

linqが使えるのが良い
他のコレクションとjoinできるのでRDBMSと同等のことはできるのでは

**NAME IS NULL** · 2010/11/17(水) 21:47:08

これって東京なんたらとか京都なんたらとかでしょ

**NAME IS NULL** · 2011/04/04(月) 18:20:51.40

Cassandra！

**NAME IS NULL** · 2011/04/04(月) 23:08:12.33

鬼の哭く街か・・・

**NAME IS NULL** · 2011/05/10(火) 00:18:18.09

http://code.google.com/p/leveldb/

C++0x を使える環境にある人がどのくらいいるか分からないけど・・・

**NAME IS NULL** · 2011/07/04(月) 15:11:38.32

>>61

valueには何でも入れられる。KVSそのものさえ。

**NAME IS NULL** · 2011/07/19(火) 10:12:59.01

インデックスサーバを持たない場合、どっか適当なノードに
「このノードを追加しろー」ってメッセージを送出させるんだろうか。

**NAME IS NULL** · 2011/07/19(火) 10:55:14.11

構造によってちがうから一概に言えない

**NAME IS NULL** · 2011/07/20(水) 02:19:35.59

>>88
Chord とかの話?

**NAME IS NULL** · 2011/07/27(水) 17:38:50.67

skip graphとかをシミュレートしてみようと思う。
とりあえず、数値化するのはホップ数やメッセージ数だけでいいよね・・・。

**NAME IS NULL** · 2011/11/13(日) 15:47:25.67

>>79
これも似たようなことかな？ttp://www.atmarkit.co.jp/fdb/rensai/dbwatch2011/dbwatch201111_02.html

(MySQL 5.6では)ラボで開発中のNoSQLオプションにも注目です。従来のRDBのようにinsertやselectだけではなくputやgetで、NoSQLデータベースのようにmemcachedでMySQL（InnoDBデータ）に話しかける機能も加わることになります。

**NAME IS NULL** · 2012/02/21(火) 11:21:50.60

＞Hadoop

KVSとhadoop系ってセットのものなの？
つまり２つの技術がセットになってやっと動くものなのか、
あくまで”１＋１＝２”なのか。。。

教えて下さいorz

**NAME IS NULL** · 2012/02/22(水) 22:03:12.61

HadoopはHBaseとセットで考えたほうがいいんじゃね。
KVSはキーと値の組み合わせ。memmapdとか。
オンメモリのハッシュだと思えばOK

**NAME IS NULL** · 2012/02/22(水) 22:03:48.18

mcachedだまちがいた

93 · 2012/02/23(木) 08:50:45.90

レス㌧。

Hadoop/MapReduceとセットなのが、hBaseである。
hBase側から見ると、KVSは密な繋がりはなくて、あくまでone of them?

**NAME IS NULL** · 2012/02/24(金) 07:20:41.54

KVSはデータ永続化用
Hadoopはデータ処理用

じゃないの？

93 · 2012/02/24(金) 10:09:26.60

つまり、その２つはload処理とsave処理で繋がってるだけで、それ以外は無関係ってことですね。

何となく繋がりがあるイメージだったんだけど。。。

**NAME IS NULL** · 2012/02/27(月) 01:38:01.06

HadoopはHDFS(ファイルシステム)とMapReduce(分散処理フレームワーク)で構成される．
Hbaseはそのデータストアとしてされる

93 · 2012/02/27(月) 12:26:47.01

つまり、Hadoop/MapReduceのデータloadにHbaseは使えても、RDBとかは適切じゃないって意味ですよね？
結果のsaveなんかは、多分何のデータベースでもＯＫなんでしょうね。

**NAME IS NULL** · 2012/02/27(月) 14:01:41.85

Hadoopが対象とするデータの想定はテラバイトやエクサバイトといったビッグデータだからデーRDBのI/O性能ではボトルネックになってしまうと思われます．

**NAME IS NULL** · 2012/02/28(火) 01:08:49.07

データの一貫性少し犠牲にしても処理速度を→KVS
DBのでっかいダンプファイルから統計とったりしたい→Hadoop
大雑把に言うとこんな感じでしょ

93 · 2012/02/28(火) 11:25:37.44

なるほど、なるほど。

「ビッグデータでもI/O性能ＯＫ」、かつ、「データを分散して持てる」（←あってますよね？）、
といったものでないと、Hadoopがマトモに動かないってことですよね？

次はなぜKVSではＯＫなのか（データが分散してるから、ビッグデータでもI/O性能ＯＫ？）なのかを考えてみまつ。
（教えて下さる方があるなら、このスレに書いて頂ければ、全部読んでます）

93 · 2012/02/28(火) 11:28:19.03

あれ？　>>102

>データの一貫性少し犠牲にしても処理速度を→KVS
>DBのでっかいダンプファイルから統計とったりしたい→Hadoop

KVS単体 VS Hadoop単体、ですか？

**NAME IS NULL** · 2012/02/28(火) 13:06:31.37

Hadoopとkvsは対になるのではないはず。

93 · 2012/02/28(火) 13:16:47.34

再度、あれ？

http://d.hatena.ne.jp/okachimachiorz/20110619/1308490440
＞基本的に単純に分散KVSを使いたいならHbaseにこだわる必要はない。

hBase＝KVSだと思っていたのだが、違うのか。。。

色々読んでみると、KVSという一般的なデザインがあって、
Hadoop用データストアってのがhBaseで、それはKVSより機能が多い、
って感じ？

**NAME IS NULL** · 2012/02/28(火) 14:21:05.01

KVSはカラムがKeyとValueしか定義されていない単純なデータ構造で代表的なものが
CassandraやHbase。
HadoopにデータストアとしてHbaseしか利用できないことではありません。

93 · 2012/02/28(火) 15:36:17.27

なるほど。

Hbase (- KVS //HbaseはKVSの集合に含まれる

Hadoopのデータストアは、データ分散ＯＫ、ビッグデータでもI/O性能ＯＫ、が好ましい。
　→RDBよりもKVS、その中でもhBaseが妥当じぇね？
ってことですね。

**NAME IS NULL** · 2012/08/04(土) 22:22:41.80

LDAPスレはここにないよね？
あのクエリ言語はそれなりに面白いので、うまくバックエンドとして活用できれば嬉しいのだけど