X



トップページDB@2ch掲示板
1002コメント312KB
SQLite Part.10
■ このスレッドは過去ログ倉庫に格納されています
0644NAME IS NULL垢版2017/11/18(土) 01:48:42.44ID:F7zPqW66
>>636
元々実験バージョンだったはず
0646NAME IS NULL垢版2017/11/24(金) 19:36:24.57ID:???
質問です。
ATTACHをすると異常に遅くなるのですが、これは最新バージョンで直ってますか?
或いは何らかの対策がありますか?

[環境]
PHP7.1.8+SQLite3.15.1(今年9月時点でのxampp最新版)
SQLite3.21.0のDLLをDLして差し替えたが動作せず

[状況]
・openよりもattachの方が優先順位が低いのか、追い越されている時がある。
・基本的にシーケンシャルにリクエストをしている。
(30秒ごとにキューに溜まったリクエストを順次送信する。
前リクエストの結果を受け取ってから0.1秒待って次リクエスト発行、これでシーケンシャル。
ただし30秒でキューが掃けない場合、上に被せるので、一時的に2並列になるときがある。)
・連続した場合、2回目以降は早い(ことが多い)。1回目は6秒程度、2回目以降は0.1-0.2秒程度で終了する。
・Timeout設定は5秒だが25秒かかっても問題なく正常終了する(タイムアウトしない)
・用途は掲示板で、リクエストはスレ立て/投稿/閲覧/スレ落ちを混ぜてテスト中。
・試行錯誤した結果、ATTACHしただけで遅いようだと判明した(ATTACHしたDBを触らずとも遅い)

[推定]
連続した場合には早いので、EXCLUSIVEロック待ちだと推定している。
ただしリクエストはほぼ全部シーケンシャルなので、本来はロック待ち自体がおかしい。
なお以下仕様のため、sqlite_masterの合成に時間がかかっているのか?とも思い、
全部mainをつけてみたが変化なし。(連続した場合に早いのでこの線もおかしいが)
> If the name of the table is unique across all attached databases and the main and temp databases, then the schema-name prefix is not required.
> http://www.sqlite.org/lang_attach.html

今のところ納得できる理由(原因)が見つかっておらず、対策が出来ていません。これについて、
対策方法(最新バージョンで直っているのならそれでよし)をご存知であればご教授ください。

最新版をPHPで試す方法はPHPのスレで聞いてみます。
0647NAME IS NULL垢版2017/11/25(土) 14:28:33.17ID:???
>>646
自己解決しました。

ATTACHの速度が対象DBのtable数にかなり依存するため、
ATTACHするとその場でsqlite_masterの合成をするのだと推定しました。
従って、ATTACH順を変更することにより改善できます。
今回は3つのDBを同時に扱うため、3C3の6通りでしかなく、速いのを選ぶことにしました。

なお、この実装がよいのかは若干疑問です。
通常はATTACH対象をさほどゴリゴリやらないので、
合成ではなく直列(カスケード)にして、その都度順に引いた方が速いと思われます。
或いは、合成/直列を選択するpragmaがあればよいのですが、これもないようです。
これらの問題のため、最新版等では改善している可能性もあります。(試せていません)

何か対応しようとしてくださった方が居ましたら、ありがとうございました。
0649NAME IS NULL垢版2017/11/25(土) 16:20:09.78ID:???
>>647
ついでに続報を言うと、
ATTACHが遅くなるのはシステムキャッシュが無効(容量が足りない)時だけのようです。
合成自体は十分速く、
断片化したDB内のsqlite_masterのHDDからの読み出しに時間がかかっているようです。
だからまあ、現在(SQLite 3.15.1)の実装で問題ない、ということにもなりますが、、、

私の環境では、
RAMに十分空きがある(システムキャッシュにヒットする)場合には、
ATTACHは0.04-0.06秒程度で終了します。
RAMを使い尽くしている(システムキャッシュに十分な容量がない)場合には、
ATTACHだけで2-6秒程度かかり、これはVACUUM等で改善します。
また、ATTACHの順番を変えると何となく雰囲気が変わります。
(ただしこの結果は少し矛盾してますが)
0650NAME IS NULL垢版2017/11/25(土) 16:21:49.63ID:???
わざわざATTACHする理由は
0651NAME IS NULL垢版2017/11/25(土) 17:33:35.10ID:???
>>650
DB間のデータ転送をtransactionで括るため
0652NAME IS NULL垢版2017/11/25(土) 17:54:56.49ID:???
>>651
ATTACHするDBは違うホストにあるって事?
2相コミットのかわり?
0653NAME IS NULL垢版2017/11/25(土) 18:59:03.84ID:???
>>652
> 2相コミット
なんだこりゃ?Wiki読んだが何に使うのかよく分からん。
分散掲示板という意味なら面白いと思うし一部に待望されているが、俺が今作っているのはこれではない。
DBは同一ホストにある。

単にSQLiteの性能を出すために適宜DBを分割しているだけ。
というか、ロック単位がDBだから、平行させるためには分割するしかなく、そうしてるだけ。
(テーブル単位でロックできる他DBなら分割する意味はない)
例えばtech板なら、
「スレ本体(tech.live)」「スレヘッダのみ(全板共通)(tags.db)」「スレアーカイブ(tech.archived)」にしてあり、
スレ落ち時に
・tags.dbからヘッダを消去
・tech.live->tech.archivedにスレ内容転記
・tech.liveからスレを消去
する為にこれら3つをトランザクションで括っている。
この間に別板のスレの読み出しは、例えばprog板ならprog.liveだけで完結するのでブロックされない。
書き込みは全板共通のtags.dbによってブロックされてしまうが、これは仕様上致し方なし。
掲示板なので読み出し性能重視でこの設計にしている。
0654NAME IS NULL垢版2017/11/25(土) 19:07:59.44ID:???
>>653
2相コミットってSQLiteにあったのか
侮れんな

そんな面倒なことするのなら他のDBMSで良いんじゃね? とは思うけど
SQLiteじゃなきゃ駄目な理由があるんでしょうな
0655NAME IS NULL垢版2017/11/25(土) 19:18:27.38ID:???
>>654
複数DBのトランザクションという意味なら、それは追加されたらしい。
いつからかは知らん。

> SQLiteじゃなきゃ駄目な理由があるんでしょうな
共用鯖上で、PCの知識がほぼ無いadminでも扱える掲示板を目指している。
そのデプロイの都合上、PHP+SQLiteだ。
上位版はNodeで用意する予定だが、こちらもSQLiteになる。
それ以上の上位版は、他に既に色々あるからそっち使え、で行く。
興味あるのなら以下を読んでくれ。
https://meguca.org/g/2724701
0656NAME IS NULL垢版2017/11/25(土) 19:32:02.29ID:???
そういえばSQLiteのmainデータベースの名前を変える方法知らないか?
ググったけどなさそうなんだが。

具体的には>>647を試したコードがmainが3種類必要で結果的に3つコピペしてありうざい。
(live,tags,archiveにすれば共通化できるが、どれかをmainにしないといけない縛りのため)
0657NAME IS NULL垢版2017/11/25(土) 19:40:25.85ID:???
>>655
DBエンジンのインストールや設定って素人は難しく感じるようですね。
SQLiteは1ファイルで独立エンジン不要なのでローカルDBに使う分には良いですわ。
0658NAME IS NULL垢版2017/11/25(土) 19:42:22.24ID:???
>>656
データベースのファイル名を変えるだけでは?
0659NAME IS NULL垢版2017/11/25(土) 19:47:20.46ID:???
>>658
違う。
というか、調べた限り、ATTACH自体が新しい機能らしくて、そこまで整備されてない。
どの名前でもopenしたものはmainになるし、メモリ上のはtempになる。
それにATTACHしたものは自由に名前を付けられる、というか、つけないとsyntax上アウト。
で、mainの別名をつけられれば助かるんだが、、、
なお、tableやcolumnは別名を付けられる。
0660NAME IS NULL垢版2017/11/25(土) 19:54:47.58ID:???
>>659
あ、そう言う意味でしたか。
開発元に聞くか自分でソースコードを見るしか無さそうですが、
StackOverflowで聞けば教えて貰えるかも?
困った時はStackOverflow英語版!
0661NAME IS NULL垢版2017/11/25(土) 20:03:08.43ID:???
>>660
まあググっても出てこないし、多分まだ機能自体がないと諦めてるんだわ。
ありがとう。
0662NAME IS NULL垢版2017/11/25(土) 20:10:41.94ID:???
>>661
dummy db作って実際に使うDBは全部ATTACHでと言うのは駄目なの?
遅くはなるだろうけど。
0663NAME IS NULL垢版2017/11/25(土) 20:34:48.34ID:???
>>662
いやこれはソースコード上の美学の問題だから、それを構造まで広げるのはマズい。
どうしてもというのなら関数にすればいいだけだし、その方がマシ。
どのみち最終的にはコメントアウトで捨てるコードだし、
特にいいやり方がなければコピペで放置だ。

ただしtempにいったん受けた方が速い可能性があり、結果的にそれをやるかも。
具体的に言うと、sqlite_masterのマージで
少ない方を多い方にINSERTするわけだが、(どうやらこの判定はしている)
今のところliveに150、archivedは1000-10000スレ程度で運用する予定なので、
最低150のINSERTが発生して、これが0.05sかかっている。(ように見える)
tempで空テーブルを用意してやればこれが不要になる。
落ちるスレに150レスなら転記でINSERT150回必要であり、単純には倍速になる可能性がある。
というわけだ。
0664NAME IS NULL垢版2017/11/25(土) 21:11:41.89ID:???
>>663
旦那、ソースコードの美学なんてもんに拘ってたら、日本の薄汚いIT業界で食っていけませんぜwww
0665NAME IS NULL垢版2017/11/27(月) 12:31:20.51ID:???
日本の薄汚いIT業界でSQLiteなんて使わんだろ。
だいたいは自分の自主開発用とか趣味用だろ。
SQLiteでクライアントに納品してる奴とか保守してる奴とかいるの?
いるなら俺も雇ってくれw
0666NAME IS NULL垢版2017/11/27(月) 12:38:03.57ID:dl62vFEl
自主開発てなんかイヤラシイな
0667NAME IS NULL垢版2017/11/27(月) 12:56:06.29ID:???
イヤラシイのは自家発電
0668NAME IS NULL垢版2017/11/27(月) 13:09:39.99ID:???
>>665
居るよ!
SQLServer Express、mdbの代わりに使える。
Andoroidアプリならデフォでしょうし。
0669NAME IS NULL垢版2017/11/27(月) 14:45:54.11ID:???
SQLiteの爆速さと手軽さは中毒になるからな
0670NAME IS NULL垢版2017/11/27(月) 21:00:36.34ID:nKW4iMOq
こおゆう大げさな事をゆう奴を信用してはならん
0671NAME IS NULL垢版2017/11/27(月) 22:08:08.61ID:???
シングルユーザーで使う分には便利だよな
トランザクションとか自分で実装したくないし、遥かに信頼できる
0672NAME IS NULL垢版2017/11/27(月) 22:10:53.86ID:???
>>669
速いかは微妙じゃないか?

俺は結局、PRAGMA SYNCHRONOUS = OFF; PRAGMA JOURNAL_MODE = MEMORY;
を常用する羽目になっているが、これってどうなのよ?と思うし。
ただし作者の「ジャーナルにはHDDの2回転が必要で、それくらいはかかる」
というのもまた正しいわけだが。
0674NAME IS NULL垢版2017/11/28(火) 01:19:55.49ID:???
いっぱいあるだろ。
何と言ってもPublicDomainってのが使いやすい。
使ってても言わなくていいし。
0675NAME IS NULL垢版2017/11/28(火) 19:58:13.47ID:???
ちょっと複雑なSQLを書けないところがNGかな。
副問い合わせとか。

それ以外はすんごくいい。
0676NAME IS NULL垢版2017/11/28(火) 21:11:17.44ID:???
服問い合わせ程度ならSQLite3でできるでしょ
0677NAME IS NULL垢版2017/11/28(火) 21:37:51.97ID:???
RIGHT OUTER JOIN、FULL OUTER JOIN が出来ないくらい?
0679675垢版2017/11/30(木) 05:52:18.47ID:???
>>676, 677
え?ほんと?
おぼろげな記憶だけど、

SELECT ...
FROM ...
WHERE xxx IN (SELECT...)

とかできなかったような・・・
0681NAME IS NULL垢版2017/11/30(木) 07:15:36.60ID:???
>>679
そのクエリならできる。まさに俺が現在使っているし。
0682NAME IS NULL垢版2017/11/30(木) 08:35:09.19ID:???
>>680
敵性言語で書かれている情報など読みません。
0683NAME IS NULL垢版2017/11/30(木) 09:14:35.55ID:???
>>679
余裕で書けるのだが、何で出来ないと思ったのか聞いてみたい
0685NAME IS NULL垢版2017/11/30(木) 12:06:22.71ID:???
一回試してタイプミスで文法エラーが出たのに
できないと思い込むケースはあるかもね
できないだろう、という先入観があるとどうしてもね
0686NAME IS NULL垢版2017/11/30(木) 12:49:33.88ID:???
>>682
じゃあ敵が書いたプログラムなんか使うなよ w
0687675垢版2017/11/30(木) 18:22:37.58ID:???
かなり前のことなので、残念ながら具体的なクエリは忘れてしまいました。
ただ、俺のメインはPostgreSQLなので、それに比べてSQLiteはSQLを書く
自由度がかなり劣っている印象を受けたのは事実。

思い違いかもしれないので、また今度触ってみるよ。
誤った知識でSQLiteのNG情報を流布しては申し訳ないしね。
0688NAME IS NULL垢版2017/11/30(木) 19:42:18.44ID:ATTMxwZh
そんなに影響力ないから気にすんなw
0689NAME IS NULL垢版2017/12/29(金) 11:06:14.25ID:dtNZwIie
誰でも簡単にパソコン1台で稼げる方法など
参考までに、
⇒ 『宮本のゴウリエセレレ』 というブログで見ることができるらしいです。

グーグル検索⇒『宮本のゴウリエセレレ』

M9UL2UMY6S
0692NAME IS NULL垢版2018/02/14(水) 13:24:45.81ID:???
☆ 日本の、改憲をしましょう。現在、衆議員と参議院の両院で、
改憲議員が3分の2を超えております。『憲法改正国民投票法』、
でググってみてください。国会の発議はすでに可能です。
平和は勝ち取るものです。お願い致します。☆☆
0693NAME IS NULL垢版2018/02/26(月) 21:26:49.95ID:???
SQLite使おうと思って初めてスレきたけど
さすがに副問い合わせできないDBとか存在価値ねーよw
0695NAME IS NULL垢版2018/02/26(月) 21:48:49.59ID:???
>>693
普通に使えるけどウェブ検索もろくに使えない人には無理だろうね
0697NAME IS NULL垢版2018/03/04(日) 16:11:01.28ID:???
sqliteで足りないのはwindow関数くらいだと思ってる
0698NAME IS NULL垢版2018/03/10(土) 09:59:47.54ID:rTcSh0Y2
Entity Framework Coreでマイグレーションが出来ない
これじゃ気軽にカラムの追加削除も出来やしない

Firebirdにするか
0701NAME IS NULL垢版2018/03/10(土) 12:51:13.03ID:mPREb+86
AccessってWindowsでもオワコンじゃないの?
0702NAME IS NULL垢版2018/03/10(土) 16:14:51.18ID:???
Accessは帳票の入出力が簡単に作れるから現場ではまだよく使われてる
あとSQLiteに相当するデータベースエンジンだけならただでダウンロードできる
0703NAME IS NULL垢版2018/03/12(月) 23:33:30.65ID:???
SQLserverとoleDBでネイティブ接続できる上に帳票やフォームが気軽に作れるのでAccessは神だったが、
OleDb廃止してadp作れなくなったaccess2013からは普通に糞。
単独で考えたときのjetSQLはさらに糞。
0704NAME IS NULL垢版2018/03/12(月) 23:41:55.61ID:bDBXx0nx
SIじゃない事務系の職場で2007のUI変更は混乱起きたんじゃないかなあ
速度を気にしなければSQLの中に標準モジュールの関数を自由に使えるって結構すごい
0705NAME IS NULL垢版2018/03/26(月) 17:59:27.14ID:???
sqli ver3てのはsqli3てことになるのですか?
ubuntuにsqliいれたいのですが3がはいってしまいます。
0708NAME IS NULL垢版2018/04/29(日) 14:34:57.52ID:???
ubuntuにインストールしました。
コンソールからcreate ... と入力した場合、tableファイルはどこのディレクトリに作られるのでしょうか?
0709NAME IS NULL垢版2018/04/29(日) 21:48:49.51ID:???
情報が足りなすぎるけどエスパーするとインメモリDBで実行してるからどこにも作られてない。
0711NAME IS NULL垢版2018/05/26(土) 13:22:27.01ID:???
何も指定してないとメモリ上に作られる、けどその後の流れ以下でOK?

datasouce指定なしor:memory:でインメモリdbで実行されて
createでtableができる

その後いったん接続切れると(C#だとconnectionつくったusingブロックを出ると)メモリ上のdbも消える
接続が切れなければ、datasouce指定なしor:memory:で、作ったdbを操作できる
接続が確立されてる状態だと、ほかconnectionから接続はできない

ただし、最初db作るときにcache=sharedで指定してやれば、接続が続く限り
「もう一つのconnectionを作って」そこからdb操作できる

このsharedの挙動がよくわからん
0713NAME IS NULL垢版2018/05/26(土) 22:44:11.55ID:???
>>712
すまん、本家は一応目は通したんだけど
SQLiteというよりはC#での組み方を把握してないみたいだ
とはいえもう一度よく見てみるよ、ありがとう
0714NAME IS NULL垢版2018/05/28(月) 20:25:00.22ID:???
select name, (suryo * tanka) as '合計'
from hoge;
はできるんですがこの合計の総和が取れずに困ってます。
どのようにしたらいいでしょうか?
0715NAME IS NULL垢版2018/05/28(月) 20:48:30.06ID:???
select name, sum(suryo * tanka) as '総和' from hoge group by name
0716NAME IS NULL垢版2018/05/28(月) 22:41:56.84ID:???
なるほど、このようにするんですね。
ありがとうございます。
0717NAME IS NULL垢版2018/05/29(火) 12:29:45.70ID:???
このレベルのことを自力で解決できずに5chで聞くなんて
日本のプログラマーは素晴らしい
0718NAME IS NULL垢版2018/05/29(火) 12:31:34.79ID:7/O8R114
>>717←このレベルのことを自力で解決できて誇らしいプログラマー
0719NAME IS NULL垢版2018/05/29(火) 12:40:23.08ID:???
日本のプログラマーの低レベル化はとどまる事を知らず。
0720NAME IS NULL垢版2018/05/29(火) 14:33:26.96ID:???
自力で解決する時間は自分持ちで
時間がかかると切られるのが日本
0721NAME IS NULL垢版2018/05/29(火) 18:52:09.96ID:???
英数字を全角で書く奴は何をやってもダメ
0722NAME IS NULL垢版2018/05/29(火) 18:57:20.30ID:???
と、言ってるおじいちゃんが未だにいる日本
0723NAME IS NULL垢版2018/05/29(火) 20:49:31.56ID:???
基本的なSQLくらいは勉強してから使った方が良いけどね
0724NAME IS NULL垢版2018/05/29(火) 23:23:10.95ID:???
>>722
いやさすがに俺の拙い経験でも>>721は正解だわ
あとカタカナを半角で書く奴も追加で
0725NAME IS NULL垢版2018/05/30(水) 08:38:56.61ID:???
>>724
今のフォントだと半角カタカナは汚いがWin95の頃は普通に使われてた。今は半角カタカナを使う必要はない。

駄目なヤツは全角英数字と半角英数字の混在してるヤツ。1つの単語の中で混ぜるヤツは最悪。
0727NAME IS NULL垢版2018/06/09(土) 10:21:54.43ID:???
PRAGMA journal_mode=OFF; PRAGMA synchronous=OFFで
VACUUMも速くなることに今更気づいた
0728NAME IS NULL垢版2018/06/14(木) 14:28:34.78ID:???
create temp tableで作られたtableにデータを入れるときって
データどこに保存されてるの?
例えばconnection作るときにmemoryとかdbファイル指定したとして
そこにぶち込んでるわけじゃないっぽいんだけど
せっかくin-memory dbで作ってもよそに一時ファイル作って書き込んでるんだとしたら無駄だなとおもい
それともtempってした時点でdbファイルを指定してもメモリ上に、
in-memoryでもそのメモリ上のmemory(ややこしいなw)とは別のメモリ領域にぶっ込んでるのかな
0729NAME IS NULL垢版2018/06/14(木) 20:07:04.71ID:???
>>728
コネクションがmemoryならテンポラリーもmomory
0730NAME IS NULL垢版2018/06/14(木) 22:32:03.65ID:???
>>729
テンポラリに入れてから、そいつを加工してテンポラリじゃないデータに入れてるんだけど
テンポラリにデータぶっ込んでる時はタスクマネージャのメモリ使用量が増えないんだよね
visual studioのプロセスメモリも増えてない
0731NAME IS NULL垢版2018/06/15(金) 00:27:55.61ID:???
なんでもいいから、だれか正規表現のdll作ってくれよー
0733NAME IS NULL垢版2018/06/15(金) 08:34:36.31ID:???
>>730
タスクマネージャのデフォのメモリー表示だと全部のメモリー状況は出ないはず。
表示列を増やしてみれば?
0734NAME IS NULL垢版2018/06/15(金) 23:28:07.12ID:???
最初に確保したキャパで収まってんじゃないの?
メモリがレコードに完全に比例するような、非効率的な実装なんかしないだろうし。
0735NAME IS NULL垢版2018/06/15(金) 23:46:44.50ID:???
>>733
どゆことー?
一応自己解決
テンポラリのディスク領域に保存してるみたいだ
windowsの場合いわゆる仮想ディスク、だからメモリが増えてなかった
しかも仮想ディスクはm2のSSDなのでメモリ上に作ってもtempで作っても
速度あんまりかわらんかった

https://www.sqlite.org/tempfiles.html
https://www.sqlite.org/vfs.html

2,3回テストしただけだけど、500Mのテキスト軽く加工してぶっ込むのに
not tempでメモリ上につくって24秒
tempでつくって27秒
0736NAME IS NULL垢版2018/06/16(土) 01:53:50.34ID:???
>>735
微妙に早とちりしてた
PRAGMAで設定しないなら環境変数のTEMP_Pathに"etilqs_*"ってファイルが作られる
あと仮想ディスクじゃなくて仮想ファイルシステムだ
メモリに余裕があればcreate temp tableすることないかも
0737NAME IS NULL垢版2018/06/20(水) 01:47:13.13ID:???
page sizeとcache sizeいくつにしてますか?
page sizeのdefaultが1024から4096に変わったりしてるし
処理するデータによっても変わるし、PC環境でも最適が変わるんだろうけど
なんか基準みたいなのあれば教えてください
fieldが10位なら***みたいな

https://blog.devart.com/increasing-sqlite-performance.html
2016年記事でこんな感じだけど
増やせば増やすほどいいってものでもないんですね
0738NAME IS NULL垢版2018/06/25(月) 21:04:53.90ID:???
>>737
cache sizeは200000くらいにしとけってどこか海外のサイトでみた
基準は書いてるとおり状況によって変わるとしか
0739NAME IS NULL垢版2018/07/07(土) 15:51:37.40ID:r3W4+i36
この手のdb組み合わせて作るシステムってクエリ文コード中に書くの?
それとも外部テキストとか読み込むの?
0740NAME IS NULL垢版2018/07/08(日) 18:59:47.36ID:???
好き好きやろ。
よっぽどでなければ、わざわざ外部テキストにはしないんじゃないのとは思うが。
0741NAME IS NULL垢版2018/07/08(日) 19:47:07.48ID:???
>>739
どういうライブラリやフレームワークを使っているかによる
SQL文を文字列としてプログラム内部に組み込むのは
原始的なライブラリに多い
0742NAME IS NULL垢版2018/07/09(月) 21:11:23.36ID:+WAobpIw
なるへそ
コードに直書きしてるサンプルみてて、改行時のスペース一つみすったらこけるなっておもったが
当然というか、いろいろ方法はあるんやね
■ このスレッドは過去ログ倉庫に格納されています

ニューススポーツなんでも実況