マルチスレッドプログラミング相談室その9

**デフォルトの名無しさん** · 2012/06/15(金) 01:31:57.88

マルチスレッドプログラミングについて語るスレ

■前スレ
マルチスレッドプログラミング相談室その8
http://toro.2ch.net/test/read.cgi/tech/1253521167/

■過去スレ
その１ ttp://pc3.2ch.net/tech/kako/997/997345868.html
その２ ttp://pc5.2ch.net/test/read.cgi/tech/1037636153/
その３ ttp://pc8.2ch.net/test/read.cgi/tech/1098268137/
その４ ttp://pc8.2ch.net/test/read.cgi/tech/1130984585/
その５ ttp://pc11.2ch.net/test/read.cgi/tech/1157814833/
その６ ttp://pc11.2ch.net/test/read.cgi/tech/1187008532/
その７ ttp://pc12.2ch.net/test/read.cgi/tech/1215253576/

OS・言語・環境は問わないが、それゆえ明記すべし。
テンプレ
【ＯＳ】
【言語】
【実行環境】
【その他特記する事項】

**デフォルトの名無しさん** · 2014/03/08(土) 15:57:35.44

VCならOpenCLかC++AMP使えば良いんじゃね
CPUとGPUで切り替えも出来るし
CPUだけならPPLでも

**デフォルトの名無しさん** · 2014/03/08(土) 16:20:54.15

VS2013か2012で、C++11のstd::threadとblockingできるqueueとstd::futureあたりを使えばいいんじゃないかな。

**デフォルトの名無しさん** · 2014/03/09(日) 12:57:11.91

>262-265
ﾄﾝ

スレッドの使いまわしについて、ちょっと説明が言葉足らずだったかな。
やりたいのは最初にｎ個を起動するのまでは同じなんだけど、
データブロックを１個処理し終わったら次のデータブロックを処理させることで
全てのデータブロックを処理し終わるまでｎ個を実行している状態を維持したい。
（実際にスレッドをループさせるか破棄／生成を繰り返すかは重要ではない。）
ググって見つけたサンプルは、ｎ個のスレッドを最初に起動して、
ｎ個全てが終わるのを待って次の処理（結果表示とか）に進むような使い方のばっかりで、
起動したうちの１個でも終わったら次の処理をやってまた１個終わるのを待つ、みたいなのが見つからない。

開発環境については、実は結構古いのしか持ってない……
ので、これからVS2013の評価版をDLして試してみようと思う。

現状のx86コード、シングルスレッドでどうやら鍵値５の処理を70時間以内で終われそうな予感。
処理結果のファイルを分割し過ぎて恐ろしい数のファイルを生成しちゃってるので、
マルチスレッド化の際にはもっと纏めてしまわないとなぁ。
鍵値６は複数台のPCへの分散処理とかGPU処理とかを真面目に考えないと無理そうだけど。

**デフォルトの名無しさん** · 2014/03/09(日) 17:54:14.90

そこまで仕様が決まってるならさっさと書けよって話だが。

**デフォルトの名無しさん** · 2014/03/09(日) 19:14:48.84

自慢

**デフォルトの名無しさん** · 2014/03/09(日) 19:44:21.54

なんの？ｗ

**デフォルトの名無しさん** · 2014/03/09(日) 21:24:29.64

典型的なコード書けない君だったか。

**デフォルトの名無しさん** · 2014/03/09(日) 21:29:22.95

>>261
OpenMPのparallel forで分割するだけでおｋ

**265** · 2014/03/10(月) 02:53:54.21

>>271
もしも、それで済む用件だったら、一番楽だね。
VS2012と2013なら、無料版でもOpenMP使えるし。
手元のコードでOpenMPでforループ2048周をi7-3760Xで6倍速度くらい。
CUDAで780Tiで2048*2048cudaスレッドでさらに18倍くらいだった。

**デフォルトの名無しさん** · 2014/03/10(月) 06:30:44.63

266の処理は、OpenMPのparallel for schedule (dynamic)でできる

**デフォルトの名無しさん** · 2014/03/10(月) 12:00:01.04

ここはおまえの日記じゃねーぞ。

**デフォルトの名無しさん** · 2014/03/10(月) 17:32:15.14

スレッドの数って
CPUのコア数より多くしても意味ないよね？

**デフォルトの名無しさん** · 2014/03/10(月) 17:42:02.40

>>275
スレッド内の処理でI/O待ちとかしてる場合は意味あるんじゃないの？

**デフォルトの名無しさん** · 2014/03/10(月) 18:28:34.27

ひたすら計算し続けるなら意味はない。
計算メインというだけならコア数の倍ぐらいまでは
スループットが上がることはある。

**デフォルトの名無しさん** · 2014/03/10(月) 19:11:36.58

書きたいアルゴリズムを自然に書けるという理由で
マルチスレッドに意味があることはある
GUIなんかそうだろうね

**デフォルトの名無しさん** · 2014/03/10(月) 19:22:36.70

そんなGUIの実装は見たこと無いです。

**デフォルトの名無しさん** · 2014/03/10(月) 19:40:06.12

GUI スレッドと別に好きなスレッドを立ててうまくやっていけるってことだろうに‥‥
win16 の泣きそうな世界を知らないのか？

**デフォルトの名無しさん** · 2014/03/10(月) 19:46:18.78

それはCUIでも同じだろう。

**デフォルトの名無しさん** · 2014/03/10(月) 21:47:19.99

処理内容・数によるけど大量のパラ処理はCPUのマルチコアやNvidiaのGPGPUからAMDのGPGPUでopenCLが定番になってきたからな
そして、今後はAMDのHSAも定番になるって感じになっているし。

**デフォルトの名無しさん** · 2014/03/11(火) 17:20:13.24

いつGPGPUが定番になってきたんだ。
むしろまじ使えないってスルーされてる感が半端ない。

**デフォルトの名無しさん** · 2014/03/11(火) 20:17:22.02

それは nvidia/cuda

**デフォルトの名無しさん** · 2014/03/13(木) 20:09:50.61

インテルのやたらコア数が多い奴にビットコイン掘らせたらよさげよね

**デフォルトの名無しさん** · 2014/03/13(木) 20:31:14.10

GPGPUは特定の局面に限って言えば使えるんだが、一般の用途では
その特定の局面が存在しないというかわいそうな技術。

**デフォルトの名無しさん** · 2014/03/13(木) 20:32:14.41

ちなみにbit coinのマイナーはGPGPUから専用設計のASICに
主戦場が移った。消費電力が段違いなんだとさ。
GPUでやったら電気代で赤字になりそうだ。

**デフォルトの名無しさん** · 2014/03/13(木) 20:49:30.32

>>287
特定用途のみならICにしたほうが良いだろうな。

確かbitcoinでよく使われていたVGAはAMDだったはず。
ゲーム用VGAのGPGPU性能はいまはAMDのほうが良いのかな

**デフォルトの名無しさん** · 2014/03/13(木) 21:06:24.71

FPGA経由でASICな。

しかも最近じゃあ、専用マシン（アクセラレータ？）を手に入れても、掘るより転売するほうが儲かるとかw

**デフォルトの名無しさん** · 2014/03/13(木) 22:02:39.26

で、自販機の下に落ちてる100円玉を地道に拾うぐらいなら
ショベルカーでATMごと盗んじゃえってのがマウントゴックス。

**デフォルトの名無しさん** · 2014/03/13(木) 22:18:30.00

>>290
ﾜﾗﾀ、でもまさにソレ
MtGoxってMTGのカード売りだったと知った時の苦笑いときたら

**デフォルトの名無しさん** · 2014/03/14(金) 16:35:28.14

2年ほど前にbitcoin採掘をしていたが
お前らの想像の千倍くらい時間のかかる処理だったし
今もっと難しくなってるから既に個人で掘るのは無理なんじゃね

**デフォルトの名無しさん** · 2014/03/14(金) 16:57:23.89

で、結局どのくらい掘れた？

**デフォルトの名無しさん** · 2014/03/14(金) 17:00:16.55

千倍台で分散する

**デフォルトの名無しさん** · 2014/03/14(金) 17:37:55.81

>bitcoin採掘
どういうこと？

**デフォルトの名無しさん** · 2014/03/14(金) 17:57:18.99

>>295
むちゃくちゃ簡単に言うとBitCoinの正規のビットパターンは計算で求まる、でこれの正しい組み合わせを計算する事を採掘(マイニング)って言うだけの話

**デフォルトの名無しさん** · 2014/03/14(金) 17:59:12.49

>>296
ありがとん

**デフォルトの名無しさん** · 2014/03/15(土) 00:32:35.88

ちょいと相談。

データ処理とファイルI/Oを別スレッドに分けてstackを介してやり取りしてるんだけど、
気がつくとやたらメモリを食ってることがある。
調子のいいときは数ＭＢしか食わないのに、最悪は2GB食って落ちることもある。

ファイルの生成の様子なんかを観察してる限りで、２つの原因を想像。
A）処理済みデータをstackに積むのに比べてファイルに書き出す処理が追いついていない
B）stackがバカスカとメモリを確保している

ファイル書き出しのスレッドの内部処理は、共用stackからローカルstackにコピーして、
コピーが終わった時点で共用stack占有状態を開放、ローカルstackを順次書き出すようにしている。

Aは大量にデータを溜めることの無いようにファイル書き出しの頻度を上げる方法について、
Bはメモリを無駄に食わない方法について、アドバイスを聞きたい。

stackを使ったのはqueueに比べて頭が固定な分だけメモリの利用効率が高そうだったことと、
データの順番には意味がないから逆順になっても問題がないことによるものなので、
別のコンテナを使ったほうがいいなら、それでも構わない。

**デフォルトの名無しさん** · 2014/03/15(土) 00:45:28.81

>>298
そもそも一旦メモリに載せる必要があるのか？非同期IOじゃだめ？
どうしても載せなきゃいけないとして、Aはあまり意味がない。
よほど頭の悪い実装をしてなければ、現状メモリを喰ってるってことは
inputよりoutputの方が遅いってことだ。頻度で解決する問題じゃない。
Bの方は、conditon variableでスタックのサイズが一定より大きくなったら
inputを待たす方法が一番簡単じゃないか。

◆0uxK91AxII · 2014/03/15(土) 01:15:15.11

＞調子のいいときは数ＭＢしか食わないのに、最悪は2GB食って落ちることもある。
常識的に考えてバグ持ち。

＞コピーが終わった時点で共用stack占有状態を開放、
ふつーstack<void *>。

**デフォルトの名無しさん** · 2014/03/15(土) 08:03:00.01

バッファに制限を設けて
書き込みが詰ったら待てばいいだけでは

**デフォルトの名無しさん** · 2014/03/15(土) 08:17:50.21

リングバッファ、そして新しいバグ

**デフォルトの名無しさん** · 2014/03/15(土) 08:31:05.02

リングバッファてメモリが一杯になったらファイルに書き出すように実装するのが普通？

**デフォルトの名無しさん** · 2014/03/15(土) 12:26:30.58

普通じゃない

**デフォルトの名無しさん** · 2014/03/15(土) 13:36:30.86

どうすんの？あふれたら捨てるの？

**デフォルトの名無しさん** · 2014/03/15(土) 13:43:41.30

環境によっては勝手にswapしてくれるかもしれない

**デフォルトの名無しさん** · 2014/03/15(土) 14:07:58.75

>>305
ふつうは>>301の言うように空くまで書き込みを待たせるか捨てる。
待てないような要件ならサイズ固定のリングバッファじゃなく可変のキューを使うなりする。

**デフォルトの名無しさん** · 2014/03/15(土) 14:16:36.02

書き出すデータのフォーマットを工夫してサイズを小さくするとか、
書き込み先をSSDにしたりとか、動作環境のスペックを見直すという手も。

**デフォルトの名無しさん** · 2014/03/15(土) 14:17:30.95

>>307
ありがとう、バッファーの構造を別にして最大容量は設定しないといけないということですね

>>306
後出しになるけど、リアルタイムシステムのデータ収集のようなもの考えていたので

**デフォルトの名無しさん** · 2014/03/15(土) 16:35:55.25

いるんだよなー、そもそも不可能なことを引き受けちゃう奴って

**デフォルトの名無しさん** · 2014/03/15(土) 20:31:13.52

てへ、昔の話がねた

**デフォルトの名無しさん** · 2014/03/15(土) 22:04:58.47

金あるならFusion-ioを使えばいい
圧縮で減るようなデータならsnappyで圧縮する

**デフォルトの名無しさん** · 2014/03/15(土) 23:24:57.03

普通のリアルタイムではありえん

**313** · 2014/03/15(土) 23:26:35.57

訂正　以上です

**デフォルトの名無しさん** · 2014/03/16(日) 01:00:35.01

リアルタイムシステムというのがRTOSを使っているという意味なら
送信側か他のタスクがwait入れてなくて書き込みタスクが動いていないとかってバグじゃないかな
>>313
時代は変わりCPUを使って圧縮したほうがIOが減って低レイテンシにできる

**デフォルトの名無しさん** · 2014/03/16(日) 01:13:20.61

リアルタイムっていうのは入力があってから何ms以内に応答を
返せなければならないみたいなシステムのことでしょ。
コンピュータ制御の工作機械で応答が遅くて削りすぎましたとか
許されないから。

**デフォルトの名無しさん** · 2014/03/16(日) 01:14:58.23

>261だけど、概ね期待通りの動作になってきた
速度面でも、現在使用中のPCでシングルスレッドだと70時間ほど掛かってたから、
マルチスレッド化で６コアに分散して細部の調整込みで10時間切れれば恩の字と思ってたのに、なんと４時間半を切れたw
最新のCPUを使えば２時間も夢じゃないかも

あとは演算処理orデータのやり取りのバグを潰せばほぼ完成
（結果の個数が少し足りない）

**デフォルトの名無しさん** · 2014/03/17(月) 12:29:47.16

シングルスレッドのまま細部の調整とやらだけでどこまで行くのやら

**デフォルトの名無しさん** · 2014/03/17(月) 15:11:57.25

どんだけ時間がかかってるのやら。

**デフォルトの名無しさん** · 2014/06/13(金) 00:28:43.87

共有/排他ができるロックと条件変数があるとき、これらを使って
共有から排他にエスカレーションできるロックを構成することってできる？

**デフォルトの名無しさん** · 2014/06/13(金) 01:34:28.10

ロックとか条件変数って排他するものだよね。共有できるロックって何？
RCUのこと？

**デフォルトの名無しさん** · 2014/06/13(金) 08:49:59.19

ええと、いわゆるread-writeロックのこと。

**デフォルトの名無しさん** · 2014/11/06(木) 22:37:47.07

マルチスレッドは馬鹿には無理
馬鹿は使ったほうがいいところでマルチスレッドを使わずに
使わないほうがいいところっ使ってややこしくしたりする

**デフォルトの名無しさん** · 2014/11/06(木) 23:24:42.11

負荷分散とか難易度高なのにね

**デフォルトの名無しさん** · 2014/11/09(日) 01:27:34.76

スレッディング・ビルディング・ブロックについて勉強し始めた所なんだけど、どうなの？
理解して使うと安全で早くなりそうだとは思ったが、メモリ処理の効率とかどうなるんかな？
とか思ってる所なんだけど・・・

**デフォルトの名無しさん** · 2014/11/09(日) 07:37:34.59

安全にするには、ある程度やった人しか...

**デフォルトの名無しさん** · 2014/11/09(日) 22:48:01.80

メモリ処理の効率って具体的にどういう点？
mallocとかのメモリ管理の効率？それともキャッシュヒット率のような意味？

**デフォルトの名無しさん** · 2014/11/10(月) 09:36:09.81

オライリーのTBBの本買ったけど途中まで読んで放置してたｗ
ラムダ式を使えばoperator()使わなくていいなら改めて勉強しなおそうかな

>>325
コンカレントコンテナとかは並列にメモリ割り当てしたり、キャッシュラインの競合を考慮した
アロケータを持ってるみたいだから、自前でやるのと変わらないぐらいにはなってるんじゃない？
TBBの本も中古ならかなり安いから買ってみるといいよ

**デフォルトの名無しさん** · 2014/11/12(水) 14:11:39.04

基礎的な質問で申し訳ないのですが
同じ変数に複数のスレッドがアクセスしてはいけないのはわかりますが
同じコードに複数のスレッドがアクセスするのはいいのでしょうか？
例えば何の変数にもアクセスしない関数を複数のスレッドが同時実行するのはいいのでしょうか？

**デフォルトの名無しさん** · 2014/11/12(水) 14:21:32.89

ダメな理由でも探してるの？

**デフォルトの名無しさん** · 2014/11/12(水) 14:31:27.32

>>330
今書いているプログラムで
C#の関数の中でシグナルを使っているのですが
他のスレッドからその関数を呼ぼうとするとエラーが起こるのです・・・
もしかしたら関数自体にシグナルをかけなければいけないのかなぁと思って

**デフォルトの名無しさん** · 2014/11/12(水) 14:35:31.55

C#のシグナルってよーしらんけど
エラーが出るってことは、質問の内容と違うことやってるんじゃないの

**デフォルトの名無しさん** · 2014/11/12(水) 15:18:29.39

同期オブジェクトを保持している変数を上書きしていそうな気がするんだが

**デフォルトの名無しさん** · 2014/11/12(水) 16:32:42.96

いろいろ分かってないだけだろう

**デフォルトの名無しさん** · 2014/11/13(木) 06:29:27.90

ライブラリがマルチスレッドに対応してないだけかと

**デフォルトの名無しさん** · 2014/11/13(木) 06:35:25.00

/MT

**デフォルトの名無しさん** · 2014/11/13(木) 13:44:55.73

C#ならエラーメッセージやスタックトレースが出てるだろ

**デフォルトの名無しさん** · 2014/11/15(土) 11:02:51.29

>>329
同じ関数は実行するのは、スレッドが違えばコンテキストスイッチが起きて、レジスタとかスタックが入れ替わるから大丈夫
メンバ変数とstatic変数さえ使わなければ何個起動しても排他も何も考えなくてよいぞ

**デフォルトの名無しさん** · 2014/11/16(日) 00:17:15.94

同じ変数に複数のスレッドがアクセスするならクリティカルセクションが楽だ

**デフォルトの名無しさん** · 2014/11/16(日) 19:55:00.63

linuxですがスレッドで同じファイルに書き込む場合、競合することってありますかね？

**デフォルトの名無しさん** · 2014/11/16(日) 20:11:07.08

勿論。

**デフォルトの名無しさん** · 2014/11/16(日) 21:20:39.95

論外

**デフォルトの名無しさん** · 2014/11/16(日) 21:40:57.77

>>339
もう win32 のクリティカルセクションとイベントオブジェクトでおなかいっぱい、というかこれだけでたいがいうまくいくのでは？

**デフォルトの名無しさん** · 2014/11/30(日) 17:47:06.48

複数のスレッドがひとつのミューテックスのアンロックを待っていた場合、
つぎにどのスレッドがミューテックスを取得するかはランダムですか

**デフォルトの名無しさん** · 2014/11/30(日) 18:09:41.22

はい
待っていなかった別のスレッドがちょうどいいところに来てミューテックスを取得していくこともあります

**デフォルトの名無しさん** · 2014/12/01(月) 00:39:51.39

いいえ
待っていなかった別のスレッドがちょうどいいところに来てミューテックスを取得していくこともあります

**デフォルトの名無しさん** · 2014/12/08(月) 19:13:20.61

スレッドとミューテックスだけ覚えたけど
なにを作ったらいいのかわからんたい

**デフォルトの名無しさん** · 2014/12/08(月) 22:37:39.16

チャット作ることにしました

**デフォルトの名無しさん** · 2014/12/08(月) 22:57:10.96

consumerとproducerみたいのがいいんじゃないのかなと思ったけど、
チャット作ることにしたのね
がんばってください

**デフォルトの名無しさん** · 2014/12/08(月) 23:08:56.71

>>349
チャットで詰まったら気分変えてConsumer-Producerにも挑戦してみます
あざす

**350** · 2014/12/09(火) 00:23:00.21

>>349
いや、ありがとうございます

**デフォルトの名無しさん** · 2015/05/29(金) 22:45:34.32

Win8.1 Cygwin64bit g++のpthreadなんですが、マルチコアCPUなのに性能改善しません。
なにか特別なコンパイルオプションがあるとか
特別なライブラリをリンクしなければいけないとかあるのでしょうか。
-lpthreadはつけてます。

**デフォルトの名無しさん** · 2015/05/30(土) 20:09:50.25

エスパー能力はありません

**デフォルトの名無しさん** · 2015/05/30(土) 20:21:35.33

そこをなんとかスーパーエスパーでお願いします

**デフォルトの名無しさん** · 2015/05/30(土) 21:18:52.04

誠意を見せてください

**デフォルトの名無しさん** · 2015/06/15(月) 23:17:16.10

DISKへのアクセスって並列にしたって意味ないですか？

・・・
FileA読み込み(::ReadFile)　１０秒
FileB読み込み(::ReadFile)　２０秒
・・・

で３０秒以上掛かりますが、
之をスレッドを起こしても意味無い？

**デフォルトの名無しさん** · 2015/06/16(火) 00:49:42.46

よくわかってないけどDISKの特性によるのかなぁとかいってみる。

**デフォルトの名無しさん** · 2015/06/16(火) 01:06:01.70

どういった特性ならどうなるのですか？

**デフォルトの名無しさん** · 2015/06/16(火) 01:31:46.58

読み込みながら処理をしてみたいにな状態でない限りスレッド分けてファイル読むと遅くなるよ(デバイスが別であればまた違うのだが)
純粋にバイナリデータとしてファイルをメモリに丸ごと読み込むのであればスレッド分ける意味ない(CPUとメモリの方がディスクよりも遙かに速い)

**デフォルトの名無しさん** · 2015/06/16(火) 01:39:58.55

遅くなる理由はなんですか？

**デフォルトの名無しさん** · 2015/06/16(火) 09:26:39.31

俺様の質問に答えろとさ

**デフォルトの名無しさん** · 2015/06/16(火) 22:30:15.77

まともに答えるとまた暴れだすだろ

**デフォルトの名無しさん** · 2015/06/20(土) 17:07:37.08

>>360
FileAとFileBが同一のディスクに存在するとして、FileAがFileBが以下の
内容である場合、論理的に近いデータ(青森県と岩手県)は論理的に遠いデータ
(宮城県と長崎県)よりも物理的にディスクの近い位置に存在する可能性が
高いので、02→03→…→07→40→41→…→46という順番で読み込むほうが
02→40→03→41→…07→46という順番で読み込むよりも速く完了する可能性が
あります。

[FileA]
02青森県
03岩手県
04宮城県
05秋田県
06山形県
07福島県

[FileB]
40福岡県
41佐賀県
42長崎県
43熊本県
44大分県
45宮崎県
46鹿児島県

**デフォルトの名無しさん** · 2015/08/25(火) 15:16:47.83

いまどきのディスクはインターリーブなんか考慮しても意味無いぞ

マルチスレッドプログラミング相談室 その9

マルチスレッドプログラミング相談室その9