C++相談室 part137

**デフォルトの名無しさん** · 2018/07/14(土) 17:53:02.14

次スレを立てる時は本文の1行目に以下を追加して下さい。
!extend:on:vvvvv:1000:512

C++に関する質問やら話題やらはこちらへどうぞ。
ただし質問の前にはFAQに一通り目を通してください。
IDE (VC++など)などの使い方の質問はその開発環境のスレにお願いします。

前スレ
C++相談室 part135
https://mevius.5ch.net/test/read.cgi/tech/1522495206/

このスレもよろしくね。
【初心者歓迎】C/C++室 Ver.102【環境依存OK】
http://mevius.5ch.net/test/read.cgi/tech/1509780815/

■長いソースを貼るときはここへ。■
　http://codepad.org/
　https://ideone.com/

[C++ FAQ]
https://isocpp.org/wiki/faq/
http://www.bohyoh.com/CandCPP/FAQ/ (日本語)

----- テンプレここまで -----

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

**デフォルトの名無しさん** · 2018/07/14(土) 17:55:20.65

スレ作ってみましたが、これ設定間違ってますか？
ﾜｯﾁｮｲほにゃららが出てきてない。

**デフォルトの名無しさん** · 2018/07/14(土) 18:42:45.47

>>1乙
スレの立て方は一番上に書いてある。
前スレや関連スレへのリンクも間違ってるぞ。

**デフォルトの名無しさん** · 2018/07/14(土) 18:59:13.88

ヘタクソかよ

**デフォルトの名無しさん** · 2018/07/14(土) 20:33:07.04

スレ立て苦手か？

**デフォルトの名無しさん** · 2018/07/14(土) 20:48:45.99

>>1乙
ume

**デフォルトの名無しさん** · 2018/07/14(土) 21:34:02.24

前スレの 1N2GRIlb0
ディスクキャッシュに入ってるってずいぶん前からわかってたのに
何でムダな作業をやらせたの？

**デフォルトの名無しさん** · 2018/07/14(土) 21:38:31.07

このｽﾚの知恵遅れたちが
どんだけ頭悪いのかよおく分かっただろ

同じ計算機で2秒で終わるような読みこみ処理で
数十秒かかるとかいってたﾜｹだからな

相当ｵﾂﾑが弱い
このｽﾚは知恵遅れしかいない

**デフォルトの名無しさん** · 2018/07/14(土) 21:41:09.27

いまになって
分かってたとかいいだしてるしな

ﾃﾞｨｽｸ読む時間に知ったかぶって調子こいてた知恵遅れは
どこいったの？

**デフォルトの名無しさん** · 2018/07/14(土) 21:42:37.85

ん？
何度も指摘してたけど

**デフォルトの名無しさん** · 2018/07/14(土) 21:43:13.23

嘘ｺｹ
ﾊｹﾞ

知恵遅れは前のｽﾚ読んで出直してこいや

**デフォルトの名無しさん** · 2018/07/14(土) 21:45:09.81

ﾊｰﾄﾞﾃﾞｨｽｸの内側読みこんで読みこみ時間がどうとかいってた
ﾊﾞｶいる？

**デフォルトの名無しさん** · 2018/07/14(土) 21:45:30.57

測らせるならキャッシュに無い状態にしないとアホだろ

**デフォルトの名無しさん** · 2018/07/14(土) 21:46:18.02

はじめはキャッシュに入って無いんだから

**デフォルトの名無しさん** · 2018/07/14(土) 21:46:29.73

むしろなﾊﾞｶが指南した方法やｺｰﾄﾞでは
ｷｬｯｼｭのっかても数十秒かかってたってことだぞ

**デフォルトの名無しさん** · 2018/07/14(土) 21:48:09.38

このｽﾚで教えを乞うてるﾔﾂは
何度もﾃﾞﾊﾞｯｸﾞで走らせてるﾊｽﾞのに
知恵遅れの方法やｺｰﾄﾞ数十秒かかるってことだ

ｵﾚのは2秒かからない
知恵遅れは息してる？

**デフォルトの名無しさん** · 2018/07/14(土) 21:48:37.29

測定した結果は
fgetsの17秒とreadの1～2秒しか無い

普通に読むだけで数十秒なんて測定結果は無い

**デフォルトの名無しさん** · 2018/07/14(土) 21:49:17.53

読み方次第で差は歴然と出る
ｵﾚの方法は最適な方法だからな

**デフォルトの名無しさん** · 2018/07/14(土) 21:50:16.06

fgetsは速いとか言ってなかった？
今遅いことが証明されてるのはfgetsだけ

**デフォルトの名無しさん** · 2018/07/14(土) 21:50:39.19

やっぱり知恵遅れはなにも分かってないわ
まず自分が呼んでる関数がどんな動作してるか分かってないからな

**デフォルトの名無しさん** · 2018/07/14(土) 21:51:14.96

何の工夫もないただのreadで2秒なら、
他の方法も読むだけなら2秒

**デフォルトの名無しさん** · 2018/07/14(土) 21:51:37.65

やっぱりこのｽﾚは
相当な知恵遅れしかいない
CもC++も何も分かってない

それ以前の問題

**デフォルトの名無しさん** · 2018/07/14(土) 21:53:57.67

測定結果ででてるからな
相当な速度で速く読みこみたいのに標準関数のﾌｧｲﾙﾎﾟｲﾝﾀ使う知恵遅れなんか
まずいない

ﾌｧｲﾙﾎﾟｲﾝﾀ使う標準関数は
このｽﾚにいる知恵遅れにでも簡単に使えるように
openやread使って使いやすく作ってあるだけだからな

**デフォルトの名無しさん** · 2018/07/14(土) 21:54:36.27

fgetsが速いとか言ってたアホが
readとfreadの差を強調する

オーバーヘッドのオーダーは1
読み込みバッファが常識的なサイズであれば無視できる
fgetsのオーバーヘッドのオーダーはn
バッファサイズによらずオーバーヘッドは無視できない

**デフォルトの名無しさん** · 2018/07/14(土) 21:55:42.62

まずfreadもﾊﾞｯﾌｧもってるのすら分かってないからな

**デフォルトの名無しさん** · 2018/07/14(土) 21:56:36.36

freadで測定させれば証明出来るが

で、
もともと測りたかったディスクアクセスの時間は？
まさかキャッシュに入った状態が普通と考えてるわけではあるまい

**デフォルトの名無しさん** · 2018/07/14(土) 21:56:51.40

ﾌｧｲﾙﾎﾟｲﾝﾀがもってるﾊﾞｯﾌｧから
いちいちこっちのﾊﾞｯﾌｧにｺﾋﾟｰしてんのに

まずその程度のことすら分かってない

**デフォルトの名無しさん** · 2018/07/14(土) 21:57:27.49

相当頭が悪いのが
知ったかぶってるのは分かる

**デフォルトの名無しさん** · 2018/07/14(土) 21:58:58.41

測って見ればわかるって

で肝心の解析コードはどうした？
糞遅いコードを自信満々にあげてたけど

**デフォルトの名無しさん** · 2018/07/14(土) 22:00:01.80

ｸｿ遅い？
ｵﾚのｺｰﾄﾞを動かして速度測定したの？

ｵﾚより10倍以上低速に作る才能がある知恵遅れのくせに

**デフォルトの名無しさん** · 2018/07/14(土) 22:03:31.04

糞遅い
間違い無い

お前の環境で15GBのテキストを作って解析時間を測ってみな

**デフォルトの名無しさん** · 2018/07/14(土) 22:10:21.76

とりあえず
知恵遅れはほっといて

ﾃｽﾄﾃﾞｰﾀをｼﾞｪﾈﾚｰﾄするｺｰﾄﾞを
前ｽﾚの内容読んでﾃｷﾄｰに作った

　https://ideone.com/cPZvWL

baka_genでｺﾝﾊﾟｲﾙすれば大量のﾃｽﾄﾃﾞｰﾀを作ってくれる優れものだ
※ 指定ｷﾞｶﾞﾊﾞｲﾄ数越えたら、1つのｾｸｼｮﾝ書ききったら停止する

　使い方
　　Usage：baka_gen <fileparh> <GB size>

出力されてる形式に問題がないかみといてくれ
形式が分からないと解析処理を作りようがない

明日からこのﾃｽﾄﾃﾞｰﾀを解析する処理を作る

**デフォルトの名無しさん** · 2018/07/14(土) 22:11:40.89

まず知恵億れはなにと比較して遅いとか書かないからな
ｵﾚは知恵遅れが書いたｺｰﾄﾞより少なくとも10倍以上速い処理を書いてる

◆QZaw55cn4c · 2018/07/14(土) 22:17:02.80

>>32
なんか error がいっぱい出ているようだが…

**デフォルトの名無しさん** · 2018/07/14(土) 22:17:16.55

15GBのテキストの解析で8.6秒
これを越えればいい

**デフォルトの名無しさん** · 2018/07/14(土) 22:17:46.97

なんのｴﾗｰ書けよ
ｴﾗｰとかいわれても分かるﾜｹがないだろ

ｳﾞｫｹ

**デフォルトの名無しさん** · 2018/07/14(土) 22:18:22.90

で、そのｺｰﾄﾞはったのかｵﾏｴは

**デフォルトの名無しさん** · 2018/07/14(土) 22:19:29.69

>>33
fgets 17秒
これは俺じゃない

キャッシュに入ったデータの読み込み時間
と
ディスクからの読み込み時間
とを比べて10倍とか言ってるの？

◆QZaw55cn4c · 2018/07/14(土) 22:19:38.05

>>36
>>32 https://ideone.com/cPZvWL
の下の方にいっぱい書いてあるぞ？本当にコンパイルの通るコードなのか？

**デフォルトの名無しさん** · 2018/07/14(土) 22:20:14.44

8.6秒とかﾃｷﾄｰなことなら
なんとでもいえるからな

どんなﾌｧｲﾙ読んで
どんなｿｰｽ作ったわけ？

ﾌｧｲﾙ形式ちゃんとわかってんの

**デフォルトの名無しさん** · 2018/07/14(土) 22:22:08.48

適切なｲﾝｸﾙｰﾄﾞﾌｧｲﾙを上に書けば
間違いなく通る

ｺｺで教えを乞うているﾊﾞｶですら
それぐらいのことやってる

ｵﾏｴはそれ未満だ

**デフォルトの名無しさん** · 2018/07/14(土) 22:26:38.36

テキストのほとんどが数値の行
10%の割合でx, yの行
セクションは全部で100個くらい

数値は乱数で作成した
実際の分布を考えて、
桁数によって出現率を変えてある

異常データでも不正アクセスしない

文字コードはS-JIS
改行はLFのみ

◆QZaw55cn4c · 2018/07/14(土) 22:27:16.82

>>41
「unknown type name ‘size_t’」がインクルードファイルで直る問題なのか？
ideone に怒られないコードが書けないのか？

**デフォルトの名無しさん** · 2018/07/14(土) 22:29:41.45

数値は符号付き32bitに収まる値で
printf("%d", n);
で出力される文字列と同じ書式

**デフォルトの名無しさん** · 2018/07/14(土) 22:31:59.85

https://ideone.com/hi8bYd

ﾍｯﾀﾞﾌｧｲﾙを適切にｲﾝｸﾙｰﾄﾞしたら
普通にｴﾗｰﾒｯｾｰｼﾞ消えたぞ

ﾊﾞｶはなにをいってるのか意味が分からないﾜｹ

**デフォルトの名無しさん** · 2018/07/14(土) 22:33:55.81

なんか知恵遅れがﾊﾞｶみたいなﾚｽをﾌﾞﾂﾌﾞﾂ書いてるし
ごちゃごちゃいってないでｺｰﾄﾞあげたらどうだ

**デフォルトの名無しさん** · 2018/07/14(土) 22:35:19.66

シングルスレッド、順番に全文字スキャンの処理で
処理時間は1文字平均約2クロック (Haswell)

最適化的にはこれが出発点
さらに高速化する価値がある処理であれば
マルチスレッド,GPU, AVX ...
まだまだ高速化の余地はある

**デフォルトの名無しさん** · 2018/07/14(土) 22:36:12.81

また知恵遅れがﾃｷﾄｰなこといってるしな

**デフォルトの名無しさん** · 2018/07/14(土) 23:49:17.06

残念ながらクソシンタックスが増えれば増えるほどアホでもテクニカルターム使って
アホと思われない活動が可能になって行くんだよ。

**デフォルトの名無しさん** · 2018/07/15(日) 00:49:14.70

>>32,45
サンプルデータ作成コードありがとうございます。
実行してみましたが面白いですねこれ。
完成したら数十ギガのデータ作って遊んでみたい。
サンプルデータができて説明しやすくなったので色々補足させていただきます。
ちょっと細かい内容になるので、今あるサンプルデータ作成コードを
使用されても問題ありません。

文字コードはutf8 or euc-jpの両方を想定しています。

ファイルの1行目に下記行が一度だけ出てきます。
// タイトル、倍率(mag)。(この係数を使って④の数値から割る、正の整数。unsigned int)
::fprintf(fp, "%s %d\x0a", "TITLE_NAME", 2000);

具体的には　ttps://ideone.com/hi8bYd　の64行目に上記が入ります。

②のセクション集計値は個数が0のときがある。その時はテキスト行だけで終わり。
0 0 1 Jul～
TEXT TEXT TEXT TEXT

③のテキスト行は日本語(2byte)が来ることがある。

＞つづく

**デフォルトの名無しさん** · 2018/07/15(日) 00:54:03.20

QQ行の説明
QQ subname -1 0 0 1 -21000000 600000 2
→この行が無いファイルもある。
→7,8カラムは1行目の倍率数字で割る（数値行と同じ計算）
→3～6カラムは -1, 0, 1, のいずれか。この4つの組み合わせであとで計算に使うことがある。
1 0 0 1 →TYPE_A
0 1 -1 0 →TYPE_B
-1 0 0 -1 →TYPE_C
0 -1 1 0 →TYPE_D
-1 0 0 1 →TYPE_E
0 -1 -1 0 →TYPE_F
1 0 0 -1 →TYPE_G
0 1 1 0 →TYPE_H
→9カラム目は正の整数。(unsigned int)
→下記6つのバリエーションがあります。
QQ subname
QQ subname c
QQ subname -1 0 0 1 -21000000 600000
QQ subname -1 0 0 1 -21000000 600000 2
QQ subname c -1 0 0 1 -21000000 600000
QQ subname c -1 0 0 1 -21000000 600000 2
※cはcという文字列固定
※1つのファイルに存在するのはいずれか1つのフォーマット

そして少し複雑なのが、上記QQ行は先頭のQQがなくなってx, y行に存在することがあります。
1つのファイル内でQQ行とx, yの後ろにくるパターンの両方は存在せず、片方が出てきたらもう片方は出てきません。
x, yと同じ行にくる場合のフォーマットもQQ行の規則と同じです。
x 1 234 subname -1 0 0 1 -21000000 600000 2
y 2 234 subname -1 0 0 1 -21000000 600000 2

＞つづく

**デフォルトの名無しさん** · 2018/07/15(日) 00:58:25.78

最後にRR行があります。
これもQQ同様x, yの次の行にあったりなかったりします。
QQとRRが一緒に出てくることは無いと思います。
フォーマットは「RR 正の整数」でQQのようにx,yの後ろに来ることはありません。
x 1 2
RR 3
11 11 11 11
11 11 11 11

↓QQ、RRが一緒に出てくることは無い。
x 1 2
QQ subname c -1 0 0 1 -21000000 600000
RR 3

↓これも無い
x 1 2 RR 3

＞つづく

**デフォルトの名無しさん** · 2018/07/15(日) 01:02:10.59

参考として、ファイルを読み込んだら下記のt_all_dbのような構造体にすべて保管しようと考えています。
型や名前は最適なものに変更されて問題ありませんし、他に最適な
格納方法があればそれでも問題ありません。
typedef struct __tag_rr_db {
　unsigned int rr_num;
} t_rr_db;
typedef struct __tag_qq_db {
　char qq_name; //subname
　bool is_c; //cがあるかないか
　QQ_TYPE qq_type;
　float numbers; // 2つの数字のリスト（vector?）
　unsigned int count; //最後尾の数字
} t_qq_db;
typedef struct __tag_elem_db {
　ELEM_TYPE elem_type; // x or y
　unsigned int no; // x or yの番号
　unsigned int num_line_count;
　t_qq_db qq_db;
　t_rr_db rr_db;
　numbers; //数値行のリスト(vector?)
} t_elem_db;
typedef struct __tag_section_db {
　unsigned char name;
　unsigned int num_1;
　unsigned int num_2;
　unsigned int text_line_count;
　texts; //テキスト行(vector?)
　t_elem_db elem_dbs; //elem_dbのリスト
} t_section_db;
typedef struct __tag_all_db {
　title_name;　mag; section_dbs; //section_dbのリスト
} t_all_db;

**デフォルトの名無しさん** · 2018/07/15(日) 01:59:33.70

そろそろ「ぼくちんのログ解析ソフトを名無しどもに作らせるスレ」でも立ててそっちでやってくれないか

**デフォルトの名無しさん** · 2018/07/15(日) 02:07:19.29

いい加減にしろよお前
土方コーダに発注する気分でてめえのクソログの仕様ドヤ顔で書いてんじゃねえよ
ありったけスレ私物化して相談しまくったんだからそろそろ自分の手と頭を動かしたらどうだ

**デフォルトの名無しさん** · 2018/07/15(日) 02:58:06.76

ID:p2p9fdhp さん、別のスレに移動を願います。

**デフォルトの名無しさん** · 2018/07/15(日) 04:38:00.97

ume進行だと思えば悪くない
続けて
ていうか徹底的にやれ

ていうかディスクキャッシュのサイズと読込サイズの理想的な関係は微妙なもんじゃわ；
HDD周りのキャッシュには次の3階層ある
(1) 1トラック内のランダムアクセスではHDDだと平均的に1/2回転分の時間待たされるから、
　　HDD側であらかじめ1トラック分はキャッシュする
(2) シークでは今日日のCPUの速度からみて地質年代ﾚｳﾞｪﾙの遅延が生じるから、
　　OSにとって都合の良いサイズ（ページサイズとか）を単位とする単位でキャッシュされる
(3) で、その上に標準入出力のバッファがある（setvbuf()で調整できるのはこれ
SSDだと(1)が書き換え回数最適化絡みのキャッシュに置き換わるが、(2)や(3)は同じ

高速化には(3)のバッファリングやアプリ側の処理というものと、(2)と(1)のキャッシングをいかに並行動作させるかがｷﾓすぐる

fgets()とfread()の速度差は、単一ファイルをシーケンシャルアクセスするときは言うほど開きはない（上のしくみから導ける
一方、複数ファイルを交互にアクセスしたりHDDのまちまちな場所をランダムアクセスしだすとたちまち顕在化する（これも上のしくみから導ける
単一ファイルの読込であっても、アプリがファイルの一部を読み込んで考え込む、の繰り返しなパターンならば
アプリ側のマルチスレッド化が有効な「こともある」　今回は該当しないと思うが、、

**デフォルトの名無しさん** · 2018/07/15(日) 05:01:06.13

てな議論はベアメタルでやるならともかく
依存処理系では特定OSの話になるし
抽象化されたハードウエアじゃ特性を仮定すること自体ナンセンス

**デフォルトの名無しさん** · 2018/07/15(日) 06:33:31.92

>>57
申し訳ありませんが、C++と関係がない話は、他のスレでやってください。よろしくお願いします。
お気を悪くなされませんよう。

**デフォルトの名無しさん** · 2018/07/15(日) 11:31:30.36

unsigned int l = -1;
cout << l << endl;
cout << (signed int)l << endl;

⇒

4294967295
-1

int m = 4294967295;
cout << m << endl;
unsigned int n = 4294967295;
cout << n << endl;

⇒

-1
4294967295

**デフォルトの名無しさん** · 2018/07/15(日) 11:32:24.73

>>60

unsigned int l = -1;
int m = 4294967295;

がエラーにならないのはなぜでしょうか？

**デフォルトの名無しさん** · 2018/07/15(日) 11:45:15.02

http://codepad.org/4odTQaly

↑は、ロベールの本に載っているコードです。

friend class ValueFactory;
//friend Value* ValueFactory::New(int n) const;

↑これを

friend class ValueFactory;
//friend Value* ValueFactory::New(int n) const;

と変更するとなぜコンパイルエラーになってしまうのでしょうか？

ロベールの本には、「不完全型」というのを利用する必要があると書いてあります。

friend class ValueFactory;

↑これはなぜ「不完全型」を使わなくてもOKなのでしょうか？

**デフォルトの名無しさん** · 2018/07/15(日) 11:51:25.65

解釈が間違ってる
ValueFactoryの実体を作って返すためにはすでに定義が分かってないといけない(完全型でないといけない
対してfriend宣言は名前だけ分かってればいい(定義がまだ無い(=不完全型)でいい

というだけの話

**はちみつ餃子** ◆8X2XSCHEME · 2018/07/15(日) 11:59:00.99

>>61
暗黙のキャストのせい。

整数リテラルに型を表す接尾辞がつかない場合は原則として int として解釈されるけど、
int の範囲より大きい場合はそれを表せる最低限の整数型として解釈されるんだったはず。

整数型の初期化 (代入) の右辺に現れた値が左辺の型で表せるときはそのままの値であることが保証されるが、
そうでないときは一定の規則に従って縮小される。

縮小の仕方は、
左辺が unsigned のときは、左辺の型が表せる最大値に 1 足した数で右辺の modulo を取った値が左辺に入る。
左辺が signed のときは未定義。
なので、 (int が 32 ビットの大きさをもつとき) unsigned int l = -1; が 4294967295 になるのは規格通りだが、
int m = 4294967295; が -1 になるのは保証されない。

規格を確認せずに記憶で書いてるので、
もし間違ってたら誰か指摘よろー。