シェルスクリプト総合 その30

■ このスレッドは過去ログ倉庫に格納されています
2019/07/01(月) 23:04:27.02ID:/rKj5XUf
シェルスクリプトに関する総合スレッドです。

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。

前スレ:
シェルスクリプト総合 その29
https://mevius.5ch.net/test/read.cgi/tech/1537540487/
2019/08/07(水) 02:48:31.68ID:WK8NJ3/V
処理の内容は自由に変えられる
2019/08/07(水) 02:56:33.93ID:fPg/gK/3
他のスクリプト言語を使う方が幸せになれる様な気がする
2019/08/07(水) 03:19:53.88ID:prHDAaSE
>>568
こんな奴に誰が答えたいと思うだろうか？
2019/08/07(水) 03:26:49.06ID:arV/Dy+D
またいつもの奴か
2019/08/07(水) 03:43:34.68ID:3XS5MIC7
どうしてこう知識のない奴ほど傲慢なんだろうか。
2019/08/07(水) 06:41:35.91ID:5FNsDR6i
POSIXシェルのみで全て書くという縛りプレイが好きなんだろうw
POSIXは最低限のインターフェースを規格化しているだけで、結局はプラットフォーム別に書くしかないのが現状だからな
bashがあるならbashで書けばいい
GNU拡張が使えるなら使えばいい
あるもんは使えばいいんだよ
可搬性の幻想に囚われると逆に生産性が落ちる
2019/08/07(水) 06:56:03.49ID:5FNsDR6i
>>570
そんなの何やりたいのかで答えは変わってくるだろ
漠然とした質問には漠然とした回答しか返ってこないぞ
2019/08/07(水) 07:11:20.44ID:aj+f89Vu
>>575
パソコンの大先生にありがち。知識は少しはあると自負のアンバランスからだな
2019/08/07(水) 08:36:36.73ID:QJETJeRx
awk で丸飲みしちゃえ
1ファイル1配列

メモリ節約なら
1行ずつ読むのをシンクロさせる
2019/08/07(水) 11:22:21.65ID:WK8NJ3/V
>>575
ほんとそれなｗ
できるのに、知識ないやつほどぐだぐだとレスをする
答えられないのを質問者のせいにする

exec 3<file1.txt
exec 4<file2.txt

read -r file1<&3
read -r file2<&4
echo "$file1 $file2"

read -r file1<&3
read -r file2<&4
echo "$file1 $file2"
2019/08/07(水) 11:28:44.82ID:3XS5MIC7
重症だなこりゃ
2019/08/07(水) 11:31:15.75ID:WK8NJ3/V
ちなみに>>580は
一回目のechoはファイルの1行目、
二回目のechoはファイルの2行目が
ちゃんと表示されるからなｗ

お前ら勉強してちゃんと質問に答えられるようになれよ
中途半端な知識で満足するな
2019/08/07(水) 11:36:26.97ID:5FNsDR6i
>>581
覚えたてで見てほしくてしようがないんだよ
生暖かい目で見守ろうやw
2019/08/07(水) 11:37:40.18ID:WK8NJ3/V
などと、質問には答えずに
それでも悔しいからか、レスだけはするようで
585デフォルトの名無しさん
垢版 |
2019/08/07(水) 11:41:40.99ID:9POPBXN5
すげえ嫌な感じの方法思い付いた。

まず二つのファイルの行数だけ wc -l で調べ、小さい方を max に入れておく。
n=1 にしてから max までループさせて、ループの中で awk を使って NR==$n の一行を双方のファイルから抜き出してそれぞれ別の変数に入れる。

なんてことをすると2つの(またはそれよりも多くの)ファイルから1行抜き出して何かをする事は可能だ。
しかし行が長くなればなるほど無駄な処理が増えて時間が掛かることは言うまでもない。
大変効率の悪い方法だ。
2019/08/07(水) 11:48:42.74ID:5FNsDR6i
>>582
それやりたいなら普通はpaste使うけどな
2019/08/07(水) 11:48:48.99ID:WK8NJ3/V
>>585
その効率の悪い方法を実装するとして、wcもawkもいらんのでは？
行数を数えるのも、特定の行を読み込むのもシェルスクリプトだけでできるし。

>>580のやり方、同時に２つのファイルを開いて処理する方法で
実現できないような場合には使えるかも。ファイルのサイズが小さいなら問題にならないし
588デフォルトの名無しさん
垢版 |
2019/08/07(水) 11:48:50.45ID:9POPBXN5
>>580
おお。それでできるな。
589デフォルトの名無しさん
垢版 |
2019/08/07(水) 11:51:13.86ID:9POPBXN5
>>586
あ、そうだね。
区切り文字とうするかだけの問題か。
2019/08/07(水) 11:53:37.08ID:WK8NJ3/V
>>586
> それやりたいなら普通はpaste使うけどな
残念ながらpasteでは自由な処理ができない

例えば、１つ目のファイルに書いてある命令を解釈しながら
2つ目のファイルを読み込んだり、他の処理をしたりとかね。
2019/08/07(水) 11:56:37.01ID:WK8NJ3/V
で、POSIXで簡単にできることを、答えられずに
他の言語でやれとか、自由な処理をしたいっていうのに
それを理解しない答えを返してる奴ら
質問者の俺自身に、完璧な答えを出された気持ちはどう？ｗ
2019/08/07(水) 11:57:46.26ID:WK8NJ3/V
またいい問題を思いついたら、質問（？）してやるから
じゃーねーｗ
2019/08/07(水) 11:57:52.31ID:5FNsDR6i
>>590
だからやりたいことを先に言えよ
お前はシェルスクリプトの前に質問の仕方から勉強しろ
2019/08/07(水) 12:00:28.63ID:WK8NJ3/V
>>593
同時に二つのファイルを開いて処理したい
って言った。
処理の内容は自由に変えられる
って言った。

同時に二つのファイルを開く以外のなにも条件として出してない
それができれば、いろいろと応用が効く

特定のことしかできないdiffやpasteでは
処理の内容が変えられないだろ
2019/08/07(水) 12:03:18.97ID:5FNsDR6i
>>594
>>593
596デフォルトの名無しさん
垢版 |
2019/08/07(水) 12:04:06.23ID:9POPBXN5
>>591
なんで自分でわかるのに質問したのか謎
2019/08/07(水) 12:06:48.70ID:5FNsDR6i
>>596
>>583
2019/08/07(水) 12:08:56.79ID:fPg/gK/3
うーん、、、こんな感じ？

$ paste -d '\n' file1 file2 | xargs -d '\n' -n 2 | sh

file1 と file2 の内容例

file1:
====
ls
cp
mv
====

file2:
====
.
x y
y z
====
599デフォルトの名無しさん
垢版 |
2019/08/07(水) 12:15:06.92ID:9POPBXN5
あー。「どうだ俺はこんなにできるんだすごいだろう」みたいな。
じゃあ本当にやりたかった事は複数ファイル処理ではなくて自分の能力自慢か。
人から認められて承認欲求を満たしたいってことでもあるかな。
いつも人からバカにされてるから何かで人をバカにしたいというのもあるかも知れない。
合掌。
2019/08/07(水) 12:15:09.78ID:5FNsDR6i
>>598
後出し要件からするとそんな感じ
また要件変わると思うw
2019/08/07(水) 12:17:59.15ID:WK8NJ3/V
>>596
> なんで自分でわかるのに質問したのか謎

質問した時点では知らなかったよ？ｗ
2019/08/07(水) 12:19:12.78ID:WK8NJ3/V
>>598
後出しじゃない用件を言うと、
処理したい内容を自由に変えられないといけない

要件は同時に二つのファイルを開いて
いろんな処理をしたいってことだけ

ま、もう答えは出したがｗ
2019/08/07(水) 12:21:45.21ID:WK8NJ3/V
>>599
最初に用件をちゃんといってるのに、例をいうとその例しかできない方法を出すし
その質問にたいする曲解を潰していくうちに、その時間で自分で調べて解決できてしまうんだから
どうしろっていうんだｗ
2019/08/07(水) 12:22:22.45ID:WK8NJ3/V
やっぱ「自決しました」で終わらせたほうが良かったか？
605デフォルトの名無しさん
垢版 |
2019/08/07(水) 12:32:00.78ID:9POPBXN5
>>603
普通にわからなくて質問していてやがて自分でわかった場合、普通はそれまでに答えてくれた人に対するお礼をするしこういう方法で出来ましたと自分のやったことを書く。
君の場合なぜか答えてくれた人に対する感謝の念がない。書かれたことが間違いや見当外れのことであっても普通は書いてくれたというだけで感謝するものだ。
しないとするなら少なくともその質問は質問に偽装された何か別のものだ。
2019/08/07(水) 12:36:21.05ID:5FNsDR6i
>>604
teratailとかSOで叩かれてこい
2019/08/07(水) 12:37:21.72ID:WK8NJ3/V
>>605
いい加減、客様は神様です。はやめたほうが良いよｗ
608デフォルトの名無しさん
垢版 |
2019/08/07(水) 12:42:23.91ID:9POPBXN5
>>607
言っている意味がわからない。何か特殊な宗教でも信奉しているのかね？
2019/08/07(水) 12:45:25.69ID:WK8NJ3/V
>>608
回答者のほうが偉いみたいな考え方。
質問者と回答者は対等です。
610デフォルトの名無しさん
垢版 |
2019/08/07(水) 13:00:34.72ID:9POPBXN5
>>609
対等じゃないよ。金を出す側と受け取る側と同じだもの。同じわけがないじゃん。
君はなんでそんな現実と食い違う思想を持ってるんだ？それでは人とのトラブルになるだけで世の中渡っていけんだろう。
2019/08/07(水) 13:17:46.60ID:VwbuDBsd
>>610
どうやら日本の礼儀が理解できないようだ
今問題になっている隣国の人間なんだろう
2019/08/07(水) 13:23:21.21ID:WK8NJ3/V
日本の礼儀と隣国の話しかできないのが世界が狭いよな
613デフォルトの名無しさん
垢版 |
2019/08/07(水) 13:27:24.72ID:9POPBXN5
>>611
何かを与えてくれたらお礼をするのは国に関係なくどこでも共通の礼儀だが、君はそれをしないばかりか与えてもらって当然と考えるとするならば、それは正に今の韓国と同じだね。
614デフォルトの名無しさん
垢版 |
2019/08/07(水) 13:29:19.39ID:9POPBXN5
優遇して与えていた側に礼を言わないばかりか盗人猛々しいとでも言うかね？
2019/08/07(水) 13:31:40.13ID:WK8NJ3/V
ということで、質問に対して
答えを返した俺に感謝しろ
という話さ
2019/08/07(水) 13:37:09.23ID:5FNsDR6i
これ触っちゃあかんやつや
2019/08/07(水) 13:39:19.49ID:WK8NJ3/V
俺は別に自決しましたで終わらせても良かったんだが、
俺ができるってことを示さなければ、
シェルスクリプトで同時に二つのファイルを開けるってことも
知らなかったんだろうな
2019/08/07(水) 13:41:42.46ID:aj+f89Vu
>>616
それを触りすぎw
2019/08/07(水) 13:46:29.59ID:WK8NJ3/V
この先の人生、似たような問題に直面したとき、
今日の会話を思い出しながらも、なかったことにして
俺が回答したテクニックを使うのだろう
620デフォルトの名無しさん
垢版 |
2019/08/07(水) 13:49:03.15ID:9POPBXN5
>>615
質問者は君自信だ。それに関しては君が君に感謝すれば良い。他の人は少なくとも同じ質問はしていないのだから君に感謝する必要はない。

という、普通の事が君にはわからないのか？発達障害か何かか？だったらしょうがないから形だけ他の人を真似て合わせろ。そうすれば無用なトラブルは減らせる。
2019/08/07(水) 13:51:39.12ID:WK8NJ3/V
ん？他の人って会話に参加してる人だけのことだと思ってるのか？
検索で見つけた人とかあるだろう。
相変わらず視野が狭いんだな。
2019/08/07(水) 14:04:14.01ID:WK8NJ3/V
検索した人は俺に感謝する。ここでレスしてたやつも同じ問題がでたとき
嫌々ながら俺に感謝する。ウィン♪ウィン♪ってやつではないか
623デフォルトの名無しさん
垢版 |
2019/08/07(水) 14:08:05.92ID:9POPBXN5
>>621
おだいじに。
624デフォルトの名無しさん
垢版 |
2019/08/07(水) 14:09:22.96ID:9POPBXN5
夏の暑さも酷なことをするもんだ。
2019/08/07(水) 14:11:08.56ID:WK8NJ3/V
エアコンもってないのか？
2019/08/07(水) 15:11:31.23ID:3XS5MIC7
どうでもいいけどアレを「完璧な回答」とか言ってる時点でお察しw
ファイルディスクリプタを使った方法にはPOSIXの範囲では解決できない重大な落とし穴がある。
まあ態々言わなくても分かるだろうから，明言はしないがw
2019/08/07(水) 15:23:56.01ID:3XS5MIC7
ああ一応分からん人の為にヒントをいうと，実は2018年あたりの過去スレで言及してる。
2019/08/07(水) 18:34:55.40ID:WK8NJ3/V
※その落とし穴がなんなのか言わないのは、わからん人のためよりも
俺に意地悪をすることを選んだから。結局それがそいつの本性なんだよ。
2019/08/07(水) 19:38:28.14ID:DcvmRDxD
{{"item1":["key1":"value1"]},{"item2":["key2":"value2"]}}
{{"item1":["key1":"value1"]}}
{}
{{"item1":["key1":"value1"]},{"item2":["key2":"value2"]},{"item3":["key3":"value3"]}}

みたいに中途半端なjsonがたくさん混ざっているファイルを

item1,item2,item3
value1,value2,
value1,,
,,
value1,value2,value3

のような綺麗なcsvで出力する方法ってありますか？
jqコマンドを使っても上手くいかず……
2019/08/07(水) 19:41:37.81ID:WK8NJ3/V
>>629
それ中途半端なjsonじゃねーよ
jsonlという形式だ。jsonエル
2019/08/07(水) 19:46:34.34ID:WK8NJ3/V
1行ずつループで回してもできそうだが、なんどもjqコマンドを呼び出すことになって
時間がかかりそうだから、
[
1行目 ,
2行目 ,
3行目 ,
4行目
]

みたいに変換して、jq一発にしたほうが速いだろうな。
そのやり方は、俺以外でも答えられるやろ？
2019/08/07(水) 22:04:49.28ID:fPg/gK/3
>>629
GNU awk 4.0.0 以降で

$ gawk -ijoin -vFPAT='"[^"]+"' '{
for(i=1;i<=NF;i+=3){
item[$i]=1
row[NR,$i]=$(i+2)
}
}END{
for(i in item){x[n++]=i}
n--
print join(x,0,n,",")
for(i=1;i<=NR;i++){
k=0
for(j in x){
r[k++]=row[i,x[j]]
}
print join(r,0,n,",")
}
}' data.jsonl
2019/08/08(木) 02:47:04.99ID:/tBUMiMq
これは、Ruby で、JSON.parse できない。
何や、この形式は？
{"item1":["key1":"value1"]}

[ ] の中に、{ } を入れたら、OK だが、
{"item1":[{"key1":"value1"}]}
634633
垢版 |
2019/08/08(木) 03:01:29.15ID:/tBUMiMq
https://jsonformatter.curiousconcept.com/

このサイトで、JSON の形式が正しいかどうかチェックしたら、エラーになった！

{"item1":["key1":"value1"]}
Error:Expecting comma or ], not colon.
2019/08/08(木) 03:55:09.53ID:10jj0QOT
>>632
すげえ！
口先だけの>>631とは全然違うわw
2019/08/08(木) 06:10:00.05ID:l7k6B2kQ
>>629
{{"item1":["key1":"value1"]}}
じゃなくて
{{"aaaa":["bbbb":"cccc"]}}
でも
"cccc" って表示されるけどOK？

あと {{"item1":["key1":"val\"ue1"]}}
みたいに " がデータに入ってる場合はあるの？

それと key1、key2、key3 ってキー名が変わるのは正しいの？

jsonlとしても正しくないけど、書き間違いじゃないの？
2019/08/08(木) 07:06:18.58ID:DLp++heI
>>629
これJSONじゃないしフォーマットおかしいってだけじゃね？
正しいJSONならjqだけでcsv変換できるぞ
638633
垢版 |
2019/08/08(木) 07:20:32.75ID:/tBUMiMq
JavaScript で、: は、オブジェクトの属性だろ。
だから、{ } 内でしか使えない

だから、1 はダメで、2, 3 はOK

1. {"item1":["key1":"value1"]}

2.1 {"item1":["value1"]}
2.2 {"item1":["key1","value1"]}

3. {"item1":[{"key1":"value1"}]}
2019/08/08(木) 07:25:15.97ID:l7k6B2kQ
フォーマットが不自然なんだよな。独自フォーマットなら
その仕様を言ってくれないと答えようがない。
例えば、そこに書いてあるキー以外も存在するのか？とか
改行はどうなってるのかとか
2019/08/08(木) 09:21:44.35ID:rLFqUIXU
>>629は「中途半端なjson」と言ってるから分かってる気はするけど、
半可通な上司か先輩がJSONを分かったつもりになってるだけで
仕様なんかちゃんと考えて無いと思うなｗ
2019/08/08(木) 10:06:35.63ID:X/CTiqlR
本物のjsonにしちゃえ
独自フォーマットする利点ないでしょ
2019/08/08(木) 11:39:13.74ID:/tBUMiMq
独自形式など、作るだけ無駄

パーサーを作るにも、特殊文字のエスケープ処理など、バグが増えるだけ！
2019/08/08(木) 11:47:10.43ID:FeKpuToe
昨日質問したものですが中途半端に書いてしまい申し訳ありませんでした
まだ勉強不足の学生でして……
こっちが正しいjsonと出力させたい内容です

{"aaa":{"bbb":["ccc"]},"xxx":{"yyy":["zzz"]},"あああ":{"いいい":["ううう"]}}
{"aaa":{"bbb":["ccc"]},"xxx":{"yyy":["zzz"]}}
{}
{"aaa":{"bbb":["ccc"]}}

↓

aaa,xxx,あああ
ccc,zzz,いいい
ccc,zzz,
,,
ccc,,
2019/08/08(木) 11:47:20.30ID:FeKpuToe
jsonlですね
2019/08/08(木) 11:53:47.59ID:FeKpuToe
aaa,xxx,あああ
ccc,zzz,ううう
ccc,zzz,
,,
ccc,,

です
2019/08/08(木) 12:28:53.27ID:FeKpuToe
連レスすみません
例えばaaaとあああだけ抜き取りたい場合
さきほどのjsonlから

aaa,あああ
ccc,ううう
ccc,
,
ccc,

と表示させる方法も知りたいです。
全部表示させた後にawkで削除した方がいいのでしょうか？
2019/08/08(木) 12:42:36.15ID:X/CTiqlR
使いまわせるから
...|awk 'Xxx'
648デフォルトの名無しさん
垢版 |
2019/08/08(木) 12:46:24.42ID:0w2TiazL
>>643
学生なら先生に聞けばいいじゃん。
宿題？それでも先生に聞いていいんだよ。

まあ、ここでは丁度良いお題にもなるから良いかも知れないが、宿題の提出期限とかそちらの都合は無視されるよ。
2019/08/08(木) 12:56:15.36ID:PTwvjoI/
>>646

$ ... | cut -d, -f1,3
2019/08/08(木) 13:40:08.52ID:l7k6B2kQ
>>646
もとのデータが悪かっただけ。
jsonlだったらjqで普通に扱える。

echo "aaa,xxx,あああ";
jq -r '[.aaa.bbb[0], .xxx.yyy[0], ."あああ"."いいい"[0]] | @csv' data.jsonl

ダブルクォートがいらないなら、@csvをjoin(",")にする

こことか見れば良い
https://medium.com/veltra-engineering/jq-supports-json-to-csv-fb5c951a9575
2019/08/08(木) 14:01:33.05ID:SmETYGNQ
>>650
おおおおお！！！ありがとうございます！！！
自分がやったときは完全一致してないとエラーが起きてましたのでありがたいです
今後はROMってもっと勉強します
2019/08/08(木) 14:03:20.11ID:l7k6B2kQ
なるほどjqコマンドだけでやるにはこうすればいいのか

jq -r -s '["aaa","xxx","あああ"], (.[] | [.aaa.bbb[0], .xxx.yyy[0], ."あああ"."いいい"[0]]) | @csv' data.jsonl
653631
垢版 |
2019/08/08(木) 14:04:54.81ID:l7k6B2kQ
>>635
すげえだろ？
2019/08/08(木) 14:12:53.47ID:DLp++heI
なんだかなーｗ
2019/08/08(木) 14:16:46.09ID:SmETYGNQ
今調べてみたら
.aaa.bbb[]と入力していたので全部一致してないとエラーになってたっぽいです
.aaa.bbb[0]に変えている>>650では一致してないところも空欄で出力されてましたので求めるものでした
2019/08/08(木) 14:20:36.14ID:10jj0QOT
>>653
もしかして皮肉という概念をご存知ない…？
2019/08/08(木) 14:26:26.08ID:DLp++heI
>>655
それ配列ってことは要素数が１以上の場合もあるわけだよね
先頭だけでいいの？
2019/08/08(木) 14:29:47.06ID:SmETYGNQ
>>657
要素数は一つですので大丈夫です。
2019/08/08(木) 14:41:50.23ID:DLp++heI
>>658
問題ないならいいけど [0] より []? 使ったほうが良いよ
2019/08/08(木) 14:45:49.24ID:PRJfiUWC
bashって可変長引数で綺麗に処理できないの？

bash test.sh a b c d e
って打ったら
xaz,xbz,xcz,xdz,xez

bash test.sh a b c
って打ったら
xaz,xbz,xcz

って出るものを作りたいんだが$@を使って色々やっても
xa b c d ez,
って出力しかできぬ
661631
垢版 |
2019/08/08(木) 14:50:06.59ID:l7k6B2kQ
>>660
あんたが可変長引数を綺麗に勝利できないだけ

printf '%s,' a b c
a,b,c,
662631
垢版 |
2019/08/08(木) 14:50:53.94ID:l7k6B2kQ
printf 'x%sz,' a b c d e
xaz,xbz,xcz,xdz,xez,
2019/08/08(木) 14:55:38.24ID:X/CTiqlR
>>660
while [ $# -gt 0 ];
do
printf x
printf $1
printf "z\n"
shift
done


sh multi_arg.sh a b c d e
xaz
xbz
xcz
xdz
xez

\nいらなかったな
あと間に,でやるやつ必要か
そのへんpass
664631
垢版 |
2019/08/08(木) 15:01:30.29ID:l7k6B2kQ
ぶっちゃけ $@ を使ってどうやれば
xa b c d ez, が出せるんだろうって悩むレベルｗ
2019/08/08(木) 15:10:54.30ID:PTwvjoI/
$ set -- {a..e}
$ l=;for v in "$@";do l="${l}${l:+,}${v}";done;echo "$l"

for 文で "in" を省略すると "$@" が対象になるので

$ l=;for v;do l="${l}${l:+,}${v}";done;echo "$l"

としても可。
2019/08/08(木) 15:33:36.84ID:PTwvjoI/
いけね、x と z で挟むの忘れてたわ

$ l=;for v;do l="${l}${l:+,}x${v}z";done;echo "$l"
2019/08/08(木) 18:25:37.21ID:cY5mPUh7
>>660や

これを1まとめの変数にする方法ってあるか？

bash test.sh a b c d　

って打つと↓を変数で使えるようにしたい(最後だけ,を外して)

xaz,xbz,xcz,xdz

ループさせて配列に入れて${test[@]}でxaz,xbz,xcz,xdz,
って出力させることならできたけど最後の,が邪魔で仕方ない
2019/08/08(木) 18:27:40.23ID:l7k6B2kQ
> これを1まとめの変数にする方法ってあるか？
あるに決まってるだろ。

自分でやり方を模索しろや

> 最後の,が邪魔で仕方ない

ならつかないようにするか消せばいいだけだろ
2019/08/08(木) 18:31:34.31ID:l7k6B2kQ
シェルスクリプト特有のテクニックがわからないならともかく
常識的なやり方すら見いだせないなら適性無いで
2019/08/08(木) 18:37:00.79ID:cY5mPUh7
マウント上等！教えてくれ！

${test[@]%,*}でいけると思ったが、これって配列じゃ無理なんか
悔しいねぇw
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況