シェルスクリプト総合その29

2018/09/22(土) 11:53:21.38

!extend:on:vvvvv:1000:512
!extend:on:vvvvv:1000:512
シェルスクリプトに関する総合スレッドです。

スレ立て時は以下の文を先頭行に加えて下さい。
後のつけ忘れ防止の為に複数行重ねて追加推奨
!extend:on:vvvvv:1000:512

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。

前スレ
シェルスクリプト総合その28
http://mevius.5ch.net/test/read.cgi/tech/1532397676/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/10/07(日) 07:18:54.69

余談だが、

func() { printf '%s\n' "begin$@end";} という関数の時、

func 1 2 3 4 5 って書いたら

begin1
2
3
4
5end

func 3 って書いたら
begin3end

って表示されるんだよな。

理解はできるが、なんか不思議だ

2018/10/08(月) 03:36:26.64

お題はお題スレに

プログラミングのお題スレ Part12
https://mevius.5ch.net/test/read.cgi/tech/1538096947/

2018/10/08(月) 18:41:40.22

func -a --foo file1 -b file2 -c --bar

みたいな、オプションとファイル名が交互に来てるときに
オプションを全部解析し終わってから
ファイルに対して処理を実行していくのってけっこう大変なんだな
forで回すのもwhileで回すのも一筋縄ではいかない
もちろんbashなんかの配列を使わないという前提

2018/10/08(月) 18:48:20.63

func -a --foo foo1 file1 -b file2 -c --bar

あ、例えば、foo1は--fooはパラメータ、のようなものが有る場合だった
-で始まる or 始まらないだけで見分けるならまだ簡単

2018/10/08(月) 18:50:15.77

そもそもそんな指定の仕方ありうる？
ありえない状況を想定してヤキモキするのは非生産的だと思うんだけど……。

2018/10/08(月) 19:10:00.18

>>211
よくやるよ。
前打ったコマンドをヒストリで呼び出して、後ろにオプション追加して実行とか

2018/10/08(月) 20:52:36.04

>>212
仮にそうだとしてということは
>>210を〝正規化〟すると
func -a --foo foo1 -b -c --bar -- file1 file2
っていうことかな？

2018/10/08(月) 21:02:29.11

>>213
そういうこと

2018/10/08(月) 23:31:18.49

GNUのgetoptのロングのやつ使えればなんとかなるんじゃないか？

2018/10/09(火) 02:27:08.37

これでいいな。
$ getopt --options 'a,b,c' --longoptions 'foo:,bar' -- -a --foo foo1 file1 -b file2 -c --bar

2018/10/09(火) 02:29:18.52

195から207まで丸ごと吹っ飛んでんだがどんだけレスバトルしてたんだ
見る気もないが

2018/10/09(火) 07:22:02.82

>>216
Macでは動きませんでした

2018/10/09(火) 07:51:19.69

>>218
たのむから一つ前のレスくらい読んでくれ>>215

2018/10/09(火) 07:55:02.13

>>219
だからMacのgetoptはGNUのgetpotではないから動かないって言ったんだけど？

2018/10/09(火) 07:57:18.12

GNUのgetoptなら動く。そうでないなら動かないと言われても、
どの環境がGNUのgetoptかなんてわからないでしょう？

GNUのgetoptがほとんどの環境で使われているなら問題ないが
使われてな環境は多いかもしれない。そしてそれがMacという形で
現実になったということを書いたんだけど

2018/10/09(火) 07:58:09.40

>>220
ああそうなの。
Macのgetopt(1)がGNU製じゃないことを知らないような書きぶりだったからてっきり。
すまんな

つーか孰れにしても可搬性は皆無w

2018/10/09(火) 08:18:38.20

やはりgetoptは可搬性は皆無か

日本語でgetoptでぐぐるとこれが上の方に出てくるけど
相変わらずの、qiitaクオリティってことでいいのかな？
https://qiita.com/b4b4r07/items/dcd6be0bb9c9185475bb

> 一般に使用される getopt のテンプレートは以下です。
>
> getopt.sh
> set -- 'getopt ad: "$@"'
初っ端からおかしいし。バッククォート書いたつもりが、シングルクォートに化けた？
しかもset --じゃだめだろうと思ってたら、後半では正しい書き方してたが

> OPT=`getopt -o ab:c --long long-a, long-b:,long-c -- "$@"`
> 略
> eval set -- "$OPT"

で、次
> getopt には重大な落とし穴があります。それは、スペースや特殊文字が
> 引数に含まれていた場合、正しく処理できないということです。

特殊文字まではやってないが、スペース入れても普通に動いたんだが？
デフォルトでクォートされてるよな？

man getoptすると「伝統的なgetoptの実装では～略～空白～略～使うことができない～略～
この実装ではクォートした出力を生成する」ってことは（この記事で言及できないほど）最近対応したのか？
それはそれとしてクォート方法の指定ができて、shとbash（違いあるの？）があるからシェルごとに
使い分けなきゃいけない気がしていやなんだが

ま、この記事のBSD系ではロングオプション非対応っていうのはgetoptを候補からすばやく外すのには役に立ったなｗ
GNU版ならもう少し色々できることがわかったが、やはり大変だな。今回は書かなかったがサブコマンド対応とか。
あとgetopt使っても自前処理でもコードの量に大差ないってのはなんなだろう？と前から思っている

2018/10/09(火) 13:51:30.72

parsargコマンドみたいなのを再発明したほうが早いかもね
GNU getoptと同じ（もしくはもうちょっと拡張）挙動でかつ可搬なのを。

2018/10/15(月) 14:55:49.61

質問しようと思ったけど初心者の俺にはレベル高い話ばかりで恥ずかしいぜ、、

2018/10/15(月) 15:15:36.15

どうぞどうぞ

2018/10/15(月) 15:50:29.54

ありがとう
やりたいことは、環境を判定して対象の環境にある複数サーバーに対して一括でコマンド発行したい、です

条件
・A環境とB環境があり、引数でそれぞれ指定し(test.sh A のようにしたい)、シェルスクリプト側でどちらが入力されたか判定する

・サーバーにssh接続するためのIPアドレス等は外部ファイルに記載されているため、環境判定後にファイルを読み込んでsshアクセスする必要がある

・サーバーは両環境それぞれ25台ずつあるが、5台ずつコマンドを発行し、waitしてからまた5台と、塊毎にやりたい

質問1
外部ファイルの指定方法が分からないです
ifで環境を判定してthenの後にファイルを指定すれば良いのか？

質問2
5台ずつ、を実現するためにはwhileで良いのか？
そもそも、sshをまとめてやって後からそれらにコマンド発行ってできるのか

初歩的すぎて恥ずかしい限りですがお願いします

2018/10/15(月) 15:55:57.71

どうぞどうぞ

2018/10/15(月) 16:39:55.24

>>227
自己解決
やり方を変えることにしました

2018/10/15(月) 16:43:11.45

どういたしまして

2018/10/15(月) 18:26:03.30

僕にも感謝して

2018/10/15(月) 18:56:32.85

>>229
どうやることにしたの？

2018/10/15(月) 20:03:34.75

ssh ... [command] ができるのがわかったとかじゃないのかな

2018/10/15(月) 21:27:00.70

>>232
233の言うとおりです
opensshのマニュアル呼んだら、ファイル指定もコマンド発行方法も書いてあったので、それでやることに
あとはifとの組み合わせで頑張ります
まぁつまずいてるんだけど

2018/10/15(月) 21:32:13.05

　私たち日本人の、日本国憲法を改正しましょう。
総ム省の、『憲法改正國民投票法』、でググって
みてください。拡散も含め、お願い致します。

2018/10/18(木) 12:14:09.96

ksh、関数のオーバーライド、くせっていうかバグあるわ

(foo() { echo 1; }; foo; (foo() { echo 2; }; foo;); foo)
何度実行しても1 2 1 と表示される（想定通り）

foo() { echo 1; }; foo; (foo() { echo 2; }; foo;); foo
最初の1回は1 2 1 と表示されるが、
2回目以降は1 1 1 としか表示されない（2でオーバーライドできなくなる）

2018/10/18(木) 12:32:51.57

もう一つ。kshで関数の定義の場所でオーバーライドできない
場合があるんだが原因がよくわからない。

多分これ関連なんだろうけど
https://github.com/modernish/modernish/blob/master/libexec/modernish/cap/BUG_FNSUBSH.t
これはメインシェルの定義がある場合、サブシェルの中での定義が無視されるということだから、
サブシェルの中で定義していれば、その中のサブシェルではオーバーライドできると解釈できる
たしかに>>236はそのとおりの動きはしてる

もう一つの問題も同じなんだろうか、定義の順番を変えればうまくいくんだが
サブシェルに関しては定義の順番を変えても同じだと思うんだけどなぁ。
.コマンドを使ってるのが関係してるのかなんだこりゃって感じだ

2018/10/18(木) 12:40:28.86

もう一つの問題は、ちょっとコードが入り組んでて調べるのが面倒くさい。
なんでこれで解決したのかわかってない状況だが、今のところ動いているので
まあなにかわかったら書くよｗ

2018/10/18(木) 16:05:20.75

初心者です、while文の質問です
このようなスクリプトがあったとします
a=0
while ［ $a -le 50 ］
do
a=`expr $a +1`
echo "$｛a｝個目
done

とやると、50個目まで表示されると思いますが、この数値が5の倍数の時だけ、echoで表示させたあとsleepを入れるようにするには、contiuneを使えばよい？
それともifでやる？
よくわからず

2018/10/18(木) 16:38:15.26

>>239
continue はループ内のその後の処理を飛ばすやつだからできないと思うが。

普通に if 使ってやるしかないのでは？
if [ `expr $a % 5` -eq 0 ] ; then sleep 1 ; fi
とか、done の直前に入れる。

2018/10/18(木) 17:31:05.73

>>240
> continue はループ内のその後の処理を飛ばすやつだからできないと思うが。
5の倍数以外でsleepを飛ばせばできるYO！

>>239
> とやると、50個目まで表示されると思いますが
51個目まで表示される

> a=`expr $a +1`
は a=$((a+1)) の方が良い
シェルによって実行されるから速い

俺だったらif使わないでこう書くかな
[ $(($a % 5)) = 0 ] && sleep 1
ただこの書き方は if を使った場合と完全に等価なわけじゃなくて
後続行実行時点でのexit codeが異なることがあるから使い方に注意だけど

2018/10/18(木) 17:40:57.72

あ。そうか。なるほど。

2018/10/18(木) 17:41:55.70

ついでだから書いておくと、
a=`expr $a +1` でも大差ないだろ？と思った人
WSLの酷さがわかるぞ

たった50回のループ、sleepを行わない状態で
a=$((a+1)) だと約0.025秒なのに、
a=`expr $a +1` だと約0.5秒にもなるのだ

10000回のループだと
a=$((a+1)) だと約0.1秒のところ、
a=`expr $a +1` だと約90秒

早くWSLのfokの遅さが解決すると良いな

2018/10/18(木) 17:43:58.54

× [ $(($a % 5)) = 0 ] && sleep 1
○ [ $((a % 5)) = 0 ] && sleep 1

書き込む前に気づいて直したと思ったんだがコピペミスったか
上でも動かないわけではない。無駄なだけ

2018/10/18(木) 17:56:39.61

＞ [ $((a % 5)) = 0 ]
新旧混ぜんなｗ
arithmetic使うなら、そのままevaluation記法にしてしまえばいい。
((...))
あと、旧testでの数値比較は-eqを使え。

2018/10/18(木) 18:24:07.81

>>245
ん？どういうふうに書くってこと？

>>237の件、ぼや～っとだけどわかりかけてきた気がする

スクリプトのコードが.（ドット）コマンドで評価された時点で、
関数がすでに存在している場合、その関数を使用するコードがあれば
事前にリンクされているような動きをしている

その場合サブシェルで関数を再定義しようとしてもできないんじゃないかな
だから事前にリンクできないようにeval呼び出しに変更したら
再定義された方の関数を呼び出すようになった

2018/10/18(木) 18:35:46.85

((a % 5 == 0))&& ...
なんで一々ここまで言わんとわからんような奴が、他人の指摘しているんだろうかね。。。
-eqでの数値比較とか基本中の基本だろうに。

2018/10/18(木) 18:50:03.03

>>247

$ dash -c 'a=0; ((a % 5 == 0)) && echo ok'
dash: 1: a: not found

$ dash -c 'a=0; (($a % 5 == 0)) && echo ok'
dash: 1: 0: Permission denied

なぜかって？
その書き方はPOSIX準拠じゃないもの

https://github.com/koalaman/shellcheck/wiki/SC2039#standalone-

2018/10/18(木) 18:56:56.93

動かないコード出されて、偉そうにされても
やれやれって言うしか無いわなｗ

2018/10/18(木) 19:33:42.29

(( )) ではなく [[ ]] では？

2018/10/18(木) 19:37:12.04

[[ ]] もPOSIX準拠ではない

2018/10/18(木) 22:39:25.80

またぽっじくすか

2018/10/19(金) 00:21:19.12

>>239だけど、奥が深いね
if使わずにもできたりするのか
はぁ、先は長そうだ、ありがとう

2018/10/19(金) 01:23:10.99

cat file.txt | ( head; tail) は最高

2018/10/20(土) 02:22:05.90

>>224
> parsargコマンドみたいなのを再発明したほうが早いかもね

違うもの調べてて、こういうのを見つけた。
見つけたってだけでどんなものかは調べていない

http://zentoo.hatenablog.com/entry/20110708/1310124831
> ちょっとした理由でgit-flow (https://github.com/nvie/gitflow) のソースを
> ちょっとちょっと眺めていたんだけど、内部でコマンドライン引数を
> パースするためにshflagsというツールが使われていたのでメモ。

2018/10/20(土) 06:26:18.72

>>254
おまえらなんでそんなに猫が好きなん？

2018/10/20(土) 12:30:19.19

それを疑問に思う人間に説明するのは困難だ

2018/10/20(土) 12:37:11.93

猫好きてそんなに言語化しにくい複雑怪奇な感情持っとるんか？

2018/10/20(土) 12:43:08.81

例えば女をみて欲情しない人間に、なぜ欲情するのかを説明するのは難しいだろう
言葉を並べるだけなら本能だとか体の特徴なんかを言えるが、共感はされまい
つまりそれを疑問に感じる人間には、その時点ですでに納得させる言葉がないのだ

2018/10/20(土) 12:48:37.62

でもそもそも説明するのが困難なのやろ？
おまえが言ったんやで

2018/10/20(土) 12:55:36.75

おい、スレと無関係な話をして荒らすな

2018/10/20(土) 12:56:11.89

なぜ説明するのが困難かを説明したつもりだったんだが

2018/10/20(土) 13:01:22.08

つまんねーよ。シェルスクリプトに関係ある話をしろ

ってか、>>206お願い

2018/10/20(土) 14:52:07.13

お前がつまんねーんだよ

2018/10/20(土) 14:54:50.53

なんかレス番飛んだけどなんだこれ

2018/10/20(土) 16:25:12.28

>>265
自分でそういう設定してんだろ。
ngしてますアピールうざいよ。

2018/10/20(土) 17:00:11.18

なんか遠いレスの番号という意味じゃないの。てか、なんで噛み付いているんだか

2018/10/20(土) 17:06:13.46

ﾜｯﾁｮｲ変わったのになんでNG効いてんだ？と思ったら課題マンだったのか

2018/10/21(日) 03:41:54.16

あるパスがディレクトリで書き込み可能かは、[ -d "$path" ] とか [ -w "$path" ] で調べられるし、
所有者が自分自身であるかは-Gや-Oで調べられますが、
自分以外が読み書き不可能であることをチェックするにはどうしたら良いですかね？

2018/10/21(日) 05:19:47.73

2018/10/21(日) 05:42:25.02

やっぱlsしかないですかね。
このフォーマットって仕様化されてるんですよね

2018/10/21(日) 06:29:17.52

>>271
pubs.opengroup.org/onlinepubs/9699919799/utilities/ls.html#tag_20_73_10

2018/10/21(日) 06:34:56.07

ありがとう。だがオプション多すぎて読むのだりぃｗ

なんでだろ？どうもlsって解析する気にならないんだよな
人間向けのフォーマットでコンピュータが解釈するのに向いてない感じがしている
どこまでPOSIXで仕様化されてるのか、どこからが拡張なのか、オプション多すぎて（略

関係ないけど、ふと本棚を見たら
「lsを読まずにプログラマを名乗るな!」という本があったｗ
そういや買ったっけ（未読）

2018/10/21(日) 06:42:08.88

http://pubs.opengroup.org/onlinepubs/9699919799/utilities/ls.html
STDOUTに記述があるんだからそうじゃね

2018/10/21(日) 06:42:50.73

あら被りすぎた。すまん

2018/10/21(日) 06:45:46.73

>>273
>>272はPOSIXの仕様。>>269,270,271の目的には
If the -l option is specified, the following information shall be written for files other than character special and block special files:
と
If the -l option is specified, the following information shall be written for character special and block special files:
で書いてあるフォーマットだけだけどね

2018/10/21(日) 07:33:05.64

そういや、macだとlsで

drwxr-xr-x+ や
drwxr-xr-x@ みたいに
後ろになにかくっついていることがあるな

> Implementations may add other characters to this list to represent other implementation-defined file types.
くっつけても良いってことなのか？

2018/10/21(日) 11:22:28.24

これだからマカーは馬鹿だと言われるんだなあ...

2018/10/21(日) 20:00:09.31

stat コマンドの出力解析した方が楽ではないか？
または find コマンドの -perm 利用してチェックして -exec でやらせたいことをやらせる。

2018/10/21(日) 20:21:13.14

>>279
そこででてくるのが、またPOSIXですよ

statはPOSIXで規定されてない
SolarisやUP-UXには存在しない
更にLinuxとMacでオプションもフォーマットもぜんぜん違う

2018/10/21(日) 22:04:44.47

標準入力の代わりにfileの内容を入力するのに、リダイレクトで
$ <file somecmd
とやる方式ってPOSIXで既定されてるっけ。
http://pubs.opengroup.org/onlinepubs/9699919799/utilities/V3_chap02.html#tag_18_07_01
このへんに書いてそうなんだけど、それっぽい記述がない？

2018/10/22(月) 02:54:50.03

>>280
じゃ、find で。
ファイルのパーミッションに 066 を and した時に 0 になるやつでいいのなら
find $dir -prune ! -perm -40 ! -perm -20 ! -perm -4 ! -perm -2 -exec やらせたいこと \;
のようにすればいいのではないかな。
http://pubs.opengroup.org/onlinepubs/9699919799/ で find コマンド見てみたら -perm はあるようなので。
もし GNU の find コマンド使えるようなら -perm /mode が使えて、これは何れかのビットが立っていれば
真になるので ! -perm /66 の一つで出来ると思う。

2018/10/22(月) 03:01:30.80

GNUのfind使っていいという条件なら、GNUのlsやstatでいいじゃんｗ

2018/10/22(月) 10:18:21.67

その辺はご自由に。POSIX縛りがあってもこの場合にfindも使えるってだけの話なので。ls使いたいならそうすればいい。

2018/10/22(月) 14:51:33.47

>>281
これ分かる方います？

**デフォルトの名無しさん** (JP 0H1b-v9b0) · 2018/10/22(月) 16:55:54.61

>>281
2.1の5で、リダイレクトの処理をしてパラメーターリストから
除去するって書いてあるのと、
6でコマンド名を第0パラメーターとして渡すって書いてるってことは、
先頭もパラメーターリストの一部と解釈できるから、
暗に、先頭にリダイレクトがあってもいいってことを表してるんでは？

2018/10/22(月) 19:08:52.43

>>286
明示はされてないのね。
でもありがとう。多分大丈夫ということでしょう。

2018/10/22(月) 19:09:38.93

あ、ワッチョイもIDも違うけど>>285です。

2018/10/22(月) 21:35:03.82

>>118
それはオブジェクト指向の話じゃない
C++の話だ

そもそもテンプレートやジェネリックは、型を明確にすることでバグを少なくしたり
速度を速くするためのもので、オブジェクト指向における問題点を解決するための追加機能

テンプレートやジェネリックを使うことでオブジェクト指向が不要になるのではなく
オブジェクト指向と組み合わせて使うことで問題点が改善される

テンプレートはオブジェクト指向と組み合わせずに使えたと思うが、
テンプレートの殆ど（ジェネリックは全て）はオブジェクト指向なしに使うことはできない

2018/10/22(月) 21:47:50.25

あ、書き込まれてないと思ったら書き込む場所間違えてたのかｗ

2018/10/22(月) 23:23:26.53

ただのメモ

各シェルの比較
http://hyperpolyglot.org/unix-shells

2018/10/23(火) 13:27:19.16

シェルというか tar コマンドの問題なんだけど、tar tvf でアーカイブに入っているファイルのタイムスタンプを秒単位まで出す方法ある？
Linux で GNU tar のmanページ見た感じではなさそうなんだけど、やはり自作するしかないなかな。

2018/10/23(火) 14:12:45.60

>>292
tar --full-time ...

2018/10/23(火) 14:38:56.39

>>293
おお！ありがとう。新しい GNU tar にあるね。
最初CentOS6で試しててわからなかった。これは GNU tar 1.23 だ。
CentOS7は GNU tar 1.26 になっててこちらでは出来るしmanページにも書いてあった。

2018/10/23(火) 15:22:22.26

CentOS 6はそろそろサポート切れるんじゃないかしら
余計なお世話だが移行したほうがいいんでは

2018/10/23(火) 15:35:42.08

>>295
するする。仕事でRHEL6のサーバ使っててそれの一部をテストする時に使ってただけなので。

2018/10/25(木) 13:45:54.07

すごい低レベルな質問で申し訳ないんだけど、
win用のGit-bashで.shファイルダブルクリックしたときに
DOS窓出さないで実行するのってどうすればいい？

2018/10/25(木) 14:43:08.46

>>297
それもはやシェルかどうか関係なくてWindows固有の問題だと思うが、エクスプローラでそのファイル右クリックしてプロパティ出したらそんな感じの設定できるようになってない？
最小化した状態で実行するとか、そんなやつ。

2018/10/25(木) 14:51:54.06

こうだ。

まずショートカット作り、そのショートカットのプロパティ出すと実行時の大きさを指定できる所があって、そこを最小化にすると実行時にタスクバーにアイコン出ているだけになる。

2018/10/25(木) 16:15:39.89

>>298
git-bash.exeだとできませんでしたが、bin/bash.exeでできました！
ありがとうございます。

2018/10/26(金) 22:15:40.17

ファイルや標準出力の行数がある数値より大きいことをできるだけ高速に確かめるにはどうすればいいだろう
最も単純で最もUNIXっぽいのは
$ test $(<file.txt wc -l) -gt $num
としてその真偽を見ることだけど
$ test $( (yes | head -n 3000000000000000000) | wc -l) -lt 300
こういうのを実行して貰えれば分かると思うがかなり時間が掛かる
俺の使ってる計算機はそこそこ良い性能（Intel Xeon x2/32GiB RAMなのだが）
それでも実行に1分強掛かった。
しかしこれは無駄だ。なぜなら結局比較する対象は300なのだから、「300行以上ある」ことが分かればいい。
なにか案ありませんかね。

思ったのはsed -n -e '300p'とかでその失敗判定を見るとかだが，これはsedコマンドの失敗の要因が他にもあるので
ちょっと不安定かなと。

2018/10/26(金) 23:12:31.32

cで指定行読むｺﾏﾝﾄﾞを作ればいい
面倒なこといちいち考える必要がそもそもない

2018/10/26(金) 23:41:06.71

>>301
headで300行読み込めば？

2018/10/27(土) 00:04:40.31

sed -n 300pでもええんか？

2018/10/27(土) 00:13:24.42

>>303
あーなるほど
$(<file.txt head -n $num | wc -l) -lt $num
とすればいいということですね。

2018/10/27(土) 00:29:51.71

>>305
そのことを意図していったんだけど、
2回走査することになるから
300行飛ばして1行読んだほうがいいか
たしかheadで1コマンドでできたでしょ？

シェルスクリプト総合 その29

シェルスクリプト総合その29