シェルスクリプト総合その37

**デフォルトの名無しさん** · 2021/10/05(火) 22:49:30.91

シェルスクリプトに関する総合スレッドです。

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。
・「○○（他の言語）でいいやん」は禁止。他のスレに行ってください。
・「POSIX原理主義」「ユニケージ」「USP研究所」はPOSIXとUnixを曲解し
間違ったシェルスクリプトを広めている宗教です。洗脳されないようにしてください。

前スレ: シェルスクリプト総合その36
https://mevius.5ch.net/test/read.cgi/tech/1614212414/

関連スレ
・【Bash】Windows Subsystem for Linux【WSL】11
https://mao.5ch.net/test/read.cgi/linux/1627507889/
・Bashでプログラミング [転載禁止](c)2ch.net
https://mao.5ch.net/test/read.cgi/linux/1443885102/
・シェルスクリプト総合その28
https://mevius.5ch.net/test/read.cgi/unix/1533154936/
・zsh その７
https://mevius.5ch.net/test/read.cgi/unix/1337844883/
・過去UNIXで使われていた ksh というシェルについて
https://mevius.5ch.net/test/read.cgi/unix/1582358403/
・【POSIX】UNIXプログラミング【BSD】 [転載禁止](c)2ch.net
https://mevius.5ch.net/test/read.cgi/unix/1443103705/
・おまえら！ shell は何を使っているんですか？
https://mevius.5ch.net/test/read.cgi/unix/1012330865/

**デフォルトの名無しさん** · 2021/12/14(火) 19:34:10.98

>>343
だから、それ全部、うんだってw そして書いてあるってw

お前が>>330,331と出してきてるんじゃないか
(またその中からもトンチンカンに一部抽出したりしてw)

**デフォルトの名無しさん** · 2021/12/14(火) 19:34:30.12

書いてないことを自分の都合のいいように解釈して突っ走るところもそっくりだ

**デフォルトの名無しさん** · 2021/12/14(火) 19:34:50.92

>>344
いつもの自己紹介か...
ほんとすげえなあ、お前はw

**デフォルトの名無しさん** · 2021/12/14(火) 19:34:51.68

>>345
だから翻訳しておまえに教えてやっただろ
書いてないと

**デフォルトの名無しさん** · 2021/12/14(火) 19:35:59.31

name=value
: $(($name = 123))
echo $value

これよんで、

> 問題にしてるのは
> $(($name = 123))
> これ
> name = 123
> これ
> =
> これ
> ってことでいいんだな？

なんて質問するのも頭が悪い

**デフォルトの名無しさん** · 2021/12/14(火) 19:36:18.40

>>346,348
いつもの誤魔化しかよ
つくづくだな

お前はどこがPOSIX準拠じゃないと思ってるねん？
name=value
: $(($name = 123))
echo $value
全部か？w

**デフォルトの名無しさん** · 2021/12/14(火) 19:37:27.42

>>350
はぁ。説明しないと理解できないのか・・・

POSIXにはname変数の中身が整数定数でないときに
どうなるかの挙動が書いてない

反論はあるか？

**デフォルトの名無しさん** · 2021/12/14(火) 19:38:15.35

ホントなんでこんなバカなんだろうな

**デフォルトの名無しさん** · 2021/12/14(火) 19:38:33.15

英語というか、規格書の読み方をっ勉強したほうがいいぞ

**デフォルトの名無しさん** · 2021/12/14(火) 19:42:47.04

>>351,352,353
>POSIXにはname変数の中身が整数定数でないときに
>どうなるかの挙動が書いてない
なに言ってるの？ name = 123 この部分だろ？
name変数の中身が整数定数なんて関係ないぞ
コンピューターサイエンスw的に、型が無い言語なら当たり前的にもな

お前は仕様書、規格書読むのに必要な知識が足りなさすぎだがな、
よく言うよほんと自己紹介好きw

**デフォルトの名無しさん** · 2021/12/14(火) 19:44:03.99

> なに言ってるの？ name = 123 この部分だろ？

name = 123 と書いたのはおまえ

↓どこにも書いてない。目が悪い？それとも頭？

name=value
: $(($name = 123))
echo $value

**デフォルトの名無しさん** · 2021/12/14(火) 19:44:44.42

> If the shell variable x contains a value that forms a valid integer constant,

読めないんだろうなぁ

はい、翻訳
シェルの変数xが、有効な整数定数を構成する値を含み、

**デフォルトの名無しさん** · 2021/12/14(火) 19:45:07.43

$nameをvalueに変えるparameter expansionは最初に行われるでしょ
> The shell shall expand all tokens in the expression for parameter expansion, command substitution, and quote removal.
その後は普通にvalue = 123が実行されるだけ

**デフォルトの名無しさん** · 2021/12/14(火) 19:45:36.95

「その後は普通にvalue = 123が実行されるだけ」と書いていない

**デフォルトの名無しさん** · 2021/12/14(火) 19:45:41.12

>>355
じゃあ、お前の言う
>POSIXにはname変数の中身が整数定数でないときに
>どうなるかの挙動が書いてない
ってどこの部分やねん

お前は他人の文の意味を読めなさすぎ、のくせによく言うよを繰り返しすぎだな

**デフォルトの名無しさん** · 2021/12/14(火) 19:51:21.66

>>356,358
= の左辺には関係ないとわかりそうなもんだが
というか、そのトンチンカンに取り出した一部ではない全文が何を説明したいのかわかってないだろ
お前は他人の文の意味を読めなさすぎ

**デフォルトの名無しさん** · 2021/12/14(火) 19:57:45.01

>>357
先にパラメータ展開が行われるからこれでいいのか
なるほど

> ID:sz49PmUD
あ、きみ、もういらない

**デフォルトの名無しさん** · 2021/12/14(火) 20:15:07.62

POSIX準拠じゃないのはこれか

name="1+2"
echo $(( name ))

**デフォルトの名無しさん** · 2021/12/14(火) 20:16:20.29

今までの流れからすればこう書いたほうがいいね

name="var=1+2"
echo $(( name ))

name変数の中身が整数定数でないときに
どうなるかの挙動は書いてない

**デフォルトの名無しさん** · 2021/12/14(火) 20:32:34.85

シェルスクリプトで小数演算
dc ではいけないのか?

**デフォルトの名無しさん** · 2021/12/18(土) 21:47:26.51

文字の長さに応じていい感じにタブの個数調整してくれる素敵なワンライナーとかない？

**デフォルトの名無しさん** · 2021/12/19(日) 00:43:08.09

ワンライナーじゃなくてコマンドだろ
だいたいタブ個数調整と言われて
仕様がわからないとなんとも言えん

**デフォルトの名無しさん** · 2021/12/19(日) 04:58:32.60

unexpand

**デフォルトの名無しさん** · 2021/12/25(土) 20:40:43.43

>>365
仕様をはっきりさせろ。
簡単にできそうで暇だったら俺が作る。

**デフォルトの名無しさん** · 2021/12/25(土) 21:25:20.38

>>368
2バイト文字では試してないけど
タブは8の倍数で位置を揃えるために必要な数が切り替わるので文字列リストの中で最大文字数のものに付与するタブを1として文字数が少なくなるほどタブを増やして行けばいいと分かった

最大文字数が42の場合
0～7 タブ6つ
8～15 タブ5つ
16～23 タブ4つ
24～31 タブ3つ
32～39 タブ2つ
40～47 タブ1つ
……

BINDのzoneファイルにAレコード大量追加したかっただけだから
ifで分岐させてなんとかしたけどもっと上手いことできるなら頼む

**デフォルトの名無しさん** · 2021/12/25(土) 21:48:29.81

>>369
これを渡したら
<test.lst>
abc.c0м
defghijk.c0.jρ
123456.nёt
zzz.i0

これを出力して欲しい
<test_.lst>
abc.c0м　　　IN A localhostのIP
defghijk.c0.jρ　IN A localhostのIP
123456.nёt　　IN A localhostのIP
zzz.i0　　　　 IN A localhostのIP

↑
スマホからだからあれだがIN A以降は揃ってるつもり

**デフォルトの名無しさん** · 2021/12/25(土) 22:27:57.12

printfのが簡単なんじゃないの？

**デフォルトの名無しさん** · 2021/12/25(土) 22:32:53.73

ifとprintfでやった

**デフォルトの名無しさん** · 2021/12/26(日) 01:41:37.96

>>370
スペース区切りの複数単語が1行に入っていて1番目と2番目の間の空白を調整して2番目が全行で同じ位置から始まるようにするってことね。

**デフォルトの名無しさん** · 2021/12/26(日) 01:44:16.01

あ、ちょっと違うか。2番目以降は固定で決まっているから1番目の単語だけ読ませてその後ろのタブを何個付加するかの問題か。

**デフォルトの名無しさん** · 2021/12/26(日) 02:10:55.11

>>370
できた。perl だ。

$ perl -ne 'chomp;push(@s,$_);if($l<length){$l=length} END{$m=int($l/8)+1;for(@s){print$_.("\t" x ($m-int(length($_)/8)))."IN A localhostのIP\n"}}' test.lst
abc.c0м IN A localhostのIP
defghijk.c0.jρ IN A localhostのIP
123456.nёt IN A localhostのIP
zzz.i0 IN A localhostのIP
$

**デフォルトの名無しさん** · 2021/12/26(日) 02:14:02.08

ただし、UTF-8で複数バイト文字混ざりだと画面上の幅とバイト数が一致しなくて失敗する行が出てくるだろうな。

**デフォルトの名無しさん** · 2021/12/26(日) 02:30:31.24

スレタイ読めよ

**デフォルトの名無しさん** · 2021/12/26(日) 06:24:53.12

>>377
シェルだけでワンライナーにしろってか？可能な感じはするが、長くなりそうだな。ちょっと君試しに作ってみなよ。

**デフォルトの名無しさん** · 2021/12/26(日) 06:55:50.56

いいかげんワンライナーなんてものからは卒業すべき
あれは実用的ではない

**デフォルトの名無しさん** · 2021/12/26(日) 07:00:58.21

だいたい位置揃えならcolumnコマンドを使えばすむ
cat /ｅｔｃ/hosts | column -t

**デフォルトの名無しさん** · 2021/12/26(日) 08:08:53.29

columnコマンドなんてあったのな
これしゅごい

**デフォルトの名無しさん** · 2021/12/26(日) 09:30:37.45

>>378
スレタイ読めよ

**デフォルトの名無しさん** · 2021/12/26(日) 12:47:31.30

プログラム技術。

**デフォルトの名無しさん** · 2021/12/26(日) 12:59:08.59

すれたい

**デフォルトの名無しさん** · 2021/12/26(日) 13:59:45.22

第一フィールドは20文字の決め打ちで

awk '{printf "%-20s %s", $1, "IN A 127.0.0.1\n"}' test.lst

**デフォルトの名無しさん** · 2021/12/26(日) 17:10:00.49

シェルではないね

**デフォルトの名無しさん** · 2021/12/26(日) 17:57:01.68

>>375
酷すぎるｗｗｗ

>>380
>>385
既存のコマンドでスマートに解決できるのになｗ

**デフォルトの名無しさん** · 2021/12/26(日) 20:01:39.02

columnはPOSIXじゃない！
よってawkで実装しなければいけない！

**デフォルトの名無しさん** · 2021/12/26(日) 20:07:09.32

>>388
っスレタイ

**デフォルトの名無しさん** · 2021/12/26(日) 21:01:43.80

フィルタープログラムはシェルスクリプトには必須だよ

**デフォルトの名無しさん** · 2021/12/26(日) 23:55:43.97

>>380>>385
TABになってないじゃん。

**デフォルトの名無しさん** · 2021/12/26(日) 23:56:34.73

>>387
既存のコマンドで丁度良くTAB入れるやつは何てコマンド？

**デフォルトの名無しさん** · 2021/12/27(月) 01:45:10.81

>>392
スペースをタブに置き換える unexpand　ってコマンドがあるよ！

>>385をちょっと改造、第一フィールドを５０文字にしてスペースをタブに変換してみよう

awk '{printf "%-50s %s", $1, "IN A 127.0.0.1\n"}' test.lst | unexpand -a

でタブをスペースに置き換えるのが expand ってコマンド
expand はたまに使うけど unexpand はあんまり使わないよね

**デフォルトの名無しさん** · 2021/12/27(月) 01:51:55.20

>>393
第一フィールだけやるな
50文字固定にするな
awkで実装したって劣化版になるだけやろ？
columnをインストールすればいいだけやん

**デフォルトの名無しさん** · 2021/12/27(月) 02:06:52.16

>>393
unexpand -a だと全ての空白を対象にしてTABに置き換えようとするためにうまく行かなくなることがあるのでは？

>>394
column コマンドでは TAB は出力されないよね。

**デフォルトの名無しさん** · 2021/12/27(月) 02:53:50.89

>>394
何そんなに怒ってんの？
入学試験じゃないんだからさ～、臨機応変、柔軟、適当にやればいいじゃん
それに column 使うのはいいとしてAレコードの追加しなきゃダメでしょう？

>>395
あんまり細かいことは突っ込まないでねｗ

**デフォルトの名無しさん** · 2021/12/27(月) 05:01:52.38

> column コマンドでは TAB は出力されないよね。
スペースをタブに変換すりゃいいだろ

**デフォルトの名無しさん** · 2021/12/27(月) 05:02:55.30

シェルスクリプトというのは既存のコマンドを使って
いかに楽をするかっていうのが重要
POSIXにこだわるのはアホ

**デフォルトの名無しさん** · 2021/12/27(月) 05:33:06.74

>>394
columnコマンド使って>>370やってみろよ

**デフォルトの名無しさん** · 2021/12/27(月) 11:39:49.78

>>396
TABかスペースが関係ないならそれで良いんだよ。>>369, >>370 の求めているものとは違うものになるけどな。

>>397
それをするのに丁度良いコマンドはあるの？
unexpand -a では全スペースが対象になってしまって駄目かも知れないわけだが。

**デフォルトの名無しさん** · 2021/12/27(月) 12:51:40.94

ハイハイ、ご要望通りにいたしましたｗ

F="%-`wc -L test.lst|cut -f1 -d' '`s";awk '{printf"'$F'\t%s",$1,"IN A 127.0.0.1\n"}' test.lst|unexpand -a

**デフォルトの名無しさん** · 2021/12/27(月) 22:40:58.39

>>401
ありがとう

**デフォルトの名無しさん** · 2021/12/28(火) 01:16:53.28

汚らしいパールのワンライナーに比べたら多少洗練されたようだな

**デフォルトの名無しさん** · 2021/12/28(火) 12:30:02.74

>>400
> unexpand -a では全スペースが対象になってしまって駄目かも知れないわけだが。

駄目だって事例提示してみ？

**デフォルトの名無しさん** · 2021/12/28(火) 14:14:41.00

columnは知ってたけど-Lオプションは知らなかった

**デフォルトの名無しさん** · 2021/12/28(火) 14:39:23.17

columnに-Lオプションなんてあるの？

**デフォルトの名無しさん** · 2021/12/28(火) 19:18:04.81

UNIX哲学

**デフォルトの名無しさん** · 2021/12/28(火) 23:09:44.65

POSIX原理主義者「POSIXにはないコマンドをawkで再実装した」

UNIX哲学「車輪の再発明をするな」

POSIX原理主義者「・・・」

**デフォルトの名無しさん** · 2021/12/28(火) 23:13:32.40

>>406
wcの-Lだよ
-lしか使ってなかった

**デフォルトの名無しさん** · 2021/12/29(水) 00:32:57.69

debianのcolumnに比べてredhat系のcolumnのオプションが随分と充実してる

**デフォルトの名無しさん** · 2021/12/29(水) 01:12:38.97

2カラム目以降に何が来ようとも決してTAB変換されなくするには2カラム目以降を完全に後付けにすれば良い
それとawkの-vで事前に最大文字数入れておいて後でprintfのフォーマットに*使った方が見た目奇麗になるね

awk -v m=`wc -L < test.lst` '{printf "%-*s\t\n", m, $1}' test.lst | unexpand -a | xargs -i echo "{}IN A 127.0.0.1"

**デフォルトの名無しさん** · 2021/12/29(水) 02:59:14.48

スーパーコンピュータシステムのファイル消失のお詫び
https://www.iimc.kyoto-u.ac.jp/ja/whatsnew/information/detail/211228056999.html

2021年12月14日 17時32分から 2021年12月16日 12時43分にかけて,
スーパーコンピュータシステムのストレージをバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の
不具合により,スーパーコンピュータシステムの大容量ストレージ(/LARGE0) の一部データを意図せず削除する事故が発生しました.

Lustre ファイルシステムのファイル消失について
https://www.iimc.kyoto-u.ac.jp/services/comp/pdf/file_loss_insident_20211228.pdf

1 ファイル消失の影響範囲
対象ファイルシステム: /LARGE0
ファイル削除期間: 2021 年 12 月 14 日 17 時 32 分～2021 年 12 月 16 日 12 時 43 分
消失対象ファイル: 2021 年 12 月 3 日 17 時 32 分以降、更新がなかったファイル
消失ファイル容量: 約 77TB
消失ファイル数: 34,011,293 ファイル
影響を受けたグループ: 14 グループ(4 グループが復元不能)

3 ファイル消失が発生した原因
バックアップスクリプトには、find コマンドにより 10 日以上古いログファイルを削除する処
理が含まれています。スクリプトの機能改善と合わせて、find コマンドの削除処理に渡す変数名
を視認性・可読性を高めるため変更いたしましたが、この修正したスクリプトのリリース手順に
考慮不足がありました。
bash は、シェルスクリプトの実行中に適時シェルスクリプトを読み込みます。この挙動によ
る副作用を認識できておらず、実行中のスクリプトが存在している状態でスクリプトの上書きに
よりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、
結果的に未定義の変数を含む find コマンドが実行されてしまいました。この結果、本来のログ
ディレクトリに保存されたファイルの削除をする処理ではなく、/LARGE0 のファイルを削除し
てしまいました。

**デフォルトの名無しさん** · 2021/12/29(水) 03:16:45.01

あぁ、やはり Lustre はダメだなぁ…

**デフォルトの名無しさん** · 2021/12/29(水) 03:21:51.59

機器の不具合かのように書いてるけど馬鹿による人災じゃねーか

**デフォルトの名無しさん** · 2021/12/29(水) 04:05:13.87

シェルスクリプト以外ではほとんど見られない性質ではあるからなあ。
たしかに人災とも言えるけど。

**デフォルトの名無しさん** · 2021/12/29(水) 04:51:32.06

シンボリックリンクで新しいバージョンのプログラムにリンク先切り替える方式にしておけば被害は防げたかも知れないな

**デフォルトの名無しさん** · 2021/12/29(水) 09:47:12.44

xargsは強力だよねー
全然使いこなせねーわ

**デフォルトの名無しさん** · 2021/12/29(水) 10:35:20.64

Linux の場合プログラムは起動時に全てメモリに読み込まれるから
稼働中にプログラムを差し替えても OK って考えて実際に差し替えたら
メモリ上の古いプログラムがファイルシステム上の新しいモジュール
ファイル読もうとして動作不良になったことがあったなあ

**デフォルトの名無しさん** · 2021/12/29(水) 10:53:37.16

この挙動ってinodeが同じまま書き換えたから起こったんだよね？
inode変わるファイル更新なら起こらないよね？

**デフォルトの名無しさん** · 2021/12/29(水) 11:28:25.09

>>419
更新手順が更新されるんやろなあ。
既存ファイルに直コピーが禁止になって、新規ファイルを作成後に既存名に改名とか？

**デフォルトの名無しさん** · 2021/12/29(水) 11:33:56.17

リリース手順の考慮不足以前にfindを使った削除の運用自体に問題がある
ちゃんと金払ってまともなもの作ってもらわないと

未定義の変数を含むfindコマンドが実行すると
rootディレクトリのファイルが全削除される？

**デフォルトの名無しさん** · 2021/12/29(水) 13:13:58.03

findとか関係ねーよ
例えばrmで終わるコマンドがあったとして

xxxxrm / が rm / と解釈されることだってある

**デフォルトの名無しさん** · 2021/12/29(水) 13:53:35.50

/LARGE0${undefined}ってこと？

**デフォルトの名無しさん** · 2021/12/29(水) 15:06:25.94

>>418
>Linux の場合プログラムは起動時に全てメモリに読み込まれるから

誰に騙された？

**デフォルトの名無しさん** · 2021/12/29(水) 15:11:30.51

https://zenn.dev/mattn/articles/5af86b61004bdc
やっぱりinodeが変わってればokだったみたい。
mvとか、installとか使って反映しておけば回避できてた模様

**デフォルトの名無しさん** · 2021/12/29(水) 15:31:39.64

門外漢なんで純粋に知りたいんだけどこのbashの実行中の書き換えも書き換えたとこから逐次実行する仕様って歴史的経緯によるもの？もしくは
有効に活用できるケースがたくさんあるから意図して実装している？

**デフォルトの名無しさん** · 2021/12/29(水) 16:23:06.17

Lustre の checkpoint 機能は使ってなかったのかな？

**デフォルトの名無しさん** · 2021/12/29(水) 17:29:01.73

Linuxはホットパッチが売りなので。

**デフォルトの名無しさん** · 2021/12/29(水) 17:40:55.16

https://stackoverflow.com/questions/2285403/how-to-make-shell-scripts-robust-to-source-being-changed-as-they-run

**デフォルトの名無しさん** · 2021/12/29(水) 17:43:56.77

>>422
今回のにそれ関係ある？

**デフォルトの名無しさん** · 2021/12/29(水) 18:01:13.94

規模は違えど今回の事例と同様の体験をした人・組織は少なくなさそう

**デフォルトの名無しさん** · 2021/12/29(水) 18:01:34.74

inode云々は問題の表層でしかない
実行中のスクリプトが新しくなったからといって77TBものユーザーデータをサクッと削除しちゃえるのがおかしい
何重にもガードできているのが当たり前の案件

**デフォルトの名無しさん** · 2021/12/29(水) 19:12:14.86

>>426
あくまで「シェル」なんやし、入力を逐次実行するのが仕様やろ？

**デフォルトの名無しさん** · 2021/12/29(水) 19:12:44.47

>>432
コストとのバランス。

**デフォルトの名無しさん** · 2021/12/29(水) 21:10:55.07

スパコン系の人達は運用周りのリテラシーすごく低い
シェルスクリプトしか知らない人達よりもひどいくらい

**デフォルトの名無しさん** · 2021/12/30(木) 00:46:59.13

>>434
ファイルの削除処理はJavaで作ればいいんちゃいます？
ログもしっかり残してさ

**デフォルトの名無しさん** · 2021/12/30(木) 01:04:22.58

Javaが出てくる意味が分からん

**デフォルトの名無しさん** · 2021/12/30(木) 01:12:51.79

Javaで作れば安全だからです！

**デフォルトの名無しさん** · 2021/12/30(木) 01:25:09.88

log4jで消そう

**デフォルトの名無しさん** · 2021/12/30(木) 01:49:09.54

perlのワンライナーでやるべき

**デフォルトの名無しさん** · 2021/12/30(木) 02:02:44.37

>>425
installコマンドを使わないバカが多いからなあ

**デフォルトの名無しさん** · 2021/12/30(木) 02:05:00.83

>>426
bashそのものじゃなくてスクリプトの方だぞ

**デフォルトの名無しさん** · 2021/12/30(木) 02:15:01.93

>>441
installコマンドでも同じなんだが
こういう本物の馬鹿が多いからなあ

**デフォルトの名無しさん** · 2021/12/30(木) 02:25:12.29

>>426
bashに限らずevalが使えるスクリプト言語はどれも似たようなもの
その方が効率がいいから

ファイルを全部メモリに読み込んでたらメモリの無駄遣い。必要になった時に読み込んで
コンパイルして中間コードをメモリに保存したほうが効率がいい

書き換えたところから実行する仕様とかじゃなくて
読み込み中にファイル内容が書き換わっただけ

シェルスクリプト総合 その37

シェルスクリプト総合その37