シェルスクリプト総合その37

**デフォルトの名無しさん** · 2021/10/05(火) 22:49:30.91

シェルスクリプトに関する総合スレッドです。

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。
・「○○（他の言語）でいいやん」は禁止。他のスレに行ってください。
・「POSIX原理主義」「ユニケージ」「USP研究所」はPOSIXとUnixを曲解し
間違ったシェルスクリプトを広めている宗教です。洗脳されないようにしてください。

前スレ: シェルスクリプト総合その36
https://mevius.5ch.net/test/read.cgi/tech/1614212414/

関連スレ
・【Bash】Windows Subsystem for Linux【WSL】11
https://mao.5ch.net/test/read.cgi/linux/1627507889/
・Bashでプログラミング [転載禁止](c)2ch.net
https://mao.5ch.net/test/read.cgi/linux/1443885102/
・シェルスクリプト総合その28
https://mevius.5ch.net/test/read.cgi/unix/1533154936/
・zsh その７
https://mevius.5ch.net/test/read.cgi/unix/1337844883/
・過去UNIXで使われていた ksh というシェルについて
https://mevius.5ch.net/test/read.cgi/unix/1582358403/
・【POSIX】UNIXプログラミング【BSD】 [転載禁止](c)2ch.net
https://mevius.5ch.net/test/read.cgi/unix/1443103705/
・おまえら！ shell は何を使っているんですか？
https://mevius.5ch.net/test/read.cgi/unix/1012330865/

**デフォルトの名無しさん** · 2022/04/20(水) 11:54:29.01

昔は [ が test にシンボリックリンクされていたものぢゃ

**デフォルトの名無しさん** · 2022/04/20(水) 17:00:20.67

ファイルの先頭と末尾だけを表示させたくて
$ (head;tail) < tmp
みたいなことをしててふとハマったんだけど、
$ for i in {00..60};do echo "22-04-20 00:$i"; done > tmp
$ (head;tail) < <(grep 22-04-20 tmp)
だと head 分しか表示されなかった

多分シグナルとかの関係だろう、と思ってるんだけどイケてる回避策ってあるかな？
まあなければ愚直にファイルに書き出すだけなんだけども

**デフォルトの名無しさん** · 2022/04/20(水) 17:17:12.72

たぶんheadが複数行まとめて読み込んで行数とか判断してるんだと思う

回避策はないかな
stdinから読み込む挙動を変えるオプションも無さそうだし

**デフォルトの名無しさん** · 2022/04/20(水) 18:43:04.89

(sed -u 10q;tail) < <(grep 22-04-20 tmp)

**デフォルトの名無しさん** · 2022/04/21(木) 12:40:10.24

せやったら全部Sedだけでええやろ！ｗ

と思ったけど、なるほど、むつかしいんやな。。。
末尾複数行を簡単につまめないんやった。
$(($(wc ...)-N))を埋め込んだらできるけど、それもなー。

**デフォルトの名無しさん** · 2022/04/21(木) 12:49:57.95

どうでもいいけど22-04-20 00:60ってなによ

**デフォルトの名無しさん** · 2022/04/21(木) 13:00:42.66

そりゃまあ20年4月22日のことやろ

**デフォルトの名無しさん** · 2022/04/21(木) 14:22:25.48

年月日ではなく時分のところ

**デフォルトの名無しさん** · 2022/04/21(木) 17:47:43.38

>>677>>678
そうか、headでバッファ読み捨てられてtailは参照できてないのか
サンクス

>>680
気にせんでくれ…

**デフォルトの名無しさん** · 2022/04/21(木) 21:22:45.77

readでcsvのヘッダを読んで、本体だけが次のパイプに渡って処理され、最後にcatで再結合する技は見たことある

つまり、head じゃなくて10行readならいけるんでないか？

**デフォルトの名無しさん** · 2022/04/21(木) 21:39:19.32

https://mevius.5ch.net/test/read.cgi/unix/1489979246/213-232

**684** · 2022/04/21(木) 22:14:40.59

>>685
検索力に惚れるわ

俺は過去ログ取得に不快な広告見せられたのでコピペっておく
231 名無しさん＠お腹いっぱい。 sage 2017/06/14(水) 11:09:43.34 .net
head -1 じゃなくて read を使ってこんな事をしてたり
df -h | { read h; echo "$h"; sort -k5,5gr; }

そうそうこんなん書いてたわ、例の通りdf -hやtsv/csvのヘッダ一時退避に重宝するイディオム

しかし-nは覚えてるけど行数オプションとかあったかな？
whileで包んで10回数えるのも多分行けるとは思うが、まあ最悪
read line; read line;…
なら通るでしょう()

**デフォルトの名無しさん** · 2022/04/21(木) 22:29:49.14

{ for _ in {1..10};do read l; echo "$l"; done; tail; } < <(grep 22-04-20 tmp)

**デフォルトの名無しさん** · 2022/04/21(木) 22:37:33.49

grep 22-04-20 tmp | tee >(head) >(tail) >/dev/null

**デフォルトの名無しさん** · 2022/04/22(金) 01:40:46.85

lsの日時の書式をyyyy/mm/dd hh:mm:ss固定にしたいのですがどっかに設定あるんでしょうか

**デフォルトの名無しさん** · 2022/04/22(金) 02:32:55.95

>>688
これ動くような気もするけど、エッジケースの詰め合わせみたいで関心するわ…ぜひ明日試したい

teeはプロセス置換への分配を均等に進めるのか？
head/tail でなければ入力も出力も数ブロックのバッファ単位で入り交じるはずだけど、バッファ単位に収まる10行のhead/tailの出力は一塊で吐かれるはず、つまりhead→tail/tail->headのいずれか
先頭だけ舐めるheadの方がtailより先に処理を終えるからhead->tail、の出力になるのだろうか？

**デフォルトの名無しさん** · 2022/04/22(金) 02:54:12.16

tee, head, tailの実装とバッファリングモード、入力データの素性の全てに依存してそうなヤバさ

**デフォルトの名無しさん** · 2022/04/22(金) 03:06:07.22

とりあえず手元のandroidとかいう玩具で

GNU bash, version 5.1.8(1)-release (aarch64-unknown-linux-android)

$ seq 100 | tee >(head) >(tail) >/dev/null
91
92
93
94
95
96
97
98
99
100
1
2
3
4
5
6
7
8
9
10

**デフォルトの名無しさん** · 2022/04/22(金) 03:07:10.32

あとコマンドはgnuの

**デフォルトの名無しさん** · 2022/04/22(金) 03:15:13.30

seq 100000にしたらheadが勝ったわw

**デフォルトの名無しさん** · 2022/04/22(金) 03:34:30.65

入力が小さいときに限っては、teeも実質引数に一回渡したきりだからheadの速さも関係ないんだろうね
seqの引数を二分していけば均衡して、結果はランダムになりそう

**デフォルトの名無しさん** · 2022/04/22(金) 05:38:09.18

awk -v N=10 '{ if (NR <= N) print $0; buf[NR % N] = $0 } END { for (i = (NR - N + 1 > N + 1 ? NR - N + 1 : N + 1); i <= NR; i++) print buf[i % N] }'

**デフォルトの名無しさん** · 2022/04/22(金) 09:43:04.69

つまりさ、複数のコマンドを使って
効率的に処理する方法はないってことでしょ？
>>696みたいにするしかない

**デフォルトの名無しさん** · 2022/04/22(金) 11:42:06.75

seq 100 | pee head tail

peeでだめなん？

**デフォルトの名無しさん** · 2022/04/22(金) 11:52:54.17

>>689
ls －l －－time－style＝+'%Y/%m/%d %H:%M:%S'
をaliasにでも登録しておく

**デフォルトの名無しさん** · 2022/04/22(金) 12:15:37.42

>>697
そもそもgrepが律速なんだから効率とか野暮だけど、あえて言うなら

元のファイルがダンプしてしまえるならストレージは食うが終端にシークしてしまうのが最速だし、ストリーム処理なら初めの10行プリントする自明な処理の後、10行のバッファを保持して終端が見えるまでひたすら読みまくるしかアルゴリズムはないわけで

それはsed N;N;...でもなんでもいいが、timeするまでもなく10行保持して読み捨て専用マシーンとしてガリガリチューンされてるtailを使うのが最速に決まっとるがな

**デフォルトの名無しさん** · 2022/04/22(金) 12:22:41.13

変な流れになってるのは>>688という爆弾に完全に食われてしまったからな…
俺にも挙動が予測不能過ぎて興味が尽きない

**デフォルトの名無しさん** · 2022/04/22(金) 12:37:37.28

>>695
seq 10001 | tee >(tail -10000) >(head -10000) >/dev/null
を実行しても、headが前半、tailが後半と期待どおりに出力されるんで、問題ないんちゃう？
headは頭から行単位に出力、tailは終端に達してから出力、やと思うとそれでいい気もするし。

>>692は知らん！ｗ

**デフォルトの名無しさん** · 2022/04/22(金) 12:45:37.78

並スペックのx86-64Debian/bash5/coreutils環境で問題のを検証

>>692
うちではseq 100だとheadが勝った、なおheadとtailを交換しても同じ

10000(適当)でも大体同じ結果が出る、そもそも再現性あるの？と思って十回くらい再実行してたら
1 2 3 4 5 6 7 99991 9992 9993 9994 9995 9996 9997 9998 9999 10000 8 9 10
という入り交じるケースを発見したw

**デフォルトの名無しさん** · 2022/04/22(金) 13:13:46.93

head or tailだけにコイントスってか(裏でも表でもないが)
https://i.imgur.com/uQBk3cx.jpg

**デフォルトの名無しさん** · 2022/04/22(金) 13:21:40.45

バックグラウンドの割り込み遅延やその時点での負荷が影響するだろうから、エントロピー源に出来るな
もっとも一様乱数に近付けるにはおま環固有の定数を探す必要はあるが

マウスグリグリで乱数吐く/dev/randomと原理的には同じもの

**デフォルトの名無しさん** · 2022/04/22(金) 13:48:09.59

そもそもteeから非同期に投げたプロセスが順序良く出力することを期待するのがおかしいわけで
何のコマンドでもいいが、それを暗喩する名前のheadとtailというチョイスがツボに嵌まって面白い
というか>>688は狙ってやってるだろ

pidやマウス座標とか拾って改善目指すとかは無粋

**デフォルトの名無しさん** · 2022/04/22(金) 14:06:12.36

字面とその挙動、足すことも引くことも躊躇われる簡潔さ
完成し尽くされてるよな
今スレのベストコマンド賞にノミネートしたい

**デフォルトの名無しさん** · 2022/04/22(金) 14:37:33.47

ユーモア部門なw
プロセス置換がposixで無いのだけが惜しいが、一番面白いワンライナーなのは間違いない

**デフォルトの名無しさん** · 2022/04/22(金) 17:37:52.50

>>703
tailのほうにsleep 0.1でも入れとけば充分安定するな。

**デフォルトの名無しさん** · 2022/04/22(金) 17:51:31.59

そこまでやるならもういっそ行番号振って最後にソートしろよ…

**デフォルトの名無しさん** · 2022/04/22(金) 17:55:41.86

というか、気紛れさが可愛いという話なのに安定させてどうする

**デフォルトの名無しさん** · 2022/04/22(金) 19:07:59.33

もうとっくに解決してるので…
爆弾落としてった誰かが悪い

>>687でいいと思うが、あえて添削するとすれば、まずコマンド置換は不要
grep pat file | { for i in {1..10}; do read line; echo "$line"; done; tail; }

再利用したいならパラメトライズが面倒なブレース展開を避けるべき(パラメータ展開より先)
{1..10} -> $(seq $n)

もちろんwhileでカウントしてもいい、どちらの版も適当なファイルで取り敢えず動作確認済

**デフォルトの名無しさん** · 2022/04/22(金) 19:10:33.14

まちがい
✗コマンド置換
↓
✔プロセス置換
です

**デフォルトの名無しさん** · 2022/04/24(日) 09:09:54.95

質問です

if [-z $cmwt ]の-zは何なん？

**デフォルトの名無しさん** · 2022/04/24(日) 09:26:53.94

プーチン親衛隊

**デフォルトの名無しさん** · 2022/04/24(日) 10:21:41.54

$ man [

**デフォルトの名無しさん** · 2022/04/24(日) 10:30:43.78

>>715
そういうのいらないっす.

>>716
[　がコマンドなんすね　そのオプション　-z　the length of STRING is 0 だとfalse?

**デフォルトの名無しさん** · 2022/04/24(日) 10:41:04.67

bash$ help test | grep -A1 -e '-z'

**デフォルトの名無しさん** · 2022/04/25(月) 23:07:17.30

>>717
あのさ、シェルスクリプトをちゃんと勉強しろよ！
「入門UNIXシェルプログラミング―シェルの基礎から学ぶUNIXの世界」という本があるんだけど、これを読めば何もかもわかるよ。

**デフォルトの名無しさん** · 2022/04/26(火) 02:19:34.78

UNIX シェルスクリプト・コマンドブック第3版、山下哲典、2015

**デフォルトの名無しさん** · 2022/04/26(火) 09:41:05.59

[ がコマンドで、ゆえに直後にスペースが必要
というのは初心者が見落としやすいところではある

**デフォルトの名無しさん** · 2022/04/26(火) 12:36:05.16

シェルスクリプトの基礎をすっとばして
いきなりコマンドの使いこなしから始めましょう
みたいなのは害悪だと思う
シェル芸から始めるんじゃなくて、シェルスクリプトを勉強すべき

**デフォルトの名無しさん** · 2022/04/26(火) 12:54:52.42

言い出したら切りがないけどコンピューターの仕組みからやるべき

**デフォルトの名無しさん** · 2022/04/26(火) 14:33:11.23

もうシリコンの採掘からやれや！

**デフォルトの名無しさん** · 2022/04/26(火) 18:21:48.39

多結晶シリコンのインゴットは作ったことあるわ

**デフォルトの名無しさん** · 2022/04/26(火) 18:31:04.23

その辺の河原で拾った事ならあるな

**デフォルトの名無しさん** · 2022/04/26(火) 19:24:30.73

金の採掘もやっとくか…

**デフォルトの名無しさん** · 2022/04/26(火) 19:31:31.14

今年は天候不良で収穫量が少ないとか

**デフォルトの名無しさん** · 2022/04/26(火) 19:32:36.15

まずはマニュアルくらい一通り読まんとな
俺は座り無精なのでマニュアルだけ読んでマスターした気になってる言語の方が多いくらい（）

**デフォルトの名無しさん** · 2022/04/28(木) 23:43:17.98

vimでshebangを自動で入力してくれる機能ありますか？

**デフォルトの名無しさん** · 2022/04/29(金) 00:29:58.42

＃！／ｕｓｒ／ｂｉｎ／ｅｎｖ　ｒｕｂｙ

**デフォルトの名無しさん** · 2022/04/29(金) 00:34:04.74

スレ違いだと思うけどまあ一応
:autocmd BufNewFile *.sh [コマンド]

put='#! /path/to/sh'
多分dieとかgetoptとかtrap含めたテンプレを用意して日付とかファイル名とかお前の名前とか置換
r /path/to/tmpl.sh | s/__DATE__/\=strftime('%Y-%m-%d')/

未テスト

**デフォルトの名無しさん** · 2022/04/29(金) 00:49:51.62

>>732
ありがとうございます、:autcmdですか

**デフォルトの名無しさん** · 2022/06/21(火) 19:32:07.61

スペースを含む複数のファイル名を一括でリネームしたいんですが、上手い方法はありますか？
スペース無しならfind+sed+xargsで行けるのですが

**デフォルトの名無しさん** · 2022/06/21(火) 20:31:37.09

\x20で行けたりしないかな

**デフォルトの名無しさん** · 2022/06/21(火) 20:45:32.09

findのオプションでprint0とかしたらいけないんだっけ？

**デフォルトの名無しさん** · 2022/06/21(火) 21:06:17.83

>>734
そういうのsed使って加工するとだいたい壊れるｗ
ファイル名を置換するシェルスクリプトを作れ
あとはそれをfind -execで呼び出せばいいだけ

**デフォルトの名無しさん** · 2022/06/21(火) 21:13:42.89

それからあとはどんなリネームをしたいのかを書くこと

**デフォルトの名無しさん** · 2022/06/22(水) 19:28:36.54

Ruby で作ってみた

ファイル名に含まれる全ての半角空白を、アンダーバーへ変換する。
ただし、DryRun なので実際には変更されません。
ファイル名が変更された時に、既に同名のファイルが存在する場合は、エラーとする

require 'fileutils'
require 'set'

# 絶対パスのディレクトリ名の後ろに、* を付けること！
# . で始まる、隠し directory, file を除く
glob_pattern = "C:/Users/Owner/Documents/test/*"
target_dir = File.dirname( glob_pattern ) # ディレクトリパスだけを取り出す

# そのディレクトリ内の全てのファイル名だけを抜き出す
old_filenames = Dir.glob( glob_pattern ).map { |full_path| File.basename( full_path ) }
old_filenames_set = Set.new( old_filenames ) # エラー処理用に、set にも入れる

# ファイル名に含まれる全ての半角空白を、アンダーバーへ変換する
new_filenames = old_filenames.map do |filename|
new_fn = filename.tr( " ", "_" )
# ファイル名が変更された時に、既に同名のファイルが存在する場合は、エラー！
if new_fn != filename
raise "ファイル名 #{ filename } が重複します！" if old_filenames_set.include?( new_fn )
end

new_fn
end

次へ続く

**739** · 2022/06/22(水) 19:29:18.14

前の続き

# ファイル名を変更する
old_filenames.zip( new_filenames ) do |old_filename, new_filename|
# 変換されなかったファイルは、処理しない
next if old_filename == new_filename

old_path = target_dir + "/" + old_filename
new_path = target_dir + "/" + new_filename

FileUtils::DryRun.move( old_path, new_path)
end

**デフォルトの名無しさん** · 2022/06/22(水) 21:31:19.80

スペース含みの対処はレコード区切りを'\0'にすること
(普通だったら'\n'区切り)

find ... -print0 | sed -z 's/...//' | xargs -0 ...

renameが目的なら1レコードをsedで2レコードに分割して、
xargs -0 -n2 mv で受け取ることになるんじゃない？
パイプに流れてるものを見たけりゃxxdでも使えばいい

**デフォルトの名無しさん** · 2022/06/22(水) 23:59:58.34

なんだそれ

**デフォルトの名無しさん** · 2022/06/23(木) 00:51:47.61

>>734
どんなリネームかによるけど、renameコマンドは?

**デフォルトの名無しさん** · 2022/06/24(金) 22:25:26.43

for n in { 1 2 3 }
do
echo $n
done
ってバグ？

**デフォルトの名無しさん** · 2022/06/24(金) 22:30:30.37

手元のshellで気に入らない動作でもしたのか？
誰かが書いたコードがおかしい話か？

**デフォルトの名無しさん** · 2022/06/24(金) 23:20:53.20

ループに{}も含めたいのならバグじゃないし
含めたくないならバグかもしれない
知らんがな

**デフォルトの名無しさん** · 2022/06/25(土) 00:54:30.97

バグだったみたいです

**デフォルトの名無しさん** · 2022/06/25(土) 01:42:22.54

波括弧って文法上意味を持つ（フォークしないグルーピング）から含まれないのは正しい挙動だろう

**デフォルトの名無しさん** · 2022/06/25(土) 10:28:24.73

え？バグダッドが見たいだって？

**デフォルトの名無しさん** · 2022/06/25(土) 10:29:40.74

>>748
波括弧はただの予約語やで

**デフォルトの名無しさん** · 2022/06/25(土) 16:56:56.58

>>750
よくわからん指摘
予約語か文法として意味持つかは直交する話でしょう

**デフォルトの名無しさん** · 2022/06/25(土) 19:46:30.70

>>751
その他の予約語 if

お前 echo if が、文法上ifという意味を持つなんて思うの？ｗ

**デフォルトの名無しさん** · 2022/06/25(土) 19:49:57.18

予約語が特殊な意味を持つのは
コマンドの最初に使ったときだけ
わからんかねぇｗ

**デフォルトの名無しさん** · 2022/06/25(土) 21:07:44.33

えっ？

**デフォルトの名無しさん** · 2022/06/25(土) 21:39:41.82

man bashにも、{ }には注意しろ、て書いてあるくらいやからな。

**デフォルトの名無しさん** · 2022/06/26(日) 12:28:30.09

>>753
いかれてやがる

**デフォルトの名無しさん** · 2022/06/26(日) 19:26:23.55

お前が無知なだけやろｗ
{ } は文法上は特別な意味を持たない

**デフォルトの名無しさん** · 2022/06/27(月) 15:46:57.73

外出しの関数ファイルってどんな名前にしてる？
特に拡張子

**デフォルトの名無しさん** · 2022/06/27(月) 16:49:42.17

関数が書いてあってsourceで読み込むファイル？
名前は何が聞きたいのか知らんけど拡張子は
POSIX準拠で作るときは.shで、bash用なら.bashかな

**デフォルトの名無しさん** · 2022/06/27(月) 18:23:34.81

>>759
そそsourceで読み込むやつ
やっぱそんな感じだよね

前に参画してたプロジェクトでは.prfだったから最初？ってなった
ちなみに変数外出しするなら？

**デフォルトの名無しさん** · 2022/06/27(月) 20:23:09.07

変数だけ区別する必要ないやろ？
.shか.bash

**デフォルトの名無しさん** · 2022/06/28(火) 01:11:34.56

コマンドとしては使えないスクリプトファイル、ということで、拡張子を別にしたい気持ちはわかる。
検索しやすくなるしな。

**デフォルトの名無しさん** · 2022/06/28(火) 05:39:12.64

関数しか書いてないやつはコマンドとして使えないんだから
それと同じでいいやん

**デフォルトの名無しさん** · 2022/06/28(火) 10:28:28.56

>>762
なるほどそういう考えか

**デフォルトの名無しさん** · 2022/07/01(金) 00:50:47.17

独自拡張子は嫌われる

**デフォルトの名無しさん** · 2022/07/02(土) 11:14:35.24

bashというかシェル全般について質問です

シェル内で変数定義(例えばTEST="test")して
Java(jar)プログラムを呼び出してその中で環境変数(TEST)を
取得すると値"test"が得られます
シェル内の変数とは環境変数と同義なのでしょうか？
単なるスコープの違いでしょうか？

**デフォルトの名無しさん** · 2022/07/02(土) 12:12:57.61

どっかで export TEST されてるんじゃ

**デフォルトの名無しさん** · 2022/07/02(土) 15:06:57.46

>>767
語弊があったかもしれませんが
シェル内で変数定義とJavaプログラムの呼び出しをしています
具体的には以下のような感じです

・sample.bash
#!/bin/bash
TEST="test"　# この変数が環境変数と同義？
/usr/bin/java -jar Sample.jar
exit 0

・Sample.jar (Sample.java)
public class Sample {
　public static void main(String[] args) {
　　String str = System.getenv("TEST");　// 値"test"が取得可能
　　System.out.println(str);
　}
}

**デフォルトの名無しさん** · 2022/07/02(土) 15:46:05.19

そのシェル以外のどこかでexportされてる可能性もなくはない

**デフォルトの名無しさん** · 2022/07/02(土) 15:52:50.74

>>768
sample.bash を起動するシェルで unset TEST してから実行してみて
docker で試したけどちゃんと null が出力されたよ

**デフォルトの名無しさん** · 2022/07/02(土) 16:06:22.74

UNIXという生き方

**デフォルトの名無しさん** · 2022/07/02(土) 16:07:36.00

>>769
>>770
すみません見落としている箇所があって
きちんとexportしていました
そりゃそうですよね…

**デフォルトの名無しさん** · 2022/07/02(土) 16:12:42.46

>>772
ええんやで
解決したようでよかった

**デフォルトの名無しさん** · 2022/07/02(土) 18:48:20.54

しかし普通はそんなのが定義されていたからって
だからなんだ？っていう話なんだよな

シェルスクリプト総合 その37

シェルスクリプト総合その37