シェルスクリプト総合その36

**デフォルトの名無しさん** · 2021/02/25(木) 09:20:14.64

シェルスクリプトに関する総合スレッドです。

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。
・「○○（他の言語）でいいやん」は禁止。他のスレに行ってください。

前スレ: シェルスクリプト総合その35
https://mevius.5ch.net/test/read.cgi/tech/1606221440/

関連スレ
・【Bash】Windows Subsystem for Linux【WSL】9
https://mao.5ch.net/test/read.cgi/linux/1607589861/
・Bashでプログラミング [転載禁止](c)2ch.net
https://mao.5ch.net/test/read.cgi/linux/1443885102/
・シェルスクリプト総合その28
https://mevius.5ch.net/test/read.cgi/unix/1533154936/
・zsh その７
https://mevius.5ch.net/test/read.cgi/unix/1337844883/
・過去UNIXで使われていた ksh というシェルについて
https://mevius.5ch.net/test/read.cgi/unix/1582358403/
・【POSIX】UNIXプログラミング【BSD】 [転載禁止](c)2ch.net
https://mevius.5ch.net/test/read.cgi/unix/1443103705/
・おまえら！ shell は何を使っているんですか？
https://mevius.5ch.net/test/read.cgi/unix/1012330865/

**デフォルトの名無しさん** · 2021/02/25(木) 09:20:36.91

・特記なき場合、POSIX準拠シェルが既定です（古きBourneシェルはほぼ絶滅しました）
　POSIX準拠シェルは(d)ash, bash, zsh, (m)ksh, yash, posh, (p)boshです
　参考 https://unix.stackexchange.com/questions/145522/
　特定のシェルの専用機能に依存する場合は明示しましょう（特にPOSIX準拠シェルではないfish, (t)csh等）
・POSIX準拠シェルのおすすめは？→多く使われているのはDebian/Ubuntu系のdashです
・bashでいいじゃん→bashがインストールされてない環境があります。環境によってデフォルトシェルの実体は異なります
　　Debian系 … dash　　　CentOS系 … bash　　　Alpine … busybox ash　　Android … mksh
　　FreeBSD … ash　　　Solaris,OpenBSD … ksh
　　macOS … bash（Single UNIX Specification準拠のために一部動作が異なる）
・macOSはzshなんだよね？→ログインシェルがzshに変わっただけで/bin/shはbash 3.2です
・シェルスクリプトは可搬性を持たせるために可能な限りPOSIXに準拠しましょう
　仕様 http://pubs.opengroup.org/onlinepubs/9699919799/
・シバンになにを使えばいいの？→POSIX準拠してるなら#!/bin/sh、bashなら#!/bin/bashか#!/usr/bin/env bash
・bash依存はなるべく避けましょう。自覚なきbashism。シバンが#!/bin/shなのにbashに依存する構文を使っていませんか？
・Bourneシェル（≒POSIXシェル）はPOSIX標準化前にUNIXで使われていたシェルで多くの亜種が存在します
　Version 7 UNIXのshに一番近いのはOpenSolaris由来のHeirloom Bourne Shell、次点でSchily Bourne Shellのoboshです
　　Heirloom Bourne Shell: sh http://heirloom.sourceforge.net/sh.html
　　Schily Bourne Shell: obosh http://schilytools.sourceforge.net/bosh.html
　歴史的資料 https://www.in-ulm.de/~mascheck/
・csh/tcshでのシェルスクリプトは*まったく推奨しません*
　　参考 http://www.speech-lab.org/~hiroki/csh-whynot.euc
・Linux/UNIXにはシェルスクリプトに便利な小さなコマンドがいろいろあります。Manページや各種リンクを見ましょう
・ワイルドカード・パターンは正規表現ではありません。正規表現の話題は正規表現スレへ
・シェル芸とシェルスクリプトは全く異なります
・シェルスクリプトのことをシェルってゆうな

**デフォルトの名無しさん** · 2021/02/25(木) 18:11:17.11

知ってるガススタのことだよね

**デフォルトの名無しさん** · 2021/02/26(金) 02:56:16.05

資源メジャーをカススタとか、視野の狭い奴は生きてて恥ずかしくないのかな

**デフォルトの名無しさん** · 2021/02/28(日) 14:32:38.25

なんだか誤解を招く表現ばかりだけど、
https://gigazine.net/news/20210227-posix-parallel-shells-xargs/

2GBをzip圧縮するような重たい処理を並列化する場合は、pthreadよりxargsのほうが、"僅かに"有利なようだ

**デフォルトの名無しさん** · 2021/02/28(日) 14:53:29.82

xargsやparallelのほうが簡単
job control的にはparallelのほうが優れてたはず

**デフォルトの名無しさん** · 2021/02/28(日) 14:54:49.97

xargsってPOSIXでは作れない機能でも使ってるの？
xargsってFreeBSDでもmacOSでも動くよね？

**デフォルトの名無しさん** · 2021/02/28(日) 15:01:05.15

>>5
> 2GBをzip圧縮するような重たい処理を並列化する場合は、pthreadよりxargsのほうが、"僅かに"有利なようだ

当たり前じゃね？スレッド切り替えのオーバーヘッドがないんだから
マルチコア（マルチCPU）なら複数プロセスで実行したほうが速いでしょ？

**デフォルトの名無しさん** · 2021/02/28(日) 15:07:08.34

つまりこれはマルチスレッド vs マルチプロセスの話で
一般的にはマルチスレッドの方がパフォーマンスは良いが
マルチスレッドだと共有リソースの排他制御などをする必要があるから
共有リソースがない場合はマルチプロセスのほうがパフォーマンスが良くて
POSIXとはなんの関係もないよねって意味ね

**デフォルトの名無しさん** · 2021/02/28(日) 15:11:12.46

>>5
> 2GBをzip圧縮するような重たい処理を並列化する場合は
2GB・・・関係ない
zip圧縮・・・関係ない
重たい処理・・・関係ない

> pthreadよりxargsのほうが、"僅かに"有利なようだ
xargs・・・関係ない

共有リソースがなくて排他制御をする必要がない処理を並列化する場合は
マルチスレッドよりマルチプロセスで実装したほうが、"僅かに"有利なようだ

これが正しいかな

**デフォルトの名無しさん** · 2021/02/28(日) 15:15:22.13

POSIXによって能力を制限されてるって書いてあるけど

https://linuxjm.osdn.jp/html/LDP_man-pages/man7/standards.7.html
> POSIX.1c
> IEEE Std 1003.1c-1995. POSIX スレッドインターフェースについて記載している。

POSIXスレッドは1995年？ぐらいに登場した新しいPOSIXで
xargsで使われてるマルチプロセスはずっと前から使えるPOSIXじゃん？
POSIXで実装されてるのにPOSIXで能力を制限とか意味わからん

**デフォルトの名無しさん** · 2021/02/28(日) 15:21:32.20

>>8
やりかたしだいやろ。
Apacheなんかは、マルチプロセスモデルよりもマルチスレッドなイベントモデルのほうが(一部を除いて)パフォーマンスが高いとされてる。

**デフォルトの名無しさん** · 2021/02/28(日) 15:31:23.99

Apache(とか)はfork+execのオーバーヘッドが無視できないってのだな
処理単位が1秒以内とかで済む、処理単位がガシガシ来るなら当然

でもまあ>>8は間違ってるかな。>>9で訂正してるようだけど

**デフォルトの名無しさん** · 2021/02/28(日) 16:02:00.25

外国にもPOSIXを勘違いして解釈したPOSIX中心主義みたいな奴がいるんか？ｗ
POSIXは主にC言語のインターフェースなんだから、POSIXで標準化されたコマンド以外でも
POSIXインターフェースを使って作られたコマンドもPOSIXに準拠してることになるんだって

POSIXは、POSIXで規定されたコマンドだけを使って
それ以外はシェルスクリプトで独自開発しましょうって規格じゃねーだろ？
POSIXのC言語のインターフェース使ってコマンド使ってもいいだろ？
そして自分じゃなくて誰かがOSSとかで作ったコマンドもバンバン使っていいだろ？
可搬性？OSSなら可搬性あるるからどこでも使えるコマンドだろ

**デフォルトの名無しさん** · 2021/02/28(日) 17:07:15.88

>>10
もしも時間のかからない処理だったら、プロセス生成にかかるコスト差のほうが上回るんじゃね？

**デフォルトの名無しさん** · 2021/02/28(日) 20:14:25.47

これどうなんだろ、xargsの方は1プロセス1ファイルだけど、pigzは複数スレッド1ファイル
なんでしょ。
だったらpigzも1スレッド1ファイルで複数ファイルを同時処理するモードがあればどうなのかと。

いずれにせよ元の話はいろんな条件が混ざっていて気持ち悪い感じがする。

**デフォルトの名無しさん** · 2021/02/28(日) 20:17:39.23

GNUのxargsというのでじゃあPOSIXのxargsを考えると、
POSIXのxargsだと例えば引数の数を1にしても(-n1)、プロセスが並列には走らないのか。
waitを使うようなシェルスクリプトとかでGNU xargsの-Pと似たようなことはできるかな?
というわけでこのスレ的な流れに持っていけるかな? w

**デフォルトの名無しさん** · 2021/02/28(日) 20:27:29.22

可哀想なのがおるな

**デフォルトの名無しさん** · 2021/03/01(月) 03:10:12.92

>>17
xargsはPOSIXじゃないぞ

**デフォルトの名無しさん** · 2021/03/01(月) 03:28:09.40

https://pubs.opengroup.org/onlinepubs/9699919799/utilities/xargs.html

**デフォルトの名無しさん** · 2021/03/01(月) 03:34:18.55

あ、POSIXにあるのかｗ
ってことはxargsは使っていいけど-Pは
POSIXじゃないから使わないって言ってるのか？
ほんとPOSIX中心主義みたいなこと言ってるなｗ

**デフォルトの名無しさん** · 2021/03/02(火) 15:59:01.27

この部分がどうしても繋がりません

if [ {find "$line" -maxdepth 1 -mindepth 1 -type d | wc -lc } -eq 0 ] ; then
echo "hoge"
fi

これがどうしても出来ません
find "$line" -maxdepth 1 -mindepth 1 -type d | wc -lcだけだと出来るんですが、それを演算式に繋げようとすると私が思いつく限りは何をどういじっても動きません
パイプを更に不等式で繋げるのがよくないと思うんですが
どうしたら直りますか？

**デフォルトの名無しさん** · 2021/03/02(火) 16:47:44.09

$()

**デフォルトの名無しさん** · 2021/03/02(火) 16:50:56.84

>>22
{}じやなくて、$()なんじゃないの？
標準出力の内容と「0」を比較するのなら。

**デフォルトの名無しさん** · 2021/03/02(火) 16:55:13.39

まけた。。。

ちなみに、"$()"のほうが安心。

**デフォルトの名無しさん** · 2021/03/02(火) 17:15:53.31

だがwcを使うのがイケてない

**デフォルトの名無しさん** · 2021/03/02(火) 17:24:52.22

wcだと改行コードがね

**デフォルトの名無しさん** · 2021/03/02(火) 18:08:15.82

$ printf abc | wc -l
0

こうなるって話？
行数を数えるより良いロジックはなんだろうか

**デフォルトの名無しさん** · 2021/03/02(火) 18:29:23.93

何にも該当するのがないかどうかって判断でしかないのに、余計なこと考えたんじゃね

wcを使うのがイケてないって他の行数を数える方法でなのか？？
単に出力があるか無いかだけでかと思った

**デフォルトの名無しさん** · 2021/03/02(火) 18:41:11.07

-lc ってどっちやねんもあるか。それか？いや違うか
どっちかにしろってのは存在してるけど

**デフォルトの名無しさん** · 2021/03/02(火) 18:47:50.24

おお！
なんかエラーがそれっぽくなって近づきました
エスケープ文字で引っかかってる感じですけど
ありがとうです

**デフォルトの名無しさん** · 2021/03/02(火) 18:54:51.13

すいません
-lcのcはいつの間にか間違えて入ってしまってたみたいです
ただのミスです
申し訳ない

**デフォルトの名無しさん** · 2021/03/02(火) 18:57:13.79

なる。いや、謝るほどでもない。でも、まあ、いいなその姿勢w
頑張れ

**デフォルトの名無しさん** · 2021/03/02(火) 18:57:26.63

0にしてるのは簡易的なテストで
フォルダが1かつファイルが0ならば下層フォルダの階層を全部あげようとしてた感じでした
これもまたもっと良い方法があるのかもしれまん？

**デフォルトの名無しさん** · 2021/03/02(火) 20:26:31.82

$ printf abc | grep -c .

でええんちゃうちゃう

シェルスクリプト総合 その36

シェルスクリプト総合その36