シェルスクリプト総合 その36

■ このスレッドは過去ログ倉庫に格納されています
2021/02/25(木) 09:20:14.64ID:ZyJLXTlk
シェルスクリプトに関する総合スレッドです。

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。
・「○○（他の言語）でいいやん」は禁止。他のスレに行ってください。

前スレ: シェルスクリプト総合 その35
https://mevius.5ch.net/test/read.cgi/tech/1606221440/

関連スレ
・【Bash】Windows Subsystem for Linux【WSL】9
https://mao.5ch.net/test/read.cgi/linux/1607589861/
・Bashでプログラミング [転載禁止](c)2ch.net
https://mao.5ch.net/test/read.cgi/linux/1443885102/
・シェルスクリプト総合 その28
https://mevius.5ch.net/test/read.cgi/unix/1533154936/
・zsh その７
https://mevius.5ch.net/test/read.cgi/unix/1337844883/
・過去UNIXで使われていた ksh というシェルについて
https://mevius.5ch.net/test/read.cgi/unix/1582358403/
・【POSIX】UNIXプログラミング【BSD】 [転載禁止](c)2ch.net
https://mevius.5ch.net/test/read.cgi/unix/1443103705/
・おまえら！ shell は何を使っているんですか？
https://mevius.5ch.net/test/read.cgi/unix/1012330865/
2021/02/25(木) 09:20:36.91ID:ZyJLXTlk
・特記なき場合、POSIX準拠シェルが既定です（古きBourneシェルはほぼ絶滅しました）
　POSIX準拠シェルは(d)ash, bash, zsh, (m)ksh, yash, posh, (p)boshです
　参考 https://unix.stackexchange.com/questions/145522/
　特定のシェルの専用機能に依存する場合は明示しましょう（特にPOSIX準拠シェルではないfish, (t)csh等）
・POSIX準拠シェルのおすすめは？→多く使われているのはDebian/Ubuntu系のdashです
・bashでいいじゃん→bashがインストールされてない環境があります。環境によってデフォルトシェルの実体は異なります
　　Debian系 … dash　　　CentOS系 … bash　　　Alpine … busybox ash　　Android … mksh
　　FreeBSD … ash　　　Solaris,OpenBSD … ksh
　　macOS … bash（Single UNIX Specification準拠のために一部動作が異なる）
・macOSはzshなんだよね？→ログインシェルがzshに変わっただけで/bin/shはbash 3.2です
・シェルスクリプトは可搬性を持たせるために可能な限りPOSIXに準拠しましょう
　仕様 http://pubs.opengroup.org/onlinepubs/9699919799/
・シバンになにを使えばいいの？→POSIX準拠してるなら#!/bin/sh、bashなら#!/bin/bashか#!/usr/bin/env bash
・bash依存はなるべく避けましょう。自覚なきbashism。シバンが#!/bin/shなのにbashに依存する構文を使っていませんか？
・Bourneシェル（≒POSIXシェル）はPOSIX標準化前にUNIXで使われていたシェルで多くの亜種が存在します
　Version 7 UNIXのshに一番近いのはOpenSolaris由来のHeirloom Bourne Shell、次点でSchily Bourne Shellのoboshです
　　Heirloom Bourne Shell: sh http://heirloom.sourceforge.net/sh.html
　　Schily Bourne Shell: obosh http://schilytools.sourceforge.net/bosh.html
　歴史的資料 https://www.in-ulm.de/~mascheck/
・csh/tcshでのシェルスクリプトは*まったく推奨しません*
　　参考 http://www.speech-lab.org/~hiroki/csh-whynot.euc
・Linux/UNIXにはシェルスクリプトに便利な小さなコマンドがいろいろあります。Manページや各種リンクを見ましょう
・ワイルドカード・パターンは正規表現ではありません。正規表現の話題は正規表現スレへ
・シェル芸とシェルスクリプトは全く異なります
・シェルスクリプトのことをシェルってゆうな
2021/02/25(木) 18:11:17.11ID:w3Ud6BUK
知ってるガススタのことだよね
2021/02/26(金) 02:56:16.05ID:BSvPs2+3
資源メジャーをカススタとか、視野の狭い奴は生きてて恥ずかしくないのかな
2021/02/28(日) 14:32:38.25ID:BgTYpoJY
なんだか誤解を招く表現ばかりだけど、
https://gigazine.net/news/20210227-posix-parallel-shells-xargs/

2GBをzip圧縮するような重たい処理を並列化する場合は、pthreadよりxargsのほうが、"僅かに"有利なようだ
2021/02/28(日) 14:53:29.82ID:797yScED
xargsやparallelのほうが簡単
job control的にはparallelのほうが優れてたはず
2021/02/28(日) 14:54:49.97ID:JYcgL82Q
xargsってPOSIXでは作れない機能でも使ってるの？
xargsってFreeBSDでもmacOSでも動くよね？
2021/02/28(日) 15:01:05.15ID:XNBptB7O
>>5
> 2GBをzip圧縮するような重たい処理を並列化する場合は、pthreadよりxargsのほうが、"僅かに"有利なようだ

当たり前じゃね？ スレッド切り替えのオーバーヘッドがないんだから
マルチコア（マルチCPU）なら複数プロセスで実行したほうが速いでしょ？
2021/02/28(日) 15:07:08.34ID:XNBptB7O
つまりこれはマルチスレッド vs マルチプロセスの話で
一般的にはマルチスレッドの方がパフォーマンスは良いが
マルチスレッドだと共有リソースの排他制御などをする必要があるから
共有リソースがない場合はマルチプロセスのほうがパフォーマンスが良くて
POSIXとはなんの関係もないよねって意味ね
2021/02/28(日) 15:11:12.46ID:XNBptB7O
>>5
> 2GBをzip圧縮するような重たい処理を並列化する場合は
2GB・・・関係ない
zip圧縮・・・関係ない
重たい処理・・・関係ない

> pthreadよりxargsのほうが、"僅かに"有利なようだ
xargs・・・関係ない

共有リソースがなくて排他制御をする必要がない処理を並列化する場合は
マルチスレッドよりマルチプロセスで実装したほうが、"僅かに"有利なようだ

これが正しいかな
2021/02/28(日) 15:15:22.13ID:0S62sz9G
POSIXによって能力を制限されてるって書いてあるけど

https://linuxjm.osdn.jp/html/LDP_man-pages/man7/standards.7.html
> POSIX.1c
> IEEE Std 1003.1c-1995. POSIX スレッドインターフェースについて記載している。

POSIXスレッドは1995年？ぐらいに登場した新しいPOSIXで
xargsで使われてるマルチプロセスはずっと前から使えるPOSIXじゃん？
POSIXで実装されてるのにPOSIXで能力を制限とか意味わからん
2021/02/28(日) 15:21:32.20ID:VQYtUoBE
>>8
やりかたしだいやろ。
Apacheなんかは、マルチプロセスモデルよりもマルチスレッドなイベントモデルのほうが(一部を除いて)パフォーマンスが高いとされてる。
2021/02/28(日) 15:31:23.99ID:N8V7r+yZ
Apache(とか)はfork+execのオーバーヘッドが無視できないってのだな
処理単位が1秒以内とかで済む、処理単位がガシガシ来るなら当然

でもまあ>>8は間違ってるかな。>>9で訂正してるようだけど
2021/02/28(日) 16:02:00.25ID:CBZyHOS6
外国にもPOSIXを勘違いして解釈したPOSIX中心主義みたいな奴がいるんか？ｗ
POSIXは主にC言語のインターフェースなんだから、POSIXで標準化されたコマンド以外でも
POSIXインターフェースを使って作られたコマンドもPOSIXに準拠してることになるんだって

POSIXは、POSIXで規定されたコマンドだけを使って
それ以外はシェルスクリプトで独自開発しましょうって規格じゃねーだろ？
POSIXのC言語のインターフェース使ってコマンド使ってもいいだろ？
そして自分じゃなくて誰かがOSSとかで作ったコマンドもバンバン使っていいだろ？
可搬性？OSSなら可搬性あるるからどこでも使えるコマンドだろ
2021/02/28(日) 17:07:15.88ID:qG6bavOU
>>10
もしも時間のかからない処理だったら、プロセス生成にかかるコスト差のほうが上回るんじゃね？
2021/02/28(日) 20:14:25.47ID:O8DyCWfa
これどうなんだろ、xargsの方は1プロセス1ファイルだけど、pigzは複数スレッド1ファイル
なんでしょ。
だったらpigzも1スレッド1ファイルで複数ファイルを同時処理するモードがあればどうなのかと。

いずれにせよ元の話はいろんな条件が混ざっていて気持ち悪い感じがする。
2021/02/28(日) 20:17:39.23ID:O8DyCWfa
GNUのxargsというのでじゃあPOSIXのxargsを考えると、
POSIXのxargsだと例えば引数の数を1にしても(-n1)、プロセスが並列には走らないのか。
waitを使うようなシェルスクリプトとかでGNU xargsの-Pと似たようなことはできるかな?
というわけでこのスレ的な流れに持っていけるかな? w
2021/02/28(日) 20:27:29.22ID:pff3D6mj
可哀想なのがおるな
2021/03/01(月) 03:10:12.92ID:UPXhvHyB
>>17
xargsはPOSIXじゃないぞ
2021/03/01(月) 03:28:09.40ID:RTWwkQ1E
https://pubs.opengroup.org/onlinepubs/9699919799/utilities/xargs.html
2021/03/01(月) 03:34:18.55ID:UPXhvHyB
あ、POSIXにあるのかｗ
ってことはxargsは使っていいけど-Pは
POSIXじゃないから使わないって言ってるのか？
ほんとPOSIX中心主義みたいなこと言ってるなｗ
2021/03/02(火) 15:59:01.27ID:NSMtG/TQ
この部分がどうしても繋がりません

if [ {find "$line" -maxdepth 1 -mindepth 1 -type d | wc -lc } -eq 0 ] ; then
echo "hoge"
fi


これがどうしても出来ません
find "$line" -maxdepth 1 -mindepth 1 -type d | wc -lcだけだと出来るんですが、それを演算式に繋げようとすると私が思いつく限りは何をどういじっても動きません
パイプを更に不等式で繋げるのがよくないと思うんですが
どうしたら直りますか？
23デフォルトの名無しさん
垢版 |
2021/03/02(火) 16:47:44.09ID:5tuGRxIW
$()
2021/03/02(火) 16:50:56.84ID:kOL3oDu9
>>22
{}じやなくて、$()なんじゃないの？
標準出力の内容と「0」を比較するのなら。
2021/03/02(火) 16:55:13.39ID:kOL3oDu9
まけた。。。

ちなみに、"$()"のほうが安心。
2021/03/02(火) 17:15:53.31ID:qy7/OUMA
だがwcを使うのがイケてない
27デフォルトの名無しさん
垢版 |
2021/03/02(火) 17:24:52.22ID:5tuGRxIW
wcだと改行コードがね
2021/03/02(火) 18:08:15.82ID:qy7/OUMA
$ printf abc | wc -l
0

こうなるって話？
行数を数えるより良いロジックはなんだろうか
2021/03/02(火) 18:29:23.93ID:bIA4j74d
何にも該当するのがないかどうかって判断でしかないのに、余計なこと考えたんじゃね

wcを使うのがイケてないって他の行数を数える方法でなのか？？
単に出力があるか無いかだけでかと思った
2021/03/02(火) 18:41:11.07ID:bIA4j74d
-lc ってどっちやねんもあるか。それか？いや違うか
どっちかにしろってのは存在してるけど
2021/03/02(火) 18:47:50.24ID:NSMtG/TQ
おお！
なんかエラーがそれっぽくなって近づきました
エスケープ文字で引っかかってる感じですけど
ありがとうです
2021/03/02(火) 18:54:51.13ID:NSMtG/TQ
すいません
-lcのcはいつの間にか間違えて入ってしまってたみたいです
ただのミスです
申し訳ない
2021/03/02(火) 18:57:13.79ID:bIA4j74d
なる。いや、謝るほどでもない。でも、まあ、いいなその姿勢w
頑張れ
2021/03/02(火) 18:57:26.63ID:NSMtG/TQ
0にしてるのは簡易的なテストで
フォルダが1かつファイルが0ならば下層フォルダの階層を全部あげようとしてた感じでした
これもまたもっと良い方法があるのかもしれまん？
2021/03/02(火) 20:26:31.82ID:1DoNrFvk
$ printf abc | grep -c .

でええんちゃうちゃう
2021/03/02(火) 20:28:20.11ID:1DoNrFvk
あ、間違えた

$ printf abc | grep -c ''

だった
2021/03/02(火) 21:37:15.67ID:11FPPCA/
>>34
>フォルダが1かつファイルが0
？？
>下層フォルダの階層を全部あげようとしてた
？

調べるフォルダで内包するのがファイルも無くフォルダ一つ
って言っていることになると思うけど
ありそうなのは、中身空っぽのフォルダ だけど、それとは違うのか
調べるフォルダ(始点のフォルダ)直下のフォルダだけでなくそれ以下の階層でもの空のフォルダを探そうとしてる
ってことなのかなあ
2021/03/02(火) 21:38:12.22ID:gQx0ks5j
KARA「呼んだ？」
■ このスレッドは過去ログ倉庫に格納されています
5ちゃんねるの広告が気に入らない場合は、こちらをクリックしてください。
ニューススポーツなんでも実況