シェルスクリプト総合 その29
■ このスレッドは過去ログ倉庫に格納されています
!extend:on:vvvvv:1000:512
!extend:on:vvvvv:1000:512
シェルスクリプトに関する総合スレッドです。
スレ立て時は以下の文を先頭行に加えて下さい。
後のつけ忘れ防止の為に複数行重ねて追加推奨
!extend:on:vvvvv:1000:512
全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。
前スレ
シェルスクリプト総合 その28
http://mevius.5ch.net/test/read.cgi/tech/1532397676/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured >>663
tarはハイフン無しでオプションを書くといい感じに並べ替えてくれる つまり
-aVAR
-xyza VAR
みたいなのは許容して
-axyz VAR
は許容しないようにすればいいのかな。
まあ結局一文字オプションを扱う方法はくっそ遅いルーチンなのだがw こうしてみました。
短いオプションの解析ルーチンの遅さは改善してませんが
値を取るオプションの解釈を皆さんから提示された方式に変えました。
https://paste.ubuntu.com/p/n7m8qZHwMb/ こういういったシェルスクリプトを書くの大変なので自動的に生成してくれるのがあればいいですけどね。
Pythonのdocoptみたいな。 >>670
そういったシェルはそもそも必要とされとらんのやぞ
出来るからといってやりすぎになるのはバカの悪癖やw
改めた方がええでおまえw ふつーに、getopts でええやん！
入力補完を使ったら、別にコマンドが長くてもわかりやすさ優先でかまへんわ。 Ruby にも、OptionParser, ARGV.getopts などのモジュールがあるので、自作などしない >>667
遅い原因はcutを使うからなんだけどねｗ
>>668
__cnt_opd__のせいでごちゃごちゃしてる。
なんに使ってるかと思ったら、番号出してるだけだよな？
オプションは普通順番には依存しないので最終的には不要なはずだ。
逆に分かりづらくなるから、こういうのは書かないほうが良いぞ
もしくはその部分を関数に分離してそっちでカウントするとか
あと並べ替えてもいいんだな
>>670
よし、作るんだ！
>>673
作者「なかったから自作したんやで」 余計な変数を消したり、被演算子の部分を外出ししたりした
https://paste.ubuntu.com/p/p7VwzJZ8Hv/
あとオレがリファクタリングするときによくやるんだが、
（他人の）リファクタリングする前のコードは長いことが多い
全体を把握しやすくするためにあえて一行にしたりして短くしている。
最終的にこのような書き方をするというわけではなくて一時的な処置 あと、これもしたな。こんな部分、あとでどうとでもなるんだからここでやることじゃない
長いオプション1: long-opt
長いオプション2: opt-req-par; 'foo bar'
↓
長いオプション1: --long-opt
長いオプション2: --opt-req-par; 'foo bar' caseの後の変数はダブルコーテーションで括らなくていいって知ってた？ 長いオプションの部分をフラットにした。
https://paste.ubuntu.com/p/Y4nTQBnTFw/
あとはクソめんどくさい一文字の部分だな。
どうするか考えとらんのだがｗ
仕様は変えるかもしれん。 あ、いくつかパっと見でわかるミスがｗ
まあ途中のコードは参考だから
俺がどうやってリファクタリングしているか とりあえずは大まかな仕様は変えてない
https://paste.ubuntu.com/p/SQFnqmCJs2/
変数をなくそうか、でもそうすると再帰ありの関数を追加するか
setを使わないといけなくてごちゃごちゃする。
いろいろ悩んだがとりあえずそのままにしている。
cutの呼び出しはなくしたので速くなってるはず。
といっても、この程度だとLinuxなら体感できないはずなんだがWSLでやってる？
1文字オプションの分解の所がやはり面倒だな。
知らないオプションはエラーにするようにすれば、
1文字を抜き出す必要はなくなるかもしれないが >>670
> Pythonのdocoptみたいな。
あと一応あるで
https://github.com/docopt/docopts
goバイナリでオプション解析して、シェルスクリプトで
evalできるコードを出力して、そのコードで環境変数を
設定するという仕組みで、純粋なシェルスクリプト実装ではないけど ちなみにオプション解析の部分は一般的に最初に一回だけ行う部分なので
被らないようにしたり、無理して変数をなくす必要はないんだけどね >>674
オプションの番号は，競合するオプションが指定された時に後者を優先する目的です。
rm -i -f
としたときに「確認する」のではなく「強制的に消し」たいので。
alias rm='\rm -i'
の状態でrm -fとしたときは確認オプションが有効になるんじゃなくて強制的に消去したいよね？ >>682
エスパーかな？
その通り。WSLでやってる。なるほどLinuxネイティブではcutを一文字ごとに呼び出しても十分早いのかな？ 連投すまん。
ちなみにどうやら汎用性のあるシェルスクリプトではローカル変数というのはsetを使わない限り実現できないようで，
そしてsetは今まさに解析すべき引数郡がが格納されているので安易に書き換えられない。
だからPythonの慣例を参考にして前後にアンダースコアを二つ続けて（無意味だけど）ローカル変数であることを示してるつもり。 ${numbar:-0}←これすごいアイデアですね。
シェルスクリプトの冒頭でnumber=0とかで初期化しなくても、
「カウンターを初期化するのは値が設定されてないときである」ことを利用して変数展開を行なうのか。 >>685
> オプションの番号は，競合するオプションが指定された時に後者を優先する目的です。
それなら変数に入れておけば良いんだよ。
競合するオプションなら、変数を同じにしておけば良い
基本的に「オプションの解析」では変数に値を入れるのみ
その場で処理はしない。変数に入れた値が後者で上書きされるから
必然的に後者が優先される
> その通り。WSLでやってる。なるほどLinuxネイティブではcutを一文字ごとに呼び出しても十分早いのかな？
time dash -c 'i=0; while [ $i -lt 1000 ]; do echo a | cut -c 1 > /dev/null; i=$((i+1)); done'
Linuxでこれを実行すると約1秒。WSLでこれを実行すると15秒。fork（サブプロセス生成）が行われるとこれだけの差がでる
元々forkは遅いのだが、WSL上だと更に輪をかけて遅くなるのがわかる
これをforkなしのシェルだけで実行できる同等のコードに置き換えるとWSLで50ミリ秒に減る。Linuxだと20ミリ秒にへる
time dash -c 'i=0; while [ $i -lt 1000 ]; do v=abc; v=${v%"${v#?}"}; echo $v >/dev/null ; i=$((i+1)); done'
もっともforkなしのコードは万能ではなく、文字列の最初の一文字を取るために「文字列の最初の一文字を取り除いた残り」を
求めてから、全体から抜き取っているために、文字列が長くなると極端に遅くなる。
文字列を1文字ずつ処理するコードを書いたとして、1000文字〜1万文字程度が限界。（数秒〜数十秒かかる）
それ以上の長さの文字列を1文字ずつ処理するコードを書くならsedあたりで1文字ずつに分解して処理したほうが良いだろう
POSIX準拠しなくていいなら${v:0:1} を使ったほうが速いと思う（計測はしてない）
だけど一般的なオプション程度の長さであれば十分速い。少なくともcutを使うよりも遅くなることはないだろう >>668
今回は長いコードが邪魔だったので使ったけど、
例えばnumberが環境変数としてexportされていたりしたら
おかしいことになるので最初に初期化するほうが良いけどね
毎回パラメータ展開してるからわずかとはいえ遅くなるだろうし
それよりも、所見では使い道がわからない
${var:+value}の方が凄いアイデア
シェルを作った人はよくもまあこんな応用例が
高いものを作ったもんだと思うよ test <string>は<string>が非空に限り成功するのね。これも知らんかったわ……。 しつこくてすまん。
シェルスクリプトの引数解析の話なんだが
（-cが引数を取るオプションとして）
「$ somecmd -c -- --not-a-opt」
っていうコマンドラインにおいて，
・「--」を-cオプションの引数として見るか
・「--」はいかなる場所（オプションの引数の位置だとしても）においても
以降が被演算子であることを示すものであると見るか
どっちが自然だろう。GNU getoptは前者の解析結果を出すけど恐らく内部的には後者の解釈で
エラーになる。 引数取るなら何であれ引数に決まってるだろ
どうでもいいけどさ、その被演算子ってのやめてくんない？
演算子なんて登場してないんだから operandって被演算子のことだと思うんだけど。
まあ「--」を引数と見るってことね。ありがとう。 >>696
はい。どうも。 exprとか引数が何かしらの式であるものは
演算子以外の部分が被演算子（オペランド）になることはありえるけど
なんでもかんでもオペランドなわけではないよね ああ。ほんとだ。The Open Groupの文書を参考にする限り
somecmd -c XXX FILE
とあった場合被演算子はFILEでXXXはオプション引数だね。勘違いしてた。 Qiitaで知ったけどこの構文便利だね。
${VAL+:} false
↑これで$VAL変数が空文字だろうが定義されてさえいれば真，そうでなけば偽。
今まで[ -n ]と[ "x$VAL" = "$VAL:-x" ]とか組み合わせてたけどこれでスッキリ解決。
コマンド呼び出しも少なくなるから微妙に処理速度も上がるだろうし。
ただ難点は，test構文を用いた方法より遥かに難読になること。${VAL+:} false←これで何をやってるかなんて注釈がないと分からん。 >>699
なんだそりゃ？ 相変わらずのQiitaクオリティなのか？
変数が定義されているかの一般的なチェック方法はこれだろ？
[ "${VAR+1}" ] 定義されてるかどうかってどういう時に用いるんだ
C言語やってた頃は二重インポート防ぐためとかやってたけど同じような感じ？ >>700
「一般的」かどうかは知らない。それともその形式がより多く使われているという根拠があるのかな？
いずれにしてもコロンコマンド（と変数展開）がシェルのビルトインとしてPOSIXで定められているのに対して
testコマンドはPOSIXにおいては外部コマンド。尤もBashやZshではシェルに組み込まれてるけど。
外部コマンドを呼び出すのとシェルの内部でコマンドを展開するとでは後者のほうが早いよ。
君にとっては「Qittaクオリティ」でも，速度が優秀なのは君が提示したほうじゃなく「Qittaクオリティ」の方。 dashでも[はシェル組込だね。実際testユーティリティを外部コマンドに頼ってるシェルって今現在存在しているのだろうか。
Heirloom shellあたりだとありえそう（試してないけど） > 「一般的」かどうかは知らない。それともその形式がより多く使われているという根拠があるのかな？
ぐぐればコレばっかり見つかるはずだが？
> testコマンドはPOSIXにおいては外部コマンド。尤もBashやZshではシェルに組み込まれてるけど。
全てのシェルで [ はビルトインだ
シェルに組み込まれていないというものがあれば教えてくれ falseコマンドはPOSIXでシェルのビルトインではない
もっともどのシェルでもビルトインになっているが >>704
> ググればこればっかり
ほう，それは知らなかった。pws=0にしたGoogle検索英語版では${VAR+:}が多いように見受けられるな。
> 全てのシェルで[はビルトイン
test(1)ユーティリティは，あくまでPOSIXにおいて組込ユーティリティじゃないという話。
根拠はこれ: http://pubs.opengroup.org/onlinepubs/9699919799/idx/sbi.html
> シェルに組み込まれていないというものがあれば教えてくれ
ご査収ください→https://www.unix.com/man-page/v7/1/sh/#neo-man-page-output >>706
falseがビルトインって話じゃなかったの？ｗ > ほう，それは知らなかった。pws=0にしたGoogle検索英語版では${VAR+:}が多いように見受けられるな。
"${VAR+:}"で検索したけど5件しかなかったよ？
"${VAR+x}"だと約 3,410,000 件 >>707
以下>>704の書き込みを引用
> > testコマンドはPOSIXにおいては外部コマンド。尤もBashやZshではシェルに組み込まれてるけど。
> 全てのシェルで [ はビルトインだ
> シェルに組み込まれていないというものがあれば教えてくれ
ということでfalse(1)ユーティリティの話ではなく
test(1)ユーティリティがシェル組込みかどうかという話でした。 ちなみにfalse(1)ユーティリティもPOSIXにおいてシェル組込みとして定められている訳ではない。 いや、俺が言ったことを復唱されてもこまるんだがｗ
ちなみにビルトインかどうかはPATHを空にして実行できるかどうかでわかるよ
builtinやtypeがないシェルもあるからね >>712
大差ないけど，ただ，もしもPOSIXで定めらていないのを理由にしてtest(1)ユーティリティを組み込んでいないシェルがあったとして
そのシェルにおいては変数展開（これは確実にシェルが仕事する）のほうがtest(1)ユーティリティをforkしてexecするより若干早いので
速度は${VAR+:}のほうが上。 >>713
typeはPOSIXで定められているので，もしないシェルがあればPOSIX互換ではない。
つまり「ビルトインコマンド」なんていう概念はないかもしれないので，そんなことを調べるのは無駄に思えるな。 へー、poshはPOSIX互換じゃなかったのか
>Debian Policy に準拠した普通のシェル
>posh は、pdksh の軽装版であり、Debian ポリシーの準拠を目指し、 いくつかの特別な機能を付け加えたものです。
>
>警告: Debian の /bin/sh スクリプトの多くは、実際はポリシーに準拠していると は限りませんので、
>posh を /bin/sh として使うと破損箇所が判明するかもしれま せん。
って書いてある割に大したことないな まあ ここまでPOSIX POSIX連呼しときながらアレだけども，
別にシェルってPOSIX shに準拠してる必要性なんてまったくないよなw
poshも「POSIX互換じゃないシェル」として，便利に使えるようになればそれでいい。
実際，俺は使っていないものの，同級生にはfishを勧めてる。 それじゃ俺も言っておかなきゃいかんのか？
まあ ここまでPOSIX POSIX連呼しときながらアレだけども，
別にシェルってPOSIX shに準拠してる必要性なんてまったくなくて
POSIXに準拠していなくても、現実にPOSIX互換の標準シェルとして
デフォルトシェルで採用されているのであればそれに対応すべきだと思っている
だから、dash、（busybox）ash、bash、ksh あたりは対応必須で
zsh、posh、yash、あたりは優先度が低い。mksh、pdkshは
デフォルトシェルとして採用されている事例があるのかわからんが 俺は現実主義なんでね。標準とか仕様がどうこうよりも
現実としてそれは選択肢にならないのであれば、選択肢にならないし
非標準でも選択肢としてなり得るのならそれを使う >>715
その前提条件で言えば false も組み込みじゃないかもしれないのだから同じじゃないの？
変数が定義されていれば false は実行されないけど、未定義かどうかを確認したいから
実行するわけで。
ただ、fork and exec に関して言えば test コマンドが 1.1ms, false コマンド は 0.8ms 程度
(コマンドバイナリのテキストセクションがメモリキャッシュされている場合で、実行環境は
Intel Xeon E3-1220 3.1GHz/Linux kernel 4.15.0/glibc 2.27)。何千回も実行する様なケース
なら違いが分かるかも。 POSIXでビルトインの方が速いって決まってるんだっけ？ >>725
外部コマンドはforkが発生するから結果的にビルトインの方が速い 多分，なんでもPOSIX POSIXと言うので，からかってやろうとしたんだろう。
「お前の主張は全部POSIXに起源があるのか？」ってな。
まあ結果としてはネタにマジレスの嵐だった訳だがw 必死すぎる言い訳のせいで逆にひかれてしまったパターンw echoでログを残そうとしています。
echo "メッセージ" > ログファイル
で、ログファイルはNASに保存しようと考えているのですが
NASがなんらかの原因で見えない場合、bashだと無視して処理を続けるのに
cshだと、echoのとこで止まってしまいます。
止まらないようにする方法とかないですか？ >>734
その「何らかの原因」を解決するのが先決じゃねーの？
素知らぬ顔でログ残ってないならそこで止まってもらった方が良くね？ >>734
NFSならマウントオプションである程度はなんとかなるのでは？
Windowsの共有(cifs)の場合は知らない。しかし何かオプションあると思うけどね。 なぜかアホの子ってnfsをローカルファイルシステムと同様に信用しちゃうよね >>737
信用ってのは常につながると思っちゃうってこと？
それはいかんね NFS特有のエラーがあるとは思いもしなかったりするんだよな。
挙げ句の果てにファイルロックがうまく動かないとか言い出す。 所詮、ネットワークを介したファイル共有だからね
ディスクはアクセスできない = 故障 と考えていいけど
ネットワークは一時的な切断やエラー、大きな遅延が想定される
だからリトライやタイムアウトといった処理を行う
通常のディスクアクセスを行うコードは、こういった
ネットワーク特有の事象について考慮されてない場合が多い
だから（NFSの設定により）ネットワーク通信が正常に完了
できるまで待ち続ける（プログラムはタイムアウトしないのでフリーズした状態）
もしくは一時的な接続不良でエラー終了したりする シェルスクリプトの関数の名前の直後の括弧って あれはshに
「これは関数の名前ですよ」って教えるためのものっていう認識でOK?
foo() {
echo foo
}
↑こういうのの「()」。なんかCやらと同じように引数の指定とかができたらいいのにと
初心者ながら思ったんだけど そういう訳でもなさそうだし。 引数は $1, $2 とかで受け取る。
呼び出す側は普通のコマンド実行のように書く。 >>742
ともかく ( とか、普通使わない文字を挟んでおかないと、
foo {
だとただの引数になっちゃうから。 >>745
なるほど。
「(」はサブシェルの開始だと思ってたけど
そうでもないんだね……。
シェルの構文ってちょっと難しいことすると途端に複雑怪奇になるな（俺の頭の問題かも知れんがw）
対話的な利用を前提にした設計だから仕方無いとは言え、Pythonみたいに対話状態でもバッチ状態でも扱いやすくできなかったのかな。 Pythonは構文が複雑怪奇すぎる
かっこは関数呼び出しの引数の開始だと思っていたのに
関数を定義するときにも使うらしい
とかいうだろうな そしてあらゆる言語が気に入らず、新たな言語がまた一つ作られるのであった。 − 世界には1,400もの競合するプログラミング言語があった −
「1,400だって！？ バカげてる！ み全ての用途をうまくこなす統一言語の開発が必要だ！」
「そのとおりだわ！」
やがて…
− 世界には1,401もの競合するプログラミング言語があった −
https://imgs.xkcd.com/comics/standards.png 中二だろうがなんだろうが良いソフトウェアを作ってくれればそれでいい。 >>757
そおやってすぐ他人に頼ろうとするからいつまでたってもクズなんやおまえ 目的を見失ってるよね
道具であるはずの言語そのものを作り出すってのは
だからって、なんでもアセンブラってわけにもいかないが 発明、改良と生産は違う
タイヤ、車輪で行われてるのは、発明ではなくて生産
発明こそ行われなくとも、小規模な改良は続いている
刀鍛冶も生産だろう。改良している人がいるのかは知らんが。
様々なデザインの洋服など、改良しているわけじゃないが
新しいものを作るっていうのはなんというべきだろうね
生産なんだが古い、新しいという概念はある。
だけど好みの違いでしか無いので改良とも違う
多くのものは改良されて続けているが、改良するためには
まず生産能力が必要。同じものを作れなければ改良はできないだろう 今の言語は最高とまでは言えない。
いつしか高級言語への進化が止まって、
単なる改良しか行われなくなってしまった
高級言語を超える、超高級言語が必要
俺にはそのアイデアがあるが、なにぶん能力がないｗ
目的は、超高級言語の開発だが、そのためには
まず言語が作れるようにならないといけないだろうな
ちなみに超高級言語のアイデアとは、現在設計書として
自然文で書いてあるものをプログラム言語として
記述可能にしようというもの。今の言語はモジュールやクラス構造までは
プログラム言語で記述できるが、プロジェクト全体の構造までは記述できない
例えば、Railsなどのフレームワークのmodelsやcontrollersといったディレクトリ構造は
プロジェクトで決まっているにもかからわず、ドキュメントで書くしかない。
だからmodelsに置くべきものをcontrollersにおいたり、modelsではやっては
いけないような処理をやることが出来てしまう。コンパイルエラーにも実行時エラーにもならない ■ このスレッドは過去ログ倉庫に格納されています
