シェルスクリプト総合その29

2018/09/22(土) 11:53:21.38

!extend:on:vvvvv:1000:512
!extend:on:vvvvv:1000:512
シェルスクリプトに関する総合スレッドです。

スレ立て時は以下の文を先頭行に加えて下さい。
後のつけ忘れ防止の為に複数行重ねて追加推奨
!extend:on:vvvvv:1000:512

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。

前スレ
シェルスクリプト総合その28
http://mevius.5ch.net/test/read.cgi/tech/1532397676/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/12/01(土) 12:34:48.97

さほど盛り上がっとらんやろw
人と関われよw

2018/12/02(日) 02:44:47.66

まあ　使える言語は多いほうが手広いわな

2018/12/02(日) 17:31:01.53

>>776
知ってる一つの言語でなんでもしようとしちゃう
っていう意味かとおもてた

2018/12/02(日) 18:30:06.74

自由に安くやってが最も困る。

2018/12/04(火) 18:22:49.34

find(1)ユーティリティの速度に関しての疑問なんだけど
https://linuxjm.osdn.jp/html/GNU_findutils/man1/find.1.html#lbAO
ここに
「検査 -name を -type の前に置いているのは、すべてのファイルに対して stat(2) システムコールを行う無駄を省くためである。」
とある。これは「find(1)は-nameのほうが-typeより処理速度が速い」ということを言っているよね。
実のところ手元ではfindが優秀すぎるのか知らんが-nameを-typeより前に書いても後に書いても速度に変化はなかった。
が基本的にはfindで複数の条件を指定するときは-nameを先頭あたりに置いたほうがいいのかな。
findのソースコードを見てないので推測になるが-permや-newerもstat(2)を実行してるぽいので-nameより遅い筈。

2018/12/04(火) 18:56:51.46

statが遅いと言うのも幻想

2018/12/04(火) 19:07:42.58

最近のファイルシステムはreaddirでタイプが取得できるよ

2018/12/06(木) 00:12:43.36

>>783
http://linuxjm.osdn.jp/html/GNU_findutils/man1/find.1.html#lbAE
-Olevel
1
これはデフォルトの最適化レベルであり、伝統的な動作に当たる。式を並べ替えるとき、ファイル名にのみ基づいた検査 (たとえば、 -name や -regex) が先に実行されるようにする。

2018/12/06(木) 09:10:09.33

>>786
へえ！そうなんだ。
ってことはGNU/Linux使ってる限りは順番はどうでもいいんだな
ありがとう。

2018/12/06(木) 15:10:37.27

引数に一律にコマンドで操作を施したあと、それらをもう一度引数として扱うにはどうすればいいかな
$ a.sh arg1 arg2 arg3
みたいに起動されたとして$1,2,3にはarg1,2,3が入ってる。
これを$(echo $1 | tr '[:lower:]' '[:upper:]')みたいなコマンド置換を使ってARG1,2,3みたいに変形させる。
問題はこの後にa.shの中の別のコマンドに
somecmd "$@"
のような形でARG1,2,3を与えたいってこと。
while [ $# -eq 0 ]とshiftを使う普通のやりかたではループを抜けた後に$@が空になってしまう。
どうにかして引数の構造を維持したいんだけども……。

2018/12/06(木) 16:06:47.11

>>788
eval set -- $(printf ' "$(printf "%%s" "$%d" | tr "[:lower:]" "[:upper:]")"' $(seq $#))

2018/12/06(木) 16:38:57.36

>>789
ありがとう。

2018/12/12(水) 21:07:46.42

ここかどうかわからんのだけど、メールの添付ファイルのテキストCSV部分を切り出してDB格納しようと思ったら、
シェルスクリプトでヘッダから切り出すしかない？

2018/12/12(水) 21:36:28.16

そういう専用ツールがないんだったらそうだろうな

2018/12/13(木) 19:34:10.52

>>550
別件でググっていたら、言及しているドキュメント見つけた
${1+"$@"} で動かないシェルもあるようだ

http://web.sfc.wide.ad.jp/~sagawa/gnujdoc/autoconf-2.59/autoconf-ja_10.html

> 最も有名なシェルの移植性の問題の一つは，`"$@"'との関連です．位置に依存する引数が無いとき，
> POSIXでは`"$@"'を何もないことと等価になっていますが，オリジナルのUnixバージョン7の
> Bourneシェルはその代わりに`""'として扱い，この動作はDigital Unix 5.0のようにそれ以降の実装でも提供されています．
>
> この移植性の問題を回避する伝統的な方法は，`${1+"$@"}'を使用することです．
> 残念ながら，この手法はMac OS Xでも使用されている，Zsh (3.x と 4.x)では動作しません．
> Bourneシェルをエミュレートしているとき，Zshは `${1+"$@"}'で単語の分離を実行します．

2018/12/16(日) 07:48:44.86

Bashってシングルクォートの内部でない限りバックスラッシュでシングルクオートを直接エスケープできるんだな。
マニュアルにも書いてないけど他人のスクリプト見て発見した。
$ squo=\'
$ echo $squo
'
↑こうできる。Bashは楽でいいなぁ

2018/12/16(日) 09:07:44.57

>>794
水を差すようで悪いがposixで規定されているから他のシェルでも同じになる

2018/12/16(日) 09:55:51.26

なぜそれを特別に思ったのかわからんけど他は出来なかったりするの？

2018/12/17(月) 19:35:33.43

\ はエスケープだし使う事はあるので特に目新しい感じはしない。

sambaでファイルサーバ作ってWindowsからもファイルが書かれるような状況だとファイル名にスペースだの括弧だの普通に入れられてLinuxでログインしている端末からだとエスケープせざるを得なかったりする。
俺の場合はそれで一文字だけエスケープはよく使う。

2018/12/17(月) 21:17:48.10

Linuxで普通にファイル名にスペース入れられるんだから
sambaとかwindowsは全く関係ないけどね

2018/12/17(月) 23:45:58.91

CUI使いとGUI使いの違いだな
CUIでわざわざくそめんどくさいスペースなんぞを好き好んでは使わない。GUIではふつーにわかりやすくもなるから使う、普通に入れるのはあたりまえ

2018/12/17(月) 23:52:42.27

めんどくさくないけど？エアプなんキミ？

2018/12/17(月) 23:54:51.53

有志のコードに
ファイル名が空白入りだと事故るものがあったような？

自分は
安全とって全部アンダーバー変換しておく

2018/12/18(火) 00:10:28.35

>>800
めんどくさいめんどくさくないはまあ人次第だけどな
CUIでなんやかんやキーボード打ってる時に、エスケープしたり"や'囲ったり、そもそもスペースはもろもろコマンドでデリミッターだったりで、めんどくさいと思うけどな
人次第ではあるが、そゆのが想像できなずにエアプと言えるのがエアプっぽいと思わなくもない

2018/12/18(火) 01:24:02.71

>>801
有志って言ってもタダの素人だっただけの話じゃん

2018/12/18(火) 03:02:35.05

>>798
もちろんファイル名には / 以外は何でもありだが Linux だけ使ってると普通はあまりそういうファイル作らないじゃない。一々エスケープしなきゃならないしシェルスクリプトで扱いづらいし。
まあ趣味の問題ではあるけどな。

2018/12/18(火) 03:52:25.12

libreofficeから「報告書 2018-12-18」という名前で保存することの何が面倒なのか？

2018/12/18(火) 05:00:11.76

うわあ

2018/12/18(火) 05:48:13.89

ファイル名にスペースが使えるOSが悪いんだって言いたいのかな？ｗ

2018/12/18(火) 06:17:30.36

>>802
アルファベットや数字打つのとなんら変わらんけど？
そもそもシェルには補完ゆうもんがあるんやでエアプさんw

2018/12/18(火) 09:37:03.21

>>805
ああ。WindowsみたいにGUIメインで使ってるの？それだけだったら面倒じゃないかもね。

2018/12/18(火) 10:24:35.01

>>808
なにをいいたいのかイミフすぎだな、プロフェッショナルwすぎて
補完時にもバックスラッシュ打たなきゃならんだろ？打たなくていい環境なの？そういう環境もあるんだよ
なんかただ馬鹿にしたいだけのお人か？しょうもない

2018/12/18(火) 12:13:46.40

なんで自分以外みんな非効率って思ってるのここの人たち
最強は俺だから落ち着けよ

2018/12/18(火) 12:15:53.17

Tabキー押すと自動で保管したり変換したりしてくれる場合は楽かも。
楽ってだけで見た目エスケープだらけの見辛い状態にはなるが。

2018/12/18(火) 12:25:17.53

>>810
はいはいエアプさんはそろそろお昼寝の時間でちゅよ～w

2018/12/18(火) 15:34:29.41

アホすぎなレスで笑うww

2018/12/18(火) 15:42:44.01

こいつらプログラム言語はシェルスクリプトしか使ったこと無いんか？
シェルスクリプトは珍しく引数の文字列をクォート（もしくはダブルクォート）で
くくるのが必須じゃない言語だが他の言語は殆どクォートでくくるんだぞ

"foobar" も "foo bar" も入力のしやすさに大差ないだろ
エスケープが必要なのは \ 等であってスペースはエスケープ不要なごく普通の文字なんだが
いつものことだが（シェルスクリプト以外の）経験の差を感じるよな

2018/12/18(火) 16:01:13.36

何をお怒りか存じませんが、括らなくてもいいから括らないのが普通になるんでございますよ。当然括るのが必須なら括るのが普通。シェルスクリプトでもスクリプトファイル書くときは変数展開では普通に括るし
コマンド叩くときにはいつも括ってるの？？

2018/12/18(火) 16:03:24.94

>スクリプトファイル書くときは
ああ、ワンライナーなんぞでもだな。ここんとこ間違い／不要

2018/12/18(火) 16:21:43.27

>>816
> 何をお怒りか存じませんが、
わかってないのか？スペースが含まれてるファイル名に対応するのは
プログラマとして当然の話だということだよ

2018/12/18(火) 16:24:38.45

>>818
別にそれは普通だな。>>816でそう書いているんだけど？
そんな話じゃないぞ。自分の範疇でが主な話だよ？俺はな

2018/12/18(火) 16:28:29.69

>>819
わかってないのに、途中から割り込んでくるなよ
最初からLinuxでもファイル名にスペースを入れるのは普通だって言ってるだろ
sambaとかwindowsは全く関係ない

2018/12/18(火) 16:33:56.90

>>820
>>815 で具体的に誰かになんて言ってないやん
ああ、それに対しても>>799だっただけどなあw また、>>818と同じ意味で>>797に対しても
わかんねえかなあw経験を生かしてご理解ください

2018/12/18(火) 16:56:33.71

アホすぎなレスで笑うww

2018/12/18(火) 17:14:23.03

WindowsだとC言語とかでパスの区切りが \ になってて毎回 \\ と入れなきゃいけないのも面倒だな。
実は / でも大丈夫だったりはするが。

2018/12/18(火) 17:18:15.10

今はパスにスペース入れるのも普通だし、対応もできるけど
トラブルのもとは根絶したいから、自分は使わない、それだけ

2018/12/18(火) 17:24:06.70

>>822
ww ざんねんなこって。いろいろとw

2018/12/18(火) 17:31:06.24

パスをコマンドの引数にする必要がある場合、
例えば、hogecommand　--foo_option="filepath=[パス],otheroption=bar" なんていうのがある時、
パスにスペースが入っていると、コマンド自体がパースするときに一工夫がいる。
シングルクォートが使えるシェルならいいが、Windowsのように使えないものもあるから、
バックスラッシュなどでエスケープしたり、コマンドが以下の様な別の区切り文字を用意していたりする。
--foo_option=[filepath="/path/with space/",otheroption=bar]

対処方法がなかなか見つからないこともあり、面倒くさいので、
自分からすすんでスペースを入れようとは思わない。

2018/12/18(火) 17:46:09.05

× パスにスペースが入っていると、コマンド自体がパースするときに一工夫がいる。
○ コマンドの引数の形式を適当に決めると、パースするときに一工夫がいるようになってしまう。

2018/12/18(火) 17:50:36.86

ちなみに気づいていないようだから言うと
>>826はパスにスペースが入っていると困る問題ではない

hogecommand　--foo_option="filepath=/path/with space/,otheroption=bar"

,でsplitして、○○=を消せばいいだけだから何も困らない
この例で困るのは、パスにカンマが含まれている場合であって
スペースではない

2018/12/18(火) 18:16:22.51

>>828
ああ、わるい、オプションの階層が一段階足らなかった。

hogeコマンドが、別のライブラリ（foo）のオプションを呼ぶような場合に、

hogecommand --hoge_option=foo_option="filepath=[パス],otheroption=bar"
hogecommand --hoge_option "--foo_option filepath=[パス],otheroption=bar"

こんなパターンがあって、そのままではやはりパースに一工夫が必要で面倒くさい。
ちなみに、上はmpv、下はyoutube-dlで使われている。

2018/12/18(火) 18:19:12.99

別のコマンドを呼び出すなら、別のコマンドにそのまま渡せばよかろう？

hogecommand　--foo_option="どんな内容でも"

betsucommand どんな内容でも

はい。おしまい

2018/12/18(火) 18:24:29.26

ちなみにファイル名により柔軟なのはWindowsよりも寧ろLinux（というかUnix系）だぞ。
Windowsは「con」とか「aux」とかも駄目だしバックスラッシュやコロンが含まれても駄目。
Unix系のOSは「\0（空文字）」と「/（スラッシュ）」だけが不適合で，あとは全ての文字をファイル名として
使用できる。

2018/12/18(火) 18:35:11.65

開業コードもつかえるのはまれにネタになる

2018/12/18(火) 22:33:16.76

>>810
今時はWindowsのコマンドプロンプトだって必要に応じてエスケープしてくれるぞ？

2018/12/18(火) 22:34:34.10

>>831
\0も使えたと思うが...
消せなくなったりするけどさ

**デフォルトの名無しさん** (JP 0H8b-O0Yg) · 2018/12/18(火) 22:57:59.19

>>834
消す前に作れねーだろ

2018/12/18(火) 22:59:29.33

消せるわこのエアプw

2018/12/18(火) 23:44:21.87

名前に\0を含むファイルは作れないと思うけど。
少なくともPOSIXでは禁止されているし，http://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap03.html#tag_03_170
ext4でも作成できない。

……「エアプ」はどっちだろう。

2018/12/18(火) 23:56:48.31

正直ファイル名に\0が使えようが使えまいが
シェルスクリプトで\0が扱えないのでどうでもいい

2018/12/19(水) 04:45:08.43

エアプってなんなん？

2018/12/19(水) 07:27:20.06

¥x00

2018/12/19(水) 12:42:42.59

>>839
おまえらの事やんw

2018/12/20(木) 00:17:43.13

Airぷ

2018/12/20(木) 00:39:10.52

for i in {0..255}; do touch "./hoge$(printf "\x$(printf "%02x" $i)")foo"; done

2018/12/22(土) 13:28:39.38

エロ動画サーフィンで広告サイトが開いてしまったら、
デスクトップのシェルスクリプトにドラッグアンドドロップすることで
そのサイトのIPアドレスをHOSTSファイルに追加する

2018/12/22(土) 13:59:19.13

なんていうことをしていたら、hostsファイルの行数が
数千行になってしまった

2018/12/23(日) 08:08:03.20

sedだと簡単に動く一文字以上の半角スペースを一文字スペースに置換するコレ
echo "$strings" | sed -E 's/ {1,}/ /g'
bashだとどーしてもうまく動かず次のように[]で囲ってやるとなんとか全連続スペースじゃなく一部
だけが置換できた。
${strings// [ \{1,\}]/ }
それ以上どうしようもなかったので、次のような関数を作った
function Rep2One(){
local str=$1
local chr=$2
while :
do
str="${str//$chr$chr/$chr}"
if [[ ! $str =~ $chr$chr ]]; then
break
fi
done
echo "$str"
}

srings=`Rep2One "$strings" " "`

これで任意の2文字以上の連続を1文字に置換できたが、
sedみたいに一発でかっこよく記述できない？
至る所でbashからsedやgrep起動してたんだが、
bashのなかでできることはbashだけでやった方が大分速いことがわかったんで
なんとかbashの正規表現だけでやりたい

2018/12/23(日) 08:14:34.77

なんでそんなに正規表現に拘るのかわからん

#!/bin/sh
while IFS= read -r line; do
echo $line
done

　

2018/12/23(日) 12:09:04.04

>>847
おお、早速
thx
単に知らなかっただけです。
任意文字の繰り返しを1文字に置換したいときはどーするんですか？

2018/12/23(日) 12:13:13.41

結局、bashの正規表現は2文字以上全置換を記述できないんですかね？
bashの正規表現でわからないことがいろいろあるんですよ。
文頭置換したいとき'^'に相当するのはどう書くかとか？

2018/12/23(日) 13:58:44.05

ま、とりあえずこれでも見ろ。

bashの変数内文字列置換まとめ
https://qiita.com/aosho235/items/c36568830a8d47288284

2018/12/23(日) 14:09:56.35

>>848
IFSで指定しろ

2018/12/23(日) 14:18:28.55

でもってこれ。bash のパス名展開。

https://linuxjm.osdn.jp/html/GNU_bash/man1/bash.1.html#lbBG

この中に +(pattern-list) というのがある。
なので例えばこんなことも出来る。

a="a b c d" # ← 複数のスペースを適当に入れた文字列を a にセット
b="${a//+( )/ }" # ← 全ての1文字以上のスペースを1文字のスペースに変換して b にセット

2018/12/23(日) 15:08:28.31

>>848
ちょっと目的と違うかもしれんが
trコマンドの-sオプションもお勧めだよ。
POSIXで定められているので汎用性高いし、あとawkやsedを使う方法より若干高速

2018/12/23(日) 15:10:20.98

外部コマンドを呼び出している以上
遅くなることに変わりはない

2018/12/23(日) 16:10:20.07

「awkやsedを使う方法より」

2018/12/23(日) 16:20:58.12

「awkやsedを使う方法より若干高速
と言ったって外部コマンドを呼び出している以上
遅くなることに変わりはない」

**デフォルトの名無しさん** (ｱﾒ MM59-wUZI) · 2018/12/23(日) 16:57:53.53

awkやsedより遅いの？違うでしょ？日本語勉強しなよ。

2018/12/23(日) 17:02:15.89

bashだけでやるより遅いって話をしてる所に
awkやsedよりも早いって言うことに意味がないと言ってる

2018/12/23(日) 17:12:57.88

まーた始まったよ（ﾊﾟﾘﾎﾟﾘ

2018/12/23(日) 17:15:39.87

　　　　　　　　　　　　）ｿ）
　　　　　　　　　　ｯλ　ﾉ（.,ﾉ)
　　　　　　　　　（ﾞ-　..::.::.　.　（
　　　　　　　 (ソ.　 .彡⌒ミ.　）ｿ)
　　　　　　　　）.::'; (´･ω･`) ｽ (
　　　　　　　ｿ　.::;';'（つ ⊂）::;';'`～､.
　　　　　　　(　　:;';' |__∧_|　::;';' 　ヽ）
`'~`'''`'`'`~'~~`~~'`'`''''"`'`'`''`''''"`'``'~`''`'~`'''`'`'`~
　さあ禿げ上がってまいりました

2018/12/23(日) 17:15:41.10

しーかたないねー（ﾊﾟﾘﾎﾟﾘ

2018/12/23(日) 17:46:37.96

あ？やんのかこら

2018/12/23(日) 17:47:26.96

>>857
質問者の意図を汲み取りましょうｗ

2018/12/23(日) 20:07:54.91

今時汲み取り式なんて・・・

2018/12/23(日) 20:36:12.95

>>852
ほんと感謝します
ようやくすっきりしました。
そのサイトにも行き着いていたのですが、ちゃんと読めていませんでした
ありがとうございました。

>>853
trコマンドは知ってますし、今回も使いました。
今回の処理は結局、全処理c++で書き直したりもしてるんで、
他のツール使えばできるとかの情報は全く必要なく
あくまでもbash単体で処理するにはどうするかということでここで質問しました
bashでの正規表現に関する情報があまりなくて、
20年ほど前に買ったオライリーのbash本にも正規表現の記載が一切なく
bashの正規表現に制限があるならそれを教えてもらうことも目的でここで聞きました。

2018/12/26(水) 09:38:30.84

watchで表示更新時間ごとに変数の加算は出来ませんか？

2018/12/26(水) 11:17:37.79

無理。自分でwatchを実装しろ

2018/12/26(水) 11:19:29.41

訂正自分でシェルスクリプト版watchを実装しろ

2018/12/30(日) 08:42:00.02

区切り文字を指定して文字列を分割するときに
区切り文字が一種類の場合はcut(1)とかを使うし
区切り文字がBREで表わされるような場合はAWKを使うけど
各フィールド毎に特定の区切り文字があるような時はどうすればいいかな。

今やろうとしていることはISO 8601形式の日付を空白区切りに分解することで
2018-12-30T08:36:50+09:00
↑こういう文字列を
2018 12 30 08 36 50 + 09 00
↑こういう空白区切りに分解したい。
その為には「第1,2,3フィールドはハイフン，第4フィールドは文字T，第5,6,7フィールドはコロンで分割する」
っていう具合の処理を考えないといけない。
正直，sedを使えばいいんだけど，もうちょっとスマートな方法があれば教えてほしい……。
sedだと↓
sed -n -e 's/$[[:digit:]]\{4\}$-$[[:digit:]]\{2\}$-$[[:digit:]]\{2\}$T$[[:digit:]]\{2\}$:$[[:digit:]]\{2\}$:$[[:digit:]]\{2\}$$[+-]$$[[:digit:]]\{2\}$:$[[:digit:]]\{2\}$/D:\1\2\3\4\5\6\7\8'"'"'\9/1p'
↑こんなことになるw

2018/12/30(日) 10:20:55.12

>>869
入力形式が確定しているから単純化して
sed 's/[-+:T]/ /g'
とかはどう？

2018/12/30(日) 10:23:20.84

>>870
書き込んでから気づいたがこれだと+の周りが処理できないな

2018/12/30(日) 10:40:37.85

>>871
そうなんだよね……
もし+に特殊な処理をしないならば
tr '-+:T' ' '
で一発なんだけど、できないんだよ。

2018/12/30(日) 10:53:56.67

sed 's/+/ + /;s/[-:T]/ /g'
では？？

2018/12/30(日) 11:01:57.94

>>869
#!/bin/sh
t="2018-12-30T08:36:50+09:00"
IFS="-T:+"
set -- $t
echo $1 $2 $3 $4 $5 $6 + $7 $8

2018/12/30(日) 11:08:31.89

タイムゾーンはマイナスありか

2018/12/30(日) 11:25:42.74

sed 's/-/ /;s/-/ /;s/$[+-]$/ \1 /;s/[:T]/ /g'
なんか泥臭いけど

2018/12/30(日) 11:28:51.37

#!/bin/sh
t="2018-12-30T08:36:50+09:00"
IFS="-T:+"
set -- $t
case ${t%?????} in
*+) echo $1 $2 $3 $4 $5 $6 + $7 $8 ;;
*-) echo $1 $2 $3 $4 $5 $6 - $7 $8 ;;
esac

2018/12/30(日) 11:32:49.36

date -d "2018-12-30T08:36:50-09:00" "+%Y 略" （飽きた）

2018/12/30(日) 11:48:16.88

>>874
それだとアメリカとかのタイムゾーン-03:00に対応できなくね？

シェルスクリプト総合 その29

シェルスクリプト総合その29