シェルスクリプト総合その29

2018/09/22(土) 11:53:21.38

!extend:on:vvvvv:1000:512
!extend:on:vvvvv:1000:512
シェルスクリプトに関する総合スレッドです。

スレ立て時は以下の文を先頭行に加えて下さい。
後のつけ忘れ防止の為に複数行重ねて追加推奨
!extend:on:vvvvv:1000:512

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。

前スレ
シェルスクリプト総合その28
http://mevius.5ch.net/test/read.cgi/tech/1532397676/

VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured

2018/12/17(月) 19:35:33.43

\ はエスケープだし使う事はあるので特に目新しい感じはしない。

sambaでファイルサーバ作ってWindowsからもファイルが書かれるような状況だとファイル名にスペースだの括弧だの普通に入れられてLinuxでログインしている端末からだとエスケープせざるを得なかったりする。
俺の場合はそれで一文字だけエスケープはよく使う。

2018/12/17(月) 21:17:48.10

Linuxで普通にファイル名にスペース入れられるんだから
sambaとかwindowsは全く関係ないけどね

2018/12/17(月) 23:45:58.91

CUI使いとGUI使いの違いだな
CUIでわざわざくそめんどくさいスペースなんぞを好き好んでは使わない。GUIではふつーにわかりやすくもなるから使う、普通に入れるのはあたりまえ

2018/12/17(月) 23:52:42.27

めんどくさくないけど？エアプなんキミ？

2018/12/17(月) 23:54:51.53

有志のコードに
ファイル名が空白入りだと事故るものがあったような？

自分は
安全とって全部アンダーバー変換しておく

2018/12/18(火) 00:10:28.35

>>800
めんどくさいめんどくさくないはまあ人次第だけどな
CUIでなんやかんやキーボード打ってる時に、エスケープしたり"や'囲ったり、そもそもスペースはもろもろコマンドでデリミッターだったりで、めんどくさいと思うけどな
人次第ではあるが、そゆのが想像できなずにエアプと言えるのがエアプっぽいと思わなくもない

2018/12/18(火) 01:24:02.71

>>801
有志って言ってもタダの素人だっただけの話じゃん

2018/12/18(火) 03:02:35.05

>>798
もちろんファイル名には / 以外は何でもありだが Linux だけ使ってると普通はあまりそういうファイル作らないじゃない。一々エスケープしなきゃならないしシェルスクリプトで扱いづらいし。
まあ趣味の問題ではあるけどな。

2018/12/18(火) 03:52:25.12

libreofficeから「報告書 2018-12-18」という名前で保存することの何が面倒なのか？

2018/12/18(火) 05:00:11.76

うわあ

2018/12/18(火) 05:48:13.89

ファイル名にスペースが使えるOSが悪いんだって言いたいのかな？ｗ

2018/12/18(火) 06:17:30.36

>>802
アルファベットや数字打つのとなんら変わらんけど？
そもそもシェルには補完ゆうもんがあるんやでエアプさんw

2018/12/18(火) 09:37:03.21

>>805
ああ。WindowsみたいにGUIメインで使ってるの？それだけだったら面倒じゃないかもね。

2018/12/18(火) 10:24:35.01

>>808
なにをいいたいのかイミフすぎだな、プロフェッショナルwすぎて
補完時にもバックスラッシュ打たなきゃならんだろ？打たなくていい環境なの？そういう環境もあるんだよ
なんかただ馬鹿にしたいだけのお人か？しょうもない

2018/12/18(火) 12:13:46.40

なんで自分以外みんな非効率って思ってるのここの人たち
最強は俺だから落ち着けよ

2018/12/18(火) 12:15:53.17

Tabキー押すと自動で保管したり変換したりしてくれる場合は楽かも。
楽ってだけで見た目エスケープだらけの見辛い状態にはなるが。

2018/12/18(火) 12:25:17.53

>>810
はいはいエアプさんはそろそろお昼寝の時間でちゅよ～w

2018/12/18(火) 15:34:29.41

アホすぎなレスで笑うww

2018/12/18(火) 15:42:44.01

こいつらプログラム言語はシェルスクリプトしか使ったこと無いんか？
シェルスクリプトは珍しく引数の文字列をクォート（もしくはダブルクォート）で
くくるのが必須じゃない言語だが他の言語は殆どクォートでくくるんだぞ

"foobar" も "foo bar" も入力のしやすさに大差ないだろ
エスケープが必要なのは \ 等であってスペースはエスケープ不要なごく普通の文字なんだが
いつものことだが（シェルスクリプト以外の）経験の差を感じるよな

2018/12/18(火) 16:01:13.36

何をお怒りか存じませんが、括らなくてもいいから括らないのが普通になるんでございますよ。当然括るのが必須なら括るのが普通。シェルスクリプトでもスクリプトファイル書くときは変数展開では普通に括るし
コマンド叩くときにはいつも括ってるの？？

2018/12/18(火) 16:03:24.94

>スクリプトファイル書くときは
ああ、ワンライナーなんぞでもだな。ここんとこ間違い／不要

2018/12/18(火) 16:21:43.27

>>816
> 何をお怒りか存じませんが、
わかってないのか？スペースが含まれてるファイル名に対応するのは
プログラマとして当然の話だということだよ

2018/12/18(火) 16:24:38.45

>>818
別にそれは普通だな。>>816でそう書いているんだけど？
そんな話じゃないぞ。自分の範疇でが主な話だよ？俺はな

2018/12/18(火) 16:28:29.69

>>819
わかってないのに、途中から割り込んでくるなよ
最初からLinuxでもファイル名にスペースを入れるのは普通だって言ってるだろ
sambaとかwindowsは全く関係ない

2018/12/18(火) 16:33:56.90

>>820
>>815 で具体的に誰かになんて言ってないやん
ああ、それに対しても>>799だっただけどなあw また、>>818と同じ意味で>>797に対しても
わかんねえかなあw経験を生かしてご理解ください

2018/12/18(火) 16:56:33.71

アホすぎなレスで笑うww

2018/12/18(火) 17:14:23.03

WindowsだとC言語とかでパスの区切りが \ になってて毎回 \\ と入れなきゃいけないのも面倒だな。
実は / でも大丈夫だったりはするが。

2018/12/18(火) 17:18:15.10

今はパスにスペース入れるのも普通だし、対応もできるけど
トラブルのもとは根絶したいから、自分は使わない、それだけ

2018/12/18(火) 17:24:06.70

>>822
ww ざんねんなこって。いろいろとw

2018/12/18(火) 17:31:06.24

パスをコマンドの引数にする必要がある場合、
例えば、hogecommand　--foo_option="filepath=[パス],otheroption=bar" なんていうのがある時、
パスにスペースが入っていると、コマンド自体がパースするときに一工夫がいる。
シングルクォートが使えるシェルならいいが、Windowsのように使えないものもあるから、
バックスラッシュなどでエスケープしたり、コマンドが以下の様な別の区切り文字を用意していたりする。
--foo_option=[filepath="/path/with space/",otheroption=bar]

対処方法がなかなか見つからないこともあり、面倒くさいので、
自分からすすんでスペースを入れようとは思わない。

2018/12/18(火) 17:46:09.05

× パスにスペースが入っていると、コマンド自体がパースするときに一工夫がいる。
○ コマンドの引数の形式を適当に決めると、パースするときに一工夫がいるようになってしまう。

2018/12/18(火) 17:50:36.86

ちなみに気づいていないようだから言うと
>>826はパスにスペースが入っていると困る問題ではない

hogecommand　--foo_option="filepath=/path/with space/,otheroption=bar"

,でsplitして、○○=を消せばいいだけだから何も困らない
この例で困るのは、パスにカンマが含まれている場合であって
スペースではない

2018/12/18(火) 18:16:22.51

>>828
ああ、わるい、オプションの階層が一段階足らなかった。

hogeコマンドが、別のライブラリ（foo）のオプションを呼ぶような場合に、

hogecommand --hoge_option=foo_option="filepath=[パス],otheroption=bar"
hogecommand --hoge_option "--foo_option filepath=[パス],otheroption=bar"

こんなパターンがあって、そのままではやはりパースに一工夫が必要で面倒くさい。
ちなみに、上はmpv、下はyoutube-dlで使われている。

2018/12/18(火) 18:19:12.99

別のコマンドを呼び出すなら、別のコマンドにそのまま渡せばよかろう？

hogecommand　--foo_option="どんな内容でも"

betsucommand どんな内容でも

はい。おしまい

2018/12/18(火) 18:24:29.26

ちなみにファイル名により柔軟なのはWindowsよりも寧ろLinux（というかUnix系）だぞ。
Windowsは「con」とか「aux」とかも駄目だしバックスラッシュやコロンが含まれても駄目。
Unix系のOSは「\0（空文字）」と「/（スラッシュ）」だけが不適合で，あとは全ての文字をファイル名として
使用できる。

2018/12/18(火) 18:35:11.65

開業コードもつかえるのはまれにネタになる

2018/12/18(火) 22:33:16.76

>>810
今時はWindowsのコマンドプロンプトだって必要に応じてエスケープしてくれるぞ？

2018/12/18(火) 22:34:34.10

>>831
\0も使えたと思うが...
消せなくなったりするけどさ

**デフォルトの名無しさん** (JP 0H8b-O0Yg) · 2018/12/18(火) 22:57:59.19

>>834
消す前に作れねーだろ

2018/12/18(火) 22:59:29.33

消せるわこのエアプw

2018/12/18(火) 23:44:21.87

名前に\0を含むファイルは作れないと思うけど。
少なくともPOSIXでは禁止されているし，http://pubs.opengroup.org/onlinepubs/9699919799/basedefs/V1_chap03.html#tag_03_170
ext4でも作成できない。

……「エアプ」はどっちだろう。

2018/12/18(火) 23:56:48.31

正直ファイル名に\0が使えようが使えまいが
シェルスクリプトで\0が扱えないのでどうでもいい

2018/12/19(水) 04:45:08.43

エアプってなんなん？

2018/12/19(水) 07:27:20.06

¥x00

2018/12/19(水) 12:42:42.59

>>839
おまえらの事やんw

2018/12/20(木) 00:17:43.13

Airぷ

2018/12/20(木) 00:39:10.52

for i in {0..255}; do touch "./hoge$(printf "\x$(printf "%02x" $i)")foo"; done

2018/12/22(土) 13:28:39.38

エロ動画サーフィンで広告サイトが開いてしまったら、
デスクトップのシェルスクリプトにドラッグアンドドロップすることで
そのサイトのIPアドレスをHOSTSファイルに追加する

2018/12/22(土) 13:59:19.13

なんていうことをしていたら、hostsファイルの行数が
数千行になってしまった

2018/12/23(日) 08:08:03.20

sedだと簡単に動く一文字以上の半角スペースを一文字スペースに置換するコレ
echo "$strings" | sed -E 's/ {1,}/ /g'
bashだとどーしてもうまく動かず次のように[]で囲ってやるとなんとか全連続スペースじゃなく一部
だけが置換できた。
${strings// [ \{1,\}]/ }
それ以上どうしようもなかったので、次のような関数を作った
function Rep2One(){
local str=$1
local chr=$2
while :
do
str="${str//$chr$chr/$chr}"
if [[ ! $str =~ $chr$chr ]]; then
break
fi
done
echo "$str"
}

srings=`Rep2One "$strings" " "`

これで任意の2文字以上の連続を1文字に置換できたが、
sedみたいに一発でかっこよく記述できない？
至る所でbashからsedやgrep起動してたんだが、
bashのなかでできることはbashだけでやった方が大分速いことがわかったんで
なんとかbashの正規表現だけでやりたい

2018/12/23(日) 08:14:34.77

なんでそんなに正規表現に拘るのかわからん

#!/bin/sh
while IFS= read -r line; do
echo $line
done

　

2018/12/23(日) 12:09:04.04

>>847
おお、早速
thx
単に知らなかっただけです。
任意文字の繰り返しを1文字に置換したいときはどーするんですか？

2018/12/23(日) 12:13:13.41

結局、bashの正規表現は2文字以上全置換を記述できないんですかね？
bashの正規表現でわからないことがいろいろあるんですよ。
文頭置換したいとき'^'に相当するのはどう書くかとか？

2018/12/23(日) 13:58:44.05

ま、とりあえずこれでも見ろ。

bashの変数内文字列置換まとめ
https://qiita.com/aosho235/items/c36568830a8d47288284

2018/12/23(日) 14:09:56.35

>>848
IFSで指定しろ

2018/12/23(日) 14:18:28.55

でもってこれ。bash のパス名展開。

https://linuxjm.osdn.jp/html/GNU_bash/man1/bash.1.html#lbBG

この中に +(pattern-list) というのがある。
なので例えばこんなことも出来る。

a="a b c d" # ← 複数のスペースを適当に入れた文字列を a にセット
b="${a//+( )/ }" # ← 全ての1文字以上のスペースを1文字のスペースに変換して b にセット

2018/12/23(日) 15:08:28.31

>>848
ちょっと目的と違うかもしれんが
trコマンドの-sオプションもお勧めだよ。
POSIXで定められているので汎用性高いし、あとawkやsedを使う方法より若干高速

2018/12/23(日) 15:10:20.98

外部コマンドを呼び出している以上
遅くなることに変わりはない

2018/12/23(日) 16:10:20.07

「awkやsedを使う方法より」

2018/12/23(日) 16:20:58.12

「awkやsedを使う方法より若干高速
と言ったって外部コマンドを呼び出している以上
遅くなることに変わりはない」

**デフォルトの名無しさん** (ｱﾒ MM59-wUZI) · 2018/12/23(日) 16:57:53.53

awkやsedより遅いの？違うでしょ？日本語勉強しなよ。

2018/12/23(日) 17:02:15.89

bashだけでやるより遅いって話をしてる所に
awkやsedよりも早いって言うことに意味がないと言ってる

2018/12/23(日) 17:12:57.88

まーた始まったよ（ﾊﾟﾘﾎﾟﾘ

2018/12/23(日) 17:15:39.87

　　　　　　　　　　　　）ｿ）
　　　　　　　　　　ｯλ　ﾉ（.,ﾉ)
　　　　　　　　　（ﾞ-　..::.::.　.　（
　　　　　　　 (ソ.　 .彡⌒ミ.　）ｿ)
　　　　　　　　）.::'; (´･ω･`) ｽ (
　　　　　　　ｿ　.::;';'（つ ⊂）::;';'`～､.
　　　　　　　(　　:;';' |__∧_|　::;';' 　ヽ）
`'~`'''`'`'`~'~~`~~'`'`''''"`'`'`''`''''"`'``'~`''`'~`'''`'`'`~
　さあ禿げ上がってまいりました

2018/12/23(日) 17:15:41.10

しーかたないねー（ﾊﾟﾘﾎﾟﾘ

2018/12/23(日) 17:46:37.96

あ？やんのかこら

2018/12/23(日) 17:47:26.96

>>857
質問者の意図を汲み取りましょうｗ

2018/12/23(日) 20:07:54.91

今時汲み取り式なんて・・・

2018/12/23(日) 20:36:12.95

>>852
ほんと感謝します
ようやくすっきりしました。
そのサイトにも行き着いていたのですが、ちゃんと読めていませんでした
ありがとうございました。

>>853
trコマンドは知ってますし、今回も使いました。
今回の処理は結局、全処理c++で書き直したりもしてるんで、
他のツール使えばできるとかの情報は全く必要なく
あくまでもbash単体で処理するにはどうするかということでここで質問しました
bashでの正規表現に関する情報があまりなくて、
20年ほど前に買ったオライリーのbash本にも正規表現の記載が一切なく
bashの正規表現に制限があるならそれを教えてもらうことも目的でここで聞きました。

2018/12/26(水) 09:38:30.84

watchで表示更新時間ごとに変数の加算は出来ませんか？

2018/12/26(水) 11:17:37.79

無理。自分でwatchを実装しろ

2018/12/26(水) 11:19:29.41

訂正自分でシェルスクリプト版watchを実装しろ

2018/12/30(日) 08:42:00.02

区切り文字を指定して文字列を分割するときに
区切り文字が一種類の場合はcut(1)とかを使うし
区切り文字がBREで表わされるような場合はAWKを使うけど
各フィールド毎に特定の区切り文字があるような時はどうすればいいかな。

今やろうとしていることはISO 8601形式の日付を空白区切りに分解することで
2018-12-30T08:36:50+09:00
↑こういう文字列を
2018 12 30 08 36 50 + 09 00
↑こういう空白区切りに分解したい。
その為には「第1,2,3フィールドはハイフン，第4フィールドは文字T，第5,6,7フィールドはコロンで分割する」
っていう具合の処理を考えないといけない。
正直，sedを使えばいいんだけど，もうちょっとスマートな方法があれば教えてほしい……。
sedだと↓
sed -n -e 's/$[[:digit:]]\{4\}$-$[[:digit:]]\{2\}$-$[[:digit:]]\{2\}$T$[[:digit:]]\{2\}$:$[[:digit:]]\{2\}$:$[[:digit:]]\{2\}$$[+-]$$[[:digit:]]\{2\}$:$[[:digit:]]\{2\}$/D:\1\2\3\4\5\6\7\8'"'"'\9/1p'
↑こんなことになるw

2018/12/30(日) 10:20:55.12

>>869
入力形式が確定しているから単純化して
sed 's/[-+:T]/ /g'
とかはどう？

2018/12/30(日) 10:23:20.84

>>870
書き込んでから気づいたがこれだと+の周りが処理できないな

2018/12/30(日) 10:40:37.85

>>871
そうなんだよね……
もし+に特殊な処理をしないならば
tr '-+:T' ' '
で一発なんだけど、できないんだよ。

2018/12/30(日) 10:53:56.67

sed 's/+/ + /;s/[-:T]/ /g'
では？？

2018/12/30(日) 11:01:57.94

>>869
#!/bin/sh
t="2018-12-30T08:36:50+09:00"
IFS="-T:+"
set -- $t
echo $1 $2 $3 $4 $5 $6 + $7 $8

2018/12/30(日) 11:08:31.89

タイムゾーンはマイナスありか

2018/12/30(日) 11:25:42.74

sed 's/-/ /;s/-/ /;s/$[+-]$/ \1 /;s/[:T]/ /g'
なんか泥臭いけど

2018/12/30(日) 11:28:51.37

#!/bin/sh
t="2018-12-30T08:36:50+09:00"
IFS="-T:+"
set -- $t
case ${t%?????} in
*+) echo $1 $2 $3 $4 $5 $6 + $7 $8 ;;
*-) echo $1 $2 $3 $4 $5 $6 - $7 $8 ;;
esac

2018/12/30(日) 11:32:49.36

date -d "2018-12-30T08:36:50-09:00" "+%Y 略" （飽きた）

2018/12/30(日) 11:48:16.88

>>874
それだとアメリカとかのタイムゾーン-03:00に対応できなくね？

**879** (ﾜｯﾁｮｲ c628-DhLY) · 2018/12/30(日) 11:49:02.96

>>877
すまん。ちゃんと対応してくれてた。

2018/12/30(日) 16:00:37.71

GNU grep の場合

$ echo '2018-12-30T08:36:50+09:00' | grep -Po '([0-9]{2,4}|(?<=:[0-9]{2})(\+|-))' | xargs

2018/12/30(日) 16:49:11.50

>>881
すげー。
でも後から自分でデバッグできなさそうなのでやめておくw

2018/12/30(日) 18:51:33.10

t="2018-12-30T08:36:50+09:00"
echo "${t:0:4} ${t:5:2} ${t:8:2} ${t:11:2} ${t:14:2} ${t:17:2} ${t:19:1} ${t:20:2} ${t:23:2}"

2019/01/01(火) 13:16:40.82

:digit:より0-9のほうが打件数少ないのはなんなんだ

2019/01/01(火) 13:57:25.01

単に意味を優先した表現方法があるだけやろ

2019/01/05(土) 11:12:13.83

本当に一部のシステムでの話だけど
[:digit:]がロケールの数値表現にも合致する場合がある
「１」とか。

2019/01/07(月) 14:59:50.50

test.txtの内容が
hoge
fuga
puge

で、
sed -i -e s/hoge\n// test.txt
とやったのに『hoge（改行コード）』が消えてくれないたすけて
test.txtの一行目を削除　→　２行目が一行目に、
みたいにトコロテンしたい

2019/01/07(月) 15:08:57.37

自己解決・・・
sed -i -e ':a;N;$!ba;s/hoge\n//' test.txt
ってやったらできました・・何この呪文。。

2019/01/07(月) 15:30:19.88

sed -i -e '/hoge/d' test.txt じゃダメなん？

2019/01/07(月) 15:36:38.32

>>889
で、できました
それ使っていきます　ありがとうございました

2019/01/07(月) 19:03:53.04

grep -v もよろしく

2019/01/07(月) 19:52:44.45

一行目を消したいのかhogeを消したいのか

2019/01/07(月) 19:54:56.69

全部消したい。何もかも

2019/01/07(月) 20:31:04.88

要らない
何も
消してしまおう

2019/01/08(火) 09:33:22.38

そんなあなたに rm

2019/01/10(木) 04:57:31.17

ネットワーク通信（特にhttpクライアント）に関するコマンドって
大きくwgetとcurlとfetchなんかがあるけどもみんなはなに使ってます？
大抵のLinuxにはwgetが、MacとWindowsにはcurlが初期搭載されてるので
そのどっちかだとは思う。

2019/01/10(木) 09:31:04.31

スクリプトの場合はオプションが面倒くさくいのは関係ないから
個人的には自由度の高いcurl一択かな

直接コマンド打ってダウンロードするときはaria2cを使ったりする

シェルスクリプト総合 その29

シェルスクリプト総合その29