シェルスクリプト総合 その29
■ このスレッドは過去ログ倉庫に格納されています
!extend:on:vvvvv:1000:512
!extend:on:vvvvv:1000:512
シェルスクリプトに関する総合スレッドです。
スレ立て時は以下の文を先頭行に加えて下さい。
後のつけ忘れ防止の為に複数行重ねて追加推奨
!extend:on:vvvvv:1000:512
全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。
前スレ
シェルスクリプト総合 その28
http://mevius.5ch.net/test/read.cgi/tech/1532397676/
VIPQ2_EXTDAT: default:vvvvv:1000:512:----: EXT was configured ここかどうかわからんのだけど、メールの添付ファイルのテキストCSV部分を切り出してDB格納しようと思ったら、
シェルスクリプトでヘッダから切り出すしかない？ >>550
別件でググっていたら、言及しているドキュメント見つけた
${1+"$@"} で動かないシェルもあるようだ
http://web.sfc.wide.ad.jp/~sagawa/gnujdoc/autoconf-2.59/autoconf-ja_10.html
> 最も有名なシェルの移植性の問題の一つは，`"$@"'との関連です．位置に 依存する引数が無いとき，
> POSIXでは`"$@"'を何もないことと 等価になっていますが，オリジナルのUnixバージョン7の
> Bourneシェルはその代 わりに`""'として扱い，この動作はDigital Unix 5.0のようにそれ以降の 実装でも提供されています．
>
> この移植性の問題を回避する伝統的な方法は，`${1+"$@"}'を使用する ことです．
> 残念ながら，この手法はMac OS Xでも使用されている，Zsh (3.x と 4.x)では動作しません．
> Bourneシェルをエミュレートしているとき，Zshは `${1+"$@"}'で単語の分離を実行します． Bashってシングルクォートの内部でない限りバックスラッシュでシングルクオートを直接エスケープできるんだな。
マニュアルにも書いてないけど他人のスクリプト見て発見した。
$ squo=\'
$ echo $squo
'
↑こうできる。Bashは楽でいいなぁ >>794
水を差すようで悪いがposixで規定されているから他のシェルでも同じになる なぜそれを特別に思ったのかわからんけど他は出来なかったりするの？ \ はエスケープだし使う事はあるので特に目新しい感じはしない。
sambaでファイルサーバ作ってWindowsからもファイルが書かれるような状況だとファイル名にスペースだの括弧だの普通に入れられてLinuxでログインしている端末からだとエスケープせざるを得なかったりする。
俺の場合はそれで一文字だけエスケープはよく使う。 Linuxで普通にファイル名にスペース入れられるんだから
sambaとかwindowsは全く関係ないけどね CUI使いとGUI使いの違いだな
CUIでわざわざくそめんどくさいスペースなんぞを好き好んでは使わない。GUIではふつーにわかりやすくもなるから使う、普通に入れるのはあたりまえ 有志のコードに
ファイル名が空白入りだと事故るものがあったような？
自分は
安全とって全部アンダーバー変換しておく >>800
めんどくさいめんどくさくないはまあ人次第だけどな
CUIでなんやかんやキーボード打ってる時に、エスケープしたり"や'囲ったり、そもそもスペースはもろもろコマンドでデリミッターだったりで、めんどくさいと思うけどな
人次第ではあるが、そゆのが想像できなずにエアプと言えるのがエアプっぽいと思わなくもない >>801
有志って言ってもタダの素人だっただけの話じゃん >>798
もちろんファイル名には / 以外は何でもありだが Linux だけ使ってると普通はあまりそういうファイル作らないじゃない。一々エスケープしなきゃならないしシェルスクリプトで扱いづらいし。
まあ趣味の問題ではあるけどな。 libreofficeから「報告書 2018-12-18」という名前で保存することの何が面倒なのか？ ファイル名にスペースが使えるOSが悪いんだって言いたいのかな？ｗ >>802
アルファベットや数字打つのとなんら変わらんけど？
そもそもシェルには補完ゆうもんがあるんやでエアプさんw >>805
ああ。WindowsみたいにGUIメインで使ってるの？それだけだったら面倒じゃないかもね。 >>808
なにをいいたいのかイミフすぎだな、プロフェッショナルwすぎて
補完時にもバックスラッシュ打たなきゃならんだろ？打たなくていい環境なの？そういう環境もあるんだよ
なんかただ馬鹿にしたいだけのお人か？しょうもない なんで自分以外みんな非効率って思ってるのここの人たち
最強は俺だから落ち着けよ Tabキー押すと自動で保管したり変換したりしてくれる場合は楽かも。
楽ってだけで見た目エスケープだらけの見辛い状態にはなるが。 >>810
はいはいエアプさんはそろそろお昼寝の時間でちゅよ〜w こいつらプログラム言語はシェルスクリプトしか使ったこと無いんか？
シェルスクリプトは珍しく引数の文字列をクォート（もしくはダブルクォート）で
くくるのが必須じゃない言語だが他の言語は殆どクォートでくくるんだぞ
"foobar" も "foo bar" も入力のしやすさに大差ないだろ
エスケープが必要なのは \ 等であってスペースはエスケープ不要なごく普通の文字なんだが
いつものことだが（シェルスクリプト以外の）経験の差を感じるよな 何をお怒りか存じませんが、括らなくてもいいから括らないのが普通になるんでございますよ。当然括るのが必須なら括るのが普通。シェルスクリプトでもスクリプトファイル書くときは変数展開では普通に括るし
コマンド叩くときにはいつも括ってるの？？ >スクリプトファイル書くときは
ああ、ワンライナーなんぞでもだな。ここんとこ間違い／不要 >>816
> 何をお怒りか存じませんが、
わかってないのか？ スペースが含まれてるファイル名に対応するのは
プログラマとして当然の話だということだよ >>818
別にそれは普通だな。>>816でそう書いているんだけど？
そんな話じゃないぞ。自分の範疇でが主な話だよ？俺はな >>819
わかってないのに、途中から割り込んでくるなよ
最初からLinuxでもファイル名にスペースを入れるのは普通だって言ってるだろ
sambaとかwindowsは全く関係ない >>820
>>815 で具体的に誰かになんて言ってないやん
ああ、それに対しても>>799だっただけどなあw また、>>818と同じ意味で>>797に対しても
わかんねえかなあw経験を生かしてご理解ください WindowsだとC言語とかでパスの区切りが \ になってて毎回 \\ と入れなきゃいけないのも面倒だな。
実は / でも大丈夫だったりはするが。 今はパスにスペース入れるのも普通だし、対応もできるけど
トラブルのもとは根絶したいから、自分は使わない、それだけ パスをコマンドの引数にする必要がある場合、
例えば、hogecommand --foo_option="filepath=[パス],otheroption=bar" なんていうのがある時、
パスにスペースが入っていると、コマンド自体がパースするときに一工夫がいる。
シングルクォートが使えるシェルならいいが、Windowsのように使えないものもあるから、
バックスラッシュなどでエスケープしたり、コマンドが以下の様な別の区切り文字を用意していたりする。
--foo_option=[filepath="/path/with space/",otheroption=bar]
対処方法がなかなか見つからないこともあり、面倒くさいので、
自分からすすんでスペースを入れようとは思わない。 × パスにスペースが入っていると、コマンド自体がパースするときに一工夫がいる。
○ コマンドの引数の形式を適当に決めると、パースするときに一工夫がいるようになってしまう。 ちなみに気づいていないようだから言うと
>>826はパスにスペースが入っていると困る問題ではない
hogecommand --foo_option="filepath=/path/with space/,otheroption=bar"
,でsplitして、○○=を消せばいいだけだから何も困らない
この例で困るのは、パスにカンマが含まれている場合であって
スペースではない >>828
ああ、わるい、オプションの階層が一段階足らなかった。
hogeコマンドが、別のライブラリ（foo）のオプションを呼ぶような場合に、
hogecommand --hoge_option=foo_option="filepath=[パス],otheroption=bar"
hogecommand --hoge_option "--foo_option filepath=[パス],otheroption=bar"
こんなパターンがあって、そのままではやはりパースに一工夫が必要で面倒くさい。
ちなみに、上はmpv、下はyoutube-dlで使われている。 別のコマンドを呼び出すなら、別のコマンドにそのまま渡せばよかろう？
hogecommand --foo_option="どんな内容でも"
betsucommand どんな内容でも
はい。おしまい ちなみにファイル名により柔軟なのはWindowsよりも寧ろLinux（というかUnix系）だぞ。
Windowsは「con」とか「aux」とかも駄目だしバックスラッシュやコロンが含まれても駄目。
Unix系のOSは「\0（空文字）」と「/（スラッシュ）」だけが不適合で，あとは全ての文字をファイル名として
使用できる。 >>810
今時はWindowsのコマンドプロンプトだって必要に応じてエスケープしてくれるぞ？ >>831
\0も使えたと思うが...
消せなくなったりするけどさ 正直ファイル名に\0が使えようが使えまいが
シェルスクリプトで\0が扱えないのでどうでもいい for i in {0..255}; do touch "./hoge$(printf "\x$(printf "%02x" $i)")foo"; done エロ動画サーフィンで広告サイトが開いてしまったら、
デスクトップのシェルスクリプトにドラッグアンドドロップすることで
そのサイトのIPアドレスをHOSTSファイルに追加する なんていうことをしていたら、hostsファイルの行数が
数千行になってしまった sedだと簡単に動く一文字以上の半角スペースを一文字スペースに置換するコレ
echo "$strings" | sed -E 's/ {1,}/ /g'
bashだとどーしてもうまく動かず次のように[]で囲ってやるとなんとか全連続スペースじゃなく一部
だけが置換できた。
${strings// [ \{1,\}]/ }
それ以上どうしようもなかったので、次のような関数を作った
function Rep2One(){
local str=$1
local chr=$2
while :
do
str="${str//$chr$chr/$chr}"
if [[ ! $str =~ $chr$chr ]]; then
break
fi
done
echo "$str"
}
srings=`Rep2One "$strings" " "`
これで任意の2文字以上の連続を1文字に置換できたが、
sedみたいに一発でかっこよく記述できない？
至る所でbashからsedやgrep起動してたんだが、
bashのなかでできることはbashだけでやった方が大分速いことがわかったんで
なんとかbashの正規表現だけでやりたい なんでそんなに正規表現に拘るのかわからん
#!/bin/sh
while IFS= read -r line; do
echo $line
done
>>847
おお、早速
thx
単に知らなかっただけです。
任意文字の繰り返しを1文字に置換したいときはどーするんですか？ 結局、bashの正規表現は2文字以上全置換を記述できないんですかね？
bashの正規表現でわからないことがいろいろあるんですよ。
文頭置換したいとき'^'に相当するのはどう書くかとか？ でもってこれ。bash のパス名展開。
https://linuxjm.osdn.jp/html/GNU_bash/man1/bash.1.html#lbBG
この中に +(pattern-list) というのがある。
なので例えばこんなことも出来る。
a="a b c d" # ← 複数のスペースを適当に入れた文字列を a にセット
b="${a//+( )/ }" # ← 全ての1文字以上のスペースを1文字のスペースに変換して b にセット >>848
ちょっと目的と違うかもしれんが
trコマンドの-sオプションもお勧めだよ。
POSIXで定められているので汎用性高いし、あとawkやsedを使う方法より若干高速 外部コマンドを呼び出している以上
遅くなることに変わりはない 「awkやsedを使う方法より若干高速
と言ったって外部コマンドを呼び出している以上
遅くなることに変わりはない」 awkやsedより遅いの？違うでしょ？日本語勉強しなよ。 bashだけでやるより遅いって話をしてる所に
awkやsedよりも早いって言うことに意味がないと言ってる ）ｿ）
ｯλ ﾉ（.,ﾉ)
（ﾞ- ..::.::. . （
(ソ. .彡⌒ミ. ）ｿ)
）.::'; (´･ω･`) ｽ (
ｿ .::;';'（つ ⊂）::;';'`〜､.
( :;';' |__∧_| ::;';' ヽ）
`'~`'''`'`'`~'~~`~~'`'`''''"`'`'`''`''''"`'``'~`''`'~`'''`'`'`~
さ あ 禿 げ 上 が っ て ま い り ま し た >>852
ほんと感謝します
ようやくすっきりしました。
そのサイトにも行き着いていたのですが、ちゃんと読めていませんでした
ありがとうございました。
>>853
trコマンドは知ってますし、今回も使いました。
今回の処理は結局、全処理c++で書き直したりもしてるんで、
他のツール使えばできるとかの情報は全く必要なく
あくまでもbash単体で処理するにはどうするかということでここで質問しました
bashでの正規表現に関する情報があまりなくて、
20年ほど前に買ったオライリーのbash本にも正規表現の記載が一切なく
bashの正規表現に制限があるならそれを教えてもらうことも目的でここで聞きました。 watchで表示更新時間ごとに変数の加算は出来ませんか？ 訂正 自分でシェルスクリプト版watchを実装しろ 区切り文字を指定して文字列を分割するときに
区切り文字が一種類の場合はcut(1)とかを使うし
区切り文字がBREで表わされるような場合はAWKを使うけど
各フィールド毎に特定の区切り文字があるような時はどうすればいいかな。
今やろうとしていることはISO 8601形式の日付を空白区切りに分解することで
2018-12-30T08:36:50+09:00
↑こういう文字列を
2018 12 30 08 36 50 + 09 00
↑こういう空白区切りに分解したい。
その為には「第1,2,3フィールドはハイフン，第4フィールドは文字T，第5,6,7フィールドはコロンで分割する」
っていう具合の処理を考えないといけない。
正直，sedを使えばいいんだけど，もうちょっとスマートな方法があれば教えてほしい……。
sedだと↓
sed -n -e 's/\([[:digit:]]\{4\}\)-\([[:digit:]]\{2\}\)-\([[:digit:]]\{2\}\)T\([[:digit:]]\{2\}\):\([[:digit:]]\{2\}\):\([[:digit:]]\{2\}\)\([+-]\)\([[:digit:]]\{2\}\):\([[:digit:]]\{2\}\)/D:\1\2\3\4\5\6\7\8'"'"'\9/1p'
↑こんなことになるw >>869
入力形式が確定しているから単純化して
sed 's/[-+:T]/ /g'
とかはどう？ >>870
書き込んでから気づいたがこれだと+の周りが処理できないな >>871
そうなんだよね……
もし+に特殊な処理をしないならば
tr '-+:T' ' '
で一発なんだけど、できないんだよ。 sed 's/+/ + /;s/[-:T]/ /g'
では？？ >>869
#!/bin/sh
t="2018-12-30T08:36:50+09:00"
IFS="-T:+"
set -- $t
echo $1 $2 $3 $4 $5 $6 + $7 $8 sed 's/-/ /;s/-/ /;s/\([+-]\)/ \1 /;s/[:T]/ /g'
なんか泥臭いけど #!/bin/sh
t="2018-12-30T08:36:50+09:00"
IFS="-T:+"
set -- $t
case ${t%?????} in
*+) echo $1 $2 $3 $4 $5 $6 + $7 $8 ;;
*-) echo $1 $2 $3 $4 $5 $6 - $7 $8 ;;
esac date -d "2018-12-30T08:36:50-09:00" "+%Y 略" （飽きた） >>874
それだとアメリカとかのタイムゾーン-03:00に対応できなくね？ GNU grep の場合
$ echo '2018-12-30T08:36:50+09:00' | grep -Po '([0-9]{2,4}|(?<=:[0-9]{2})(\+|-))' | xargs >>881
すげー。
でも後から自分でデバッグできなさそうなのでやめておくw t="2018-12-30T08:36:50+09:00"
echo "${t:0:4} ${t:5:2} ${t:8:2} ${t:11:2} ${t:14:2} ${t:17:2} ${t:19:1} ${t:20:2} ${t:23:2}" :digit:より0-9のほうが打件数少ないのはなんなんだ 本当に一部のシステムでの話だけど
[:digit:]がロケールの数値表現にも合致する場合がある
「１」とか。 test.txtの内容が
hoge
fuga
puge
で、
sed -i -e s/hoge\n// test.txt
とやったのに『hoge（改行コード）』が消えてくれないたすけて
test.txtの一行目を削除 → ２行目が一行目に、
みたいにトコロテンしたい 自己解決・・・
sed -i -e ':a;N;$!ba;s/hoge\n//' test.txt
ってやったらできました・・何この呪文。。 sed -i -e '/hoge/d' test.txt じゃダメなん？ >>889
で、できました
それ使っていきます ありがとうございました ■ このスレッドは過去ログ倉庫に格納されています
