シェルスクリプト総合その34

**デフォルトの名無しさん** · 2020/08/21(金) 15:17:55.64

シェルスクリプトに関する総合スレッドです。

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。
・「○○（他の言語）でいいやん」は禁止。他のスレに行ってください。

シェルスクリプト総合その33
https://mevius.5ch.net/test/read.cgi/tech/1584893550/

**デフォルトの名無しさん** · 2020/11/17(火) 18:44:18.62

全角と半角を同一視したらダメだろ
だから通常使われてない文字にわざわざしてるんだが

**デフォルトの名無しさん** · 2020/11/17(火) 19:02:58.91

ファイル履歴「せやな…」

**デフォルトの名無しさん** · 2020/11/17(火) 20:36:01.00

wslpathがcygpathと同じ仕組みなのってなんで分かったん？
いや，つっかかる訳じゃなくて，
wslpathってソース公開されてないからさ。

**デフォルトの名無しさん** · 2020/11/17(火) 20:46:02.57

a.txt
a x Nov 17 2020 aaa
b x Nov 18 2020 bbb
c z Nov 19 2020 ccc

cat a.txt | awk -v hy="-" '{if("$2"=="x"){"date -d "$3hy$4hy$5" ¥"+%Y-%M-%D¥" | getline var ; print $1","var","$6}}'

これ実行するとvarの内容がたまに前の行の値のままになったりするんだけど
|が悪いの？

結局 while IFS=' ' read ～に変えたらやりたいことはできたけと何故上手くいかなかったのか分からなくて

**デフォルトの名無しさん** · 2020/11/17(火) 21:02:17.75

>>940
コロンとかのファイル名の話な（これはwslpathやcygpathとは関係ない）

cygwin「cygwin環境でHOME以下に作ったファイルはC:\cygwin64\home以下に作るで」
cygwin「 cygwin環境で : とか * という名前のファイル作れるで」

10年前の俺「え？なんで？エクスプローラーから見たら文字化けしとるやんけｗｗｗ　なんだこりゃ」
数分後　→　「ふーん」

WSL「/mnt/c/Users以下に作ったファイルはC:\Users以下に作るで」
WSL「WSL環境で : とか * という名前のファイル作れるで」

俺「エクスプローラーから見たら文字化けしとるやんけｗｗｗ　既視感ぱねぇｗｗｗ」
数分後　→　「同じじゃねーかｗｗｗ」

wslpathは別にcygpath使ってればコマンド名とかオプションとか真似してるってわかるだろ？
WSL（Linux）にパスを変換するときのオプションが何故か-uな所とか
（cygwinでは-uの長いオプション名は--unix）

**デフォルトの名無しさん** · 2020/11/17(火) 21:04:26.43

まあもしかしたらcygwinよりも前にSFU（の前身）とかがやってたのかもしれんけどさ

**デフォルトの名無しさん** · 2020/11/17(火) 21:32:09.28

>>940
「仕組み」は、具体的な実装のことではなく、全体的なやりかたのことやろ。

**デフォルトの名無しさん** · 2020/11/17(火) 22:11:55.77

> 俺「エクスプローラーから見たら文字化けしとるやんけｗｗｗ　既視感ぱねぇｗｗｗ」
> 数分後　→　「同じじゃねーかｗｗｗ」

この同じじゃねーかｗwwっていうのは : などのWindowsでは使えない文字のマッピング先の文字コードの話ね
そういや文字コードが同じであることは確かめたけど、実際にcygwinで作ったファイルをWSLで見たことなかったわ
んで、今やってみたけど、当然なんだけど、cygwinで作った : というファイルはWSLでちゃんと : になってたｗ
cygwin（たぶんmsysも同じ）との相互運用も考えてこうしたんだろうな

**デフォルトの名無しさん** · 2020/11/18(水) 14:43:02.92

>>941
>"date
" がいらない

>\"+%Y-%M-%D\"
2つの\ がいらない

これを実行しても、何も表示されないけど。
なんで？

**946** · 2020/11/18(水) 14:47:49.14

>>941
>\"+%Y-%M-%D\"

ひょっとして、この\ は、キーボードのバックスラッシュじゃないのかも？
ちゃんとキーボードで、入力してみれば？

**946** · 2020/11/18(水) 14:58:29.15

>>941
Ruby で、CSV なら、

require 'csv'

CSV.foreach( "a.csv", col_sep: " " ) do |row| # 1行ずつ処理する
p row[ 1 ]
end

出力
"x"
"x"
"z"

**デフォルトの名無しさん** · 2020/11/18(水) 15:28:33.58

>>946
>>947
すまんスマホで打ったので間違ってた

cat a.txt | awk -v hy="-" '{if($2=="x"){"date -d "$3hy$4hy$5" +%Y-%m-%d" | getline var ; print $1","var","$6}}'

+%Y-%m-%dは¥(バックスラッシュ)"で囲まなくてもOKだった
出力が3行以上あると>>941の現象になる気がする

**946** · 2020/11/18(水) 15:35:10.65

>>949
なら、下のように出力された

a,2020-11-17,aaa
b,2020-11-18,bbb

**デフォルトの名無しさん** · 2020/11/18(水) 15:59:00.88

>>950
出力される行数10行くらいに増やした場合は？(もちろん全て日付変えて)

**946** · 2020/11/18(水) 16:43:39.93

正しく出力される。
実際には、c, d, f などは出力されていないけど

a,2020-11-17,aaa
b,2020-11-18,bbb
c
d
e,2020-11-21,eee
f
g,2020-11-23,ggg
h,2020-11-24,hhh
i
j,2020-11-26,jjj
k,2020-11-27,kkk
l,2020-11-28,lll
m
n
o,2020-12-01,ooo
p,2020-12-02,ppp
q,2020-12-03,qqq
r
s,2020-12-05,sss
t,2020-12-06,ttt
u

**デフォルトの名無しさん** · 2020/11/18(水) 17:46:13.72

>>952
ありがとう

何故だろう

**デフォルトの名無しさん** · 2020/11/18(水) 22:39:32.53

フィールド数が想定がところがあるとエラーで getline が呼ばれなくて
var がそのままになったりするのかも?

**デフォルトの名無しさん** · 2020/11/18(水) 22:40:20.82

想定が -> 想定外な

**デフォルトの名無しさん** · 2020/11/18(水) 23:00:38.15

>>954
これかも
1列目にブランク入りのデータが入ってた

**デフォルトの名無しさん** · 2020/11/18(水) 23:22:35.65

AWKのgetlineってめっちゃ便利よね。
これ使い始めたらもうシェルスクリプトじゃなくてAWKスクリプトになるけどw

**デフォルトの名無しさん** · 2020/11/18(水) 23:25:59.76

>>956
いや違うわ
ブランク入ってたらそもそも$2がxにならない

**デフォルトの名無しさん** · 2020/11/19(木) 02:55:11.75

まず再現するデータをよこせ

**デフォルトの名無しさん** · 2020/11/19(木) 07:48:43.53

元ネタの人じゃないけど以下のデータでおかしくなった。

a.txt
a x Nov 17 2020 aaa
b x Nov 18 2020 bbb
c x Nov 18 2020 ccc
d x Nov 19 2020 ddd
d x
e x Nov 19 2020 eee
f x Nov 20 2020 fff

d の行以降の日付が今日の日付になった。Ubuntu 16.04.7。
なんかデータをちょっといじると再現しなくなるような感もある。

**946** · 2020/11/19(木) 10:41:14.25

>>960
d x
という変な行も、データに入れるのか？

Windows 10, WSL2, Ubuntu 18.04 では、下のように出力された

a,2020-11-17,aaa
b,2020-11-18,bbb
c,2020-11-18,ccc
d,2020-11-19,ddd
d,2020-11-19,
e,2020-11-19,eee
f,2020-11-20,fff

**デフォルトの名無しさん** · 2020/11/19(木) 21:37:07.41

>>961
そう。わざと壊れたデータで遊んでみているw

確実に再現できるバグは、ある意味治すのは易しい。
再現方法がよくわからんバグは...どうしたら再現するかを考えるのも一興かとw

あしまった、データが違ったかも。こうかな。

a x Nov 17 2020 aaa
b x Nov 18 2020 bbb
c x Nov 18 2020 ccc
d x Nov 20 2020 ddd
d x
e x Nov 20 2020 eee
f x Nov 20 2020 fff

**デフォルトの名無しさん** · 2020/11/19(木) 21:49:05.89

ちなみにdateコマンドは日付が空だと今日の日付を入れるようなので
Nov 20になる前に試すのがおすすめw

**946** · 2020/11/20(金) 02:15:19.68

このデータでやった。
b が今日の日付になる

a x Nov 03 2020 aaa
b x
c x Nov 05 2020 ccc
d x Nov 06 2020 ddd

出力
a,2020-11-03,aaa
b,2020-11-20,
c,2020-11-05,ccc
d,2020-11-06,ddd

**デフォルトの名無しさん** · 2020/11/20(金) 14:19:37.94

>>964
うん、それは単に >ちなみにdateコマンドは日付が空だと今日の日付を入れるようなので
だと思う。

自分の環境で >>962のデータを食わせたら
a,2020-11-17,aaa
b,2020-11-18,bbb
c,2020-11-18,ccc
d,2020-11-20,ddd
d,2020-11-19,
e,2020-11-19,eee
f,2020-11-19,fff

となった。e, f で空のdの所で得た日付を使われている感じ。ちょっとおもしろい。

**デフォルトの名無しさん** · 2020/11/23(月) 08:04:11.39

ループ処理をバックグラウンドで流すと500個ぐらいプロセスができて
まったく動かない。いい方法ないかな。

**デフォルトの名無しさん** · 2020/11/23(月) 08:50:42.89

>>966
500並列処理でもしてるんか？
そりゃ普通のCPUじゃ無理だろうよｗ
制限でもしろ

**デフォルトの名無しさん** · 2020/11/23(月) 10:20:31.35

>>966
シェルの問題なんだろうか…？

**デフォルトの名無しさん** · 2020/11/23(月) 11:57:26.98

10万行のループ処理にかかる時間は、while は5秒、for は9分。
それらを、awk, perl に書き直せば、0.1秒

forの時間のほとんどは、プロセスの起動・終了処理。
そもそも、bash はループ処理に向いていないので、dash を使う。
それでも、シェルスクリプトはループ処理に向いていない

awk, perl, Ruby などは、1プロセス内で処理するから、
シェルスクリプトよりも断然速い

**デフォルトの名無しさん** · 2020/11/23(月) 12:55:10.05

古いCorei7だけどbashで0.5秒で終わるぞ？

$ time -p bash -c 'i=0; while [ $i -lt 100000 ]; do i=$((i+1)); done'
real 0.53
user 0.51
sys 0.00

dashなら0.15秒だな
$ time -p dash -c 'i=0; while [ $i -lt 100000 ]; do i=$((i+1)); done'
real 0.15
user 0.14
sys 0.01

**デフォルトの名無しさん** · 2020/11/23(月) 12:58:14.53

> forの時間のほとんどは、プロセスの起動・終了処理。

forでプロセス起動なんてしないけど？

**デフォルトの名無しさん** · 2020/11/23(月) 13:16:27.49

>>968
どう見てもそういうシェルスクリプトを書いたとしか見えんな
バックグランドプロセスを自分で管理するのがめんどくさいとかだったら、なんか上の方のレスであったな

**デフォルトの名無しさん** · 2020/11/23(月) 13:22:54.01

GNU Parallel か

>>966
GNU Parallel で簡単に解決できそ

**969** · 2020/11/23(月) 13:37:45.01

>>970
漏れは、6年前のパソコン工房の初心者向けノートPC、
Windows 10 Home, 64 bit, 20H2(2020 秋)
WSL2, Ubuntu 18.04

CPU は、i3-3120M。2 core, 4 thread のエコモード。
8GB メモリで、

bash
real 1.53
user 1.53
sys 0.00

dash
real 0.42
user 0.42
sys 0.00

**968** · 2020/11/23(月) 14:12:23.68

>>970
$ time -p bash -c 'i=0; while [ $i -lt 100000 ]; do i=$((i+1)); done'
real 0.30
user 0.30
sys 0.00
$ time -p dash -c 'i=0; while [ $i -lt 100000 ]; do i=$((i+1)); done'
real 0.11
user 0.11
sys 0.00

OS: Gentoo via WSL2 on Windows 10 (build 20262.1010)
CPU: AMD Ryzen 7 3700X
RAM: 16 GiB, 2666 MHz

**968** · 2020/11/23(月) 14:12:52.26

多分ね，遅いのはシェルのせいじゃない。
組み方がおかしい。

**デフォルトの名無しさん** · 2020/11/23(月) 16:34:44.84

テキストファイルの中にカレントディレクトリを基準にしたファイルリストがあります。
このテキストファイルのファイルリストのファイルを~/backap/以下にディレクトリ構造を
維持したままコピーする方法を教えてください。

ファイルリストに含まれるパスは全てファイルです。ディレクトリで終わるパスは含まれません。

./file/jidori.jpg
./nikki/2020/11/01.txt
↑こんな感じのがたくさんあります

**デフォルトの名無しさん** · 2020/11/23(月) 17:18:30.33

$ rsync -a ―files-from=./file_list.txt . ~/backap

**デフォルトの名無しさん** · 2020/11/23(月) 18:16:32.54

$ cp -pr ./* ~/backup

ではいかんのか?

**デフォルトの名無しさん** · 2020/11/23(月) 20:09:16.39

ちなみにbackapじゃなくてbackupな

**デフォルトの名無しさん** · 2020/11/23(月) 20:59:12.22

>>979
あほ？

**デフォルトの名無しさん** · 2020/11/24(火) 07:52:34.13

rsync -avをよく使う

**97７** · 2020/11/24(火) 18:17:20.50

大変助かりました！ありがとうございます！！

**デフォルトの名無しさん** · 2020/11/24(火) 20:21:52.33

次スレそろそろ……

**デフォルトの名無しさん** · 2020/11/24(火) 21:38:15.89

言い出しっぺなんで建てました。
https://mevius.5ch.net/test/read.cgi/tech/1606221440

**デフォルトの名無しさん** · 2020/11/24(火) 23:19:57.68

しっぺ
デコピン
馬場チョップ

**デフォルトの名無しさん** · 2020/11/25(水) 00:18:39.96

しっぷ
デブちょん
バカちょんぷ

**デフォルトの名無しさん** · 2020/12/10(木) 10:37:09.61

(´・ω・｀)

**デフォルトの名無しさん** · 2020/12/10(木) 14:19:01.84

(´・ω・｀)

**デフォルトの名無しさん** · 2020/12/11(金) 08:55:47.30

うめ！！！

**デフォルトの名無しさん** · 2020/12/11(金) 08:55:56.82

うめっ１１

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:03.69

うめあ

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:11.79

うめい

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:19.82

うめうえ

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:26.45

うめえ

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:36.33

うめめt

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:45.14

ume

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:52.52

umeru

**デフォルトの名無しさん** · 2020/12/11(金) 08:57:00.61

uue

**デフォルトの名無しさん** · 2020/12/11(金) 08:57:08.73

ume

**1001** · Over 1000

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 111日 17時間 39分 13秒

シェルスクリプト総合 その34

シェルスクリプト総合その34