シェルスクリプト総合その34

**デフォルトの名無しさん** · 2020/08/21(金) 15:17:55.64

シェルスクリプトに関する総合スレッドです。

全般
・荒しは無視しましょう。
・丁寧な姿勢を心掛けましょう。
・ネチケット（死語）を意識しましょう。
・「○○（他の言語）でいいやん」は禁止。他のスレに行ってください。

シェルスクリプト総合その33
https://mevius.5ch.net/test/read.cgi/tech/1584893550/

**946** · 2020/11/18(水) 14:58:29.15

>>941
Ruby で、CSV なら、

require 'csv'

CSV.foreach( "a.csv", col_sep: " " ) do |row| # 1行ずつ処理する
p row[ 1 ]
end

出力
"x"
"x"
"z"

**デフォルトの名無しさん** · 2020/11/18(水) 15:28:33.58

>>946
>>947
すまんスマホで打ったので間違ってた

cat a.txt | awk -v hy="-" '{if($2=="x"){"date -d "$3hy$4hy$5" +%Y-%m-%d" | getline var ; print $1","var","$6}}'

+%Y-%m-%dは¥(バックスラッシュ)"で囲まなくてもOKだった
出力が3行以上あると>>941の現象になる気がする

**946** · 2020/11/18(水) 15:35:10.65

>>949
なら、下のように出力された

a,2020-11-17,aaa
b,2020-11-18,bbb

**デフォルトの名無しさん** · 2020/11/18(水) 15:59:00.88

>>950
出力される行数10行くらいに増やした場合は？(もちろん全て日付変えて)

**946** · 2020/11/18(水) 16:43:39.93

正しく出力される。
実際には、c, d, f などは出力されていないけど

a,2020-11-17,aaa
b,2020-11-18,bbb
c
d
e,2020-11-21,eee
f
g,2020-11-23,ggg
h,2020-11-24,hhh
i
j,2020-11-26,jjj
k,2020-11-27,kkk
l,2020-11-28,lll
m
n
o,2020-12-01,ooo
p,2020-12-02,ppp
q,2020-12-03,qqq
r
s,2020-12-05,sss
t,2020-12-06,ttt
u

**デフォルトの名無しさん** · 2020/11/18(水) 17:46:13.72

>>952
ありがとう

何故だろう

**デフォルトの名無しさん** · 2020/11/18(水) 22:39:32.53

フィールド数が想定がところがあるとエラーで getline が呼ばれなくて
var がそのままになったりするのかも?

**デフォルトの名無しさん** · 2020/11/18(水) 22:40:20.82

想定が -> 想定外な

**デフォルトの名無しさん** · 2020/11/18(水) 23:00:38.15

>>954
これかも
1列目にブランク入りのデータが入ってた

**デフォルトの名無しさん** · 2020/11/18(水) 23:22:35.65

AWKのgetlineってめっちゃ便利よね。
これ使い始めたらもうシェルスクリプトじゃなくてAWKスクリプトになるけどw

**デフォルトの名無しさん** · 2020/11/18(水) 23:25:59.76

>>956
いや違うわ
ブランク入ってたらそもそも$2がxにならない

**デフォルトの名無しさん** · 2020/11/19(木) 02:55:11.75

まず再現するデータをよこせ

**デフォルトの名無しさん** · 2020/11/19(木) 07:48:43.53

元ネタの人じゃないけど以下のデータでおかしくなった。

a.txt
a x Nov 17 2020 aaa
b x Nov 18 2020 bbb
c x Nov 18 2020 ccc
d x Nov 19 2020 ddd
d x
e x Nov 19 2020 eee
f x Nov 20 2020 fff

d の行以降の日付が今日の日付になった。Ubuntu 16.04.7。
なんかデータをちょっといじると再現しなくなるような感もある。

**946** · 2020/11/19(木) 10:41:14.25

>>960
d x
という変な行も、データに入れるのか？

Windows 10, WSL2, Ubuntu 18.04 では、下のように出力された

a,2020-11-17,aaa
b,2020-11-18,bbb
c,2020-11-18,ccc
d,2020-11-19,ddd
d,2020-11-19,
e,2020-11-19,eee
f,2020-11-20,fff

**デフォルトの名無しさん** · 2020/11/19(木) 21:37:07.41

>>961
そう。わざと壊れたデータで遊んでみているw

確実に再現できるバグは、ある意味治すのは易しい。
再現方法がよくわからんバグは...どうしたら再現するかを考えるのも一興かとw

あしまった、データが違ったかも。こうかな。

a x Nov 17 2020 aaa
b x Nov 18 2020 bbb
c x Nov 18 2020 ccc
d x Nov 20 2020 ddd
d x
e x Nov 20 2020 eee
f x Nov 20 2020 fff

**デフォルトの名無しさん** · 2020/11/19(木) 21:49:05.89

ちなみにdateコマンドは日付が空だと今日の日付を入れるようなので
Nov 20になる前に試すのがおすすめw

**946** · 2020/11/20(金) 02:15:19.68

このデータでやった。
b が今日の日付になる

a x Nov 03 2020 aaa
b x
c x Nov 05 2020 ccc
d x Nov 06 2020 ddd

出力
a,2020-11-03,aaa
b,2020-11-20,
c,2020-11-05,ccc
d,2020-11-06,ddd

**デフォルトの名無しさん** · 2020/11/20(金) 14:19:37.94

>>964
うん、それは単に >ちなみにdateコマンドは日付が空だと今日の日付を入れるようなので
だと思う。

自分の環境で >>962のデータを食わせたら
a,2020-11-17,aaa
b,2020-11-18,bbb
c,2020-11-18,ccc
d,2020-11-20,ddd
d,2020-11-19,
e,2020-11-19,eee
f,2020-11-19,fff

となった。e, f で空のdの所で得た日付を使われている感じ。ちょっとおもしろい。

**デフォルトの名無しさん** · 2020/11/23(月) 08:04:11.39

ループ処理をバックグラウンドで流すと500個ぐらいプロセスができて
まったく動かない。いい方法ないかな。

**デフォルトの名無しさん** · 2020/11/23(月) 08:50:42.89

>>966
500並列処理でもしてるんか？
そりゃ普通のCPUじゃ無理だろうよｗ
制限でもしろ

**デフォルトの名無しさん** · 2020/11/23(月) 10:20:31.35

>>966
シェルの問題なんだろうか…？

**デフォルトの名無しさん** · 2020/11/23(月) 11:57:26.98

10万行のループ処理にかかる時間は、while は5秒、for は9分。
それらを、awk, perl に書き直せば、0.1秒

forの時間のほとんどは、プロセスの起動・終了処理。
そもそも、bash はループ処理に向いていないので、dash を使う。
それでも、シェルスクリプトはループ処理に向いていない

awk, perl, Ruby などは、1プロセス内で処理するから、
シェルスクリプトよりも断然速い

**デフォルトの名無しさん** · 2020/11/23(月) 12:55:10.05

古いCorei7だけどbashで0.5秒で終わるぞ？

$ time -p bash -c 'i=0; while [ $i -lt 100000 ]; do i=$((i+1)); done'
real 0.53
user 0.51
sys 0.00

dashなら0.15秒だな
$ time -p dash -c 'i=0; while [ $i -lt 100000 ]; do i=$((i+1)); done'
real 0.15
user 0.14
sys 0.01

**デフォルトの名無しさん** · 2020/11/23(月) 12:58:14.53

> forの時間のほとんどは、プロセスの起動・終了処理。

forでプロセス起動なんてしないけど？

**デフォルトの名無しさん** · 2020/11/23(月) 13:16:27.49

>>968
どう見てもそういうシェルスクリプトを書いたとしか見えんな
バックグランドプロセスを自分で管理するのがめんどくさいとかだったら、なんか上の方のレスであったな

**デフォルトの名無しさん** · 2020/11/23(月) 13:22:54.01

GNU Parallel か

>>966
GNU Parallel で簡単に解決できそ

**969** · 2020/11/23(月) 13:37:45.01

>>970
漏れは、6年前のパソコン工房の初心者向けノートPC、
Windows 10 Home, 64 bit, 20H2(2020 秋)
WSL2, Ubuntu 18.04

CPU は、i3-3120M。2 core, 4 thread のエコモード。
8GB メモリで、

bash
real 1.53
user 1.53
sys 0.00

dash
real 0.42
user 0.42
sys 0.00

**968** · 2020/11/23(月) 14:12:23.68

>>970
$ time -p bash -c 'i=0; while [ $i -lt 100000 ]; do i=$((i+1)); done'
real 0.30
user 0.30
sys 0.00
$ time -p dash -c 'i=0; while [ $i -lt 100000 ]; do i=$((i+1)); done'
real 0.11
user 0.11
sys 0.00

OS: Gentoo via WSL2 on Windows 10 (build 20262.1010)
CPU: AMD Ryzen 7 3700X
RAM: 16 GiB, 2666 MHz

**968** · 2020/11/23(月) 14:12:52.26

多分ね，遅いのはシェルのせいじゃない。
組み方がおかしい。

**デフォルトの名無しさん** · 2020/11/23(月) 16:34:44.84

テキストファイルの中にカレントディレクトリを基準にしたファイルリストがあります。
このテキストファイルのファイルリストのファイルを~/backap/以下にディレクトリ構造を
維持したままコピーする方法を教えてください。

ファイルリストに含まれるパスは全てファイルです。ディレクトリで終わるパスは含まれません。

./file/jidori.jpg
./nikki/2020/11/01.txt
↑こんな感じのがたくさんあります

**デフォルトの名無しさん** · 2020/11/23(月) 17:18:30.33

$ rsync -a ―files-from=./file_list.txt . ~/backap

**デフォルトの名無しさん** · 2020/11/23(月) 18:16:32.54

$ cp -pr ./* ~/backup

ではいかんのか?

**デフォルトの名無しさん** · 2020/11/23(月) 20:09:16.39

ちなみにbackapじゃなくてbackupな

**デフォルトの名無しさん** · 2020/11/23(月) 20:59:12.22

>>979
あほ？

**デフォルトの名無しさん** · 2020/11/24(火) 07:52:34.13

rsync -avをよく使う

**97７** · 2020/11/24(火) 18:17:20.50

大変助かりました！ありがとうございます！！

**デフォルトの名無しさん** · 2020/11/24(火) 20:21:52.33

次スレそろそろ……

**デフォルトの名無しさん** · 2020/11/24(火) 21:38:15.89

言い出しっぺなんで建てました。
https://mevius.5ch.net/test/read.cgi/tech/1606221440

**デフォルトの名無しさん** · 2020/11/24(火) 23:19:57.68

しっぺ
デコピン
馬場チョップ

**デフォルトの名無しさん** · 2020/11/25(水) 00:18:39.96

しっぷ
デブちょん
バカちょんぷ

**デフォルトの名無しさん** · 2020/12/10(木) 10:37:09.61

(´・ω・｀)

**デフォルトの名無しさん** · 2020/12/10(木) 14:19:01.84

(´・ω・｀)

**デフォルトの名無しさん** · 2020/12/11(金) 08:55:47.30

うめ！！！

**デフォルトの名無しさん** · 2020/12/11(金) 08:55:56.82

うめっ１１

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:03.69

うめあ

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:11.79

うめい

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:19.82

うめうえ

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:26.45

うめえ

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:36.33

うめめt

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:45.14

ume

**デフォルトの名無しさん** · 2020/12/11(金) 08:56:52.52

umeru

**デフォルトの名無しさん** · 2020/12/11(金) 08:57:00.61

uue

**デフォルトの名無しさん** · 2020/12/11(金) 08:57:08.73

ume

**1001** · Over 1000

このスレッドは１０００を超えました。
新しいスレッドを立ててください。
life time: 111日 17時間 39分 13秒

シェルスクリプト総合 その34

シェルスクリプト総合その34