Pythonのお勉強 Part57

**デフォルトの名無しさん** · 2018/06/25(月) 09:57:59.24

Pythonオフィシャルサイト
http://www.python.org/

■前スレ
Pythonのお勉強 Part56
http://mevius.5ch.net/test/read.cgi/tech/1519430841/

次スレは>>980が挑戦する

ソース貼れるサイト
https://pastebin.com/ ペーストビン
https://ja.osdn.net/pastebin/　OSDNコピペ　ログインしないで投稿すると一週間で自動削除

**デフォルトの名無しさん** · 2018/09/06(木) 23:00:16.20

常識的に考えろ
んなことできたら情報盗み放題やないか

**デフォルトの名無しさん** · 2018/09/06(木) 23:38:51.93

>>497
それがworkflowで出来てるんだ
pythonでも出来ないのかなあと思って

**デフォルトの名無しさん** · 2018/09/07(金) 00:13:53.53

機内モードでもSafariのshare extensionからworkflow起動して
Get Details of Safari Web Page使うと取得出来るから
Safariからキャッシュもらってると思う
そして元のHTMLと違うからSafariで処理した後のHTMLのキャッシュかと…

どうやるんだろう

**デフォルトの名無しさん** · 2018/09/07(金) 01:13:44.56

appex.get_web_page_info()

フォーラム見ると
これで取れるらしいけど
上手く取れないという人もいて
俺も取れなかった

悩むならrequestsとbs4使った方が
早そうだわ

**デフォルトの名無しさん** · 2018/09/07(金) 01:25:41.06

あー
safari 再起動したら取れた

**デフォルトの名無しさん** · 2018/09/07(金) 01:38:09.25

>>500
ありがとう！

**デフォルトの名無しさん** · 2018/09/08(土) 10:58:55.15

100ＧＢ前後のcsvデータを読み込んで処理して
グラフ化したいんですけどいいライブラリとか方法ないですかね?

**デフォルトの名無しさん** · 2018/09/08(土) 11:30:51.31

>>503
pandasとmatplotlib以外しらね

**デフォルトの名無しさん** · 2018/09/08(土) 12:56:38.71

メモリ容量が100GBもないだろうからまず全データを一気に読み込むことは不可能なので
適当に分割してループで処理して結果を集計していくしかないので、各ループでやることは
ごく一般的なデータ処理でしかない
ちなみに100GBの時系列データをそのまま並べて時系列グラフにしたいということなら
それらを見分けられるような解像度のディスプレイは存在しないので数千点ぐらいにまで間引いても見た目は変わらない

**デフォルトの名無しさん** · 2018/09/08(土) 13:55:57.06

>>503
どんな処理をしたいのか知らんけどDBに処理させるのが簡単かと

**デフォルトの名無しさん** · 2018/09/09(日) 00:39:57.47

100GBって随分巨大だな、なんのデータだろ？

**デフォルトの名無しさん** · 2018/09/09(日) 01:27:13.18

名簿とかそんな類いかな

**デフォルトの名無しさん** · 2018/09/09(日) 02:25:19.05

さすがに1ファイル100GBなんてことはしてないよな
俺なら1ファイル256MB程度に分割したり、バイナリで保存したりするわ

**デフォルトの名無しさん** · 2018/09/09(日) 08:27:22.90

お前らと違ってビッグデータ抱えてんのよ

**デフォルトの名無しさん** · 2018/09/09(日) 08:35:34.50

中国10億人の個人情報とか？

**デフォルトの名無しさん** · 2018/09/09(日) 09:39:12.78

cythonのlibcpp.algorithm.sort
に比較関数でなく関数オブジェクトを渡すには
どうすればいいですか？

**デフォルトの名無しさん** · 2018/09/10(月) 06:14:44.93

https://twitter.com/ikuko_b/status/1038666078941929474?s=19

https://twitter.com/ikuko_b/status/1038633441854611456?s=19

ITeensLab主催の親子仮想通貨講座に息子と来ている。こば先生 @ITeensKOBA の話、熱い！

この世紀の発明でこの先何ができるようになりそうなのか、子供の今、これを知っておくとどんなメリットがあるのかをわかりやすく話してくれている。

息子の目がキラキラしてきた！

宮脇@サイバーセキュリティ財団が関わるプログラミング教室らしい

https://twitter.com/nukalumix/status/840555060228644864

サイバーセキュリティ財団の主要メンバーは、数年前まで貴金属買い取り(貴金属ありませんかー?って電話かけるやつ)をやってた人たちだって、もう言ってたっけ?
https://twitter.com/5chan_nel (5ch newer account)

**デフォルトの名無しさん** · 2018/09/10(月) 10:59:14.49

test

**デフォルトの名無しさん** · 2018/09/10(月) 12:25:07.36

クラリスワークスの復活はまだですかね？

**デフォルトの名無しさん** · 2018/09/10(月) 17:51:11.95

盗まれた心が戻ってこないとクラリスはダメなんだよ

**デフォルトの名無しさん** · 2018/09/11(火) 12:03:31.32

NetworkXで作った無向グラフについて「ノードAとノードBをつなぐ経路が存在するかどうか（同じ連結成分にあるかどうか）」を判定する関数はありますか？
経路の長さは必要ありません。

**デフォルトの名無しさん** · 2018/09/11(火) 13:55:23.54

http://tryalnigro.hatenablog.com/entry/2017/11/13/161140

**デフォルトの名無しさん** · 2018/09/11(火) 18:50:52.20

python 2/3 コンパチのスクリプトを書いてるけど、
素の環境に対応したものでやろうとすると名前の変わったモジュールの呼びだし方とかいろいろ工夫しないとダメなんだな。
__future__使えばだいぶ楽になるけど、使わないと事あるごとにユニコード地獄w
コンソール表示関連は場合分けがどうしても必要で更に面倒くさい。

**デフォルトの名無しさん** · 2018/09/11(火) 18:54:15.18

>>519
ﾌｧｲﾄｫ*:.｡..｡.:*･ﾟ（n‘∀‘)ηﾟ･*:.｡..｡.:*!!!☆

**517** · 2018/09/12(水) 15:35:34.60

>>518
ありがとうございます！

**デフォルトの名無しさん** · 2018/09/12(水) 20:53:31.66

やっぱPython楽で良いな
必要あって久々にJavaScriptで書いてら
あれ、なんでエラー？
}とか;とか忘れまくり。面倒くせー

**デフォルトの名無しさん** · 2018/09/12(水) 21:41:57.39

それは単にPythonの方に慣れてるだけだよ
久々にPython書くと逆に混乱することもあるんだから

**デフォルトの名無しさん** · 2018/09/12(水) 22:08:38.46

;は忘れても困らんだろ

**デフォルトの名無しさん** · 2018/09/12(水) 22:11:41.94

文法無視して問題ないプログラミング言語などない

**デフォルトの名無しさん** · 2018/09/12(水) 22:21:10.08

なかったら作ればいいじゃないか

**デフォルトの名無しさん** · 2018/09/12(水) 22:45:38.75

ﾊﾞｶは日本語の文法すら無視するからな

**デフォルトの名無しさん** · 2018/09/12(水) 22:50:04.43

if とかwhileの末尾に:があるのが一貫性ないな

**デフォルトの名無しさん** · 2018/09/12(水) 22:53:27.40

;が1つの文の区切り
{}が1つの複文
一番分かりやすい

**デフォルトの名無しさん** · 2018/09/12(水) 23:44:09.22

Javaとかの｛｝って何重にも重なるとどれとどれが対応しているのかわかりにくいよな

インデント最高

**デフォルトの名無しさん** · 2018/09/12(水) 23:49:57.93

pep8とかのlintツールとか使ってる？

**デフォルトの名無しさん** · 2018/09/12(水) 23:51:27.61

次世代言語が目指すべきは
semantics without syntaxやな

**デフォルトの名無しさん** · 2018/09/12(水) 23:53:39.64

VSCode で、Bracket Pair Colorizer という拡張機能を入れれば、

対応したカッコが、同じ色で表示される

**デフォルトの名無しさん** · 2018/09/12(水) 23:53:47.13

空文は
;だけ
わかりやすい

**デフォルトの名無しさん** · 2018/09/12(水) 23:56:56.14

pythonというｳﾝｺｽｸﾘﾌﾟﾄには
空文という概念すらない

**デフォルトの名無しさん** · 2018/09/13(木) 00:00:22.27

pass

**デフォルトの名無しさん** · 2018/09/13(木) 00:02:18.61

実行しないときに
なんでいちいち意味不明な文書くの？

**デフォルトの名無しさん** · 2018/09/13(木) 00:09:46.86

ｳﾝｺｽｸﾘﾌﾟﾄには致命的な言語としての欠陥がある

つまりそれを回避するために
意味不明なpassという制御が追加されている

**デフォルトの名無しさん** · 2018/09/13(木) 01:28:54.97

致命的かなぁ。

**デフォルトの名無しさん** · 2018/09/13(木) 03:03:01.76

ンフフ

**デフォルトの名無しさん** · 2018/09/13(木) 08:44:49.57

数万個単位のファイルを時間をかけてDLするプログラムで
DL状況を記録したテキストファイルをしょっちゅう更新するのはディスクに悪そうだからと
ダミーファイルを作って、それを消していくことでDL状況を把握する手法のプログラムを作ってたんだけど
そもそもファイルをDLするんだから、　DLリスト-DL済みファイル　でDL状況を把握できることに今更気づいてしまった

**デフォルトの名無しさん** · 2018/09/13(木) 08:56:00.59

そもそも大量のファイルをダウンロードしている中でテキスト数文字書き換えることによるディスクへのダメージなど無視していいレベルではないか

**デフォルトの名無しさん** · 2018/09/13(木) 09:33:02.35

SQLite使えよ

**デフォルトの名無しさん** · 2018/09/13(木) 11:06:38.16

>>542
最初のDLリストが9999990バイト(約10MB)あったとして
1件処理して10バイト減ったリストをファイルとして保存すると
9999980バイトの書き込みが発生するだろ
DL1件につき約10MBはなんかディスクに悪そうでしょ
ファイルを一部だけ書き換える処理はよく知らんし、処理もめんどくさくなりそうだし

>>543
SQLiteは一応基本的なことができるレベルだけど
あんまり好きじゃないんだよなぁ
使うしか無いなら使うけど、使わなくて済むなら使いたくない

**デフォルトの名無しさん** · 2018/09/13(木) 12:20:01.06

Pythonって未経験だし文法もよく分かってないんですが、
C/C++、C#、Java、TypeScript、COBOL、Perlの経験があれば何とかなりますか？

**デフォルトの名無しさん** · 2018/09/13(木) 12:24:24.23

なんとかならない事なんかない

**デフォルトの名無しさん** · 2018/09/13(木) 13:45:14.81

多分、もっといい言語を作れるんじゃないかな？

**デフォルトの名無しさん** · 2018/09/13(木) 17:27:54.21

日本語未経験のマルチリンガルの御仁が、日本語できますかねぇと聞いてるのと同じだなw

**デフォルトの名無しさん** · 2018/09/13(木) 19:20:28.59

同じだとして何故そこでわろとるのか分からない件

**デフォルトの名無しさん** · 2018/09/13(木) 19:50:12.01

>>544
SQLiteはdeleteがクソ遅いから使わない方がいい
ファイルの書き換えならケツから削ってケツだけ書き出すべき
先頭から削ると確かにディスク負荷が馬鹿にならん

再起動を考慮しないなら俺は全部インコアで管理する
再起動を考慮するならダウンロードリストを適当な数で分割してjsonやpickleで管理するわ

**デフォルトの名無しさん** · 2018/09/13(木) 20:17:07.00

そもそも最初から全部書き出し直すのが前提？
seekして1バイトだけ書き換えるのではだめなん？

**デフォルトの名無しさん** · 2018/09/13(木) 20:18:31.29

SQLiteはonmemoryで使うもんだ

**デフォルトの名無しさん** · 2018/09/13(木) 20:24:31.10

>>551
文字列置換で書き出してもいいかもな
どのみちページ単位での書き出しは避けられん

>>552
SQLiteはmemでもおせーよ

**デフォルトの名無しさん** · 2018/09/13(木) 20:41:29.28

pycon jp 今週だっけ？

**デフォルトの名無しさん** · 2018/09/13(木) 21:01:35.44

>>549
初めての言語ならともかく、すでに複数の言語を駆使してる人なら、
釣りじゃない限り、改めてどうかなんてわざわざ聞かないでしょう、普通

**デフォルトの名無しさん** · 2018/09/13(木) 22:43:21.63

>>544
ページサイズを4KB とすると、千ページで、4MB

そのうちの、1文字を変えると、その1ページが書き換わる。
または、2ページ以上になる事もある

例えば、1-2-3-4-5-6-7-8 というページがあって、
ページ4 を書き換えた場合、それが2ページになったとすると、

1-2-3-(9-10)-5-6-7-8 のようにつながる

**556** · 2018/09/13(木) 22:51:27.63

1-2-3-(9-10)-5-6-7-8 のようにつながる

ここで、ページ10 に、たった1文字しか入っていなくても、1ページ使う。
1文字でも、4KBでも、1ページ使う

変更のないページには、何も変化はない。
ページの並びが変わるだけ

**デフォルトの名無しさん** · 2018/09/13(木) 22:52:28.28

>>557
それどこのファイルシステムの話？

**556** · 2018/09/13(木) 23:03:48.08

1-2-3-(9-10)-5-6-7-8 のようにつながる

ページ9, 10 は、1～8 とは異なる領域に確保されるから、デフラグが起きている状態

シーケンシャルに読み込むと、ページ9, 10 だけは、異なる領域から読み込んで、
つながっているように見せるため

ツールでデフラグを解除すると、これらすべての領域を、異なる連続領域にコピーする。
連続した領域の方が、アクセスが速いから

HDD のアームが、内外内外など、行ったり来たりしないように、
1回のアームの動きで、データを読み込めるように、

HDDの方で、効率的な読み込み方をする

**デフォルトの名無しさん** · 2018/09/13(木) 23:05:55.21

>>559
それなんてファイルシステム？

**556** · 2018/09/13(木) 23:07:05.46

Linux では、1-2-3-(9-10)-5-6-7-8 のような、ページの並びが見える

OSのすべての機能を学びたいなら、ムック本の
Linuxエンジニア養成読本、第3版、2016

カーネル、起動処理、仮想記憶、
ファイルシステム、シェルスクリプトなど

**デフォルトの名無しさん** · 2018/09/13(木) 23:08:52.06

>>561
ext4でもxfsでも同じ？

**556** · 2018/09/13(木) 23:09:23.07

どのファイルシステムにも、デフラグツールがあるから、

たぶん、すべてのファイルシステムで同じだろ

**デフォルトの名無しさん** · 2018/09/13(木) 23:10:40.98

>>563
>>561のようなページの並びにするにはどんなwriteシステムコールを出せば確認できる？

**デフォルトの名無しさん** · 2018/09/13(木) 23:13:26.04

こうゆう見当外れな議論ごっこも時間が経てば良い黒歴史になるもんやからな

**556** · 2018/09/13(木) 23:15:45.68

例えば、1-2-3-4-5-6-7-8 のように、8ページを読み込んだとする

ここで、ページ4を更新したら、ページ4に、更新した印のdirty bit を付ける。
他のページには、dirty bit が付いていないから、更新されていない事がわかる

だから、1-2-3-(9-10)-5-6-7-8 のように、ページの並びだけを変えて、
ページ9, 10以外は、何も変化がない

**556** · 2018/09/13(木) 23:24:36.66

>>564
ページ4を更新する時に、バイト数が増えれば、
1ページだけの更新ではできないから、2ページの更新になる

それで、1-2-3-(9-10)-5-6-7-8 のようになる

だから、ページ10には、1文字しか入っていない事もある

その場合、4KB近く使われていない領域があるけど、
そこに、ページ5～8 の内容をずらして更新したりしない

ページ1～3、5～8 には、dirty bit が付いていないから、更新されない

**デフォルトの名無しさん** · 2018/09/13(木) 23:27:43.30

>>567
ブロックマップを分かってなさそうだ
あとデフラグって言葉は違う
もっと勉強した方が良い

**デフォルトの名無しさん** · 2018/09/13(木) 23:54:36.62

10MB程度と予測できるならメモリー上でやれよ
めんどくさいからリストでさ
んで、100回おきにHDDに書き込む
finallyでHDDに書き込む

**556** · 2018/09/13(木) 23:59:59.43

>>568
ファイルシステムのBlock bitmap は、dirty bit の有無じゃなかったっけ？

ちょっと今、手元に本がないから、わからないけど

**デフォルトの名無しさん** · 2018/09/14(金) 01:54:16.61

ちゅーかディスクへの書き込みで、ディスクへの負担とか考えとったら、あんた禿げるで。
OSや他のアプリはもっと頻繁に読み書きしてるよ。

**デフォルトの名無しさん** · 2018/09/14(金) 02:43:59.26

デフォルトでは、5秒毎にHDD に書き込んでいる設定を、15秒毎にするとか、
SSD では書き込み回数を減らすために、そういう設定にする人もいる

ただし電源断に対する、安全性は落ちる

**デフォルトの名無しさん** · 2018/09/14(金) 04:24:25.30

質問
パイソンは何で２０Mの制約があるの？
有料とかないの？
月々５０００円くらいなら払ってやるのに

**デフォルトの名無しさん** · 2018/09/14(金) 04:38:57.92

Rubyガイジとハゲガイジやべえ

**デフォルトの名無しさん** · 2018/09/14(金) 04:48:11.44

Pythonガイジの諸君も女の腐ったような奴の扱いは上手くないらしいな
544の時点で「ああこいつ共感脳だ。そうだねって言わないといけない奴だ」と気づけ

**デフォルトの名無しさん** · 2018/09/14(金) 07:01:25.26

他が頻繁に書き込みしてるからよい、って考えは良くないな
主処理に対してログや管理でどの程度リソースを使うかを考えるべき
DL総量100GBに対してログ書き込み量は1%以下に抑える、とかな

**デフォルトの名無しさん** · 2018/09/14(金) 12:28:56.08

大容量のリストファイルを頻繁に更新したくないなら
「リストの何番目まで進んだか」って情報だけを別のファイルに保存すればいい
これならDL1件につき数バイトの書き込みしか発生しない

リストをランダムに処理したい場合はリストの処理状況をビットで管理して
ビット情報を別ファイルに保存すればいい
これなら100万件のリストでも125000バイトで管理できる

**デフォルトの名無しさん** · 2018/09/15(土) 00:24:55.07

>>510
>>519
juliaでコーディングしちゃいなよ！
速度は速いわ、ユニコードどーんとこいの言語仕様だから
文字リテラルだけでなく、ユーザー定義関数名や変数名に漢字(絵文字)まで使えちゃうんだからさ

function ��()
println("ハロー、ウンコ！")
end

julia> ��()
ハロー、ウンコ！

**デフォルトの名無しさん** · 2018/09/15(土) 09:09:55.60

変数名関数名ならpythonも3から2バイト使えるぞ

**デフォルトの名無しさん** · 2018/09/15(土) 11:44:55.49

テスト関数に日本語使うことはあるけどそれ以外の用途でマルチバイトなんて使いたくもない

**デフォルトの名無しさん** · 2018/09/15(土) 11:49:05.69

既に化けてる
っていうか
コーディングのエントロピーは出来るだけ小さく保ちたいものです

**デフォルトの名無しさん** · 2018/09/15(土) 17:33:16.66

python初心者です。
今seleniumを使おうとしているのですが、http://127.0.0.1:4444/wd/hub
にアクセスできずに困っています。
プロキシは確認しましたが通していません。
どなたか対策が分かる方いらっしゃいますか？

**デフォルトの名無しさん** · 2018/09/15(土) 17:36:13.52

自分で鯖立ててないだけじゃね

**デフォルトの名無しさん** · 2018/09/15(土) 17:53:08.90

サーバーを立てるというのはローカルサーバーの事でしょうか

**デフォルトの名無しさん** · 2018/09/15(土) 17:55:17.27

スレ違い以前の問題だな
どこの板に誘導すりゃいいんだろ

**デフォルトの名無しさん** · 2018/09/15(土) 18:02:12.37

カレントディレクトリに
wd/hub
と
wd/hub/index.html
を作って

import http.server
import socketserver

with socketserver.TCPServer(('127.0.0.1', 4444), http.server.SimpleHTTPRequestHandler) as httpd:
httpd.serve_forever()

を実行汁

**デフォルトの名無しさん** · 2018/09/15(土) 19:28:01.07

>>586
pythonのファイルなのですが、htmlファイルは何の用途で作成するのでしょうか

**デフォルトの名無しさん** · 2018/09/15(土) 19:30:23.47

ログです

[0913/014841.092:ERROR:process_reader_win.cc(123)] NtOpenThread: {アクセス拒否} プロセスはオブジェクトのアクセスを要求しましたが、アクセス権が与えられていません。 (0xc0000022)
[0913/014841.116:ERROR:exception_snapshot_win.cc(88)] thread ID 6820 not found in process

**デフォルトの名無しさん** · 2018/09/15(土) 19:57:16.93

その知識だと無理だと思う

**デフォルトの名無しさん** · 2018/09/15(土) 23:07:35.30

Pythonにおいて、ポリコレ議論が白熱していると話題。
奴隷制度を連想させる「master」「slave」という単語を削除が要望されてしまったという。

そもそも「master」という単語は非常に多くの場所で使われており、たとえばバージョン管理システムGitでは「masterブランチ」という概念がある。
そのため、これを変更するのは容易なことではない。また、master/slaveという単語は電子回路やソフトウェアアーキテクチャにおいて奴隷制とはまったく関係ない文脈で使われている。
そして、「slave」を置き換えられる単語で適切かつ広く普及している単語はいまのところ存在しない。
こういった理由から反対の声も出ていたが、最終的には「salve」という単語は「worker」や「helper」に、
「master process」という言葉は「parent process」に置き換えられることになったという。

なお、この議論は非常に白熱したため、Python開発において「優しい終身の独裁者」から離れるとしていたPythonの生みの親であるGuido van Rossum氏が仲裁し、提案された変更を受け入れる決断を下している。

https://developers.srad.jp/story/18/09/14/0935201/

Python終わったな
こんなん1つ認めたらどんどん汚染されていってまともに書けなくなるだろ

**デフォルトの名無しさん** · 2018/09/15(土) 23:52:43.14

>>590
どこからslaveが削除されるっていう話なの？

**デフォルトの名無しさん** · 2018/09/16(日) 00:28:28.32

IDEにHDD繋ぐ時もマスター、スレーブと言ってたね

**デフォルトの名無しさん** · 2018/09/16(日) 00:37:43.24

＞奴隷制度を連想させる「master」「slave」という単語を削除が要望されてしまったという。
こんな要望するやつ絶対プログラミング向いてないだろ
やっぱPython色んなやつに使われてるんだな

**デフォルトの名無しさん** · 2018/09/16(日) 00:43:22.70

ご主人さまと奴隷
特殊なﾌﾟﾚｲを連想する

**デフォルトの名無しさん** · 2018/09/16(日) 00:44:55.16

【IT】奴隷制を連想させるとして、Pythonで「master」「slave」といった単語が削除される
http://egg.5ch.net/test/read.cgi/bizplus/1536925223/

**デフォルトの名無しさん** · 2018/09/16(日) 00:47:12.15

slaveよりworkerやhelper、masterよりparentの方が役割や位置関係が分かりやすいけどね