Pythonのお勉強 Part57

**デフォルトの名無しさん** · 2018/06/25(月) 09:57:59.24

Pythonオフィシャルサイト
http://www.python.org/

■前スレ
Pythonのお勉強 Part56
http://mevius.5ch.net/test/read.cgi/tech/1519430841/

次スレは>>980が挑戦する

ソース貼れるサイト
https://pastebin.com/ ペーストビン
https://ja.osdn.net/pastebin/　OSDNコピペ　ログインしないで投稿すると一週間で自動削除

**デフォルトの名無しさん** · 2018/09/23(日) 05:38:06.43

>>650
俺はpythonわかんないのでpythonでの書き方がどうなるかはわからないが、要するに最後の10行とかが最終的にバッファにあれば良いだけだよね。ならばその行数だけのバッファがあれば良い。
一行読んでバッファに入れてというのの繰り返しになるが、バッファに既に限界まで入っているなら最初の行を捨ててからバッファに入れる。という風に作っておいて、全行読み切ったら最後にバッファの内容を全て出力すると。

**デフォルトの名無しさん** · 2018/09/23(日) 06:50:30.15

ファイルの一括読み込みではなくて、動画みたいに、Stream で読み込めないのか？
例えば1行ずつとか、バッファサイズ分だけ読み込んで、処理したら、即捨てるやり方。
つまり、今処理している部分しか、メモリに置いていないやり方

一括読み込みでは、ファイル全体がメモリ中にあるから、大きいファイルの場合に困る

**デフォルトの名無しさん** · 2018/09/23(日) 07:12:59.20

>>653 ⇒ >>652

**デフォルトの名無しさん** · 2018/09/23(日) 07:49:15.42

653→652→651

**デフォルトの名無しさん** · 2018/09/23(日) 08:25:58.48

何でシーケンシャルアクセス(ファイルの先頭からアクセスすること)が前提になってるの？この場合は末尾ってわかってるんだからseekでランダムアクセス(任意の位置からアクセス)すればいいと思うけど。

**デフォルトの名無しさん** · 2018/09/23(日) 09:24:50.44

テキストファイルの最後の10バイトじゃなくて最後の10行を見たいからじゃね

**デフォルトの名無しさん** · 2018/09/23(日) 09:57:58.34

末尾4kb読み込んで後ろから解析、10行分に満たなければさらに手前の4kbを読み込んで、とやっていけばいいのかも。

**デフォルトの名無しさん** · 2018/09/23(日) 11:39:33.61

seekで下からアクセスするとして
結局改行が見つからずにファイル冒頭まで読むハメに

**デフォルトの名無しさん** · 2018/09/23(日) 13:16:33.94

>>659
間違えてバイナリファイルを開いちゃうと起こり得る事だな。
テキストファイルでも改行が LF ではないとかの理由で起こる事はあるが。

**デフォルトの名無しさん** · 2018/09/23(日) 15:03:53.47

だからなんやねんw

**デフォルトの名無しさん** · 2018/09/23(日) 16:01:10.21

seek使わないとしたら何が良いんだろう？

**デフォルトの名無しさん** · 2018/09/23(日) 16:14:56.32

reversed iterator を file object に対して使う

**デフォルトの名無しさん** · 2018/09/23(日) 17:00:59.87

ファイルをSSDかRAMディスクに移動させてから全体read

**デフォルトの名無しさん** · 2018/09/23(日) 17:05:32.45

>>662
seek使わないとしたら全部悪手やてw

**デフォルトの名無しさん** · 2018/09/23(日) 17:12:29.31

Debian 9.5のpip3 9.0.1で
$ pip3 list --outdated
とやると
Exception:
Traceback (most recent call last):
File "/usr/lib/python3/dist-packages/pip/basecommand.py", line 215, in main
status = self.run(options, args)
File "/usr/lib/python3/dist-packages/pip/commands/list.py", line 157, in run
packages = self.get_outdated(packages, options)
File "/usr/lib/python3/dist-packages/pip/commands/list.py", line 168, in get_outdated
dist for dist in self.iter_packages_latest_infos(packages, options)
File "/usr/lib/python3/dist-packages/pip/commands/list.py", line 169, in <listcomp>
if dist.latest_version > dist.parsed_version
TypeError: unorderable types: Version() > SetuptoolsVersion()
というエラーが出て異常終了します。
Versionが合わないとかそういうのかなと予想しましたが、どなたか解決策などご存知ないでしょうか。

**デフォルトの名無しさん** · 2018/09/23(日) 17:59:26.11

>>666
このへんとかどうですか
https://note.mu/junf/n/n0e460749fe66

**デフォルトの名無しさん** · 2018/09/23(日) 18:26:28.00

>>665
なんだ、ありがとう

でもよく見ると>>650は readlines()使ってたりして
sum(1 for line in open('file.txt'))にするだけでも
違いそう

**デフォルトの名無しさん** · 2018/09/23(日) 20:37:38.86

Cookbook 3rd 見たら出てた
ドキュメントにもそのまんまがあったよ
https://docs.python.jp/3/library/collections.html#collections.deque

deque は Unix における tail フィルタに相当する機能を提供します:

def tail(filename, n=10):
'Return the last n lines of a file'
with open(filename) as f:
return deque(f, n)

**デフォルトの名無しさん** · 2018/09/23(日) 20:48:53.85

>>669
簡潔でいいね！でもこれメモリに全部読み込むんじゃないかな？

**デフォルトの名無しさん** · 2018/09/23(日) 23:05:04.77

頭から1行づつ詰め込んでいって指定数超えると
一個消して一個追加しているみたいでメモリは問題ないけど
巨大なファイルならやっぱseekは必要だね

**デフォルトの名無しさん** · 2018/09/23(日) 23:36:51.92

>>670
読み込む度にmaxlenを超えた分は捨てるから結果として全部読み込むけどメモリーはそれほど要らない

**デフォルトの名無しさん** · 2018/09/24(月) 09:26:05.62

>>671
>>672
なるほど、メモリの問題はクリアしてるんですね。でもやはりシーケンシャルアクセスなので、計算量O(1)で解ける問題をO(N)で解こうとするのは違和感があるかな(自分には)。

最近はO(N)くらいなら気にしなくてもいいという風潮なのかな？

**デフォルトの名無しさん** · 2018/09/24(月) 09:30:43.08

数学が得意じゃ無いとPythonは難しいですか？
AIに興味があります
AIで妹を作りたいです

**デフォルトの名無しさん** · 2018/09/24(月) 09:40:20.38

>>673
最近も昔も、それに要する時間が許容できる時間を下回るならokということだよ。
計算量のオーダーだけでなく、具体的に実際にかかる時間はどうなの？

**デフォルトの名無しさん** · 2018/09/24(月) 09:45:07.20

>>673
単に>>670に答えただけ
あとseek使うにしても>>658みたいなことをしないと駄目だからO(1)と言うのはちょっと違和感ある

**デフォルトの名無しさん** · 2018/09/24(月) 09:50:07.80

>>676
仮に全体が一行の巨大なテキストやとしたらO(1/N)やぞw

**デフォルトの名無しさん** · 2018/09/24(月) 10:05:49.07

あの、そのOって何ですか？

**デフォルトの名無しさん** · 2018/09/24(月) 10:15:53.29

>>677
ごめん、何が面白いのかさっぱりわからん

**デフォルトの名無しさん** · 2018/09/24(月) 12:24:12.81

>>674
中国軍に入れ
日本と共同研究させてもらえるぞ

**デフォルトの名無しさん** · 2018/09/24(月) 12:25:37.21

>>678
行ってらっしゃい
https://mevius.5ch.net/test/read.cgi/tech/1363854937/

**デフォルトの名無しさん** · 2018/09/24(月) 15:47:35.24

高校数学の基礎すらよく分からないのですが、PythonでAI作れますか？

**デフォルトの名無しさん** · 2018/09/24(月) 15:53:15.60

>>682
人生の初心者板へ（・∀・）ｶｴﾚ!!

**デフォルトの名無しさん** · 2018/09/24(月) 15:55:35.49

>>682
keras使えば余裕
層重ねてパラメータ決めるだけだから

**デフォルトの名無しさん** · 2018/09/24(月) 16:13:53.94

みんなのpython終わったばかりの初心者ですが画像認証はオライリーの本でいいですか？

**533,549** · 2018/09/24(月) 16:41:34.28

層決めるのってどうやって決めるの？

**デフォルトの名無しさん** · 2018/09/24(月) 16:52:49.83

>>686
勘

**デフォルトの名無しさん** · 2018/09/24(月) 16:57:55.21

勘なのか…
何か凄い計算とか必要なのかと思って敬遠してたわ…

**デフォルトの名無しさん** · 2018/09/24(月) 17:30:24.84

courseraの機械学習コースではニューラルネットに関しては隠れ層の数は基本的に1つで十分
隠れ層のユニット数は入力と同じ～数倍程度で十分と言っていた
特に明確に数式とかでは説明されていなかった気がする

**デフォルトの名無しさん** · 2018/09/24(月) 17:34:10.52

>>688
しらみつぶし＆総当たり最強

**デフォルトの名無しさん** · 2018/09/24(月) 18:07:27.03

>>686
最適な決め方を与える理論は現状ない

**デフォルトの名無しさん** · 2018/09/24(月) 19:17:05.17

>>679
面白さやなく計算量がわからんのやろw素直にそう言えばええやんw

**デフォルトの名無しさん** · 2018/09/24(月) 19:32:49.93

https://github.com/pypa/pip/issues/3057#issuecomment-360289938

**デフォルトの名無しさん** · 2018/09/24(月) 19:35:55.35

>>692
マジで言ってるのか、引っ込みつかなくなったのかはっきりしてくれ w

**デフォルトの名無しさん** · 2018/09/24(月) 19:43:02.05

>>692
ばかやろうはっけん

**デフォルトの名無しさん** · 2018/09/24(月) 19:50:49.24

そいつちょっと前から多数のスレでちょっかい出して回ってる半角単芝ガイジだからスルーしといて

**デフォルトの名無しさん** · 2018/09/24(月) 20:20:59.54

>>694
引っ込みつかんのはおまえやろwムリすんなw

**デフォルトの名無しさん** · 2018/09/24(月) 20:27:00.26

>>696
了解
粘着してるみたいだし、本人渾身のギャグだったんだろうな w

**デフォルトの名無しさん** · 2018/09/24(月) 20:39:57.32

バカなりに羞恥心が芽生えた模様wwwww

**デフォルトの名無しさん** · 2018/09/24(月) 21:07:59.42

別人ですアピールはわかったからやめろ

**デフォルトの名無しさん** · 2018/09/24(月) 21:09:22.05

そもそもマッチポンプでスレ荒らすな

**デフォルトの名無しさん** · 2018/09/24(月) 22:04:05.21

seek はバイナリファイルだから、100 バイト目とか、位置指定。
メモリ位置は、計算で求まるから、計算量O(1)

テキストファイルは改行区切りだから、ファイルの先頭から、改行を探して数える必要があるから、O(N)

例えば、100, 200 バイト目に改行があるって、
あらかじめ改行の位置がわからないし、記録されていない

別のファイルに、改行の位置を記録しておけばよいかも。
JavaScript などのデバッグで使う、map ファイルみたいに

**デフォルトの名無しさん** · 2018/09/24(月) 23:32:04.34

なんで、無理にPython使うの？
tailコマンドの出力を受け取った方がよくない？
別にiOSやandroid上で実行させようとしてるわけじゃないんだから
実行速度だって、インタプリタのPythonよりtailコマンドの方が速いでしょ

**デフォルトの名無しさん** · 2018/09/24(月) 23:54:27.34

初心者のうちはなぜか外部プロセス使うのダサいみたいな謎の観念があるよね
気持ちはよくわかる

**デフォルトの名無しさん** · 2018/09/25(火) 00:11:47.38

もともと>>650はwindowsでやりたいんじゃなかったっけ

**デフォルトの名無しさん** · 2018/09/25(火) 00:59:42.18

pip3のlistサブコマンドのオプションに--userがあるけど
この反対の挙動をする--systemみたいなオプションってあります？
つまりpip3 list --systemとするとSystem Wideにインストールされたパッケージ一覧が表示されるという。

**デフォルトの名無しさん** · 2018/09/25(火) 04:09:12.66

650です
いろいろアドバイスいただきありがとうございました
シークを使ったファイル処理には疎いもので、dequeを使うやり方でやってみます
Windowsにtailコマンドがあれば良かったんですが・・・

**デフォルトの名無しさん** · 2018/09/25(火) 06:18:39.51

Ruby では、tail -f の機能の、file-tail というgem を、誰かが作っている

たぶん、Python でも、誰かが作っているのでは？

**デフォルトの名無しさん** · 2018/09/25(火) 07:22:34.22

winならpowershellでできる

**デフォルトの名無しさん** · 2018/09/25(火) 07:44:49.84

>>707
とりあえずseek使ったtailの最低限の実装はこんなの。必要ならバッファが足りなかったら増やす処理やエラー処理を追加してね。

def tail(filename, n=10, buf_size=4096):
　with open(filename, mode='rb') as f:
　　file_size = f.seek(0, 2)
　　buf_size = buf_size if buf_size < file_size else file_size
　　assert f.seek(-buf_size, 2) == file_size - buf_size
　　for line in f.read(buf_size).decode('utf-8').split('\n')[-n-1:-1]:
　　　print(line)

**デフォルトの名無しさん** · 2018/09/25(火) 11:45:24.91

>>707
msys入れろ

**デフォルトの名無しさん** · 2018/09/25(火) 11:51:11.07

>>707
追記
msys は丸ごとダウンロードして来なくても
git for windows を入れると入ってくる
msys-git とか git bash で充分
マなら git くらい入れとけ
ちなみに utf-8 のファイルも直接読めて快適だ

**デフォルトの名無しさん** · 2018/09/25(火) 12:36:00.27

今ならWSLでいいだろ

**デフォルトの名無しさん** · 2018/09/25(火) 12:56:32.28

>>707
Power Shell 3.0で
Get-Content ファイル名 -wait -tail 行数
がtailコマンドと同じことやってくれるよ

**デフォルトの名無しさん** · 2018/09/25(火) 13:51:57.50

tail -f が欲しい

**デフォルトの名無しさん** · 2018/09/25(火) 20:58:37.68

>>715
>>714でいいだろ

**デフォルトの名無しさん** · 2018/09/25(火) 22:24:29.91

なんでMicrosoftは独自色出したんだろ
差別化したいんかね
タイプ回数増えて面倒
負担少ないキーボード買わせる腹積もりか?!

**デフォルトの名無しさん** · 2018/09/25(火) 23:24:40.46

Get-Content のalias として、cat が使える

入力補完があるから、長くてもよいけど

**デフォルトの名無しさん** · 2018/09/25(火) 23:30:35.52

>>717
gc -w{tab} ファイル名
※ {tab}はタブキー
でいけるのでtail -fよりタイプ数は少ないよ

**デフォルトの名無しさん** · 2018/09/26(水) 00:20:31.60

ガベージコレクタじゃないのか・・

**デフォルトの名無しさん** · 2018/09/26(水) 00:25:56.17

本立ち読みしたけどなんか数学的すぎて訳わからん
CとかJavaみたいな文系で高校数学もアヒャヒャな俺でも理解できる言語とは違うんだな

**デフォルトの名無しさん** · 2018/09/26(水) 00:42:26.52

>>721
LLはサッサとやりたことを片付けるために作られてるから
ライブラリを使うとこだけコピペして使うとこから始めると
だんだん感覚に慣れていくと思う
Haskellとかもっとわけわからんぞw

**デフォルトの名無しさん** · 2018/09/26(水) 00:47:07.34

LLってなんですか？

**デフォルトの名無しさん** · 2018/09/26(水) 01:00:17.54

ボクのチンコのサイズ

**デフォルトの名無しさん** · 2018/09/26(水) 01:43:55.58

LL は軽量言語。つまり動的言語

AI・数学・統計に関係ないなら、Ruby の方が簡単。
だから、Web 系は、Ruby on Rails が多い

**デフォルトの名無しさん** · 2018/09/26(水) 01:49:54.73

Pyキチ君、
マッチポンプのために図らずもRubyの宣伝をしてしまうの巻き

**デフォルトの名無しさん** · 2018/09/26(水) 07:43:50.60

>>723
Lightweight Language ね

**デフォルトの名無しさん** · 2018/09/26(水) 08:51:18.58

google colaboratory上で、google driveに保存してあるmp4動画google driveをマウントして
再生させています
https://stackoverflow.com/questions/18019477/how-can-i-play-a-local-video-in-my-ipython-notebook
のtop answerにある方法で再生はできるのですが、ファイルサイズが大きい(20MByte以上)と、
base64.decode('ascii')かIPython.display.HTML()あたりでMemoryErrorが発生して、ランタイムが切断されてしまい、
再生できません
b64encodeされたデータを複数のchunkに分割してdecode('ascii')したものをつなげても、
HTML()で同じエラーになります
google driveファイルを共有設定にする、ファイルを分割しておく、以外で再生する方法は
ないでしょうか？

**デフォルトの名無しさん** · 2018/09/26(水) 23:35:49.01

そもそも、google drive, Python などは、動画のストリーム再生に対応しているのか？

**デフォルトの名無しさん** · 2018/09/26(水) 23:58:32.17

つ、釣られてたまるかーーッ

**デフォルトの名無しさん** · 2018/09/27(木) 11:54:38.26

20MBのHTMLか
無茶するな

**デフォルトの名無しさん** · 2018/09/27(木) 14:04:19.46

これは、google colaboratoryのundocumentedな制限じゃないですかね
おま環影響を排除するためにazure notebookにmp4をアップロードして試してみたけど、
colaboratoryでruntime restartされた40MByteくらいのmp4もjupyter notebook上で再生できた

制限内容がよくわからないからそのうち嵌りそう、というかcolaboratoryではよくあることかも

**デフォルトの名無しさん** · 2018/09/27(木) 15:42:01.47

pythonプログラムをpythonインタプリタなしで実行する方法ってある？

**デフォルトの名無しさん** · 2018/09/27(木) 15:45:51.90

exe化

**デフォルトの名無しさん** · 2018/09/27(木) 16:36:47.30

cython

**デフォルトの名無しさん** · 2018/09/27(木) 16:51:52.06

>>734
exe化ってpythonがインストールされてなくても動くの？

**デフォルトの名無しさん** · 2018/09/27(木) 17:01:11.74

python.dllってのがおまけで付くけど実質インタプリタ

**デフォルトの名無しさん** · 2018/09/27(木) 17:05:33.51

>>736
そのように作れば動く

**デフォルトの名無しさん** · 2018/09/27(木) 18:42:26.88

>>738
どうやって作るの？
py2exeじゃダメでしょ

**デフォルトの名無しさん** · 2018/09/27(木) 19:03:07.14

えっ
py2exeでもpyinstallerでも単品exeに仕立てられるぞ

それぞれのドキュメントみろ

**デフォルトの名無しさん** · 2018/09/27(木) 19:04:27.93

あるいはどっか
web上にソース貼ると
ある程度挙動をエミュレートしてくれるサイトなかったっけか（はげしくうるおぼえ）

**デフォルトの名無しさん** · 2018/09/27(木) 22:47:48.13

うろ覚えをうろ覚え

**デフォルトの名無しさん** · 2018/09/27(木) 23:07:10.43

Dataframeのカラムの一つのdf['fff']の中身が
0,1,2,3,4,5,6,.........と番号順に増えるようにするにはどうすればいいの？

**743** · 2018/09/27(木) 23:51:47.69

>>743
自己解決した！
簡単すぎて、すまん。

**デフォルトの名無しさん** · 2018/09/28(金) 09:28:08.04

こどもの行事写真なんだけど、2000枚くらいあって、その中から自分の子供の画像だけ抽出することってできる？

**デフォルトの名無しさん** · 2018/09/28(金) 09:33:59.55

それはAIを使ってプロが作るやつやで
自作するようなもんじゃない

**デフォルトの名無しさん** · 2018/09/28(金) 09:44:54.02

>>745
googleフォトにアップロードして、ある程度(数日？)待つと
googleのAIが映っている人物で分別してくれるよ

**デフォルトの名無しさん** · 2018/09/28(金) 12:39:47.98

>>747
これマジっすか？

**デフォルトの名無しさん** · 2018/09/28(金) 12:46:49.14

自分で制御したいならAWSのRekognition使えば一発だな
そんな誰でも考えることに対して、わざわざ自分で膨大な手間をかけて既製品より遥かに劣る再発明をするのは阿呆
もっといえば画像認識の分野なんて研究されきってて、一般的なタスクは基本的に既製品で十分すぎるほどにカバーされてるよ

**デフォルトの名無しさん** · 2018/09/28(金) 13:15:34.49

>>747
ありがとう。じゃあ、そこまでをパイソンにして貰えばいいわけね。

**デフォルトの名無しさん** · 2018/09/28(金) 14:09:05.63

結局Excelには入ったんでしょうか