Pythonのお勉強 Part57

**デフォルトの名無しさん** · 2018/06/25(月) 09:57:59.24

Pythonオフィシャルサイト
http://www.python.org/

■前スレ
Pythonのお勉強 Part56
http://mevius.5ch.net/test/read.cgi/tech/1519430841/

次スレは>>980が挑戦する

ソース貼れるサイト
https://pastebin.com/ ペーストビン
https://ja.osdn.net/pastebin/　OSDNコピペ　ログインしないで投稿すると一週間で自動削除

**デフォルトの名無しさん** · 2018/08/13(月) 15:05:42.16

>>324>>326
こっちの専ブラでは \ (おそらくそっちの画面では＼の半角) が￥の半角で表示されるので読んでて笑える。

**デフォルトの名無しさん** · 2018/08/13(月) 15:08:19.02

>>333
今は開発者モードONにしなくてもできる筈。

**デフォルトの名無しさん** · 2018/08/14(火) 15:58:28.92

スクレーピングしたデータをDBに保存したい場合ってなんかいいpaasみたいなのある？scrapy動かしてそのままDBに保存できるやつ

**デフォルトの名無しさん** · 2018/08/14(火) 16:49:39.70

GAE

**デフォルトの名無しさん** · 2018/08/14(火) 17:08:35.47

>>337
無料枠でいけます？

**デフォルトの名無しさん** · 2018/08/14(火) 18:44:27.46

それはお前がどのくらいデータを収集するのか次第だろ…

**デフォルトの名無しさん** · 2018/08/14(火) 20:21:44.91

世界中のエロ画像よ！俺のHDDに集まれ！

**デフォルトの名無しさん** · 2018/08/15(水) 02:39:13.27

IDLEのダメなところは
行番号が分からないところだよな

**デフォルトの名無しさん** · 2018/08/15(水) 03:49:50.48

>>340
なんというパワフルな願望

**デフォルトの名無しさん** · 2018/08/15(水) 07:53:37.04

>>341
行番号付けられんかいのー？

**デフォルトの名無しさん** · 2018/08/15(水) 09:08:02.56

>>341
vimで良いじゃん。

**デフォルトの名無しさん** · 2018/08/15(水) 13:40:47.10

>>341
idleつかうならspyderのほうがいいんじゃない？

**デフォルトの名無しさん** · 2018/08/15(水) 19:50:58.06

ちょっと教えてください
GeminiPDAのTermuxUbuntuでPhantomJS使ったスクレイピング試してます。

pythonで対話モード?だとget後のdriver.page_sourceで正常に
ページソースの取得が出来ますけど、
ファイル渡して実行すると下記のような空のHTML?しか返ってきません。

<html><head></head><body></body></html>

googleのTOPで試しましたけど、他のWebページでも同じなようです。
get後にwait入れたりもしてみましたが同じでした。
この場合他にどういった事を試せば良いでしょうか？
スクレイピング勉強始めたばかりでお約束等手探り状態です。
各APバージョンはPython3.6.5とSelenium3.8.0、PhantomJS2.1.1です。

**デフォルトの名無しさん** · 2018/08/15(水) 20:12:34.23

googleは止めておいた方が...
すぐアク禁にされるから
不便だよ

**デフォルトの名無しさん** · 2018/08/15(水) 20:26:22.26

>>347
スクレイピングするとアク禁喰らうのかよ？
迂闊に出来んなぁ

**デフォルトの名無しさん** · 2018/08/15(水) 20:36:03.30

今からWebアプリの開発をPythonで始めたいのですが、どのような開発環境がいいでしょうか？
現状は次の通りです

・3年ほど前から、自宅鯖で自分専用のWebサーバーを運用しています。主な用途は仕事（自営）の実績データ整理です。出先からスマホで入力することが多いので、Webサーバーにしています
・CENTOS6.5＋apache2.2+postgresql8.4+PHP5.3で運用しています
・自宅にはサーバー機が1台とデスクトップ機（win10 64bit)が1台あり、LANで繋がっています
・デスクトップ機上のIDE（現在はNetbeans、以前はaptana）でソースを書いて、FTPでサーバー機に転送し、テストはデスクトップ機がLAN経由でサーバー機に接続して行っています

考えられるのは、従来通りの方法か、デスクトップ機上に仮想マシンを作ってIDEもそこに置くか、IDEはwindows上に置いておいて仮想マシンはテスト専用にする、くらいですがそれぞれの長所・短所がよく分かりません

なお、デスクトップ機でlinuxを使った経験はほとんどありません。OSのインストール時に試しにx-windowをちょっと触ったくらいです

**デフォルトの名無しさん** · 2018/08/15(水) 21:17:01.34

>>347
1秒に何度も実行するわけでは無いので大丈夫じゃないですかね
でも忠告どおりyahoo等と入れ替えて実施します
UserAgentも変えましょうかね
ありがとう

**デフォルトの名無しさん** · 2018/08/15(水) 21:23:20.51

>>349
Win10で世界に何かを公開するとかはやめとけ　やめとけ　やめとけ
素直にレンタルサバ（中身はLinux系）借りとけ

**デフォルトの名無しさん** · 2018/08/15(水) 21:32:14.48

>>349
自家サーバーにこだわりが無ければ
適当なPaaSを選んで使うのが楽
お遊び程度なら無料枠で充分動く

**デフォルトの名無しさん** · 2018/08/15(水) 21:34:04.83

>>351
鯖はcentosじゃないの？

**デフォルトの名無しさん** · 2018/08/15(水) 21:38:50.36

>>352
サーバーの方に手を入れるつもりはなくて、PHPで作ってたのをPythonに切り替えるにあたって、開発環境をどうしようかって話です

>>353
その通りです

**デフォルトの名無しさん** · 2018/08/15(水) 22:03:51.64

>>354
Sakuraエディタおｋ

**デフォルトの名無しさん** · 2018/08/15(水) 22:32:09.76

>>354
開発環境のセットアップはanacondaインストールから始めるといいかも。
エディタはanacondaに入ってるspyderが個人的には好きだけど、pycharmを勧める人も多い。

contosにデフォで入ってるpythonがバージョン3じゃなかったりするので、python -Vでバージョン確認して2.7とかだったら、改めてpythonをインストールしたほうがいいかも。

**デフォルトの名無しさん** · 2018/08/16(木) 01:42:46.33

pycharmはweb開発は有料だし、webだと.py 以外のファイルを弄る機会も多いからvscodeの方がいいな

**デフォルトの名無しさん** · 2018/08/16(木) 11:14:34.74

vscode、関数戻り値の型ヒント書くとハイライタのフォントカラーがおかしくなる。
職場のvscodeでは正常なんだが、自宅のwin、macの両方ともダメ。
原因調べるのまんどくさ。

**デフォルトの名無しさん** · 2018/08/16(木) 11:15:56.47

>>347
＋１

**デフォルトの名無しさん** · 2018/08/16(木) 11:40:18.66

スクレイピングして
リストとかディクショナリーとかにデータ入れてプリントすると文字列出てくるけど
これは上書きされてるって事？それとも［a.b.c.d,,,,,, ］ってどんどん増えてくニュアンス？

**デフォルトの名無しさん** · 2018/08/16(木) 12:05:21.54

TabError: inconsistent use of tabs and spaces in indentation
Pythonはこういうエラーを出してくるからいちいち面倒くさい。
強迫神経症になりそう。

**デフォルトの名無しさん** · 2018/08/16(木) 12:11:57.01

>>361
めったにみないぞ

**デフォルトの名無しさん** · 2018/08/16(木) 12:34:38.58

>>346
あーっと自己解決かな？
get後にsleepで何秒か待つとソース取れました。
リダイレクトされたのか裏でなんか起動中なのか確認しようと思って
page_sourceの後current_url取ろうとしたら今度は下記エラー…
～ Unable to load Atom 'execute_script' ～

謎は深まった…orz
Seleniumスレあったけど過疎化してるね。ここで良いのかな…

**デフォルトの名無しさん** · 2018/08/16(木) 12:53:02.04

vscode django remote debug でググると色々出てくる

つーか素のPHPとSQLでゴリゴリ書いてたのか、フレームワーク使ってたのかで大分移植難易度変わると思うけど
元がdb使ってたかわからんが、もし使ってたらdjangoは独自ORマッパーのModelありきだから一から作り直した方が早いと思う

**デフォルトの名無しさん** · 2018/08/16(木) 18:17:49.39

7月発売予定だったDjango本が9月に延期したと思ったら来年1月にまた延期してる

**デフォルトの名無しさん** · 2018/08/16(木) 19:21:00.85

>>361
pycharm使わないからそういうエラーで時間を無駄にすることになるんだよ

**デフォルトの名無しさん** · 2018/08/16(木) 19:26:23.59

pandasで階層インデックス、MultiIndexのデータ形式に随時行を追加していきたいような時は、appendするよりも、新しいデータでdfを作って、それとマージしたほうがいいのかな？
そもそも、階層インデックスのdfにappendするやり方がわからない...

**デフォルトの名無しさん** · 2018/08/16(木) 21:30:56.14

pycharmじゃなくともちょっと気の利いたテキストエディター使えばいいだけだぞ

**デフォルトの名無しさん** · 2018/08/16(木) 21:48:43.86

>>361
タブでネストの深さ管理してるのにそれを滅茶苦茶にするのが許されるとか致命的だろ

**デフォルトの名無しさん** · 2018/08/16(木) 23:05:08.02

エディタはMery使えばええやん？

**デフォルトの名無しさん** · 2018/08/17(金) 01:11:25.23

>>363
5ch みたいに最初に、空のHTML だけを送ってきて、
その後、JavaScript の非同期処理で、内容を取得するようなページは、

少し待たないと、HTML 内に内容が読み込まれない

**デフォルトの名無しさん** · 2018/08/17(金) 03:23:30.29

>>371
やっぱそうなのか～
自分はsleepで待機したけど、seleniumの作法としては
タイトル要素待つとかなのかな？
先は長いな

ちなみにUnable load Atomはパッケージが元々壊れてる可能性
あるとかでphantomjs入れ直す予定。
npmのリポジトリにも見つけたからaptのは削除してやってみます

**デフォルトの名無しさん** · 2018/08/17(金) 22:26:46.76

condaについて調べてて、グーグル先生に翻訳してもらったら
conda package がコンドームパッケージって翻訳されて会社で笑いそうになった

**デフォルトの名無しさん** · 2018/08/17(金) 23:10:09.90

小…いや中学生レベルか

**デフォルトの名無しさん** · 2018/08/17(金) 23:33:29.96

重いcondaら

**371** · 2018/08/18(土) 00:21:07.11

>>372
phantomjs は、もう開発終了だろ。
Selenium WebDriver から、Chrome で、headless mode を使える

Ruby では、
options = Selenium::WebDriver::Chrome::Options.new
options.add_argument('--headless')

driver = Selenium::WebDriver.for :chrome, options: options

また、特定の要素が作られるまで、wait するような書き方もある

**デフォルトの名無しさん** · 2018/08/18(土) 11:20:06.71

>>373
乙py

**デフォルトの名無しさん** · 2018/08/18(土) 12:57:53.83

sjisではないファイル名をリストアップしようと思って、
try:
file_sjis = file.encode("sjis")
except UnicodeEncodeError:
print file.encode("utf-8")

こんな風に書いたら、'～' を含むファイル名までエラーになった
実際には普通のsjisなのに

これはpythonがおかしいの?

**デフォルトの名無しさん** · 2018/08/18(土) 13:04:53.14

自決しました
sjisではなくCP932が正解

同じちゃうんかい

**デフォルトの名無しさん** · 2018/08/18(土) 13:09:37.55

>>376
最初はChromeやChormium、Firefoxも試したんですけどねぇ
driver = webdriver.Firefox()等でインスタンス正常に返してくれるのが
PhantomJSだけだったんですよ
Termux上っていうちょっと特殊な環境だから仕方ないかなと。

wait.until(expected_conditions.~)で待ちを作れるのは一昨日覚えました。
rubyも良いよね10年前にirbちょっと触った記憶しか無いけどｗ
あ～rubyからも試してみようかな

**デフォルトの名無しさん** · 2018/08/18(土) 16:42:28.63

>>379
まてはやまるな

**デフォルトの名無しさん** · 2018/08/18(土) 18:54:08.43

>>379
ちゃうちゃう

**デフォルトの名無しさん** · 2018/08/18(土) 23:42:54.01

CP932 は、sjis に、MS 固有の文字(機種依存文字)を追加したもの

**デフォルトの名無しさん** · 2018/08/19(日) 00:01:25.04

それだけなら上位互換だねーで済むので、
>>378 みたいな問題は起きない

**デフォルトの名無しさん** · 2018/08/19(日) 07:28:29.56

ついに死人が出たか

**デフォルトの名無しさん** · 2018/08/19(日) 12:08:18.61

>>379
ｲ㌔！

**デフォルトの名無しさん** · 2018/08/22(水) 02:48:25.72

いつのまにか基礎から学ぶdjangoの発売日が7月から来年の1月に変わってる…

**デフォルトの名無しさん** · 2018/08/22(水) 08:31:41.05

今は売るな時期が悪い

**デフォルトの名無しさん** · 2018/08/22(水) 13:47:08.81

うむ

**デフォルトの名無しさん** · 2018/08/22(水) 15:44:49.94

>>388
詳しく

**デフォルトの名無しさん** · 2018/08/22(水) 23:41:13.50

今は時期が悪いオジサンの戯言はスルーで

**デフォルトの名無しさん** · 2018/08/23(木) 00:23:03.83

今日買ったオライリー本の中で、RubyのRailsとPythonのDjangoが二大フレームワークとして挙げられてたんだが、Djangoって海外じゃRailsとタメ張れるくらいそんなにメジャーなの？
だったらDjango本バンバン出して欲しいんだが

**デフォルトの名無しさん** · 2018/08/23(木) 00:43:07.48

herokuの無料プランにdjangoとか突っ込んだらそれだけで無料プランの容量かなり埋まっちゃうと思うけどpython以外のwebフレームワークでも同じぐらい容量食うの？

**デフォルトの名無しさん** · 2018/08/23(木) 00:50:06.96

これが初めて出た、Django の本！

Python Django 超入門、掌田津耶乃、2018

一方、Rails の本は、数十冊は出てる

**デフォルトの名無しさん** · 2018/08/23(木) 06:04:22.36

reCAPTCHA の画像ポチポチ押していくやつって突破できるの？

**デフォルトの名無しさん** · 2018/08/23(木) 06:09:00.21

出来ないとしたら、お前はロボット
または目が見えない
または英語を理解できていない

**デフォルトの名無しさん** · 2018/08/23(木) 10:31:44.06

>>394
数十冊出さないと理解出来ないくらい複雑怪奇魑魅魍魎なRailsより
入門書なんかなくても学習出来るDjangoの方が良いと思わないか？

**デフォルトの名無しさん** · 2018/08/23(木) 10:33:38.14

>>396
人間でも突破は馬鹿には無理だから
ガキ除け馬鹿除けには良いね

**デフォルトの名無しさん** · 2018/08/23(木) 10:57:47.11

【中庸はＮＧ、右か左】　世界教師マⅰトレーヤ「新時代を切開くため70億人を２つのグループに分ける」
http://rosie.5ch.net/test/read.cgi/liveplus/1534987219/l50

ＰＣとスマホのモニターを覗いている傍観者のみなさん、腹を決めてください。

**デフォルトの名無しさん** · 2018/08/23(木) 11:37:09.50

ずっとピストンって読んでた。すいません。

**デフォルトの名無しさん** · 2018/08/23(木) 11:47:47.04

>>397
良い本なら一冊で大丈夫だ
しかしもう今はやる気は失せた

**デフォルトの名無しさん** · 2018/08/23(木) 11:50:15.65

>>400
👍

**デフォルトの名無しさん** · 2018/08/23(木) 13:06:39.15

>>394
こいつまた公式パクって改悪してわかりにくい
解説つけただけの本出したのかw

**デフォルトの名無しさん** · 2018/08/23(木) 15:49:00.01

日本ってそういうの多いよね
悲しい

**デフォルトの名無しさん** · 2018/08/23(木) 18:44:53.55

PyPyもあるしな

**デフォルトの名無しさん** · 2018/08/23(木) 20:45:28.36

>>405
これはパイパイって読むの？

**デフォルトの名無しさん** · 2018/08/23(木) 21:44:29.43

>>406
パイパイ以外の読み方を知らない

**デフォルトの名無しさん** · 2018/08/23(木) 22:03:56.56

職場では発音しづらい

**デフォルトの名無しさん** · 2018/08/23(木) 23:01:02.17

classmethodの使い道ってコンストラクタいがいにあります？

**デフォルトの名無しさん** · 2018/08/23(木) 23:03:25.34

>>409
ない
Pythonの場合はインスタンスに属さない関数はモジュール直下に置くのが好まれる

**デフォルトの名無しさん** · 2018/08/23(木) 23:13:28.73

>>410
やっぱそすか
クラス自体を引数に取ってもやることはインスタンス作るくらいですよね

**デフォルトの名無しさん** · 2018/08/24(金) 12:46:32.55

例外言い出したらキリがないけど
メタプログラミングとか黒魔術とかのときは使うんじゃね

**デフォルトの名無しさん** · 2018/08/24(金) 14:51:57.34

世界中で、主要言語のフレームワーク、ゲームエンジンの本を書いたのは、掌田だけ！

Guido の本は、もっとひどい。
詳細は検索して！ばっかりw
内容がないw

内包表記は読みにくいから、使わない方がよいとか

**デフォルトの名無しさん** · 2018/08/26(日) 11:30:34.82

>>394
著作者はApple Script入門書書いた超有名人じゃないっすか

**デフォルトの名無しさん** · 2018/08/26(日) 11:41:27.22

>>412
ほんとに要らないのは、staticmethodの方だな。

**デフォルトの名無しさん** · 2018/08/26(日) 12:15:14.63

>>414
掌田津耶乃は悪い方で有名

**デフォルトの名無しさん** · 2018/08/26(日) 13:39:48.52

staticmethodは便利
classmethodも使う
一番要らないのはC++のprivate

**デフォルトの名無しさん** · 2018/08/26(日) 13:47:21.50

掌田津耶乃って入門書ビジネスやってるだけのチテショウだろ…

**デフォルトの名無しさん** · 2018/08/26(日) 18:08:17.97

classmethodは、クラスレベルのアトリビュートにアクセスできるから、ファクトリ専用というわけではないｗ

**デフォルトの名無しさん** · 2018/08/26(日) 22:59:54.51

漢字Talk7.5時代はMac専門誌でApple Scriptコラムやってて日本語版唯一の解説本だったから貴重だったんだけどな
Hyper Talkの解説本も書いてた

**デフォルトの名無しさん** · 2018/08/26(日) 23:09:57.31

需要あるのか

**デフォルトの名無しさん** · 2018/08/27(月) 03:44:10.77

>>416
詳しく

どうしても、ｳﾂﾀﾞｼﾉｳに見えてしまう

**デフォルトの名無しさん** · 2018/08/27(月) 03:46:12.53

Macの雑誌で連載やってたぜんまいビュンビュンってこの人の本だったのか！

**デフォルトの名無しさん** · 2018/08/27(月) 09:07:05.81

>>422
本屋で内容をざっと見て
公式チュートリアルとくらべてみ

**デフォルトの名無しさん** · 2018/08/27(月) 19:29:37.51

>>422
例えば君がよく知らない言語をそこらのチュートリアルでちょっと遊んでみたとするよね
で、その状態で（わかんないとこはきっとこうだろうと想像しつつ）断言口調で解説書を書く
そんな感じで量産されたのがきゃつの書籍群だ

**デフォルトの名無しさん** · 2018/08/27(月) 22:33:23.40

>>425
わかる。まあ初心者は断定してもらった方が嬉しいのだけど
山田祥寛って人も似たような商売をしているが
彼にあるようなディスりは少ない気がする

**デフォルトの名無しさん** · 2018/08/27(月) 23:51:58.68

掌田津耶乃・山田祥寛は、多言語フレームワークの2大研究家！

特に掌田は、主要ゲームエンジン・言語のフレームワーク、
開発環境の運用構築まで、世界でも類を見ないほどの研究家

短時間で、これだけ海外の文書を読めるのは、英語力が半端ないのだろう。
読む速度・理解力が、日本人の10倍ある

これだけ読んでいたら、ゲームエンジン・フレームワークの内部で呼ばれている、
native 関数・OS のAPI も、すべて知っていると思う

結局、同じCPU・命令セットを使うから、
どのOS でも、API は同じ実装になるから、予測がつく

**デフォルトの名無しさん** · 2018/08/27(月) 23:56:57.80

>>427
その割には書籍はいまいちいまになんだよな
不思議

**デフォルトの名無しさん** · 2018/08/27(月) 23:58:52.50

>>427
ノリがrails推しのいつもの気持ち悪い人っぽいなと思ったら、もしかして>>394と同じ人か

**デフォルトの名無しさん** · 2018/08/28(火) 00:47:11.63

研究家ってなんだろう？
開発者ではないんだよな？

**デフォルトの名無しさん** · 2018/08/28(火) 16:33:32.14

宣伝家
宣伝者

**デフォルトの名無しさん** · 2018/08/28(火) 20:03:52.22

スミマセンすごく単純な話なんですが結構悩んでます。
pandas でDatetime型変数の引き算でミリセコンド単位で求めるにはどうしたら良いでしょう。

**デフォルトの名無しさん** · 2018/08/29(水) 06:32:17.31

>>427
掌田も山田もJuliaの本書かないね。黒木さんに書かないかな。