Pythonのお勉強 Part65

2021/05/23(日) 14:51:52.02

!extend:default:vvvvv:1000:1024
!extend:default:vvvvv:1000:1024
↑スレ立てる毎に減るので、減ってたら３つに補充すること。

・当スレにRubyのソースコード類を書くことを禁ず
・Ruby等、Pythonではないプログラミング言語での回答類・質問を書くのも禁止
・「Ruby では」「Rubyでは」「Rails」正規表現→「^クソチョンw$」をNGワード登録推奨
・エラーを解決したいときは、かならず
　エラー文（勝手に省略orスクショうｐ等の横着禁止）と
　おま環（Pythonのバージョン番号＋OS名とバージョン＋IDE名）を書け。

★Pythonのソースコードを５ちゃんに直貼はインデントが崩壊するので、
　　↓等のコードうｐ用サイトに貼ってきてくだしあ。（スクリーンショットをうｐる「横着」禁止）
ttps://techiedelight.com/compiler/　　Run Code機能あり。
ttp://ideone.com/　　　　　　デフォ設定がCなので、Pythonするには言語種選択ボタン押下がﾋﾟｺ手間かも。
ttp://codepad.org/　　　　　ほぼ直感的に使える。Run codeボタンあり。
ttp://pastebin.com/　　　　　まずまずシンプル。
ttp://dpaste.com/　　　　　　とてもシンプル。消えるまでの日数は十分長ーく指定のこと。

◇Pythonオフィシャルサイト　http://www.python.org/
◇まとめwiki　ttp://python.rdy.jp/

●関連スレ●　自称初心者は↓へ
【まず1嫁】くだすれPython(超初心者用) その53
https://mevius.5ch.net/test/read.cgi/tech/1615846784/

〇前スレ〇 Pythonのお勉強 Part64
https://mevius.5ch.net/test/read.cgi/tech/1600035173/

次スレの建立は>>985が挑戦する。（980通過して24h後も落ちなくなった）
### END of TEMPLATE ###

VIPQ2_EXTDAT: default:vvvvv:1000:512:: EXT was configured

2021/10/21(木) 05:43:10.31

PHPとjavascript

2021/10/21(木) 08:00:10.35

youは何しにこのスレに？

2021/10/21(木) 09:20:56.65

>>696
Javaでstruts1or2かseasarに精通してる人。
今さら重い腰を上げてる会社がまだゴロゴロある。

2021/10/21(木) 10:46:08.90

>>698
昨日NHKのEテレで中國人留学生が初めて日本に来た時
スーツケースいっぱいに饅頭を詰めて持って来たって話をしていたが
密輸入で捕まらんかな

2021/10/21(木) 11:10:58.89

python組み込みで使うけど、GILで困ることが多い
がっつり使い込むものじゃないな

2021/10/21(木) 11:46:41.43

日本では饅頭の下に小判を入れるしきたりなんだけど大丈夫かな？
その中国人が逆ギレして役所の廊下で切りつけ事件を起こさないか心配

2021/10/21(木) 13:11:31.25

>>701
組み込みでマルチスレッド多用するってこと？

2021/10/21(木) 13:33:47.60

Pythonを実ビジネスシーンで使う例がチラホラ出て来てるけどJavaみたいに普及するかはライセンスフリーが維持されるかどうかだね

2021/10/21(木) 13:38:26.60

AtCoderとKaggleだったらどっちをやったほうが有利ですか？

2021/10/21(木) 13:44:38.83

>>705
高学歴ならKaggle
低学歴ならAtCoder

2021/10/21(木) 14:30:16.18

>>706

AtCoderのほうは高IQが必要
Kaggleのほうは総合力が必要

というイメージですが、合ってますか？

2021/10/21(木) 15:00:39.83

>>707
低学歴がKaggleの腕を磨いたところでそれを活かせる職に就くことは難しいので、
一般的なコーディング力を鍛えたほうが役に立つということだ

2021/10/21(木) 18:41:17.32

IQが高そうな回答

2021/10/21(木) 22:00:46.79

>>703
うちは使う

2021/10/21(木) 22:05:42.42

>>707
コンペ入賞歴は加点要素にならない可能性がある
仕事では単純な手法の方が好まれることもあるから

2021/10/21(木) 22:15:14.23

>>705
少し突っ込んで話聞いてみてAI周りを頑張ってるタイプだったら興味なし。
前処理の画像処理や形態素あたりに工夫ができる人の方が欲しい。
AI周りが上手い人間を育てるよりGAFAMの天才が新しいやり方を世に出すサイクルの方が明らかに早い。
一方で身の回りの汚いデータをAIが食えるようにするのはどこまでも付いて回る話。

2021/10/22(金) 00:29:39.20

Kaggleは前処理で勝負するコンペだからデータサイエンティストの実務能力に直結してる
金を穫れるレベルなら面接ぐらいは通るだろう

2021/10/22(金) 00:54:20.88

面倒なことは他人にやらせよう

2021/10/23(土) 12:26:28.35

教えてください

「keyerrorがでるけどどこがだめなのかわからない」 https://teratail.com/questions/365802?sip=n0070000_019&;uid=199109 #teratail #python

2021/10/23(土) 14:01:43.11

びわこ
琵琶湖

2021/10/23(土) 14:15:18.04

寺では返信するくせに同板マルチしてるこっちではスルーだから
善意で回答くれる方が不憫

2021/10/25(月) 21:43:51.75

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ

2021/10/26(火) 10:35:04.16

スクレイピングでタイマー入れてリクエストを遅らせるじゃん？
あれってサーバー負荷を考えてのことよね。
サーバーが落ちる条件ってさ一秒間ないし何かしらの単位時間当たりのアクセス数よね。
リブラハックの時に400リクエスト/hのサーバー性能って話があったと思うんだけど、それは一分間に399回リクエスト送って残りの59分は0リクエストだったら落ちないって話じゃないよね？60分を400リクエストで割った時間は最低でもタイマー入れておかないと落ちるって話よね？

2021/10/26(火) 11:41:03.35

>>719
ところがlibrahack事件はブログラムにバグがあり、
前者のような実装だったという笑えない事案

2021/10/26(火) 11:47:12.83

>>720
あれって、サーバー性能じゃなくてサーバーを保護するためにレスポンスが一定超えると落ちるようになってたってこと？こわｗ
一般的なサーバーの性能としては単位時間当たりのレスポンスつまりは>>719の後者の仕様なんだよね？

2021/10/26(火) 12:04:57.13

あれって三菱電機子会社のセッション管理に問題があって普通じゃ考えられないような低負荷でも落ちたんじゃなかった？
うろ覚えだけど新着図書をスクレイピングするだけだったのがサーバ側ではページネーションのために前のユーザがどこまで表示したか覚えてたりとかなんとか。
それだと低頻度でもcookie捨てて新しいセッションでどんどんアクセスしたらサーバからしたはキツいだろうし。

2021/10/26(火) 12:07:54.03

岡崎・HP障害サイバー攻撃のはずが原因、実は図書館ソフトに不具合改修始まる

http://librahack.jp/newspapers/

悪質なのは、メーカーが当初不具合を認めず、
ハードの性能に問題があるとして設備更新を誘導していたこと
設備更新した他の図書館には修正済みソフトが入っていたが、
岡崎図書館は設備更新を断ったため、修正版が入っていなかった

2021/10/26(火) 12:19:47.44

これがちょっと詳しい。
個人情報漏洩もあったな。懐かしいw
https://www.itmedia.co.jp/news/spv/1011/30/news099.html

2021/10/26(火) 13:09:45.63

いつもの釣りスクレイパーにマジレスって草

2021/10/26(火) 13:48:34.14

ほんと図書館話よく釣れるね
語りたくてウズウズしてんだろうな

2021/10/26(火) 14:16:09.53

いや、おれは図書館の話したいわけじゃないんだ。
例に出して悪かった。

漫画RAWをスクレイピングして、購読中の漫画が更新されているか確認するプログラム作ったんだけど
スクレイピング対象の性質的に訴えられることもないと踏んでタイマーを0.1秒にしてるんだわ
ただ、それでも30個くらいの購読タイトルを巡回するだけで30秒くらいかかってる。
0.1どころかそもそも無くそうかなって思ってるんだけど、0にしたらサーバー落ちたりするんだろうか？
リクエストの数が数十件程度ならタイマーなんて不要じゃないのかなって。
それが本題

2021/10/26(火) 15:37:40.40

三菱って空調でもやらかしてるし車でもやらかしてるし
色々体質的な問題を孕んでるのかね

2021/10/26(火) 15:59:16.30

リクエスト投げた時間とレスポンスが返ってきた時間を見て
１件に１秒かかっているなら、その通りで良いのではないか？

2021/10/26(火) 16:19:27.26

>>727
スレ立つ度に同じ話題出るけど結局は相手によるで終わり

2021/10/26(火) 16:38:51.55

連載の性質上、前回の更新から数日さぼっても更新されんとおもうし
過去の更新頻度から類推して確認間隔を決定するよう実装してみては

2021/10/26(火) 17:02:12.87

>>731
確認は現時点では完全に手動にしてるんよ。
GUIにしたから朝一に巡回ボタンを押すようにしてる。
そうすると30秒くらいで更新されてる漫画があればブラウザで開いてくれる。

2021/10/26(火) 17:11:27.38

>>732
ええやん

2021/10/26(火) 17:12:47.85

0.1 秒毎に、大量アクセスしてるの？
もし訴えられたら、確実に有罪になるレベル

やめといた方がよい。
ちゃんと、robots.txt も守っている？

被害額は、1円でもOK だから。
水・電気泥棒も皆、1円で逮捕されている

基本的に、故意・反復がダメ。
有罪の決め手は、故意と反復しているかどうか

それと、相手に被害がありそうな事を、薄々分かっているかどうか

2021/10/26(火) 17:21:42.64

>>734
大量の定義によるけど0.1秒ごとに1回リクエストを送るってのを数十回やってる。
いまだと購読してる漫画が30種類あるから、巡回するときは30回のリクエストを0.1秒ごとに送ってることになる。
厳密にはリクエスト送ってレスポンス来てから0.1秒だで実質1秒おきになってるかもしれない。

この場合の訴えってサーバーから？サイトの管理者から？どっちから来るの？
サイトの管理者は訴えることはできないだろうな。
サーバーのほうは知らんけど。

2021/10/26(火) 17:41:36.00

訴えるとすればサイト管理者

**734** (ﾜｯﾁｮｲ ee2c-/PVD) · 2021/10/26(火) 17:55:03.70

1日30回なら、10～30分に1回ずつ、アクセスできないの？
0.1秒は、確実に有罪になるレベル

ちゃんと、robots.txt を守っている？

基本、サーバーは物理的攻撃だから、水・電気泥棒と同じ。
被害額1円で逮捕できる

2021/10/26(火) 18:01:45.46

>>736
ありがと
サーバーからサイトに割り振られたリソースを超えたら停止するんかな。
それなら問題なさそうだわ。

変なのが沸いてるから、ちょっと気になったけど安心した。

**734** (ﾜｯﾁｮｲ ee2c-/PVD) · 2021/10/26(火) 18:02:17.37

Udemy の山浦清透、2021/6

【作業工程フル公開】エンジニアが30万円案件の制作過程を公開
https://www.youtube.com/watch?v=tYbVl6N8oxI

Laravel を使って、mynavi から、求人情報をスクレイピングする。
robots.txt を守る

**734** (ﾜｯﾁｮｲ ee2c-/PVD) · 2021/10/26(火) 18:06:44.55

>サーバーからサイトに割り振られたリソースを超えたら停止するんかな

サーバーが停止させられているという事は、サーバー落ちでしょ

既に被害が出ているから、逮捕確実。
すぐに止めた方がよい

2021/10/26(火) 18:14:11.25

日本語通じてねぇのかなｗｗｗ

サーバー落ちたなんて言ってないんだけどｗ
アクセスしてるサイトの性質も理解してないし当然だけど/robots.txtも見てないんだろうな。
覚えたての知識でマウント取るのは自由だけど正直言って迷惑だわ
以降はスルーしとくで、勉強に戻って時間を有意義に使ってくれ

2021/10/26(火) 18:14:50.06

問題があるかどうかを決めるのは管理者であってアクセスする側ではない

2021/10/26(火) 19:22:26.49

漫画RAWなんてアクセス集中したところで訴えれんだろ
そんなことしたら管理人が逮捕される

2021/10/26(火) 19:34:58.11

更新頻度とかによるけど1時間に1回巡回して
差分あったらwebhookで通知とかにするかな
サーバはNTTのindigo借りてcronで回す

ちなみに俺がサーバ管理者なら大量アクセスされたら個別にIPをはじくけどな

2021/10/26(火) 19:40:36.17

cronでアクセスだと、すぐバレると思う

2021/10/26(火) 19:58:10.35

確かに漫画RAWはやばいな
管理者はいずれ捕まるだろうが
その時に残ってるサイト側のアクセスログで
何か起こるかも知れない

2021/10/26(火) 19:59:35.26

直接やることはほとんど無くなったな。
ブラウザ噛ませたらだいじょうぶとも言えんけど念の為。

2021/10/26(火) 20:00:54.99

あ、俺は漫画のことじゃないよｗ

2021/10/26(火) 20:16:49.12

俺もweb割れに機械アクセスしまくってたけど
IPと偽装の遮断、多数アクセス者への手動認証発動あたりは全然やってくるから
今のうちに常識的な範囲の間隔あけといたほうが、最終的に得

2021/10/26(火) 20:32:57.79

クローリングと思われないように巡回時刻もある程度散らしたほうがいい。

2021/10/26(火) 20:35:27.38

たしかに大量アクセスなら間隔開けてやった方が訴訟とかそういう意味じゃなくてIP弾かれないようにするために必要かもな
けどあれだけ人が集まるサイトで30アクセスって誤差なんじゃね？

2021/10/26(火) 20:55:24.34

短時間にガーッとやると「やったなお前」っていうパターンがわりとあって
あと定点スリープがバレたこともあるので
sleep(random.uniform(1,3))あたり使ってた気がする
もちろんUA偽装とか無駄クリックとか
色々組み合わせるけど

2021/10/26(火) 23:05:44.22

一番いいのは、PPPoEのIPアドレス解放・再取得
スクレイピングができるなら簡単

2021/10/27(水) 00:08:53.44

量が少なければスマホテザリングも強いよ。
1時間に1回くらい手動で飛行機飛ばす必要あるけど。
マイナーISPだとサバ管の怒り次第では逆引きしてブロックされることあるけどdocomoやKDDIや楽天をブロックする気合いを見せるやつは滅多にいない。

2021/10/27(水) 05:55:33.27

マジでガイジはRubyとスクレイピングが大好きやなーｗ

2021/10/27(水) 07:12:43.03

自分語りしだすと一気にクソスレ化するな

2021/10/27(水) 09:47:24.29

スクレイピングに関する話題になるとどう転んでも糞スレになっちゃうんだな

2021/10/27(水) 09:50:58.59

技術関係ないところの話題だからスレチもいいとこ
法律板で話してくれば良い

2021/10/27(水) 10:59:32.82

でもスクレイピングがPythonの主戦場だろ
自サーバーからのスクレイピングならなんも問題ないんだけどな
よそ様のデータを業務に使うならちゃんと許可もらったほうが安全
訴えられてもノーガードやで

2021/10/27(水) 11:59:48.64

DOM扱いやすいJS系のが得意そうやけど
Pythonで書くのは単にお題なだけ

2021/10/27(水) 12:15:11.37

毎回、スクレイピングの話をしている香具師は、荒らしだろ。
荒らしは、>1 のテンプレを毎回、変更している

Ruby, Rails, クソチョンなどをNGワード登録推奨とか、
毎回、自分の有利なように変更している

まともな人が、テンプレを書き直した方がよいかも

2021/10/27(水) 12:17:36.20

>>759
技術の話題と法の話題を分けろって話
スクレイピングはPyのみが法に触れるわけじゃないんだから他所でやれ

2021/10/27(水) 12:42:22.13

>>760
tableとかだと一意のidや名前がついてなくてinnertextの中身次第で処理分けるとかだとPythonさいつよ。
さらにそれが日付形式だったりするともうJSでやりたくない。

2021/10/27(水) 13:15:20.91

ほんとスクレイピングになるとよく釣れるね
語りたくてウズウズしてる連中がまー勝手にしゃべるしゃべる

2021/10/27(水) 13:26:57.99

応用情報技術者試験って意味ある？
Kaggle, AtCoderとどっちが有利？

2021/10/27(水) 13:36:27.99

>>765
それを何に使いたいかによる。
就職ならあんまり意味ない。自分の腕試しなら意味ある。

2021/10/27(水) 13:43:48.20

>>765
スレチ

2021/10/27(水) 13:52:19.86

>>765
IT系に就職するなら技術的な話が通じる程度の最低限の知識があることの証明にはなる
だから、ある程度のランクの大学でCS系の学部なら無用だし、門外漢なら非常に有効

2021/10/27(水) 13:58:29.32

>>765
応用情報技術者に受からないレベルの人が Kaggle, AtCoder やっても意味無いと思うわ

2021/10/27(水) 14:13:39.77

＞　お前は毎朝起きるたびに俺に負けたことを思い出すよ＾＾

あー、ホンッとに思い出すなあ（笑）
キチガイの嘘つきの低レベルFランの、
朝鮮ゴキブリBot君は、
チョン独特の「なにもできないけど俺のほうがジャップより偉い！」的な
ことはよーくわかったよ。
ホントなにもできない朝鮮ゴキブリBot君！

クソチョンｗ
クソチョンはウンコを食べる糞食人種w
ゲリ便をじゅるじゅると
うまそうに食ってるw

2021/10/27(水) 14:29:53.32

>>769
そうでもないでしょ
TCP/IPなど基盤の知識がなくてもアルゴリズムの実装や機械学習には全く支障ないし、実際そういう自称データサイエンティストとか普通にいるよ

2021/10/27(水) 14:37:57.73

とんでもなく効率悪いプログラム書いてそう

2021/10/27(水) 17:13:02.63

flaskの質問です。
/hogeにあるボタンを押すと/に飛ばしたい。
hogeのhtmlソースは
<form action="/">
<button type="submit">戻る</button>
</form>
にしたいがエラーになる。
どうしたら良いですか？

2021/10/27(水) 17:59:28.56

Ruby on Rails なら、ルーティングの設定ファイルに、すべてのパスを定義するけど

例えば、tweets コントローラーのindex アクションは、

root "tweets#index"

2021/10/27(水) 18:10:23.85

外してるかもしれんけど
<form action=“/“ method="GET">

2021/10/27(水) 18:30:26.87

>>775
エラーはでなくなりましたが、ブラウザのアドレスに192.168.33.240/?と?が表示されます。
ブラウザ内の表示は
＠app.route("/")
def root():
の内容でうまくいってます。
ありがとうございました。

2021/10/28(木) 23:38:16.28

そのオブジェクトが呼び出せるメソッドやインスタンス変数を一覧する方法ってないでしょうか？

いちいちクラスが定義されてるコードに行って確認するのが大変で。

2021/10/29(金) 00:38:59.85

「python メソッド　変数　一覧」で検索しても良いのが見つからないってこと？

2021/10/29(金) 01:22:57.54

メタプログラミングしたいんじゃなくて開発中のヒントぽいから
Python対応のIDEつかえば良いとおもうよ。
そのとき型ヒントがちゃんと書かれたコードだと効果が高まる。

対話モードなら
>>> help(知りたいobject)

2021/10/29(金) 05:04:56.52

__dict__

2021/10/29(金) 07:33:53.06

PyCharm使えば勝手にサジェストされるけど

2021/10/29(金) 12:31:17.42

型アノテーションしてる？

2021/10/29(金) 15:46:06.34

してないな
どうせ短いスクリプトしか描かないし

2021/10/30(土) 00:59:43.29

dir(obj)

Jupyter使ってなかった頃は補完もまともじゃなかったのでdirしまくってたな。苦しかった。

2021/10/30(土) 01:52:45.42

今もdirしまくってるよ

2021/10/30(土) 15:31:01.00

生涯dir一筋

**デフォルトの名無しさん** (JP 0H6b-5naq) · 2021/10/30(土) 15:44:30.32

画像認識やパターン認識？に詳しい方いますか？

PUBGなどのバトロワゲームをよくやるんですが、安地(安全地帯)の分析で機械学習を用いて最終のアンチを予測したいなと思ってます

マップの画像を安地が縮まるごとにスクショし最終まで記録、それを何百パターンも用意し学習させて最初の円の時点で最終円の位置の予測をするというような感じですかね

Pythonはちょっと勉強した程度なのでどんな事をすればいいのかというか、どこから何をやればいいのかわからなくここで聞いてみました

2021/10/30(土) 15:48:53.15

>>787
画像処理としては、スクリーンショットから円を抜き出すための処理を上手く描くだけだと思うが(2値化を上手くすれば多分いける)、
その安地の決定はランダムに行われていそうな気がしてならないけどどうかな？
多分、人間が学習できないものは機械学習でも上手くいかないんじゃないかなあ。

2021/10/30(土) 15:51:57.45

機械学習とかかっこいいことやる前に
大量にデータを収集するところから始めないと
もしかしたら最終安地をプロットするだけで
いい感じの結果が得られるかもしれないし

2021/10/30(土) 15:52:03.44

ネトゲでチートはやめれ

**デフォルトの名無しさん** (JP 0H6b-5naq) · 2021/10/30(土) 15:56:43.73

>>788
なるほどですね
ゲームをやってる感じだと、第一の円がこうで、第二の円がここならだいたいこのへんかな？って経験則が出来てなんとなくはわかる感じではあるんですけどね
また、巷で言われてるのもランダムではなくパターンだって話ですし
で、シーズン毎で更新されてその傾向が変わってるっていう感じなんですよね
前のシーズンの経験則が残ってるとそれが邪魔してみんなわからなくなってる感じです

**デフォルトの名無しさん** (JP 0H6b-5naq) · 2021/10/30(土) 15:58:45.67

>>789
上でも書きましたがシーズン毎で傾向が変わるので、
APEXはあと数日で新シーズンが始まるのでそこからスクショ取りまくろうと思ってます

また、上手いこと誰かがアップしてくれるような流れとか作れないもんかと思ってますが無理ですよね、、ｗ

2021/10/30(土) 18:28:36.28

PUBGの安全地帯って規則性あるの

2021/10/30(土) 19:35:56.16

疑似乱数による偏りかもしれないな
コンピュータで使われている乱数はちゃんとした乱数ではないので
どうしても偏りが生じる

**デフォルトの名無しさん** (JP 0Hd3-2hVy) · 2021/10/30(土) 20:03:19.01

メーカー側だけど
ああいうのは制限付きランダム
xxならyy, aa以上ならbb以下みたいな多段ゲートを作っといて
根本のseedだけシーズン(更新)毎にイジる
パチンコの釘調整と一緒

2021/10/30(土) 20:20:24.74

ウェブサイト運営したことないからわからんのだけど
セレニウムでのアクセスに対して検知して規制かける方法ってある？？
IPとかそういう括りじゃ無くてアクセスしてきたブラウザがセレニウムで動いていることを検知して挙動を変えるみたいなこと