X
Google Colaboratory
0002デフォルトの名無しさん
垢版 |
2021/05/03(月) 10:41:20.11ID:fmjSWVjG
>>1
▼Google Colaboratoryとは？
・Jupyter NotebookのGoogle板（クラウド開発）
・呼称はグーグル・コラボラトリー、グーグルコラボ
・
0003デフォルトの名無しさん
垢版 |
2021/05/03(月) 11:05:44.56ID:fmjSWVjG
>>1
▼特徴
・開いて３秒でpython開発
・情報共有がしやすい
　他人と開発環境が同じなのでクロスプラットフォームを気にする必要なし
　まったく同じコードを実行すれば、同じ結果が得られる

実際にできたこと
・機械学習各種
　TensorFlowを使った画像認識など
・mecabによる自然言語処理
・Githubとの連携
・簡易のhttp.server、CGIサーバーの構築
・各種GoogleサービスのOauth認証、APIの利用

ローカル開発同様にgoogleサービス外のAPI利用、googleサービス内のAPI利用、
スプレッドシートの編集、photosへの投稿、bloggerへの投稿、
スクレイピング（規制されてるところもあり、プロキシを通せばOK）、メルマガサービス
Githubでの開発・プッシュ・動作確認など一連の開発作業、などなど
大抵のことはグルコラで完結
0004デフォルトの名無しさん
垢版 |
2021/05/03(月) 11:11:51.72ID:fmjSWVjG
グルコボの最大のメリットはやはり
大袈裟でもなく、（どのOSかとか関係なく）３秒でpythonでの開発ができること

ブラウザ起動　→　https://colab.research.google.com/　→　print('Hello Colab!')　→　実行

これだけ
0006デフォルトの名無しさん
垢版 |
2021/05/03(月) 12:32:09.17ID:fmjSWVjG
ちなみに本題ではないので割愛しましたが
スクレイピング、クロールはrobots.txtに従うようにしましょう　>>1
0007デフォルトの名無しさん
垢版 |
2021/05/03(月) 15:43:29.49ID:llMsU0LE
約千円の有料版って、どう違うんだろね
0008デフォルトの名無しさん
垢版 |
2021/05/03(月) 16:22:18.97
有料板はちょっと上のランクのGPUが使える
メモリも大きくなる

無料版はページ開きっぱなしだと無操作で数時間？でセッションが切れるが
（ただしpipでインストールしたやつとかはそのまま）
有料版は２４時間位つなぎっぱでOK
0009デフォルトの名無しさん
垢版 |
2021/05/03(月) 16:27:28.33
ただわからないのが、pipでインストールしたパケの再インストール方法。
pip uninstallしたり、install元のファイルをまるごと削除しようとも
なぜか最初にインストールしたパッケージがそのまま保持される
で結局、ランタイムを出荷時にリセットってやつをしなきゃいけないので（再接続に十数秒時間がかかる）、
gitでプッシュ→動作確認を多用するような開発下では有料板のメリットがない・・
pipのパッケージの再インストールする方法あったら教えてください
0010デフォルトの名無しさん
垢版 |
2021/05/13(木) 09:02:27.78ID:SdYNz8ux
GoogleDriveとのアクセスの問題なのかローカルでは発生しないようなloadエラーで止まってたりする
0011デフォルトの名無しさん
垢版 |
2021/05/13(木) 14:13:41.46ID:gQUYeg5t
>>9
一昔前は知らんけど
今は pip install で新しいバージョンが入るときに
自動で前のバージョンを uninstall してくれるから
基本はおまかせで良い

両方のバージョンを残したいなら
virtualenv
0012デフォルトの名無しさん
垢版 |
2021/05/19(水) 02:52:34.54ID:dymeXeeo
>>11
＞一昔前
というのは一昔前のgoogle colabってこと？
つまり、今のgoogle colabだと普通にpip installで＞基本はおまかせで良い
ってことかな

自分の場合は、
パーッケージのソースコード編集する（バージョンはそのまま）　→　pip install
ってやってもインストール先のソースコードは更新されても、動作は前回インストールしたやつのまま。
しかし、（colabではなく）ローカルのPCでやった場合は普通に更新される
0013デフォルトの名無しさん
垢版 |
2021/05/19(水) 03:00:53.40ID:dymeXeeo
ちなみにあれからいろいろやってて
出荷時にリセットはしなくてもよく
ランタイム＞ランタイムを再起動
でもいけると気付きちょっと楽になった
0014デフォルトの名無しさん
垢版 |
2021/05/19(水) 03:13:59.05ID:dymeXeeo
理想はローカル開発と同じようにふつうにpip installで勝手に上書きしてくれることだが。
せっかくgithubと連携機能があるのに
パッケージ開発もcolab上でやろうとする時に
コード編集→プッシュ→実動作確認
のテンポ悪いのを改善してくれることに期待
0015デフォルトの名無しさん
垢版 |
2021/05/21(金) 02:59:56.76ID:QhZtqnCl
colab専用垢つくってみた
【ランタイムを再起動】しないとpip installが更新されない問題
https://colab.research.google.com/drive/11CaMStOC0FL2EAd06omHqt1O7PN4kC5l?usp=sharing

（１）最初に、
ランタイム＞すべてのセルを実行
してpipでインストール

（２）その後、src_stringでソースを適当に編集して（test2: など）
再度、
ランタイム＞すべてのセルを実行
してpipでインストール
動作確認すると出力が変わっていないはず。

（３）最後に、ランタイム＞ランタイムを再起動
してから
ランタイム＞すべてのセルを実行
してpipでインストールすると
動作確認で出力が変わっているはず。

google colab以外だと同じ手順で
(２)で出力も変わり上書きインストールができる
0018デフォルトの名無しさん
垢版 |
2021/05/24(月) 17:32:33.56
ここまでプログラミングの敷居が下がればプログラマー人口が増え
google側にとっては人材確保の確率も高くなる、優秀な人材が生まれる可能性も高くなる
フォーク機能もあり、それらのデータを解析すれば
コーディングをもっと高度に自動補完してくれるようなAIを開発することができる
非常に合理的なサービスだと思う

しかしgoogleは損切りもおそろしく早いので、
採算が取れないと判断すればこのサービスは即終了となるだろう
0019デフォルトの名無しさん
垢版 |
2021/05/24(月) 17:43:22.54ID:pNkn+mP6
採算は普通に取れないでしょ
スプレッドシートとかに比べたら所詮ニッチなサービスなんで、Googleの売上規模からすりゃ大したコストじゃないからCSR活動みたいなもんとして存続してるだけだろう
Google様の気まぐれで明日に終わっても全く不思議はないサービスだよ
0020デフォルトの名無しさん
垢版 |
2021/05/24(月) 22:48:26.24ID:MLxDHQ7g
>>16では、極力「ランタイム」＞「すべてのセルを実行」だけで完結できるようにと
まずソースコードのテキストを変数に保持してから→書き込み保存
ってあえてやってるんだけど、エディタの機能が使えないので可読性が悪い。
セルの内容を別のセルで取得できたらいいのにな・・
もしくはセル自体にそういう機能があれば（まぁ簡単なプログラムのときにしか使わないけど）

もちろんgoogleドライブでファイル共有すればいいけど
ソースみたり編集したりするのにいちいちタブで開かないといけないっぽいので
何か良い方法ないものか
0021デフォルトの名無しさん
垢版 |
2021/05/26(水) 13:01:39.27ID:SIjME/uv
colabで２つ教えて下さい
1. hyperasをimportするとランタイムを立ち上げる度にインストールが必要なんですが仕様ですか
2.loggerがリアルタイムに反映されないのも仕様ですか
2が不便過ぎてちょっと。。。
0022デフォルトの名無しさん
垢版 |
2021/05/27(木) 17:12:44.25
1. は制限時間終わったら再インストール必要
制限時間内なら（ランタイム再起動しなければ）そのままimportできた
しかし、たまにhyperas関係なく左下の方にサーバーエラー云々出てくるときがあるので
そういうときは再インストールしないといけないかも

2.は＞リアルタイムに反映
とはどういうことだろう
import logging
import time
time.sleep(1)
logging.warning('warning')
time.sleep(1)
logging.error('error')
これは普通に表示される
最小構成が何かわからないのでなんとも言えないけど
0023デフォルトの名無しさん
垢版 |
2021/05/27(木) 17:54:24.64ID:P5elfv8G
>>22
ありがとうございます。
2はそもそも、ログファイルが生成されない事が頻繁に起こっていて困ってますが仕様では無いんですね。
一時的な不具合かも知れないので様子を見ます。
0027デフォルトの名無しさん
垢版 |
2021/06/08(火) 13:25:43.18ID:64B+gaKa
最近、TensorFlowのバージョン変わりましたか
0028デフォルトの名無しさん
垢版 |
2021/06/26(土) 21:16:38.83ID:DUvwaesX
colab上で、ngrok使ってwebsokcet通信ようやくできた
また近いうちにまとめてみる・・
なんかまだイマイチ理解できてない
0029デフォルトの名無しさん
垢版 |
2021/06/30(水) 17:30:31.75ID:D9KqFPaB
ngrokを使った簡単なwebsocket通信　チャットアプリ　サーバー編
https://colab.research.google.com/drive/1UI16DyA_zCgNG2bjJMNIZHqFv2W2zRfK

ngrokを使った簡単なwebsocket通信　チャットアプリ　クライアント編
https://colab.research.google.com/drive/1mNGTENp7EINjsRsPqjHV3EfRuPMzMum8

チャットサーバーを立てて、クライアントからそのサーバーとソケット通信で送受信をする。
ngrokでhttps使う場合はアカウントが必要らしい

サーバーを再起動させて使うときは
［ランタイム］＞ランタイムを出荷設定時にリセット
するか、新たにリンク開き直してリセットしてからやった方がいいかも

クライアント編のノートブックをコピペすれば
複数のクライントを参加させることができる
0030デフォルトの名無しさん
垢版 |
2021/07/04(日) 20:24:12.83ID:mWpZCyif
いろんなブログで、Colaboratory上でsshdを動かした上、さらにngrokを使ってVSCodeを繋ぐ方法が紹介されてるけどさ
これってngrokでColaboratory側から自前のPCへの接続を受け入れるとどういう良いことがあるの？
003130
垢版 |
2021/07/04(日) 20:46:03.21ID:mWpZCyif
あ、すまん、>>30はngrokの使い方を思いっきり勘違いして書いてしまった
ColaboratoryがIPくれないから使ってるわけか
0032デフォルトの名無しさん
垢版 |
2021/07/15(木) 18:26:11.76ID:4xIaD2bW
hoge='aiueo'
!echo $hoge | { read a;echo $a; }
これできないのがつらい

こっちはできるけど
!echo aiueo2 | { read v;echo $v; }
0033デフォルトの名無しさん
垢版 |
2021/07/22(木) 15:36:53.64ID:sxTkaS93
そういえば>>15解決したわ
一時的なライブラリ用のディレクトリ作ってそこにインストールして
環境変数でPYTHONUSERBASEに追加したらいけた
import os
os.environ['PYTHONUSERBASE'] =ここにライブラリ用ディレクトリのパス

これ以降は
!python -c ""
内でのみ有効
通常のコード実行からだとsys.pathはデフォルトのままだった
exportからでは保持されなかったので
import sys
sys.path.append()
で追加するといけた

あとでまとめとく
0034デフォルトの名無しさん
垢版 |
2021/07/22(木) 21:52:00.81ID:sxTkaS93
あらためて>>15やってみたら
単に!python -c ""内だと更新されるみたい
あくまでノートブック上のコード実行でやると
更新されないだけだった
なので、結局PYTHONUSERBASE変えようが何しようが意味なかった

とりあえず動作確認で更新ガンガンしたいときは
!python -c ""で実行すればいいのかも
0035デフォルトの名無しさん
垢版 |
2021/07/23(金) 19:39:54.32ID:Vj92419Q
>>15を一応？解決したまとめ
https://colab.research.google.com/drive/1OVsyqiVDAuldMqJnJg5pbxcPuOHN3mbR
（すべてのセル実行、で完結）

結論
google colabで独自パッケージ開発していて
更新→動作確認をサクサクしたいとき、
動作確認は
!python -c "pythonコード"
のように、シェルで実行する

問題点
・コードセル直での実行まだ上手くいかない
・”pythonコード”の部分が、文字列になるのはちょっと見にくい・・
　まぁ確認の動作確認だからimpotとかちょろっと書くだけだと思うけど
0036デフォルトの名無しさん
垢版 |
2021/07/27(火) 10:50:19.66ID:xonkgP8b
補足 >>35
pythonファイルに出力して
!python sample.py
みたいに実行しても良い

どうやらコードセルに直接書き込んだ場合だけ
再インストールしたパッケージは更新されないっぽい？
0037デフォルトの名無しさん
垢版 |
2021/07/27(火) 11:19:50.81ID:xonkgP8b
コードセル上で文字列として扱うコードにも
コード補完されるような機能がほしいな

IPython.display.Javascriptなら
三連引用符使って
Javascript('''
console.log('hoge')
''')
みたいな書き方でもcolabの補完が効いて見やすくなるので
これのpython版がほしい
0038デフォルトの名無しさん
垢版 |
2021/07/27(火) 11:40:33.99ID:xonkgP8b
あらためてIPython.displayのドキュメントみてみたら
.HTMLがあった
これならエラーでずに引用符の中も赤１色にならない
0039デフォルトの名無しさん
垢版 |
2021/08/06(金) 11:46:14.71ID:RCuinRe8
Blenderのレンダリングに使ってる。
proだと二本GPUランタイム立てて24時間計算させてても停止されないな。これって何本までならいけるんだろ
0041デフォルトの名無しさん
垢版 |
2021/08/12(木) 15:35:29.63
ちょっとした開発は全部colabに移行したわ
グッバイvisual studio code
ほぼ使わなくなった
0042デフォルトの名無しさん
垢版 |
2021/08/14(土) 00:26:49.84ID:KjM/8MjX
実用性がないから流行んないだろうけど、Wine + DXVKでOverwatchできたってな
0043デフォルトの名無しさん
垢版 |
2021/09/18(土) 20:09:29.45ID:SZILxufS
GPUの制限は何時間後ぐらいに解除されるのだろうか？
0045デフォルトの名無しさん
垢版 |
2021/10/11(月) 16:36:03.55ID:DIodBuTL
my drive
の半角スペースがトラウマ的に気になっちゃうなあw
colaboとgdriveでは大丈夫なんだぞと言い聞かせている
0046デフォルトの名無しさん
垢版 |
2021/10/20(水) 16:39:44.66ID:ILJcFTBG
隠しファイルというか
先頭.（ドット）名のファイル表示されないの地味にイラッとする

あと、左のドライブツリーに簡単に飛べるコマンドないのかな
コードに
"ここにディレクトリのパス"
これ書いてクリックして飛んでるけどメンドイ
0047デフォルトの名無しさん
垢版 |
2021/10/20(水) 18:45:43.08ID:Mr5q/AgO
>>46
.始まりが隠しファイルなのはUnixだから諦めろ。
ショートカット（シンボリックリンクは）ln -s コマンドで作れるぞ。
Unixコマンド覚えとくと色々捗るから覚えとけ
0048デフォルトの名無しさん
垢版 |
2021/10/20(水) 19:25:22.59ID:ILJcFTBG
>>47 トン

だが>>46はローカルのパソコンのことじゃなくてgoogle colab上の左カラムのことなんだが
コマンドで飛べなくないか？

今はコードセルに
"/content/drive/ほにゃららら/dir"
って書いてCtrl+クリックして飛んでるけど
▶（三角）マーク押して飛べたら
（制限時間後の復帰時の）ドライブに接続と同時に
作業ディレクトリ　と　編集したいファイルを
左右カラムに自動で開けて捗るのになぁ、みたいな
0049デフォルトの名無しさん
垢版 |
2021/10/20(水) 19:48:57.39ID:ILJcFTBG
改めて調べてたら解決できた
from google.colab import filesみたら
view関数があったわすげえ

from google.colab import files
files.view("パス")
files.view("パス")
で三角実行ボタン押したらイッパツでデフォルト作業環境整った
うおおお
0050デフォルトの名無しさん
垢版 |
2021/10/20(水) 19:54:43.11ID:ILJcFTBG
欲を言えば、プルダウンする関数もあればいいのにな
まぁそれはjsでできそうだが
0051デフォルトの名無しさん
垢版 |
2021/10/27(水) 13:01:32.30ID:524k07up
#!/usr/bin/bash
cat > data.txt << "EOF"
aaa
bbb
ccc
EOF

コードセル内で↑書けたらいいのにな
0053デフォルトの名無しさん
垢版 |
2021/10/29(金) 06:37:18.55ID:8oUaQxck
cat自体は使えるけど
コードセル実行で、かつ視覚的にみやすくするために
EOFで改行含めて実行
ってなるとバックスラッシュ必須？なので
でもそれやると（コードセルでは）エラーでるというジレンマ >>51
他のコマンドはバックスラッシュで連結できるけどね
0054デフォルトの名無しさん
垢版 |
2021/10/29(金) 14:34:20.20ID:8oUaQxck
今更気づいたけど
200番代とそれ以外のステータスを設定しても
# colab.googleusercontent.com
にリクエストすると200と500の二択で返されるっぽい

localhostで試したり、ngrokみたいにポート転送したときと挙動が違うので
当然クライアント側のレスポンスも変わってしまう

エラーハンドル以外はすべてJSONレスポンスで、
みたいに対応するしかないか
0055デフォルトの名無しさん
垢版 |
2021/10/31(日) 20:36:43.92ID:K6PaHoq/
テキストファイルの編集ってどうやるの？
!sed -i "s/hoge/hage/g" abc.txt
とかで書き換えてるけど、めちゃ不便
0056デフォルトの名無しさん
垢版 |
2021/11/06(土) 16:57:36.76
>>55
置換目的ってことかな

それともエディタとして使いたいってことなら
from google.colab import files
files.view("/content/abc.txt")

で右カラムにエディタが出てくる
しかし、置換ツールなどはない（javascriptで拡張できなくはないと思う）
0057デフォルトの名無しさん
垢版 |
2021/11/06(土) 16:59:22.57
もしくは単純に
コードセルに
"/content/abc.txt"
と書いて、上でクリック
ポップアップした青色リンクを踏めば、右に編集エディタが出てくる
0058デフォルトの名無しさん
垢版 |
2021/11/06(土) 17:02:58.51
もしくは、左カラムのディレクトリアイコンをクリック
好きなファイルをダブルクリック

マウントしたgoogleドライブを使いたいときは
一番上（root） > content > drive
から接続できる
ファイルとかも右カラムで表示or編集できる
パスさえわかれば>>56で表示できる
0059デフォルトの名無しさん
垢版 |
2021/11/20(土) 14:03:48.59
driveへファイルの保存・読み書きするとき
反映されるまで結構ラグあるっぽいな
保存読書のジャーナリングまでするのはちょっとcolab特異すぎるので悩みどころ
0060デフォルトの名無しさん
垢版 |
2021/11/20(土) 19:29:25.72
補足　視覚的な反映が遅いだけでコード上の処理は問題ないっぽい？　>>59

あと右カラムビューワ
.capの拡張子だと（左カラムからのダブルクリックから開くと）保存になってしまう
0064デフォルトの名無しさん
垢版 |
2021/12/03(金) 23:20:56.76ID:ygiI+Ivr
と、思ったらcontent直下のcgi-binは許可されてるっぽい・・
例えば
/content/sample/cgi-bin
とかだとアクセス権がない
これは仕様なのか
0065デフォルトの名無しさん
垢版 |
2021/12/04(土) 00:59:58.93ID:uxEQQv2y
streamlitのテスト

colabから、というよりブラウザの関係？でappがうまく起動しなかったが
おそらく>>54が原因かなと。
ngrok介したらできた
もちろんcolab使わずにローカルでもできた
一応play with dockerからも出来た

colab完結でstreamlitのテスト
https://colab.research.google.com/drive/1Hnu5CkMyMnEjVVIiNtliVz39Gq_sVtiL

若干、表示にもたつき感があるような？
まぁでもコードがかなりシンプルになった

もしFlaskやfastAPIなどのwebフレームワークと連携する場合
従来書いていたtemplates周りのコードが必要なくなる
つまり、htmlやjsを触らずにほぼpythonだけで完結する
0066デフォルトの名無しさん
垢版 |
2021/12/06(月) 15:04:48.41
fastAPIとStreamlitとsqlalchemyとngrokを連携してしみた

Streamlitとapiそれぞれサーバーを起動
Streamlit側の【サンプルデータの登録ボタン】を押して
fastAPI（DBはsqlalchemy）側のapiを叩いて
データをPOST、GETしたデータを表とグラフで表示
のサンプル

CORSエラーがあるのでngrokを介することにした
apiサーバ起動時にngrokのパブリックホストを一旦テキストで保存してから
streamlitサーバー起動、という回りくどい感じになるけど
他に良い方法ないのだろうか

［すべてのセルを実行］ワンクリックのみで完結、再現
https://colab.research.google.com/drive/1I9KEAm0zvj3z12ooffWCF5vpKMCTyFRY
CRUD周りもっと改善したい
0068デフォルトの名無しさん
垢版 |
2021/12/08(水) 07:01:51.29
>>37の問題ようやく解決したかも

%%writefile hoge.py
print("hello world")

これでコードセル内で
・pythonは実行させずに
・pythonエディタを使いつつ
・ソースをローカルへ保存
全部達成できた
今までのやつも書き直さないと・・
0069デフォルトの名無しさん
垢版 |
2021/12/08(水) 07:04:00.46
ngrok急に使えなくなった問題
https://stackoverflow.com/questions/64918649/streamlit-with-colab-and-pyngrok-failed-to-complete-tunnel-connection-versiohttps://stackoverflow.com/questions/64918649/streamlit-with-colab-and-pyngrok-failed-to-complete-tunnel-connection-versio
おそらくここがドンピシャなんだが
streamlitの起動時間やらをずらしても解決しなかった
google側なのかngrok側なのか不明
時間おいてやってみるか
0076デフォルトの名無しさん
垢版 |
2021/12/11(土) 14:23:02.22
st.form_submit_buttonとst.buttonの使いどころの違いってなんだろ・・
結局requestsで処理するし。
DOMやらformウィジェットに内包されているか否か
という見た目の違いだけなのだろうか
0078デフォルトの名無しさん
垢版 |
2021/12/11(土) 19:35:46.51
とりあえず>>77でbutton api見ながらページ遷移を模索
https://colab.research.google.com/drive/1uXMEjkSL5A3tV6Jmv5lJILMSeFdvwARv

st.selectboxでもできるけど
データテーブルの中に編集ボタンなどとして配置したい
みたいな汎用ケースを想定してbuttonで実装
これでいいのかはわからないけど。

あと、ちょっとしたテストでは>>77は使えるけど、ひとつ注意点
そうそう無いとは思うけど、colabの時間切れになった場合、
編集途中であっても/content/app.pyはぶった切られてたぶんデータなくなるので注意
延々編集したい場合は>>77みたいなのを自分で新規ノートブック作って
%%writefileのファイルをマウントした自分のgoogleドライブのものにして
開発時にはノートブックそのものを、その都度コピーして使うようにした方が良いと思う
0080デフォルトの名無しさん
垢版 |
2021/12/11(土) 19:44:37.83
メモ >>78
データテーブルの中に編集ボタンを入れるときは
st.buttonのラベルが全て”編集”、のように同じ文字列になるので
st.sidebar.button(label=f"編集", key="ここに一意な数値（dataのインデックスなど）"
としてやるといい
0082デフォルトの名無しさん
垢版 |
2021/12/11(土) 20:59:07.55
st.tableでrowの中にbuttonやらイベント付加できるかと思ったが
どうも標準装備ではないっぽいのか・・
markdownでテーブルっぽく構築して
その過程で逐次配置しなきゃいけないかも
0083デフォルトの名無しさん
垢版 |
2021/12/12(日) 00:48:42.97
st.date_input
タイムゾーン設定が無い？ので
st側のUTCでのmin_value　＜　min_valueの日本時間の日付け
となるとエラー起こる
今だと
UTCは１１日　＜　Asia/Tokyoは１２日
colab関係ないけど
0085デフォルトの名無しさん
垢版 |
2021/12/15(水) 21:34:29.83
Streamlitのページ遷移部分だけ抜き出し
https://colab.research.google.com/drive/1umgL56FKBlTkNUQMk2DMGUmeIuAQMMUB

st.session_state使えばいいのはわかったが癖がある
こういうやり方であってるのかもわからない状態
・通常の画面切り替え、ページ飛び
・ポップアップ
・戻る
これができれば大抵のことができるだろうというページ遷移３選

未解決
・ボタン配置が縦並び
・ポップの二重クリック
0093デフォルトの名無しさん
垢版 |
2021/12/31(金) 18:31:46.34
youtubeダウンロードするやつ
https://colab.research.google.com/drive/1A1arSrbxtzSOz3UfpeUzzLGsSUZngYWc

・動画個別保存、チャンネル一括保存の両方対応
・画質設定 best,1080p,720p,480p,360p,240p,144pで保存に対応

無料枠のせいかダウンロードに結構時間かかる
googleにダウンロード後、ローカルにダウンロード
ってなるので結構無駄
ランタイムを出荷時設定にリセットすれば一回こっきり動画消える
１２時間くらい経ってもDLした動画は消える
消したくなければマウントしたgoogleドライブのパスを
download_dirに設定すれば、googleドライブに保存可能
0094デフォルトの名無しさん
垢版 |
2022/01/10(月) 17:56:16.91ID:lW5UiBD2
https://github.com/3d-hand-shape/hand-graph-cnn
↑誰かこれ、Colabでお試しできるようにしてくれませんかね|･ω･*)ﾁﾗ
自分でやれ？
出来ましぇん！”
0095デフォルトの名無しさん
垢版 |
2022/01/11(火) 16:33:00.70
>>94
opendrがpython3と互換性がなくてpython2でインストールできるけど
かといってpytorchがpython2ではエラーが出るところで詰んだ
0096デフォルトの名無しさん
垢版 |
2022/01/11(火) 22:38:29.50ID:3ynZphxZ
>>95
チャレンジしてくれただけでも感謝やで！
0097デフォルトの名無しさん
垢版 |
2022/02/14(月) 14:00:13.76ID:9aNwCEID
現在の時間を取得をするとグリニッジ標準時になってしまうんですが、日本時間で使用することはできないでしょうか？
0098デフォルトの名無しさん
垢版 |
2022/02/28(月) 02:50:06.31
>>97
変換するしかないと思う
datetimeのtimedeltとpytzで可能
from datetime import datetime, timedelta
import pytz
import time

_jst=pytz.timezone("Asia/Tokyo")
_utc=pytz.timezone("UTC")
def _to_zone(zone=None,due:datetime=datetime.now()):
＿due=due.astimezone(zone)
＿return datetime(due.year,due.month,due.day,due.hour,due.minute,due.second,due.microsecond)
now=datetime.now()
print("colab時間",now)
print("UTC時間　",_to_zone(_utc,now))
print("日本時間 ",_to_zone(_jst,now))

https://colab.research.google.com/drive/1SqkEonzbMmV8EUHdeC_HKO2pJn5nLmko
0101デフォルトの名無しさん
垢版 |
2022/08/02(火) 12:00:33.18ID:ydYC2/Rd
このスレ人いるかな？
ローカルからファイルアップロードするコードを実行するとうまくいかないんだが
クッキーをすべて受け入れる設定にしてもだめっぽい
Upload widget is only available when the cell has been executed in the current browser session. Please rerun this cell to enable.

となってしまう
0102デフォルトの名無しさん
垢版 |
2022/08/02(火) 18:13:42.55ID:67ChPJTw
google driveにファイルをアップロードしてgoogle colabでgoogle driveをマウントして使うのはダメなの？
0105デフォルトの名無しさん
垢版 |
2022/08/02(火) 23:12:50.53ID:ydYC2/Rd
>>104
再実行したけど同じエラーが出るんだよね
ググって調べたけど同じ状況の人がいるっぽいのでcolabでやるのは諦めます
ありがとうございました
0108デフォルトの名無しさん
垢版 |
2022/09/07(水) 05:54:07.25ID:zTQPia7N
すみません、質問です
googlecolabのプログラムをローカルのGPUで実行させたいのですが手順通りjupyterから取得したパスを入力してもランタイムに接続できませんとなります
原因が分かる方はいらっしゃいますでしょうか
0109デフォルトの名無しさん
垢版 |
2022/09/07(水) 06:07:41.02ID:zTQPia7N
すみません、やり直したらできました理由は分かっていませんが
お騒がせしました
0110デフォルトの名無しさん
垢版 |
2022/09/15(木) 17:40:05.08ID:AD4jkwND
meboっていうチャットボット用の外部ソフトをgooglecolabのAPIで操作したいのですがつまづいてます。誰か助けて　mebo:　ttps://mebo.work/　meboの説明書：ttps://zenn.dev/makunugi/books/f3d9eb62b6d133/viewer/f0c36f#%E3%81%93%E3%81%AE%E3%83%81%E3%83%A3%E3%83%97%E3%82%BF%E3%83%BC%E3%81%AE%E3%82%B4%E3%83%BC%E3%83%AB
import requests


def main():


apikey="ｘｘｘｘｘｘｘ"

agentid="ｙｙｙｙｙｙ"

uidp="ｚｚｚｚｚ"

hatugen="おはよう"

api_url = "https://api-mebo.dev/api";



payload = {"api_key": apikey, "agent_id": agentid, "utterance":hatugen,"uid":uidp}


response = requests.post(api_url, data=payload)

print(response.json())


if __name__=="__main__":

main()
出力は　rpc error: code = InvalidArgument desc = Document name "projects/mabo-f1cc7/databases/(default)/documents/bots/" has invalid trailing "/".
0112デフォルトの名無しさん
垢版 |
2022/12/11(日) 17:42:44.73ID:I4kEKa1h
マウントするドライブを共有ドライブに変えたいのですが、drive.mount('/content/gdrive')はどの様に記述すれば良いですか？
0113デフォルトの名無しさん
垢版 |
2022/12/12(月) 17:22:18.67ID:8RqsHyNm
共有ドライブって、googleドライブのマイドライブの中の
共有化されたディレクトリだとするなら

マウントは
from google.colab import drive
drive.mount("/content/drive")

アクセスは
!cd /content/drive/MyDrive/共有ディレクトリやファイル && ls
でできたけど
0114デフォルトの名無しさん
垢版 |
2023/01/06(金) 23:03:48.53ID:d87TyPxV
以前はGoogleドライブが My Driveとスペースが付いていて
それでColaboratoryで使いにくかったんだよなあ
改善されて良くなったよ

コラボ問題
0115デフォルトの名無しさん
垢版 |
2023/02/02(木) 09:06:56.27ID:bvOKiq3l
自動保存ってオフに出来ないの？
0116デフォルトの名無しさん
垢版 |
2023/02/04(土) 14:37:48.87ID:lJVKcEws
GPU不要でメモリ512GBの環境が欲しいのですが、Colaboratoryで安く計算できたりしますか？
0117sage
垢版 |
2023/02/24(金) 17:09:14.93ID:rMJnFhEb
>>113
>共有ドライブって、googleドライブのマイドライブの中の
複数のユーザーに、私のドライブ内の"publicData"のドライブに次のように
　from google.colab import drive
　drive.mount("/xxx/yyy/drive/publicData")
アクセスさせることは可能でしょうか？
0118デフォルトの名無しさん
垢版 |
2023/03/10(金) 17:23:14.65
前はpython3.8だったような気がするけどここ最近Python 3.9.16に更新されたっぽい？
昨日大丈夫だったtensorflow==2.4.1でついさっきpipインストールエラーでて気づいたわ
0119デフォルトの名無しさん
垢版 |
2023/03/10(金) 17:23:34.78ID:tiZC5u0g
前はpython3.8だったような気がするけどここ最近Python 3.9.16に更新されたっぽい？
昨日大丈夫だったtensorflow==2.4.1でついさっきpipインストールエラーでて気づいたわ
0120デフォルトの名無しさん
垢版 |
2023/03/10(金) 22:35:02.70ID:R6svC8t4
それな
requirements.txtの読み込みにめちゃくちゃ時間かかるしコンパイルをアップグレードしたり消したりするのがめんどいしこれは知らんが実行中から進まないことが多くなった
0121デフォルトの名無しさん
垢版 |
2023/03/11(土) 07:13:37.03ID:LTSyWEUy
有料プランだと4090かそれ以上に速くてメモリも多かったりする？
0122デフォルトの名無しさん
垢版 |
2023/03/15(水) 14:01:33.47ID:emhXmBz+
A100でも処理速度は4090と大差ないんじゃないかな
その代わりA100のメモリは40GBで4090の24GBよりも多い
GPUガチャで当たればの話だが
外れるとV100とかT4がでる
V100はまだマシだがT4は推論用GPUという位置付けなので機械学種に使うには遅い
またどちらにせよ24時間で処理が外されるので１日以上かかるような処理が必要な
場合には別のクラウドで環境を作るか、4090でローカル環境を作った方がいい
0123デフォルトの名無しさん
垢版 |
2023/03/30(木) 07:20:07.01ID:cdWb2547
ジュピターノートブックでRとPython同時に使うことはできる？
colab上じゃなくてもVscodeで出来る、とかあるなら教えてほしい
0124デフォルトの名無しさん
垢版 |
2023/04/04(火) 17:54:01.13ID:fd1Y8RFi
すごいなハイメモリは
今まで3～4時間で落ちてたのが12時間保ったよ
0125デフォルトの名無しさん
垢版 |
2023/05/06(土) 01:00:00.47ID:ubs5Yepd
webサービスに依存するの抵抗ない？
RSSリーダーを思い出すよ
まぁ、終了告知くるまで使うだけ、なのかな？
0126デフォルトの名無しさん
垢版 |
2023/05/08(月) 04:49:32.16ID:pk+n6/JV
GPUガチャが無くなって素晴らしいサービスになった
paperspaceより確実にA100取れるし
てかNvidiaこそGPU余ってんだからサブスクしろと言いたい
0127デフォルトの名無しさん
垢版 |
2023/05/09(火) 02:18:33.36ID:ncIXrPHP
きっと、支払ってる料金だけじゃ成り立たないんじゃん？
0128デフォルトの名無しさん
垢版 |
2023/05/09(火) 08:34:04.22ID:IPFiZn4H
OpenCL、動かなくね？
clinfoで0のまま。下で動くようにはなった。Googleチェックしてんの？
!apt-get install --yes nvidia-cuda-toolkit
0129デフォルトの名無しさん
垢版 |
2023/06/28(水) 13:52:52.02ID:BVdlIcNn
漠∞！！！！
列∞！！！！！
廷∞！！！！！！
機∞！！！！！！！
個∞！！！！！！！！
図∞！！！！！！！！！
寿∞！！！！！！！！！！
非∞！！！！！！！！！！！
蘭∞！！！！！！！！！！！！
武∞！！！！！！！！！！！！！
哥∞！！！！！！！！！！！！！！
陽∞！！！！！！！！！！！！！！！
帳∞！！！！！！！！！！！！！！！！
翔∞！！！！！！！！！！！！！！！！！
寿∞！！！！！！！！！！！！！！！！！！
0131デフォルトの名無しさん
垢版 |
2024/03/15(金) 16:23:39.87ID:lQ3WcxI8
ここって、Davinciの動画書き出しとかに使ってもいいの？
新着レスの表示
レスを投稿する

ニューススポーツなんでも実況