3
自己回答です。
nekketsuuuさんの回答を元に解決した方法を記しておきます。
1. gspreadをインストール
!pip install gspread
2. 各種パッケージをimport
from google.colab import auth
from oauth2client.client import GoogleCredentials
import gspread
3. 認証処理
# 認証処理
auth.authenticate_user()
gc = gspread.authorize(GoogleCredentials.get_application_default())
4.スプレッドシートを開く
workbook = gc.open_by_url(...
1
"Python 3.7 が見つからない" と出ているので、別途インストールする必要がありそうです。
実際に試したわけではありませんが、キーワードで検索してみるとSO英語版にて類似の質問と回答がありました。
参考:
install python 3.7 via google colab as default python - Stack Overflow
# Install the python version
!apt-get install python3.7
# Select the version
!python3.7 setup.py
1
通常 Google Colaboratory や(その元となっている)Jupyter Notebook では、セルを分けることによって実行を途中で止めることができます。自分の体感的には、セル単位で止めつつ必要に応じて print すれば事足りる場面が多いです。
しかしそれでもデバッガーが欲しくなる場合があるかもしれません。ここではふたつのやり方を紹介します。
%debug magic
Jupyter (IPython) には組み込みで %debug というマジックコマンドがあり、これを利用することができます。%debug は Python 標準のデバッグツールである pdb を Jupyter 上で起動してくれます。%debug には引数ありで使う場合と引数なしで使う場合があるのですが、...
1
saver.restore(sess, '.\ckpt\model.ckpt') # 変数データの読み込み
を次のように修正したら、うまくいきませんかね?
if ckpt:
server.restore(sess, ckpt.model_checkpoint_path) # 変数データの読み込み
1
Tensorflow のドキュメントによると tf.image.rgb_to_grayscale 関数は、以下のように最後の次元が 3 であることが必要と書かれています.
https://www.tensorflow.org/api_docs/python/tf/image/rgb_to_grayscale
Args:
images: The RGB tensor to convert. Last dimension must have size 3 and should contain RGB values.
しかし問題となっているソースコードを見ると
img = tf.convert_to_tensor(img) # TensorShape([992, 622, 4])
...
1
対象ファイルをダウンロードし、ローカル環境にて編集した後にサイドアップロードするとよいのではないでしょうか。
少し具体的に書くと Colaboratory 上でインストールしたパッケージを
!pip show <package-name>
にてインストール先を確認し、対象ファイルのPATHを調べた後に
from google.colab import files
files.download(<対象ファイルのPATH>)
を行いローカル環境に一度ダウンロードをして編集を行います
その後、
files.upload()
にて編集後のファイルをカレントディレクトリにアップロードし、
!cp <対象ファイル> <対象ファイルのPATH>
...
1
アクセス先URLのhttp://b.hatena.ne.jp/search/text?safe=on&q=Python&users=50をブラウザで開いてソースを確認してみてください。
指定したCSSセレクタの.pager-nextが見つからなければそこで処理を終了するようなプログラムになっているので、書いた通りにプログラムが動いているに過ぎません。
ちなみに、pager-nextで検索すると以下の通りヒットします。
HTML/CSS (ブラウザの開発者ツールで確認)
実際のブラウザ上での表示結果
1
次のページへ遷移するために CSS セレクタを使って次のページのリンクを取得しているのですが、参考になさっているブログ記事が書かれたときとはページの構造が変わっており、そのままのセレクタでは動作しなくなっています。
このため、browser.find_elements_by_css_selector を使っている 2 箇所を修正しないと上手く動作しません。ブラウザの「検証」機能等を使ってスクレイピング元のサイトを解析し、新しいセレクタに更新してください。
なお、デバッグ時に何回もスクレイピングする際にはその間の時間を充分に長くとって、サーバーに負荷をかけないようにご注意ください。
1
問題点1
macabのインポートは、小文字ではなくパスカル形式の文字になります。
import MeCab
問題点2
mecab-python3のver0.8のパッケージに問題があったようです。
・ https://github.com/SamuraiT/mecab-python3/issues/11
PyPIの方は、ver0.7になっています(戻した可能性が大)。 https://pypi.org/project/mecab-python3/
swigのインストールは不要で、従来の方法でインストールできると思います。
!apt-get install libmecab-dev mecab mecab-ipadic-utf8
!pip install mecab-python3
1
英語版に関連した質問と回答があります。
Google Colaboratory: misleading information about its GPU (only 5% RAM available to some users)
要約すると、GPUのRAMが500MBしかもらえない場合が多いということです。そのため、リソース不足のメッセージが出たものと思われます。
対応としては、GPUのRAMが500MBでも動作するようにブログラムを修正するぐらいしかなさそうです。
英語版の質問にあった次のコードを使って最初にGPUのメモリーを確認しておくと便利だと思います。この回答を書く前に試してみたらGPUのRAM11GBをすべて使える状態でした。
# memory footprint support ...
1
Colaboratory の公式サンプル "External data: Drive, Sheets, and Cloud Storage" が参考になります。
Google Drive を使わずにローカルからファイルをアップロードする場合、以下のを実行するとファイル選択ダイアログから複数ファイルをアップロードすることができます。
from google.colab import files
uploaded = files.upload()
アップロードしたファイルたちは同時に Colaboratory のカレントディレクトリに保存されるので、後はローカルと同様に扱うことができます。
アップロードされたファイルの一覧が確認したければ、!ls すれば良いです。
ただしこの方法でアップロードすると、...
上位に投票された、最小文字数のコミュニティ wiki 以外の回答のみが対象となります
関連するタグ
google-colaboratory × 34python × 24
python3 × 9
tensorflow × 4
keras × 3
web-scraping × 3
linux × 2
anaconda × 2
google-cloud × 2
google-spreadsheet × 2
pandas × 1
機械学習 × 1
numpy × 1
画像 × 1
csv × 1
jupyter-notebook × 1
google-api × 1
gpu × 1
selenium-webdriver × 1
google-drive-sdk × 1
slack × 1
chromedriver × 1
kaggle × 1
python-requests × 1