[python] タグが付いた質問
Python(パイソン)とは、コードの視認性を高められるように設計されたスクリプト言語。スクリプト言語ではあるが、サードパーティ製のツールを使うことで、スタンドアローンの実行ファイルを作成することも出来る。基本的な構文はCやC++を参考にしており、ABC言語のようなインデント構文を採用している。
841
未回答やベストアンサーなし質問
8
票
0回答
839 件の閲覧数
Pythonでもマルチスレッドとマルチプロセスの共存は厳禁ですか?
マルチプロセスとマルチスレッドについて調べていると、デッドロックの危険があるので混在させるのはfork()後即exec()させる場合を除いて厳禁といった趣旨の記事がいくつか見当たりました。
UNIX上でのC++ソフトウェア設計の定石 (3)
プロセスの生成 − fork (マルチスレッドのプログラミング)
記事の理屈はよくわかるのですが、これはPythonのthreading....
6
票
2回答
367 件の閲覧数
訓練データとテストデータの評価の差
ある数値を予測するコンペの問題をPythonでやってます。
与えられた訓練データから使えそうな特徴量だけを取り出し、同様にテストデータから訓練データと同じ特徴量を取り出しました。
https://www.kaggle.com/serigne/stacked-regressions-top-4-on-leaderboard/notebook
上記を参考にして、取り出したデータをもとにLASSO ...
4
票
0回答
58 件の閲覧数
pythonのCLIで、リファレンスをHTMLで出力する方法
やりたいこと
Pythonのargparseモジュールを使って、CLIを作っています。
CLIの使い方は、--help引数を指定すればターミナルで確認できますが、できればwebでも確認できるようにしたいです。
イメージとしては、awscliのように、ヘルプコマンドとwebのリファレンスの内容を一致させたいです。
awscliのヘルプコマンド
$ aws s3 list help
LS() ...
3
票
0回答
204 件の閲覧数
+500
実行スレッドによって、同じSQLite書き込み処理時間が大きく異なるのはなぜでしょうか?
プログラム内容
マルチスレッドおよびマルチプロセスを組み合わせたプログラムとなっており、下図ような構成で動作しています。
現在、リファクタリング中で、ProcessA-Cの処理は以前はThreadでしたが、高速化のために並行処理させるため、MultiProcess化しています。
追記情報
Thread M1をMultiProcessでプロセス化しました。
これにより、...
3
票
0回答
57 件の閲覧数
pip install でクロスプラットフォーム用のライブラリを生成したい
lambda_function.py に
import pyorc
とかいて AWS Lambda にデプロイしたところ
[ERROR] Runtime.ImportModuleError: Unable to import module 'lambda_function': No module named 'pyorc._pyorc'
となってしまいます
mkdir src
cp ...
3
票
0回答
95 件の閲覧数
自然言語処理の前処理として、自然言語とコード部分を切り分けたい
自然言語とコード部分が混在しているテキストを、自然言語とコード部分に分割したいです。
GitHubのissueの分析を行っていますが、issueの本文内に自然言語とコードやログが混在していることが多々あります。
Markdown等を用いてあるissueでは該当箇所を分割することができます。しかし、コードやログ結果を直貼りしてある場合は切り分けが難しく困っています。
何かいい方法はありますでしょうか?...
3
票
2回答
209 件の閲覧数
csvファイルの内容を列ごとに処理するには?
初心者なので言葉足らずかもしれませんがよろしくお願いします.
csvファイル(ファイル名"data")で1列目に1行目から順に以下の様に書かれています.
data.csv
0.1 0.2
0.3 0.5
0.2 0.7
0.9 1.3
1.5 0.8
0.8 1.2
1.1 0.9
以下略
列ごとに1行目から見ていき最初に1....
3
票
1回答
238 件の閲覧数
tweepyを使って、特定のツイートに対してリツイートしたユーザーidを全件取得する方法はありますか?
はじめまして。
現在、データ分析に関する内容としてpythonのtweepy(3.9.0)を使用してデータを取得しようと思っております。
そこで質問です。タイトルにもある通り、特定のツイートに対してリツイートしたユーザーidを全件取得する方法を知りたいです。全件です。リツイートの数が1000件あれば、1000件のユーザーidを取得したいです。ユーザーid自体はとってこれるのですが、...
3
票
2回答
125 件の閲覧数
Python3.6.4 の関数内の変数に関して、インプレースで変更される場合とそうでない場合の違いは?
できる限り同条件で比較できるコードにしたつもりなのですが、何度やってもリストはインプレースで書き換えられてしまいます。なぜなのでしょうか?「リストの代わりにタプルを使うべき」以外の回答だとありがたいです。
また、初の質問投稿であるため、無作法な点もあるかと思うので、その点の指摘があるとなお助かります。よろしくお願いします。
>>> lst,a = [0],0
>>&...
3
票
1回答
115 件の閲覧数
pythonで赤い球をcanvas上で上下するコードを書きたいのですが以下のコードだと球が上の壁を突き抜けて画面から消えてしまいます。何を変えればいいのでしょうか。winfo_height関数をつかってつくりたいです。
いろいろ試してみて分かったことは、
line 19: if self.position[3] >= self.canvas_height:
でなにかしらの問題が起きていることです。
self.canvas_heightを500に変えたところうまくいきましたが、それは私が本当にしたいことと外れています。
あくまでも、winfo_heightを使い解決したいです。
...
3
票
0回答
143 件の閲覧数
python3のmemory_profilerについて
memory_profilerを使ってメモリを測っています。
以下のリンクを参考にして同じコードを書きましたが、メモリ消費表示の桁数が違います。
なぜでしょうか?
https://jakevdp.github.io/PythonDataScienceHandbook/01.07-timing-and-profiling.html
Line # Mem usage Increment ...
3
票
1回答
8,970 件の閲覧数
nvidia GPUのメモリ解放
PCを再起動させずにメモリを解放する方法が知りたいです。
コマンド等でメモリ解放できないでしょうか?
2つのGPUを使用しており、片方は動作中のままにしたいので、
再起動や、全てのプロセスを停止させたりはしたくないです。
以下はnvidia-smiコマンドを実行した画面です。
●環境
OS:ubuntu14.04
GPU:GeForce GTX 1080
※python(chainer)...
3
票
0回答
605 件の閲覧数
WindowsのPythonでsubprocess.terminate()をフックしたい
Pythonバージョン: 3.5.2
以下のようにサブプロセスを呼び出し、terminate()でサブプロセスを終了させるとします。
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
import subprocess
import shlex
import time
def main():
p = subprocess.Popen(...
3
票
0回答
115 件の閲覧数
PythonのC拡張モジュール内でUnicodeDecodeErrorが発生する場合の対処方法について
環境
Windows 10 Pro 64bit
Python 3.6.1
pyscardというPCSCのモジュールを使用しています。pyscard内で下記のようなエラーメッセージを取得していうる部分があるのですが、ここでUnicodeDecodeErrorが発生しています。
def SCardGetErrorMessage(lErrCode):
"""
...
3
票
1回答
2,848 件の閲覧数
Pythonを使用して、BluetoothのRSSI値を取得したい。
Raspberry Pi 2を使って、スマートフォン端末のRSSI値をPythonで取得する方法が分かりません。よい方法があればお教え頂けませんでしょうか?
下記のコードは、Bluetoothを利用してユーザの入退室の時間を記録するものです。
このコードに、複数のスマートフォン端末がBluetoothの通信範囲に入っている場合、RSSI値が最も高い端末に条件分岐する機能を追加したいです。
...
3
票
0回答
231 件の閲覧数
SublimeText3で、SublimeREPL:pythonを使う際にpythonのバージョンを変更できません
pytnon2系とpython3系を保持しつつ
SublimeTextREPLでpython2と3を切り替える方法はどうすればよいでしょうか?
現状について以下のとおりです。
python2と3の両方をインストールしてあります。
version
$ python --version
Python 2.7.10
$ python3 --version
Python 3.5.2
which
$ ...
3
票
0回答
210 件の閲覧数
pipを使用して、virtualenvwrapper-powershellをダウンロード
windows powershellにおいて、pipを使用してvirtualenvwrapper-powershellをダウンロードしようとしているのですが、うまくいきません。
pipのダウンロード自体は上手くいき、
python -m pip install virtualenv
と入力し、virtualenvはインストールすることができたのですが、
python -m pip ...
3
票
0回答
170 件の閲覧数
Djangoとdjango-social-authでのurlsの書き方について
Django1.6にてdjango-social-authを使用しております。
ログインは、
settings.pyにはAPP_NAMEを自分のアプリ名で定義し、
LOGIN_URL = APP_NAME + '/login/'
LOGIN_REDIRECT_URL = '/'
LOGIN_ERROR_URL = APP_NAME + '/login-error/'
urls.spyに
...
3
票
0回答
212 件の閲覧数
django-paypal のPayPalPaymentsFormのreturn_url設定について
Django 1.6で、django-paypal を使用しています。
PayPalはIPNを使用しています。
https://django-paypal.readthedocs.org/en/stable/standard/ipn.html
の3番目のpaypal_dictの中です。
return_urlについては、
購入後の復帰だと思いましたが戻ってきませんでした。
「ウェブ ...
3
票
0回答
1,190 件の閲覧数
Miniconda で仮想環境のライブラリを import できない
Windows の Miniconda で仮想環境を作ったのですが,activate して Python を実行してみたところ,Miniconda 本体の方の site-package を見てしまっているのか仮想環境の方の site-package のライブラリを import できません.
環境変数の PYTHONHOME を削除すると import できるようにはなるのですが,...
2
票
0回答
60 件の閲覧数
PythonでWebhockに対してデータを送りたい
Pythonでの計算結果をwebhockアドレスに対してpostしたのですが、うまくいきません。
下記がPythonのコードなのですが、何が間違っていますでしょうか?
print(yatta) は正常に表示されており、動作は問題無いのでは無いかと考えております。
CentOS7でpython3.6にはrequestモジュールがインストールされております。
特にエラーは出ていませんが、...
2
票
1回答
64 件の閲覧数
カスタマイズした404.htmlが反映されない
お世話になります。以下にご質問させてください。
djangoのバージョンは3.1.7です。
達成したいこと
404エラーとなる際にカスタマイズした404.htmlが表示されるようにしたい。
これまでに実施した内容
views.py にて get_object_or_404 で404エラーを返すようにしている。
ルートディレクトリ内に新しくtemplatesを作成。その中に404.htmlを作成。
...
2
票
0回答
90 件の閲覧数
Python の class と dataclass はどう使い分ける?
Pythonのclassとdataclassはどう使い分ければよいでしょうか?(どう使い分けていますか?)
バージョンはPython 3.9.2です。
下記の記事を見ると、すべてのケースにおいてdataclassを使うほうが良いのでしょうか。
Python3.7からは「Data Classes」がクラス定義のスタンダードになるかもしれない - Qiita
2
票
1回答
102 件の閲覧数
asyncio を使った s3 並列アクセス
S3 にある細切れのファイルを読み込んで別のデータベースにインポートしたいです
プレフィックスリストしてオブジェクトを1個ずつ読むというコードを、asyncio なしでかいたところ、3万ぐらいのファイルを読み込むのに40分ぐらいかかってしまい、CPUは 20% ぐらいしか使ってなかったのでおそらく S3 アクセスがボトルネックなのかなと想像しています
なので asyncio を使って S3 ...
2
票
0回答
57 件の閲覧数
LeetCodeの問題、142. Linked List Cycle IIの解釈について
課題でLeetcodeの問題に取り組んでいます。
下記が答えのコードですが、自分なりに日本語で解釈してみたのですが、
以下の解釈でおかしい点はありますでしょうか?
言語はPython3になります。
問題
Linked List Cycle II
説明
class Solution:
def detectCycle(self, head: ListNode) -> ListNode:
...
2
票
3回答
88 件の閲覧数
Python 3.8.5 seriesでの正規表現を用いた文字列検索について
tpye を見ると <class 'pandas.core.series.Series'> というデータになっています。
このデータに含まれる文字列検索をしたいと思っています。
match = Series_data[Series_data == "F:\\"]
とやると、目的の結果が得られています。(今のところそう見える)
実際には、...
2
票
0回答
253 件の閲覧数
PythonでのTypeError(TypeError: __init__() got an unexpected keyword argument 'encoding')が出てしまいます
・実行したい内容
jupyternotebook上でtresuredata上からデータを取得したいのですが、TypeError: init() got an unexpected keyword argument 'encoding'が出てしまって困っています。
特にencodingを明示的に指定しているわけでもないのにエラーになってしまっています。
・記述したコード
#...
2
票
0回答
72 件の閲覧数
文字列の後ろに存在すればグループとしてマッチ、なければしない
試したこと:
(.*)(_test)?:全てがグループ1としてマッチされます。
(.*)(_test)*:1と同様、全てがグループ1としてマッチされます。
教えていただければ幸いです。
input 1:
A_B_test
output 1:
group1: A_B
group2: _test
input 2:
A_B
output2:
group1: A_B
group2:(nothing)...
2
票
1回答
108 件の閲覧数
データの列方向への結合
今まで二つのデータを以下のようなコードで列方向に連結させていました.
それぞれ行*列はdata1は2*32,data2は5*32,data3は8*32の形になっています.
data1とdata2のみのときは以下でできました.(7*32の形になる)
import numpy as np
#index削除しているか確認
data1 = np.loadtxt('210122-945and1200-del-...
2
票
0回答
97 件の閲覧数
ラズベリーパイにて、systemdを使った自動起動プログラムの場合にのみエラーが発生します。
質問の概要
ラズベリーパイにてPython3を使用中です。
毎日の終わりに一度、
「センサの値をテキストファイルに書き込み、添付ファイル付きのメールを送るプログラム」
を実装済みです。
手動で実行するとエラーは発生しませんが、systemdを用いて電源ON時に自動起動を行うとエラーが発生します。
以下に詳しく記載します。
エラー詳細
発生しているエラーは
「...
2
票
1回答
127 件の閲覧数
データ通信、データベース書き込みを伴うサーバーでのマルチスレッド、マルチプロセス設計について
前書き: 知識不足な点が多く、見当違いなことや的外れなことを書いていたら申し訳ございません。
分からない事: サーバーアプリケーションでのマルチスレッド(マルチプロセス)を使用した最適な設計
作成したいプログラム: スマートフォンから受信したデータを保存するサーバー
スマートフォンとの通信 :gRPC
スマホから受信したデータの管理: MySQL
考えている動作の流れ
スマホからgRPCの送信
...
2
票
0回答
437 件の閲覧数
jupyter notebook で自作モジュールの読み込み方法
jupyter notebookにて、自作した関数を入れた.pyファイルをimportしたいのですが、
importエラーが発生しており、エラー解決方法を教えていただきたいです。
すみませんが、宜しくおねがいします。
フォルダ構造
(ルート)
├─read_own_script.ipynb
├─own_scripts
│ ├─__init__.py
│ ├─trans.py
...
2
票
0回答
143 件の閲覧数
二項分布に従う乱数を得る際のOverflowError: Python int too large to convert to C long
ある二項分布(試行回数 = 1.5*10^11, 成功確率 = 10^(-8))に従う乱数を10個得たいと思っています。
二項分布の期待値や標準偏差から考えると1500±75くらいの乱数が得られるはずなのですが、OverflowErrorが出てしまいます。
コードの不備や、エラーの回避方法などございましたら、ご教授お願い致します。以下のコードは念の為 sys.maxsize ...
2
票
0回答
77 件の閲覧数
スケーリングがうまくいかない
データ値を最小値0,最大値1になるようにスケーリングしたいのですが以下のコードを使うとうまくいっていないように見えました.(下の図のようになってしまいました)データファイルには12行14列にデータが書いてあります.自分が理想としているグラフは元のグラフの山の形を保ったままのものです.よろしくお願いします.
scaler=MinMaxScaler()
scaler.fit(data_del)
...
2
票
2回答
188 件の閲覧数
PythonでCSVファイルをDict型およびlist型で読み込みたい
Python初心者のため、無礼な質問かも知れませんがご教示ください。
Pythonで以下のようなcsvファイルからデータを読み込む方法を考えています。
CSV
A C D T
1,7 0 0 2
2,7 0 0 3
3,7 0 0 5
4,7 0 0 2
5,7 0 0 3
6,7 0 0 5
0,1 8 10 2
0,2 70 15 3
0,3 9 10 5
0,5 5 10 2
1,2 10 ...
2
票
1回答
91 件の閲覧数
分類モデルの作成
分類モデルの作成をしてまして、モデルの選択
ロジスティック回帰と決定木、ランダムフォレスト、SVMの4つのモデルを作成して比較で # for文でリストからモデルを取り出し、学習と予測、F1値の出力を行う。為のコードがどうしてもわからなく悩んでいます。ご教示お願い致します。
コード
import numpy as np
import matplotlib.pyplot as plt
import ...
2
票
0回答
51 件の閲覧数
matlabでnsga2を実装.目的関数の範囲指定,設計変数と目的変数の最大化を行いたい.
NSGA2をmatlabで動かせるよう以下のURLからダウンロードし実装.
https://jp.mathworks.com/matlabcentral/fileexchange/10429-nsga-ii-a-multi-objective-optimization-algorithm
実際に動かしてみて,成功はしたのですが
目的変数はすべて最小化
設計変数の範囲のみが指定可能
...
2
票
0回答
66 件の閲覧数
Pandasでカラム名がどうしても小文字で出力される際の対処
pandasのデータフレームdfで最終id、という名前のカラムがあり、
df.rename(columns = {'最終id':'最終ID'})
とリネームしても出力物では小文字のidに戻ってしまいます。
どのようにすれば回避できますでしょうか。
よろしくお願いいたします。
実行環境
Windows 10
Python 3.7
2
票
0回答
71 件の閲覧数
PyMCのsample関数でlist index out of rangeエラーが発生した時の修正方法について
現在、ベイズ推論とMCMCのフリーソフトという書籍のPyMCのチュートリアル的な章を学んでいるのですが、
以下のコードのts=[pm.sample(itenum, step, chains=i,progressbar=False) for i in range(chainnum)]という部分で、IndexError: list index out of rangeというエラーが出てしまいます。
...
2
票
1回答
132 件の閲覧数
長期記憶性のある時系列データの解析に関する質問
現在、表題のようなデータに対して分析を実行しています。
データの内容に関しては規約があるため詳しく説明することができませんが、以下のような方法で採取されたデータです。ここで、被説明変数をy,説明変数をxとします。また、時刻をtとします。
時刻tにy(t)が観測される。直近の説明変数x(T|t-100<T<t),(直近100イベントのレコードx)が収集される。また、...
2
票
0回答
160 件の閲覧数
PythonファイルのCython化
Pythonファイルの実行が遅いため、Cython化を図っております。
Pythonを高速化するCythonを使ってみた - Kesinの知見置き場
上記ページを参考に、とりあえず以下の記述を追加しましたが、実行速度はほぼ変わらなかったです。(というより最初にコンパイルする時間が発生したのか、むしろ遅くなりました。処理自体はほぼ一緒のスピードでした。)
import pyximport; ...
2
票
1回答
351 件の閲覧数
特定の文字列を含む行にフラグを立てる関数を作成したい
下記のデータフレームに対し、
> df = pd.DataFrame({'pref': ['東京都', '神奈川県', '北海道', '埼玉県', '千葉県', '静岡県',
> '長野県'],
> 'city' : ['渋谷区', '横浜市', '函館市', '浦和市', '浦安市' , '浜松市', '岡谷市']})
"...
2
票
0回答
57 件の閲覧数
sympy で cos(1/4π) は、√2/2 と展開されますが、cos(3/4π) は、cos(0.75π) と展開されます。 cos(3/4π) も同様に展開できないでしょうか。
sympy の version は、1.6.2
python の version は、3.7.4
OS は、windows10 64bit です。
下記、試した結果です。trigsimp が有ってもなくても、同じでした。
sympy.trigsimp(cos(0/4*sympy.pi)) -> 1
sympy.trigsimp(cos(1/4*sympy.pi)) -> √2/2
...
2
票
2回答
154 件の閲覧数
Pandasデータフレームで特定行を削除する方法
(購買データの前処理に関するご質問です)
同「id」「購入日」「店舗」「商品」「売上タイプ」ごとに連番を振った、下記データフレームがあるのですが、
df = pd.DataFrame({'id': ['111', '111', '111', '111', '111', '222', '222', '222', '333', '333', '333', '333', '333'],
...
2
票
0回答
75 件の閲覧数
0-1整数2次計画問題に関する数理最適化のアルゴリズムについて
数理最適化に関するアルゴリズムに関して学習しています。
0-1整数2次計画に関して分岐限定法で厳密解などを解くらしいのですが、
調べても連続変数の2次計画の問題に関する内容が多く、私の検索能力が低くて見つけられません。
0-1整数2次計画問題に関して
https://www.letsopt.com/entry/2019/08/18/131125
...
2
票
0回答
83 件の閲覧数
pythonで線構造の抽出
写真のように、点の集合の中からデータと思われる部分(線構造っぽいところ)を抜き出したいと考えています。
オープニング処理などを試しましたが、線が途切れているところが周りのノイズとうまく判別できませんでした。
アドバイスいただきたいです。
2
票
0回答
368 件の閲覧数
np.arrayの累乗でRuntime warningが発生する
numpyの2次元配列の累乗(要素ごとの累乗)が正常にできず困っていましたので教えてください。
環境:
Python: 3.7.5
Numpy: 1.17.4
float32型・2次元のnp.array(正または負の実数値を格納、一部NaNを含む)を1.514乗しようとすると、**でもnp.power()でも
RuntimeWarning: invalid value encountered ...
2
票
1回答
1,045 件の閲覧数
__init__.py があると、”Unable to import '○○○'pylint(import-error)" になる
ソースコードは以下の通りです。
aaa.py
class aaa(object):
__slots__ = ['_first']
def __init__(self):
self._first = ''
bbb.py
import aaa as a
class bbb(a.aaa):
__slots__ = ['_name']
def __init__(self):
...
2
票
1回答
301 件の閲覧数
IndexError の解消法
何処かの int 型が抜けていると思われるのですが...
エラーメッセージ
Traceback (most recent call last):
File "/Users/ymtk/Desktop/pyaudio/mfcc.py", line 109, in <module>
mfcc = MFCC(stf.SPEC.shape[1] * 2, stf....
2
票
0回答
236 件の閲覧数
MySQL select で最新の値を読みたい
同じレコードに対して
select
if 値が前回と違う場合:
insert or update
commit
を行う処理があってこれを並列(べつコネクションで)動かすと
なぜか毎回複数回実行されてしまいます
値が違う場合にだけ1回新規に書き込まれて
2回目以降はアップデートがよばれないようにしたいのですが
かきこんだあとすぐ commit してるんですが
MySQL ...