3
票
Accepted
シーケンスの長さが1かどうかの判定
len()がリストの要素を最後まで数え上げているのであれば、要素数が多いリストの場合、もっと速い方法があるのではないかと考え、次の3つの方法で実測してみました。
len()を使う方法
インデックスの範囲外の例外で判定する方法(要素数0、1,2で判定)
素直に数える方法(要素数0、1,2で判定)
リストの長さは
1000000000
1000
...
2
票
シーケンスの長さが1かどうかの判定
@oriri 氏の回答 の is_len_1() 関数を以下に変更して計測。
def is_len_1(lst):
return len(lst) == 1
以下、disassemble の結果
>>> from dis import dis
>>> def is_len_1(lst):
if len(lst) == 1:
...
2
票
シーケンスの長さが1かどうかの判定
これは直接の回答コードではなく, 別解のコードのグラフ化です。
図は colabでの結果であり, Pythonのバージョンによっては多少変動があるかも。
更新 (is_len_1b 追加)
def is_len_1(lst):
if len(lst) == 1:
return True
return False
def is_len_1b(lst):
...
2
票
EC2上で起動しているWEBAPP側でクライアント側の接続元IP(グローバルIP)の取得する方法について
サーバー側でクライアントのIPを取得する方法について紹介します。
EC2と言っても構成は色々あります。
ALB(ELB)を使っているか、Nginxを使っているか、Webアプリのフレームワークは何か。
そのあたりが書かれていないため、こうです、とは書けませんが、原則的なことを回答します。
アクセス元のIPアドレスはHTTPヘッダーに乗って最終的なサーバープロセスまで届きますが、...
2
票
Accepted
Python エクセル 日付の形式変換方法について
いったんDateTime型に変換してから文字列にすれば良いと思われます。
その際にエラーは無視することと、無効値を空文字列に指定すれば良いのでは?
こんな形で出来るでしょう。
#日付の表式変換
df['申込日']=pd.to_datetime(df['申込日'],errors='ignore').dt.strftime('%Y-%#m-%#d').fillna('')
コメント対応追記
...
2
票
シーケンスの長さが1かどうかの判定
len(s)の結果が 1 かどうかで判定すれば良いでしょう。
オブジェクトの長さ (要素の数) を返します。引数はシーケンス (文字列、バイト列、タプル、リスト、range 等) かコレクション (辞書、集合、凍結集合等) です。
むしろそれ以外の簡潔な方法があるが比較する方法があるかとか、この方法でやっているがどうも遅いように見えるといった情報があるのなら、...
2
票
Accepted
関数内関数はいつ用いるべきか
「Pythonの関数内関数の利点」の Q&A は,
Pythonでの closure(クロージャー)の話であり, トップレベルで関数定義する場合と異なり呼び出すたび生成される というだけです。
Pythonの関数定義は, トップレベルだろうと関数内からであろうと その時点で生成されるので, (別の, 例えば) 変数に何かしらの演算結果を代入する ことと同じように考えてよいでしょう。
...
1
票
Accepted
2つの集合から1つずつ非復元抽出するときの抽出方法を列挙したい
from itertools import permutations
from pprint import pprint
a = {1,2,3}
b = {4,5,6}
result = [[*zip(a, p)] for p in permutations(b)]
pprint(result)
#
[[(1, 4), (2, 5), (3, 6)],
[(1, 4), (2, 6), (...
1
票
Accepted
pythonで Pandasを使ってエクセルを結合させる方法
前回 PythonでExcelファイルに特定の行を書き込みしたい 同様に、「excelの中でtitleが合っていてmessageIdの空いている所を上から順番に埋めていく。excelに合うtitleが無ければ何もしない」という緩い仕様で考えて回答を作成しました。
両方のExcelを読み取り後の処理が以下になります。
df1からtitleとmessageIdの列だけ抽出して2次元のリストにしてから、...
1
票
pythonで Pandasを使ってエクセルを結合させる方法
Python, Pandas は詳しくないのであくまで考え方のみ回答します。
私なら「表の結合」ではなく、以下のような手順を踏むと思います。
まずsample_country から title をキー、messageId を値にした辞書を作成
country に対して先ほど作成した辞書を元に、該当する messageId を埋めていく
※「アメリカのように title は重複する時がある」...
1
票
Accepted
Pandasでフィルターもしくは行削除後、データを書き込みしたい
以下色々と突っ込みどころがあります。
質問のタイトルと説明の文章で書いてあることが逆です。
Pandasでフィルターもしくは行削除後、データを書き込みしたい
searchの列が空白の時だけその行を処理して,google上で検索したいです。
検索後、searchにOKとして記載したいです。
実現したい結果 からすれば説明の文章の方が正しいでしょう。
...
1
票
関数内関数はいつ用いるべきか
どちらがよいか一概に言えないと思います。
名前の競合を減らすため、関数の中で定義
性能が問題になりそうなら、関数の外で定義
性能が問題になるかは計測してみないと分かりません。個人的な意見ですが関数の中で定義しておき、問題があるようなら対応を考えます。
1
票
Accepted
Python3 文字列の比較で "Perl"<"Python" がなぜTrueになるのかが理解できません
文字列の比較では、「辞書順の比較」が行われます。つまり辞書に単語が載っている順番のように、先頭の文字から順番に比較が行われます。
"Perl" と "Python" を比較するときは、
まず最初の 1 文字を比較して P と P で等しい
等しいので 2 文字目を比較して e と y で y の方が大きい
という順番で比較が行われ、"Perl&...
1
票
Accepted
PythonでExcelファイルに特定の行を書き込みしたい
こんな形でopenpyxlは不要でpandasで出来るでしょう。
該当部分を抜粋します。
#エクセル読み込み
df = pd.read_excel(excelfile, dtype=str)
print(df)
for curtitle, curmsgid in zip(title, messageId):
wdf = df.query('(title == @curtitle) and ...
1
票
Pythonでスクレイピング方法について
(… 解決済みのようだけど)
Beautiful Soup で HTML class属性を扱う
質問にある HTMLの先頭の要素は
<div class="flight-result departure">
先頭 div要素の class属性は以下の通り (クラスが 2つ)
soup = BeautifulSoup(html, 'html.parser')
...
1
票
Pythonでスクレイピング方法について
API を利用する場合。
import pandas as pd
pd.set_option('display.unicode.east_asian_width', True)
url = 'https://www.fukuoka-airport.jp/api/flight_schedule/flight_schedule.json'
df = pd.read_json(url, orient=...
1
票
Accepted
Pythonでスクレイピング方法について
3点あって、以下の最初の点がデータを取れない原因です。
指定したいクラス名に空白が入っている時は、そのまま空白を指定するのではなく.に置き換える必要があるみたいですね。
for li in soup.select('div.flight-result departure ul li'):
flight-result departureをflight-result....
1
票
Accepted
データフレームから不要な行データを削除する方法
import pandas as pd
from datetime import datetime as dt, date, timedelta
from dateutil.relativedelta import relativedelta
pd.set_option('display.unicode.east_asian_width', True)
df = pd.DataFrame({
...
1
票
データフレームから不要な行データを削除する方法
何か理由があってPythonで処理したい場合には、以下の記事が参考になるでしょう。
条件を満たす最初/最後の行を取得 - pandas
# aaa列が1になる最初の行のindexを取得
idx = df[df['aaa'] == 1].index[0]
pandas.Series.str.match
【Pandas】データフレームから不要な行を削除
データフレームの行数を指定(...
1
票
データフレームから不要な行データを削除する方法
元データが保証されていない, ようなコメントがあるので, まずはそこから …
けど, 正しいデータがあったとしても set_index() で何を行いたいのか未だに不明です
import pandas as pd
import random
import io
# テストデータ生成
dt = pd.Timestamp('2022/5')
df = pd.DataFrame({
'国': ...
1
票
pd.read_htmlがうまく機能しない
pandas.read_html では複数のテーブルを一度に読み込むので, 問題を切り分けるには一つずつ試すとよいかも。
頻繁に幾度もアクセスを試みるのは, サイトへの「攻撃」に繋がるので読み取るまでを区切りにします
import pandas as pd
import requests
from bs4 import BeautifulSoup
url = 'https://db....
1
票
Accepted
特定の箇所WEBスクレイピングができない
該当部分のhtmlがこんな感じなので:
<li class="hour10">
<a href="/flight/detail.html?fno=A-D-20220510-ibx66">
<div class="flight-time flight-time-change font-roboto"&...
1
票
ModuleNotFoundError: No module named 'weasyprint.fonts'
コメント指摘で解決したようなので、回答としておきます。
以下のIssueに書かれていた内容が当てはまるでしょう。
ModuleNotFoundError: No module named 'weasyprint.fonts' #1419
Had a similar issue. Apparently the import path has changed. This works for me:
...
1
票
Accepted
BeautifulSoupでテーブルスクレイピング方法について
API を利用する場合。
import pandas as pd
import urllib.request
url = 'https://www.narita-airport.jp/jp/api/flight/?DepArr=D&flightDate=20220502&flightDate=20220502&flightDate=20220502&display=...
1
票
文章内の文字列をreplaceを使用して置換したい
from functools import reduce
import pandas as pd
replaceWord = [
[ 'test9012', 'te1210st'],
[ 'test5678', '8579'],
[ 'test1234', '1349'],
[ 'april', 'August'],
['...
1
票
python beautifulsoup4でローカルにあるhtmlファイルの中の入力フォーム操作によって変動する結果を取得できますか?
対処方法【予定】
Seleniumで条件入力し、結果画面のスクレイピングを行う。
cubick様のコメントがほぼほしい答えそのものなのでこれで閉めます。
1
票
Accepted
returnとyield fromの同時使用について
yield式 (yield文も意味は同じ) があると Generatorsです。
6.2.9. Yield 式 / 7.7. yield 文
https://docs.python.org/ja/3/tutorial/classes.html#generators
この場合の returnは, StopIteration 送出の意味
def fn(value):
print('=>...
Only top scored, non community-wiki answers of a minimum length are eligible
関連するタグ
python3 × 1335python × 1124
pandas × 77
numpy × 60
django × 47
matplotlib × 47
web-scraping × 33
anaconda × 30
jupyter-notebook × 29
windows × 28
アルゴリズム × 27
selenium × 26
pyqt5 × 26
tensorflow × 25
csv × 24
tkinter × 24
機械学習 × 23
beautifulsoup × 23
macos × 22
json × 19
flask × 18
opencv × 17
画像 × 16
keras × 16
正規表現 × 15