次のタグが付いている新しい回答: pandas
0
票
Accepted
Pandas でCSV ファイルの読み込み時にエラー UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81
以下のエラーはShift_JIS(CodePage932)エンコーディングされたCSVファイルをUTF-8エンコーディング(pandasのデフォルト)で読み取ろうとした時に発生するものです。
UnicodeDecodeError: 'utf-8' codec can't decode byte 0x81 in position 441: invalid start byte
...
0
票
Accepted
データフレームから不要な行データを削除する方法
import pandas as pd
from datetime import datetime as dt, date, timedelta
from dateutil.relativedelta import relativedelta
pd.set_option('display.unicode.east_asian_width', True)
df = pd.DataFrame({
...
0
票
データフレームから不要な行データを削除する方法
何か理由があってPythonで処理したい場合には、以下の記事が参考になるでしょう。
条件を満たす最初/最後の行を取得 - pandas
# aaa列が1になる最初の行のindexを取得
idx = df[df['aaa'] == 1].index[0]
pandas.Series.str.match
【Pandas】データフレームから不要な行を削除
データフレームの行数を指定(...
0
票
データフレームから不要な行データを削除する方法
元データが保証されていない, ようなコメントがあるので, まずはそこから …
けど, 正しいデータがあったとしても set_index() で何を行いたいのか未だに不明です
import pandas as pd
import random
import io
# テストデータ生成
dt = pd.Timestamp('2022/5')
df = pd.DataFrame({
'国': ...
1
票
pd.read_htmlがうまく機能しない
pandas.read_html では複数のテーブルを一度に読み込むので, 問題を切り分けるには一つずつ試すとよいかも。
頻繁に幾度もアクセスを試みるのは, サイトへの「攻撃」に繋がるので読み取るまでを区切りにします
import pandas as pd
import requests
from bs4 import BeautifulSoup
url = 'https://db....
2
票
pandasにてcsvを読み込んだときにカンマで区切られない
最初に余分な行が入ってて, 1カラムとみなされてるようです
skiprows= を指定してください (余分な行数)
import pandas as pd
import io
csv = io.StringIO('''
title
aaa,bbb,cccc,dddd
100,200,300,400
'''.strip())
pd.read_csv(csv, skiprows=1)
# ...
0
票
pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい
pandasらしくない, ほぼ Python版
import pandas as pd
df = pd.DataFrame([
['A', 0, 0, 0, 0, 0],
['A', 1, 0, 0, 0, 0],
['A', 0, 0, 0, 1, 0],
['B', 0, 1, 0, 0, 0],
['B', 1, 0, 0,...
0
票
pandasの整形加工:顧客に実施した行動により顧客の認知ステージを変化させるプログラムを作成したい
from functools import reduce
df['顧客ステージ'] = (
df.groupby('顧客', sort=False).apply(lambda x:
pd.DataFrame(
reduce(lambda a, b: a + [a[-1] + ((b - a[-1]) == 1)],
x.filter(regex=...
0
票
2つのDataframeで期間重複するIDを抽出したい
ID毎に総当たりで比較。
参考:
【Python】ふたつの配列からすべての組み合わせを評価
import numpy as np
data1 = [[1, "2010-01-01", "2010-01-20"], [1, "2010-03-20", "2010-03-30"],
[2, "...
0
票
2つのDataframeで期間重複するIDを抽出したい
比較的ループ使わない感じで行ってみました。
df1, df2 それぞれに interval項目を用意
df1, df2 まとめた中で IDの一覧を用意 (今回のデータでは 1,2,3になる)
それぞれの IDで, Seriesを作って (iv1, iv2) overlapしてるか確認
注意点?
IDの一覧はループにしなくて構わないはず
pandas.Interval によると省略時は ...
上位 50 件の最近の回答が含まれています
関連するタグ
pandas × 351python × 332
python3 × 75
matplotlib × 27
numpy × 26
csv × 26
seaborn × 6
json × 5
機械学習 × 4
web-scraping × 4
google-colaboratory × 4
r × 3
正規表現 × 3
excel × 3
anaconda × 3
アルゴリズム × 2
postgresql × 2
jupyter-notebook × 2
selenium × 2
pip × 2
mecab × 2
テキストファイル × 2
openpyxl × 2
windows × 1
macos × 1