1

ほぼ初心者のため、ご教授のほどよろしくお願いいたします。

とあるファイル(length.txt、約40万行×2列、画像左参照)を1行ずつ参照してデータ取得し、そのデータをもとに別のファイル(effect.txt、約4万行×2列、画像右参照)のデータを検索、照合し、データをテキストファイルに書き出すということを行いたいです。

具体的には、以下の流れです。

  1. length.txt内のlocus列、length列の値を1行ずつ取得。この例では、1行目はlocusが1で、lengthが191です。
  2. effect.txt内のsnp列で、1.で取得したlocusの値を検索し、照合したlocus値の行のeffect列の値を、1.で取得したlength個分(どの要素も大体200個前後です)そこから下のeffect列の値を取得する。この例では、-0.03460835、0、-0.03001576、・・・、0、0、0、0.2164842、・・・(全部で191個分)。
  3. 取得したeffect列の値を、行方向に書き出す。
  4. この作業をlength列の終わりまで行い、テキストファイル(タブ区切り)として書き出す。すなわち約40万行×約200列のデータです。(空白要素は#N/A-で表現したいです)

初心者ながら以下のようなコードを書いてみましたがうまくいきません。

import pandas as pd

length = pd.read_table('length.txt', delim_whitespace=True)
effect = pd.read_table('effect.txt', delim_whitespace=True)

with open('effect_out.txt', "w") as ew:
  for i, j in zip(length['locus'], length['length']):
    effect[effect['snp'] == i]
    effect.head(j).T
    for ext in effect:
      ew.write(ext+'\n')

画像の説明をここに入力

4
  • 「うまくいかない」は具体的にどのような問題がありますか?
    – cubick
    Commented 2022年10月7日 6:17
  • effect_out.txt の画像も載せていただけますでしょうか?
    – merino
    Commented 2022年10月7日 10:41
  • metropolisさん、ありがとうございました。無事できました。具体的なデータもあげていただき恐縮です。こんなにシンプルに書けるなんて驚きました。
    – yui
    Commented 2022年10月11日 5:04
  • 自分の質問に誰かが回答してくれたらどうしたらいいですか? などが, スタック・オーバーフロー > ヘルプセンター に載ってます。参考に。
    – oriri
    Commented 2022年10月12日 13:23

1 件の回答 1

1

length.txteffect.txt は適当に作成(TAB区切り)。

import pandas as pd

length = pd.read_table('length.txt', delim_whitespace=True)
effect = pd.read_table('effect.txt', delim_whitespace=True)

effect = effect.set_index('snp')
dfx = length.apply(lambda i: effect.loc[i['locus']:i.sum()-1, 'effect'].reset_index(drop=True), axis=1)
dfx.to_csv('effect_out.txt', sep='\t', na_rep='#N/A', index=False, header=None)

length.txt

locus   length
1   10
2   10
3   10
4   10

effect.txt

snp effect
1   1
2   3
3   -5
4   0
5   14
6   -1
7   8
8   6
9   -2
10  0

effect_out.txt

1.0 3.0 -5.0    0.0 14.0    -1.0    8.0 6.0 -2.0    0.0
3.0 -5.0    0.0 14.0    -1.0    8.0 6.0 -2.0    0.0 #N/A
-5.0    0.0 14.0    -1.0    8.0 6.0 -2.0    0.0 #N/A    #N/A
0.0 14.0    -1.0    8.0 6.0 -2.0    0.0 #N/A    #N/A    #N/A

この質問に回答するには、ログインする必要があります。

求めていた回答ではありませんか? のタグが付いた他の質問を参照する。