панды читают csv и фильтруют столбцы с помощью usecols

у меня есть csv-файл, который не приходит правильно с pandas.read_csv когда я фильтрую столбцы с usecols и использовать несколько индексов.

import pandas as pd
csv = r"""dummy,date,loc,x
   bar,20090101,a,1
   bar,20090102,a,3
   bar,20090103,a,5
   bar,20090101,b,1
   bar,20090102,b,3
   bar,20090103,b,5"""

f = open('foo.csv', 'w')
f.write(csv)
f.close()

df1 = pd.read_csv('foo.csv',
        header=0,
        names=["dummy", "date", "loc", "x"], 
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"])
print df1

# Ignore the dummy columns
df2 = pd.read_csv('foo.csv', 
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"], # <----------- Changed
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
print df2

Я ожидаю, что df1 и df2 должны быть одинаковыми, за исключением отсутствующего фиктивного столбца, но столбцы имеют неправильную маркировку. Также дата анализируется как дата. 

In [118]: %run test.py
               dummy  x
date       loc
2009-01-01 a     bar  1
2009-01-02 a     bar  3
2009-01-03 a     bar  5
2009-01-01 b     bar  1
2009-01-02 b     bar  3
2009-01-03 b     bar  5
              date
date loc
a    1    20090101
     3    20090102
     5    20090103
b    1    20090101
     3    20090102
     5    20090103

использование номеров столбцов вместо имен дает мне ту же проблему. Я могу обойти эту проблему, отбросив фиктивный столбец после в read_csv шаг, но я пытаюсь понять, что происходит. Я использую pandas 0.10.1.

edit: исправлено плохое использование заголовка.

4 52
python csv pandas csv-import

4 ответа:

ответ @chip полностью пропускает точку двух ключевых аргументов.

  • имена нужно только тогда, когда нет заголовка, и вы хотите указать другие аргументы, используя имена столбцов, а не целочисленных индексов.
  • usecols должен обеспечить фильтр перед чтением всего фрейма данных в память; при правильном использовании никогда не должно быть необходимости удалять столбцы после чтения.

этот решение исправляет эти странности:

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        header=0,
        index_col=["date", "loc"], 
        usecols=["date", "loc", "x"],
        parse_dates=["date"])

что дает нам:

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
56

этот код достигает того, что вы хотите - - - также его странно и, конечно, багги:

я заметил, что он работает, когда:

a) вы указываете index_col рел. к числу столбцов, которые вы действительно используете - так что его три столбца в этом примере, а не четыре (вы отбрасываете dummy и начать отсчет с этого момента)

Б) то же для parse_dates

C) не так usecols ;) по понятным причинам

d) здесь я адаптировал names чтобы отразить это поведение

import pandas as pd
from StringIO import StringIO

csv = """dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5
"""

df = pd.read_csv(StringIO(csv),
        index_col=[0,1],
        usecols=[1,2,3], 
        parse_dates=[0],
        header=0,
        names=["date", "loc", "", "x"])

print df

, который печатает

                x
date       loc   
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
16

Если ваш CSV-файл содержит дополнительные данные, столбцы могут быть удалены из фрейма данных после импорта. 

import pandas as pd
from StringIO import StringIO

csv = r"""dummy,date,loc,x
bar,20090101,a,1
bar,20090102,a,3
bar,20090103,a,5
bar,20090101,b,1
bar,20090102,b,3
bar,20090103,b,5"""

df = pd.read_csv(StringIO(csv),
        index_col=["date", "loc"], 
        usecols=["dummy", "date", "loc", "x"],
        parse_dates=["date"],
        header=0,
        names=["dummy", "date", "loc", "x"])
del df['dummy']

что дает нам:

                x
date       loc
2009-01-01 a    1
2009-01-02 a    3
2009-01-03 a    5
2009-01-01 b    1
2009-01-02 b    3
2009-01-03 b    5
8

сначала импортируйте csv и используйте csv.Диктофон его легко обрабатывать...

-3