Как проанализировать файл CSV, как с запятыми или трубами, и прочитать во фрейм данных?

ryguy72 спросил: 07 октября 2018 в 12:40 в: python

Я пытаюсь пройтись по нескольким файлам CSV в папке и проанализировать каждый файл во фрейме данных, а затем получить тип данных для каждого поля. Прежде чем я успеваю попасть в цикл, я пытаюсь проанализировать один файл CSV и у меня возникают некоторые проблемы. Это то, с чем я сейчас работаю.

import pandas as pd
# CSV file
csv_file = 'C:\\path\\ARMINDEX.CSV'
# read cvs with pandas read_csv
df = pd.read_csv(csv_file)
df.dtypes

Когда я запускаю этот пример кода, я получаю следующее:

01|FHL|11THDIST_DLY_GUAR_RATE                                      |COF    object
dtype: object

проблема в том, что файл в буквальном смысле выглядит следующим образом.

01|FHL|11THDIST_DLY_GUAR_RATE                                      |COF
02|FHL|CD_6MO_SEC_MRKT_MNTH_AVG                                    |#
03|FHL|CD_6MO_WKLY                                                 |CD
04|FHL|CMT_10YR_MNTH                                               |TREAS
05|FHL|CMT_10YR_WKLY_AVG                                           |TREAS

Таким образом, это разделитель трубы, и иногда между полями есть пробелы, и все на самом деле находится в одном поле (все в ColumnA когда я открою это в Excel). Я пытаюсь найти способ синтаксического анализа полей на основе каналов или запятых, игнорирования пробелов и получения типов данных для каждого поля. в идеале я хочу иметь возможность циклически просматривать все файлы CSV в папке и делать это для всех файлов CSV. Любая идея о том, как я могу достичь этого результата.


0 ответов