читать.csv предупреждение "EOF в цитируемой строке" предотвращает полное чтение файла
Я файл CSV (24.1 MB) что я не могу полностью прочитать в моей сессии Р. Когда я открываю файл в электронной таблице, я вижу 112,544 строки. Когда я читаю его в R с read.csv
я получаю только 56 952 строк и это предупреждение:
cit <- read.csv("citations.CSV", row.names = NULL,
comment.char = "", header = TRUE,
stringsAsFactors = FALSE,
colClasses= "character", encoding= "utf-8")
Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :
EOF within quoted string
Я могу прочитать весь файл в R с readLines
:
rl <- readLines(file("citations.CSV", encoding = "utf-8"))
length(rl)
[1] 112545
но я не могу вернуть это в R как таблицу (через read.csv
):
write.table(rl, "rl.txt", quote = FALSE, row.names = FALSE)
rl_in <- read.csv("rl.txt", skip = 1, row.names = NULL)
Warning message:
In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, :
EOF within quoted string
как я могу решить или обойти это сообщение EOF (которое кажется, это больше ошибка, чем предупреждение), чтобы получить весь файл в my R
сессии?
у меня аналогичные проблемы с другими методами чтения CSV файлов:
require(sqldf)
cit_sql <- read.csv.sql("citations.CSV", sql = "select * from file")
require(data.table)
cit_dt <- fread("citations.CSV")
require(ff)
cit_ff <- read.csv.ffdf(file="citations.CSV")
вот мой sessionInfo ()
R version 3.0.1 (2013-05-16)
Platform: x86_64-w64-mingw32/x64 (64-bit)
locale:
[1] LC_COLLATE=English_United States.1252 LC_CTYPE=English_United States.1252
[3] LC_MONETARY=English_United States.1252 LC_NUMERIC=C
[5] LC_TIME=English_United States.1252
attached base packages:
[1] tools tcltk stats graphics grDevices utils datasets methods base
other attached packages:
[1] ff_2.2-11 bit_1.1-10 data.table_1.8.8 sqldf_0.4-6.4
[5] RSQLite.extfuns_0.0.1 RSQLite_0.11.4 chron_2.3-43 gsubfn_0.6-5
[9] proto_0.3-10 DBI_0.2-7
7 ответов:
нужно отключить цитирование.
cit <- read.csv("citations.CSV", quote = "", row.names = NULL, stringsAsFactors = FALSE) str(cit) ## 'data.frame': 112543 obs. of 13 variables: ## $ row.names : chr "10.2307/675394" "10.2307/30007362" "10.2307/4254931" "10.2307/20537934" ... ## $ id : chr "10.2307/675394\t" "10.2307/30007362\t" "10.2307/4254931\t" "10.2307/20537934\t" ... ## $ doi : chr "Archaeological Inference and Inductive Confirmation\t" "Sound and Sense in Cath Almaine\t" "Oak Galls Preserved by the Eruption of Mount Vesuvius in A.D. 79_ and Their Probable Use\t" "The Arts Four Thousand Years Ago\t" ... ## $ title : chr "Bruce D. Smith\t" "Tomás Ó Cathasaigh\t" "Hiram G. Larew\t" "\t" ... ## $ author : chr "American Anthropologist\t" "Ériu\t" "Economic Botany\t" "The Illustrated Magazine of Art\t" ... ## $ journaltitle : chr "79\t" "54\t" "41\t" "1\t" ... ## $ volume : chr "3\t" "\t" "1\t" "3\t" ... ## $ issue : chr "1977-09-01T00:00:00Z\t" "2004-01-01T00:00:00Z\t" "1987-01-01T00:00:00Z\t" "1853-01-01T00:00:00Z\t" ... ## $ pubdate : chr "pp. 598-617\t" "pp. 41-47\t" "pp. 33-40\t" "pp. 171-172\t" ... ## $ pagerange : chr "American Anthropological Association\tWiley\t" "Royal Irish Academy\t" "New York Botanical Garden Press\tSpringer\t" "\t" ... ## $ publisher : chr "fla\t" "fla\t" "fla\t" "fla\t" ... ## $ type : logi NA NA NA NA NA NA ... ## $ reviewed.work: logi NA NA NA NA NA NA ...
Я думаю, это из-за такого рода линий (проверьте "шип" и "минус")
readLines("citations.CSV")[82] [1] "10.2307/3642839,10.2307/3642839\t,\"Thorn\" and \"Minus\" in Hieroglyphic Luvian Orthography\t,H. Craig Melchert\t,Anatolian Studies\t,38\t,\t,1988-01-01T00:00:00Z\t,pp. 29-42\t,British Institute at Ankara\t,fla\t,\t,"
Я новый пользователь-ish R и думал, что я опубликую это, если это поможет кому-то еще. Я пытался прочитать данные из текстового файла (разделенного запятыми), который включал несколько испанских символов, и мне потребовалась вечность, чтобы понять это. Я знал, что мне нужно использовать кодировку UTF-8, установить заголовок arg в TRUE, и что мне нужно установить sep arguemnt в",", но тогда я все равно повесил трубку. после прочтения этого поста Я попытался установить заполнение arg в TRUE, но затем получил тот же " EOF внутри цитируемая строка", которую я смог исправить таким же образом, как и выше. Мое успешное чтение.таблица выглядит так:
target <- read.table("target2.txt", fill=TRUE, header=TRUE, quote="", sep=",", encoding="UTF-8")
результат имеет символы испанского языка и такие же тусклые, которые у меня были изначально, поэтому я называю это успехом! Спасибо всем!
В разделе справки R, как указано выше, просто отключите цитирование в целом, просто добавив:
quote = ""
для чтения.csv() работал на меня.
ошибка, "EOF в кавычках строки", произошла с:
> iproscan.53A.neg = read.csv("interproscan.53A.neg.n.csv", + colClasses=c(pb.id = "character", + genLoc = "character", + icode = "character", + length = "character", + proteinDB = "character", + protein.id = "character", + prot.desc = "character", + start = "character", + end = "character", + evalue = "character", + tchar = "character", + date = "character", + ipro.id = "character", + prot.name = "character", + go.cat = "character", + reactome.id= "character"), + as.is=T,header=F) Warning message: In scan(file, what, nmax, sep, dec, quote, skip, nlines, na.strings, : EOF within quoted string > dim(iproscan.53A.neg) [1] 69383 16
и в прочитанном файле отсутствовало 6 619 строк. Но отключив цитирование
> iproscan.53A.neg = read.csv("interproscan.53A.neg.n.csv", + colClasses=c(pb.id = "character", + genLoc = "character", + icode = "character", + length = "character", + proteinDB = "character", + protein.id = "character", + prot.desc = "character", + start = "character", + end = "character", + evalue = "character", + tchar = "character", + date = "character", + ipro.id = "character", + prot.name = "character", + go.cat = "character", + reactome.id= "character"), + as.is=T,header=F,**quote=""**) > > dim(iproscan.53A.neg) [1] 76002 16
работал без ошибок,и все строки были успешно прочитаны.
на самом деле, используя
read.csv()
чтобы прочитать файл с текстовым содержимым не является хорошей идеей, отключите цитату как setquote=""
это только временное решение, оно работает только с отдельными кавычками. Есть и другие причины, которые могут вызвать предупреждение, например, некоторые специальные символы.постоянное решение(используя
read.csv()
), выяснить, что это за специальные символы и использовать регулярное выражение для их устранения-это идея.вы когда-нибудь думали об установке пакет
{data.table}
и использоватьfread()
читать файл. это намного быстрее и не будет беспокоить вас с этим предупреждением EOF. Обратите внимание, что загружаемый файл будет храниться как данные.объект таблицы, но не данные.объект кадра. Данные класса.таблица имеет много хороших функций, но в любом случае, вы можете преобразовать его с помощьюas.data.frame()
при необходимости.
Я также столкнулся с этой проблемой и смог обойти аналогичную ошибку EOF, используя:
read.table("....csv", sep=",", ...)
обратите внимание, что параметр separator определяется в более общем
read.table()
.
У меня была аналогичная проблема: EOF-предупреждение, и только часть данных загружалась с чтением.csv (). Я попробовал кавычки="", но он только удалил EOF-предупреждение.
но глядя на первую строку, которая не загружалась, я обнаружил, что в одной из ячеек был специальный символ, стрелка → (шестнадцатеричное значение 0x1A). После удаления стрелки я получил данные для загрузки в обычном режиме.
У меня тоже была аналогичная проблема. Но в моем случае причина проблемы заключалась в наличии Апостроф (т. е. одинарных кавычек) в некоторых текстовых значениях. Это особенно часто происходит при работе с данными, включая тексты на французском языке, например "L'autre jour".
таким образом, решение состояло в том, чтобы просто настроить настройку по умолчанию аргумента цитаты, чтобы исключить символ"'", и, таким образом, использовать quote ="\"" (т. е. двойные кавычки только), все работало нормально.
Я надеюсь, что смогу помочь некоторым из вас. Овации.