Загрузите пользовательский набор данных (который похож на набор из 20 групп новостей) в Scikit для классификации текстовых документов

Я пытаюсь запустить Этот пример кода scikit для моего пользовательского набора данных TED Talks. Каждый каталог-это тема, под которой находятся текстовые файлы, содержащие описание каждого выступления Ted.

Вот как выглядит древовидная структура моих наборов данных. Как вы видите, каждый каталог-это тема, а ниже-текстовые файлы, содержащие описание.

Topics/
|-- Activism
|   |-- 1149.txt
|   |-- 1444.txt
|   |-- 157.txt
|   |-- 1616.txt
|   |-- 1706.txt
|   |-- 1718.txt
|-- Adventure
|   |-- 1036.txt
|   |-- 1777.txt
|   |-- 2930.txt
|   |-- 2968.txt
|   |-- 3027.txt
|   |-- 3290.txt
|-- Advertising
|   |-- 3673.txt
|   |-- 3685.txt
|   |-- 6567.txt
|   `-- 6925.txt
|-- Africa
|   |-- 1045.txt
|   |-- 1072.txt
|   |-- 1103.txt
|   |-- 1112.txt
|-- Aging
|   |-- 1848.txt
|   |-- 2495.txt
|   |-- 2782.txt
|-- Agriculture
|   |-- 3469.txt
|   |-- 4140.txt
|   |-- 4733.txt
|   |-- 4939.txt

Я сделал свой набор данных в такой форме, чтобы он напоминал группу 20news, древовидная структура которой такова:

20news-18828/
|-- alt.atheism
|   |-- 49960
|   |-- 51060
|   |-- 51119

|-- comp.graphics
|   |-- 37261
|   |-- 37913
|   |-- 37914
|   |-- 37915
|   |-- 37916
|   |-- 37917
|   |-- 37918
|-- comp.os.ms-windows.misc
|   |-- 10000
|   |-- 10001
|   |-- 10002
|   |-- 10003
|   |-- 10004
|   |-- 10005 

В исходный код (98-124), это способ загрузки данных обучения и тестирования непосредственно из scikit.

print("Loading 20 newsgroups dataset for categories:")
print(categories if categories else "all")

data_train = fetch_20newsgroups(subset='train', categories=categories,
                                shuffle=True, random_state=42,
                                remove=remove)

data_test = fetch_20newsgroups(subset='test', categories=categories,
                               shuffle=True, random_state=42,
                               remove=remove)
print('data loaded')

categories = data_train.target_names    # for case categories == None
def size_mb(docs):
    return sum(len(s.encode('utf-8')) for s in docs) / 1e6

data_train_size_mb = size_mb(data_train.data)
data_test_size_mb = size_mb(data_test.data)

print("%d documents - %0.3fMB (training set)" % (
    len(data_train.data), data_train_size_mb))
print("%d documents - %0.3fMB (test set)" % (
    len(data_test.data), data_test_size_mb))
print("%d categories" % len(categories))
print()

# split a training set and a test set
y_train, y_test = data_train.target, data_test.target

Поскольку этот набор данных был доступен с Scikit, все его метки и т. д. были встроены. В моем случае я знаю, как загрузить набор данных (строка 84):

dataset = load_files('./TED_dataset/Topics/')

Я понятия не имею, что мне делать после этого. Я хочу знать, как я должен разделить эти данные в обучении и тестировании и создать эти метки из моего набора данных:

data_train.data,  data_test.data 

В общем, я просто хочу загрузить мой набор данных, запустите его на этом коде без ошибок. Я загрузил набор данныхсюда для тех, кто может захотеть его увидеть.

Я сослался на этот вопрос, который кратко говорит о нагрузке испытательного поезда. Я также хочу знать, как data_train.имена target_names должны быть извлечены из моего набора данных.

Правка:

Я попытался получить поезд и тест, который возвращает ошибку:

dataset = load_files('./TED_dataset/Topics/')
train, test = train_test_split(dataset, train_size = 0.8)

Обновленный код-это здесь.