pyspark-sql
Я пытаюсь проверить способность PySpark перебирать некоторые очень большие (от 10s GBs до 1s TBs) данные. Для большинства скриптов PySpark имеет примерно такую же эффективность, как и Scala-код. В других случаях (как в приведенном ниже коде) я получаю серьезные проблемы со скоростью от 10 до 12 раз медленне...
Мне нужно прочитать из базы данных postgres sql в pyspark. Я знаю, что об этом уже спрашивали раньше, например, здесь, здесь и во многих других местах, однако, решения там либо используют jar в локальном рабочем каталоге, либо копируют его для всех рабочих вручную. Я загрузил postgresql-9.4.1208 jar и помес...
У меня есть фрейм данных, и я собираюсь написать его a .csv-файл в S3 я использую следующий код: df.coalesce(1).write.csv("dbfs:/mnt/mount1/2016//product_profit_weekly",mode='overwrite',header=True) Он ставит a .csv-файл в папке product_profit_weekly, на данный момент .csv-файл имеет имя weired в S3 , мож...
Я делаю систему рекомендаций новостей, и мне нужно построить таблицу для пользователей и новостей, которые они читают. мои необработанные данные таковы: 001436800277225 ["9161492","9161787","9378531"] 009092130698762 ["9394697"] 010003000431538 ["9394697","9426473","9428530"] 010156461231357 ["9350394","941...
Я хочу использовать функцию pyspark.mllib.stat.Statistics.corr для вычисления корреляции между двумя столбцами объекта pyspark.sql.dataframe.DataFrame. Функция corr ожидает взять rdd из Vectors объектов. Как перевести столбец df['some_name'] в rdd объекта Vectors.dense?...
У меня есть два фрейма данных df1 +---+---+----------+ | n|val| distances| +---+---+----------+ | 1| 1|0.27308652| | 2| 1|0.24969208| | 3| 1|0.21314497| +---+---+----------+ И df2 +---+---+----------+ | x1| x2| w| +---+---+----------+ | 1| 2|0.03103427| | 1| 4|0.19012526| | 1| 10|0.2...
В записной книжке Python на Databricks "Community Edition" я экспериментирую с открытыми данными города Сан-Франциско об экстренных вызовах в 911 с запросом пожарных. (Старая копия данных 2016 года, используемая в "использование Apache Spark 2.0 для анализа открытых данных города Сан-Франциско" (YouTube) и ...
Мне нужно реализовать столбец auto increment в моей таблице spark sql, как я могу это сделать. Будьте добры, проводите меня. я использую pyspark 2.0 Спасибо Кальян ...
СПАРК таблицы данных имеет Способ withColumn, чтобы добавить новый столбец одновременно. Для добавления нескольких столбцов требуется цепочка withColumn s. Является ли это лучшей практикой для этого? Я чувствую, что использование mapPartitions имеет больше преимуществ. Допустим, у меня есть цепочка из трех ...
Я пришел из фона панды и привык читать данные из CSV-файлов в фрейм данных, а затем просто изменять имена столбцов на что-то полезное с помощью простой команды: df.columns = new_column_name_list однако то же самое не работает в фреймах данных pyspark, созданных с помощью sqlContext. Единственное решение, ...