Спарк-орк с конкретными колонками

user3607698 спросил: 22 октября 2018 в 09:05 в: apache-spark

У меня есть файл orc, при чтении с опцией ниже он читает все столбцы.

val df= spark.read.orc("/some/path/")df.printSChema
root
 |-- id: string (nullable = true)
 |-- name: string (nullable = true)
 |-- value: string (nullable = true)
 |-- all: string (nullable = true)
 |-- next: string (nullable = true)
 |-- action: string (nullable = true)

, но я хочу прочитать только два столбца из этого файла, есть ли способ читать только два столбца (id, name) при загрузке файла orc?

0 ответов