Я пытаюсь передать данные из Spark (приложение, написанное на Java) в исполняемый файл C ++.
Мои RDD похожи на: JavaRDD<CustomMatrix>
, где CustomMatrix
инвентарь Serializable
, Он состоит из метаданных (int, long, String …) и short[][]
,
Другие преобразования, такие как map / flatMap / …, работают хорошо.
Я хотел бы отправить массив (short[][]
) в программу на C ++, выполнить некоторые преобразования и вернуть измененный массив.
Я использовал функцию конвейера для передачи данных в виде String в C ++ exec. Но теперь я должен сериализовать свои данные и отправить их в C ++ exec. Кто-нибудь знает, как это должно быть эффективно обработано?
Задача ещё не решена.
Других решений пока нет …