Функция pipe () в Spark, от Java до C ++, с не строковыми данными

Я пытаюсь передать данные из Spark (приложение, написанное на Java) в исполняемый файл C ++.
Мои RDD похожи на: JavaRDD<CustomMatrix>, где CustomMatrix инвентарь Serializable, Он состоит из метаданных (int, long, String …) и short[][],
Другие преобразования, такие как map / flatMap / …, работают хорошо.

Я хотел бы отправить массив (short[][]) в программу на C ++, выполнить некоторые преобразования и вернуть измененный массив.

Я использовал функцию конвейера для передачи данных в виде String в C ++ exec. Но теперь я должен сериализовать свои данные и отправить их в C ++ exec. Кто-нибудь знает, как это должно быть эффективно обработано?

3

Решение

Задача ещё не решена.

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]