Подключите PHP-приложение к серверу Spark SQL

Как подключить PHP-приложение к серверу Spark SQL?

У нас есть кластер Hadoop и работающий поверх него сервер Spark SQL. Из наших Java-приложений мы можем использовать Jive-драйвер Hive для подключения к серверу и выполнения запросов.

Но у нас есть другие приложения, разработанные на PHP, которые должны подключаться к Thrift-серверу spark sql.

Мы следовали эта ссылка но когда мы пытаемся открыть скрипт в браузере, сервер spark sql thrift выдает это исключение.

15/03/05 11:53:19 ERROR TThreadPoolServer: Error occurred during processing of message.
java.lang.RuntimeException: org.apache.thrift.transport.TTransportException
at org.apache.thrift.transport.TSaslServerTransport$Factory.getTransport(TSaslServerTransport.java:219)
at org.apache.thrift.server.TThreadPoolServer$WorkerProcess.run(TThreadPoolServer.java:189)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1145)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:615)
at java.lang.Thread.run(Thread.java:744)
Caused by: org.apache.thrift.transport.TTransportException
at org.apache.thrift.transport.TIOStreamTransport.read(TIOStreamTransport.java:132)
at org.apache.thrift.transport.TTransport.readAll(TTransport.java:84)
at org.apache.thrift.transport.TSaslTransport.receiveSaslMessage(TSaslTransport.java:182)
at org.apache.thrift.transport.TSaslServerTransport.handleSaslStartMessage(TSaslServerTransport.java:125)
at org.apache.thrift.transport.TSaslTransport.open(TSaslTransport.java:253)
at org.apache.thrift.transport.TSaslServerTransport.open(TSaslServerTransport.java:41)
at org.apache.thrift.transport.TSaslServerTransport$Factory.getTransport(TSaslServerTransport.java:216)
... 4 more

Я не могу понять, в чем проблема.

1

Решение

Если бы вы могли добавить следующее, это пролило бы немного света …
Добавьте конфигурацию вашего экономичного сервера.
Добавьте hive-site.xml.
Добавьте журналы благотворительного сервера.

Я предполагаю, что у вас включен SASL, а PHP его не поддерживает.
Если это так — вы можете добавить в hive-site.xml:

<property>
<name>hive.server2.authentication</name>
<value>NOSASL</value>
</property>
0

Другие решения

Других решений пока нет …


Курсы программирования от Skillbox. Черная пятница!
Подробнее >>>
×