hadoop — клиент Thrift PHP для Hive Server 2 зависает

Я пытаюсь подключиться к Hive Server 2 с 0.12 Thrift сервером из PHP, следуя стандартному примеру, но каждый раз, когда я отправляю запрос с помощью $ client-> execute (), он просто зависает.

Ниже приведен код php (имя домена было отредактировано для анонимности) test.php:

<?php
$GLOBALS['THRIFT_ROOT'] = '/hadoop/libraries/php-thrift-sql/php';
require_once $GLOBALS['THRIFT_ROOT'] . '/TException.php';
require_once $GLOBALS['THRIFT_ROOT'] . '/packages/fb303/FacebookService.php';
require_once $GLOBALS['THRIFT_ROOT'] . '/packages/hive_metastore/metastore/ThriftHiveMetastore.php';
require_once $GLOBALS['THRIFT_ROOT'] . '/packages/hive_service/ThriftHive.php';
require_once $GLOBALS['THRIFT_ROOT'] . '/transport/TSocket.php';
require_once $GLOBALS['THRIFT_ROOT'] . '/protocol/TProtocol.php';
require_once $GLOBALS['THRIFT_ROOT'] . '/protocol/TBinaryProtocol.php';
require_once $GLOBALS['THRIFT_ROOT'] . '/../src/Thrift/Type/TType.php';
require_once dirname(__FILE__) . '/ThriftHiveClientEx.php';

$transport = new TSocket('xxxx.com', 10000);
$transport->setSendTimeout(600 * 1000);
$transport->setRecvTimeout(600 * 1000);
$client = new ThriftHiveClientEx(new TBinaryProtocol($transport));
$client->open();
$client->execute('SHOW DATABASES');
var_dump($client->fetchAll());
$client->close();

Я подумал, что это может быть связано с тем, что Hive Server 2 ожидает аутентификацию SASL, но strace показывает, что он зависает после аутентификации, и даже установка hive-site.xml со следующим не меняет зависание:
<property><name>hive.server2.authentication</name><value>NOSASL</value></property>

Вот что показывает strace (IP-адрес был отредактирован для анонимности):

$ strace php test.php
...
open("/etc/hosts", O_RDONLY|O_CLOEXEC)  = 3
fcntl(3, F_GETFD)                       = 0x1 (flags FD_CLOEXEC)
fstat(3, {st_mode=S_IFREG|0644, st_size=254, ...}) = 0
mmap(NULL, 4096, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x2b9a30d0d000
read(3, "127.0.0.1   localhost localhost."..., 4096) = 254
read(3, "", 4096)                       = 0
close(3)                                = 0
munmap(0x2b9a30d0d000, 4096)            = 0
gettimeofday({1425502381, 530272}, NULL) = 0
socket(PF_INET, SOCK_STREAM, IPPROTO_IP) = 3
fcntl(3, F_GETFL)                       = 0x2 (flags O_RDWR)
fcntl(3, F_SETFL, O_RDWR|O_NONBLOCK)    = 0
connect(3, {sa_family=AF_INET, sin_port=htons(10000), sin_addr=inet_addr("10.xx.xx.xx")}, 16) = -1 EINPROGRESS (Operation now in progress)
poll([{fd=3, events=POLLIN|POLLOUT|POLLERR|POLLHUP}], 1, 600000) = 1 ([{fd=3, revents=POLLOUT}])
getsockopt(3, SOL_SOCKET, SO_ERROR, [247701518558429184], [4]) = 0
fcntl(3, F_SETFL, O_RDWR)               = 0
sendto(3, "\200\1\0\1", 4, MSG_DONTWAIT, NULL, 0) = 4
sendto(3, "\0\0\0\7", 4, MSG_DONTWAIT, NULL, 0) = 4
sendto(3, "execute", 7, MSG_DONTWAIT, NULL, 0) = 7
sendto(3, "\0\0\0\0", 4, MSG_DONTWAIT, NULL, 0) = 4
sendto(3, "\v", 1, MSG_DONTWAIT, NULL, 0) = 1
sendto(3, "\0\1", 2, MSG_DONTWAIT, NULL, 0) = 2
sendto(3, "\0\0\0\16", 4, MSG_DONTWAIT, NULL, 0) = 4
sendto(3, "SHOW DATABASES", 14, MSG_DONTWAIT, NULL, 0) = 14
sendto(3, "\0", 1, MSG_DONTWAIT, NULL, 0) = 1
poll([{fd=3, events=POLLIN|POLLERR|POLLHUP}], 1, 600000) = 1 ([{fd=3, revents=POLLIN}])
recvfrom(3, "\4\0\0\0\23Invalid status -128", 8192, MSG_DONTWAIT, NULL, NULL) = 24
mmap(NULL, 67375104, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, -1, 0) = 0x2b9a314e0000
poll([{fd=3, events=POLLIN|POLLERR|POLLHUP}], 1, 600000

и через некоторое время (см. настройки таймаута получения в test.php выше) время ожидания

poll([{fd=3, events=POLLIN|POLLERR|POLLHUP}], 1, 600000) = 1 ([{fd=3, revents=POLLIN}])
recvfrom(3, "", 8192, MSG_DONTWAIT, NULL, NULL) = 0
munmap(0x2af661ac2000, 266240)          = 0
munmap(0x2af661b44000, 266240)          = 0
close(2)                                = 0
...

0

Решение

У нас была та же проблема, я нашел этот патч, но проблема в Thrift все еще открыта:
https://issues.apache.org/jira/browse/THRIFT-2611
Похоже, в вашем случае месть = Поллин, в отличие от вопроса выше. То же самое было верно для нас. Когда мы сделали «lsof -», fd находился в состоянии CLOSE_WAIT. (т.е. сервер Thrift закрывал соединение)

0

Другие решения

Других решений пока нет …

По вопросам рекламы [email protected]