Разбить строку на предложения с помощью регулярных выражений

  это то, на что это похоже, когда вы печатаете UTF-8 символ U + 00A0 Non-Breaking Space на страницу / консоль, интерпретируемую как Latin-1. Поэтому я думаю, что у вас есть неразрывный пробел между предложениями, а не нормальный пробел.

\s может соответствовать неразрывному пробелу, но вам нужно будет использовать /u модификатор, сообщающий preg, что вы отправляете ему строку в кодировке UTF-8. В противном случае он, как и ваша команда печати, будет угадывать Latin-1 и видеть его как два символа.  ,

Если пробелы ненадежны, то вы можете использовать совпадение на . с последующим любым количеством пробелов, с большой буквы.

Вы можете сопоставить любую заглавную букву UTF-8, используя Свойство Unicode \p{Lu},

Вам нужно только исключить сокращения, которые, как правило, следуют за собственными именами (имена людей, названия компаний и т. Д.), Поскольку они начинаются с заглавной буквы.

function splitSentences($text) {
$re = '/                # Split sentences ending with a dot
.+?                 # Match everything before, until we find
(
$ |               # the end of the string, or
\.                # a dot
(?<!              #  Begin negative lookbehind.
Mr\.            #   Skip either "Mr."| Mrs\.           #   or "Mrs.",
#   or... (you get the idea).
)                 #   End negative lookbehind.
"?                #   Optionally match a quote
\s*               #   Any number of whitespaces
(?=               #  Begin positive lookahead
\p{Lu} |        #   an upper case letter, or
"               #   a quote
)
)
/iux';

if (!preg_match_all($re, $text, $matches, PREG_PATTERN_ORDER)) {
return [];
}

$sentences = array_map('trim', $matches[0]);

return $sentences;
}

$text = "Mr. Entertainment media properties. Fairy Tail 3.5 and Tokyo Ghoul.";
$sentences = splitSentences($text);

print_r($sentences);

Примечание. Этот ответ может быть недостаточно точным для вашей ситуации. Я не могу судить об этом. Это решает проблему, как описано выше, и легко понятно.

Я считаю, что невозможно получить пуленепробиваемый сплиттер предложений, учитывая, что пользовательский контент не всегда грамматически и синтаксически корректен. Более того, достичь 100% правильных результатов просто невозможно из-за технического несовершенства инструментов для чистки / получения контента, которые могут не получить чистое содержимое, которое будет содержать пробелы или пунктуацию. И, наконец, бизнес теперь более склонен к достаточно хорошо стратегии, и если вам удастся разбить текст на 95% раз, это в большинстве случаев считается успехом.

Теперь любая задача разделения предложений — это задача НЛП, и одного, двух или трех регулярных выражений недостаточно. Вместо того, чтобы думать о собственной цепочке регулярных выражений, я бы посоветовал использовать для этого некоторые существующие библиотеки NLP.

1. php-предложение Вандерли (зависит от разумно грамматически правильной пунктуации)

Ниже приведен приблизительный список правил, используемых для разделения предложений.

• Каждый перевод строки разделяет предложения.
• В конце текста указывается конец, если предложение, если не указано иное, завершается правильной пунктуацией.
• Предложения должны состоять как минимум из двух слов, за исключением перевода строки или конца текста.
• Пустая строка не является предложением.
• Каждый вопрос или восклицательный знак или их комбинация считается концом предложения.
• Отдельный период считается концом предложения, если только …
  • Ему предшествует одно слово, или …
  • За ним следует одно слово.
• Последовательность нескольких периодов не считается концом предложения.

Пример использования:

<?php
require_once 'classes/autoloader.php'; // Include the autoloader.
$text   = "Hello there, Mr. Smith. What're you doing today... Smith,". " my friend?\n\nI hope it's good. This last sentence will". " cost you $2.50! Just kidding :)"; // This is the test text we're going to use
$Sentence   = new Sentence;   // Create a new instance
$sentences  = $Sentence->split($text); // Split into array of sentences
$count      = $Sentence->count($text); // Count the number of sentences
?>

2. NlpTools это еще одна библиотека, которую вы можете использовать для этой задачи. Вот пример кода, реализующего простой на основе правил токенизатор предложений:

Образец кода:

<?php
include ('vendor/autoload.php');

use \NlpTools\Tokenizers\ClassifierBasedTokenizer;
use \NlpTools\Tokenizers\WhitespaceTokenizer;
use \NlpTools\Classifiers\ClassifierInterface;
use \NlpTools\Documents\DocumentInterface;

class EndOfSentence implements ClassifierInterface
{
public function classify(array $classes, DocumentInterface $d) {
list($token,$before,$after) = $d->getDocumentData();

$dotcnt = count(explode('.',$token))-1;
$lastdot = substr($token,-1)=='.';

if (!$lastdot) // assume that all sentences end in full stops
return 'O';

if ($dotcnt>1) // to catch some naive abbreviations U.S.A.
return 'O';

return 'EOW';
}
}
$tok = new ClassifierBasedTokenizer(
new EndOfSentence(),
new WhitespaceTokenizer()
);
$text = "We are what we repeatedly do.
Excellence, then, is not an act, but a habit.";

print_r($tok->tokenize($text));

// Array
// (
//    [0] => We are what we repeatedly do.
//    [1] => Excellence, then, is not an act, but a habit.
// )

3. Вы можете получить PHP / JAVA мост для использования Java StanfordNLP (здесь Пример Java разбиения текста на предложения).

ВАЖНАЯ ЗАМЕТКА: Большинство протестированных мною моделей НЛП плохо обрабатывают склеенные предложения. Однако, если вы добавите пробел после знака препинания, качество разбиения предложений повысится. Просто добавьте это перед отправкой текста в функцию разделения предложения:

$txt = preg_replace('~\p{P}+~', "$0 ", $txt);

Хенрик Петтерсон Пожалуйста, прочитайте его полностью, потому что мне нужно повторить несколько вещей, которые уже были сказаны выше.

Как уже упоминалось выше, многие люди упоминали, что если вы добавите модификатор \ u, он будет работать с символом Unicode: ПРАВДА и это Работает отлично в приведенном ниже примере

http://ideone.com/750lMn

<?phpfunction splitSentences($text) {
$re = '/# Split sentences on whitespace between them.
(?<=                # Begin positive lookbehind.
[.!?]             # Either an end of sentence punct,
| [.!?][\'"]        # or end of sentence punct and quote.
)                   # End positive lookbehind.
(?<!                # Begin negative lookbehind.
Mr\.              # Skip either "Mr."| Mrs\.             # or "Mrs.",
| Ms\.              # or "Ms.",
| Jr\.              # or "Jr.",
| Dr\.              # or "Dr.",
| Prof\.            # or "Prof.",
| Vol\.             # or "Vol.",
| A\.D\.            # or "A.D.",
| B\.C\.            # or "B.C.",
| Sr\.              # or "Sr.",
| T\.V\.A\.         # or "T.V.A.",
# or... (you get the idea).
)                   # End negative lookbehind.
\s+                 # Split on whitespace between sentences.
/uix';

$sentences = preg_split($re, $text, -1, PREG_SPLIT_NO_EMPTY);
return $sentences;
}

$sentences = 'Entertainment media properties. Ã Fairy Tail and Tokyo Ghoul. Entertainment media properties. &Acirc;&nbsp; Fairy Tail and Tokyo Ghoul.';

$sentences = splitSentences($sentences);

print_r($sentences);

Ваши примеры, которые вы привели в комментариях, были не работает, потому что Oни не должно быть пробелов между двумя предложениями. И твой код с указанием именно того, что там должен быть пробелом между предложениями.

\s+                 # Split on whitespace between sentences.

Приведенный ниже пример, который вы видите в комментариях выше, не работает только потому, что до него нет места.

http://ideone.com/m164fp

Существует довольно сложный алгоритм Unicode Text Segmentation, который работает с различными текстовыми границами, включая границы предложений.

http://unicode.org/reports/tr29/

Самая известная реализация этих алгоритмов — ICU.

Я нашел этот класс: http://php.net/manual/en/class.intlbreakiterator.php однако, похоже, что это в git, а не в мейнстриме.

Так что если вы хотите решить эту ОЧЕНЬ сложную проблему в лучшем случае, почему я бы предложил:

• Получить этот класс откуда-то
• Напишите небольшой плагин PHP, который оборачивает нужные вам функции ICU — это на самом деле довольно просто, если вы создаете определенные функции.