Оцените, если строка не на английском языке: лучшие и самые простые практики?

Я думаю, что четвертое решение может быть вашим лучшим выбором, но я бы расширил его, добавив более широкий словарь.

Вы можете найти несколько полных списков по адресу: https://en.wikipedia.org/wiki/Most_common_words_in_English

В вашей текущей реализации вы столкнетесь с некоторыми неудачами, потому что многие языки используют стандартный латинский алфавит. Даже языки, которые выходят за рамки стандартного латинского алфавита, обычно используют, так сказать, «английские символы». Например, предложение «Ich bin lustig» по-немецки, но использует только латинские буквенные символы. Аналогично, «Jeg er glad» — датский, но использует только латинские буквенные символы. Конечно, в строке из 5000+ символов вы, вероятно, увидите некоторые нелатинские символы, но это не гарантируется. Кроме того, но, сосредоточившись исключительно на частоте символов, вы можете обнаружить, что иностранные языки, использующие латинский алфавит, обычно имеют сходные частоты появления символов, что делает ваше существующее решение неэффективным.

Используя словарь английского языка, чтобы найти вхождения английских слов, вы сможете просмотреть строку и точно определить, сколько слов являются английскими, а оттуда вычислить частоту количества слов, которые являются английскими. (С более высоким процентом, обозначающим предложение, вероятно, английский.)

Следующее является потенциальным решением:

<?php
$testString = "Some long string of text that you would like to test.";

// Words from: https://en.wikipedia.org/wiki/Most_common_words_in_English
$common_english_words = array('time', 'person', 'year', 'way', 'day', 'thing', 'man', 'world', 'life', 'hand', 'part', 'child', 'eye', 'woman', 'place', 'work', 'week', 'case', 'point', 'government', 'company', 'number', 'group', 'problem', 'fact', 'be', 'have', 'do', 'say', 'get', 'make', 'go', 'know', 'take', 'see', 'come', 'think', 'look', 'want', 'give', 'use', 'find', 'tell', 'ask', 'seem', 'feel', 'try', 'leave', 'call', 'good', 'new', 'first', 'last', 'long', 'great', 'little', 'own', 'other', 'old', 'right', 'big', 'high', 'different', 'small', 'large', 'next', 'early', 'young', 'important', 'few', 'public', 'bad', 'same', 'able', 'to', 'of', 'in', 'for', 'on', 'with', 'at', 'by', 'from', 'up', 'about', 'into', 'over', 'after', 'beneath', 'under', 'above', 'the', 'and', 'a', 'that', 'i', 'it', 'not', 'he', 'as', 'you', 'this', 'but', 'his', 'they', 'her', 'she', 'or', 'an', 'will', 'my', 'one', 'all', 'would', 'there', 'their', 'I', 'we', 'what', 'so', 'out', 'if', 'who', 'which', 'me', 'when', 'can', 'like', 'no', 'just', 'him', 'people', 'your', 'some', 'could', 'them', 'than', 'then', 'now', 'only', 'its', 'also', 'back', 'two', 'how', 'our', 'well', 'even', 'because', 'any', 'these', 'most', 'us');

/* you might also consider replacing "'s" with ' ', because 's is common in English
as a contraction and simply removing the single quote could throw off the frequency. */
$transformedTest = preg_replace('@\s+@', ' ', preg_replace("@[^a-zA-Z'\s]@", ' ', strtolower($testString)));

$splitTest = explode(' ', $transformedTest);

$matchCount = 0;
for($i=0;$i<count($splitTest);$i++){
if(in_array($splitTest[$i], $common_english_words))
$matchCount++;
}

echo "raw count: $matchCount\n<br>\nPercent: " . ($matchCount/count($common_english_words))*100 . "%\n<br>\n";
if(($matchCount/count($common_english_words)) > 0.5){
echo "More than half of the test string is English. Text is likely English.";
}else{
echo "Text is likely a foreign language.";
}
?>

Здесь вы можете увидеть пример, который включает в себя две строки для тестирования (одна на немецком языке, а другая на английском): https://ideone.com/lfYcs2

В коде IDEOne при запуске его на английской строке вы увидите, что результат примерно на 69,3% соответствует обычным английским словам. При запуске на немецком языке процент совпадения составляет всего 4,57%, что соответствует общеупотребительным английским словам.