Как рассчитать значение прироста информации, чтобы уменьшить ошибки аппроксимации с плавающей точкой?

У меня есть набор данных, содержащий некоторые функции, которые принадлежат двум меткам классов, обозначенным 1 а также 2. Этот набор данных обрабатывается для построения дерева решений: во время построения дерева мне нужно вычислить информационный прирост, чтобы найти лучшее разбиение набора данных.

Пусть будет N1 функции, связанные с этикеткой 1, а также N2 функции, связанные с этикеткой 2, тогда энтропия можно рассчитать по следующей формуле:

Entropy = - (N1/N)*log2(N1/N) - (N2/N)*log2(N2/N), где N = N1 + N2

Мне нужно рассчитать три значения энтропии, чтобы получить прирост информации:

• entropyBefore, то есть энтропия перед разделением текущего набора данных;
• entropyLeftэто энтропия левого расщепления после разбиения;
• entropyRightэто энтропия правого разбиения после разбиения.

Итак, прирост информации равен entropyBefore - (S1/N)*entropyLeft - (S2/N)*entropyRight, где S1 количество функций класса 1 принадлежность к расколу 1, и S2 количество функций класса 2 принадлежность к расколу 2.

Как рассчитать значение прироста информации, чтобы уменьшить ошибки аппроксимации с плавающей точкой? Когда я применяю приведенные выше формулы в тех случаях, когда прирост информации должен быть равен нулю, однако вычисленное значение равно очень малому отрицательному значению.

ОБНОВИТЬ (образец кода)

double N = static_cast<double>(this->rows());   // rows count of the dataset

double entropyBefore = this->entropy();   // current entropy (before performing the split)

bool firstCheck = true;
double bestSplitIg;

for each possible split
{
// ...

pair<Dataset,Dataset> splitPair = split(...,...);
double S1 = splitPair.first.rows();
double S2 = splitPair.second.rows();

double entropyLeft = splitPair.first.entropy();
double entropyRight = splitPair.second.entropy();

double splitIg = entropyBefore - (S1/N*entropyLeft + S2/N*entropyRight);
if (firstCheck || splitIg > bestSplitIg)
{
bestSplitIg = splitIg;
// ...

firstCheck = false;
}
}