Как ускорить мой вектор Libsvm до std :: vector & lt; float & gt; преобразование?

У меня есть вектор libsvm вида:

{I_1: v_1; i_2: v_2; …; i_n: V_n}

куда i_j: v_J представляют соответственно индекс и значение. Если значение равно нулю, ему не будет дан индекс.

Моя цель — вычислить евклидово расстояние между двумя libsvm
векторы. Для этого я должен преобразовать их в vector<float> того же самого
размер. В следующем примере я покажу функцию, которую я использовал для преобразования вектора libsvm в vector<float>,


Первый столбец имеет индекс = 2648 и значение = 0.408734 Это означает, что все значения перед ним являются нулями.

ВЕКТОР LIBSVM = 2648: 0,408734; 4157: 0,609588; 6087: 0,593104; 26747: 0,331008


#include <vector>
#include <string>
#include <chrono>
#include <boost/algorithm/string.hpp>

using namespace std;
using namespace chrono;
//convert libsvm vector to float vector in order to compute the similarity
vector<float> splitVector(const vector<string> &);

int main()
{
vector<string> libsvm {"2648:0.408734","4157:0.609588","6087:0.593104","26747:0.331008" };
high_resolution_clock::time_point t1 = high_resolution_clock::now();
vector<float> newVec = splitVector(libsvm);
high_resolution_clock::time_point t2 = high_resolution_clock::now();
auto duration = chrono::duration_cast<chrono::microseconds>( t2 - t1 ).count();
cout <<"construction time: " << duration << endl;
return 0;
}

vector<float> splitVector(const vector<string> & v)
{
int numberofterms = 266373;
vector<float> values;
vector<int> previous_idx;
for(int i = 0; i < v.size(); i++)
{
vector<string> tmpv;
boost::split(tmpv, v[i] , boost::is_any_of(":"));
//idx:value
int idx = atoi(tmpv[0].c_str());
float val = atof(tmpv[1].c_str());

//summation of previous indices
int sum = accumulate(previous_idx.begin(), previous_idx.end(), 0);
int n = idx - (sum + i + 1);
//fill vector with 0s
for(int k = 0; k < n; k++)
values.push_back(0.0);
//add value
values.push_back(val);
previous_idx.push_back(n);
}//end for

int paddingsize = numberofterms - values.size();

for(int i = 0; i < paddingsize;i++)
{
values.push_back(0.0);
}
return values;
}//end function

Время конверсии около 0,00866 секунд и когда у меня есть вокруг 1000 векторы это становится медленным. Есть ли более быстрый способ конвертировать вектор libsvm в vector<float>?


values.resize(266373,0.0);
void splitVector(const vector<string> & v, vector<float> & values)
{
vector<string> tmpv;
for(int i = 0; i < v.size(); i++)
{
boost::split(tmpv, v[i] , boost::is_any_of(":"));
//idx:value
int idx = atoi(tmpv[0].c_str());
float val = atof(tmpv[1].c_str());
tmpv.clear();
values[idx] = val;
}//end for

}//end function

0

Решение

Вы можете сократить временные затраты на выделение памяти, повторно используя vectors.
Чтобы быть более конкретным,

  • Повторное использование tmpv объявив это до for цикл и вызов tmpv.clear() в начале каждого цикла
  • предварительно выделить values от values.reserve(); и дополнить его values.resize(266373, 0.0) вместо повторного push_back(),
  • Повторное использование previous_idx если возможно. Это может оказать негативное влияние на структуру кода и, следовательно, на удобство обслуживания.
1

Другие решения


По вопросам рекламы [email protected]