STXXL Работа со строками

Я имею дело с большим набором данных. Могу я спросить, как можно хранить строки в классах, которые я хочу использовать с stxxl? Я прочитал несколько обсуждений, и везде было сказано, что строка не является POD-типом, поэтому она не может быть сохранена в stxxl :: vector, но я не уверен, потому что я попробовал это, и я проверил данные, и все, кажется, в порядке. я также видел подход здесь https://github.com/Project-OSRM/osrm-backend/blob/725b93a961625a7b04d54806d7e0f80252a6bcd0/extractor/extraction_containers.hpp и они используют stxxl :: vector, так что, возможно, библиотека была обновлена ​​для поддержки std :: string?

class HighWay
{
private:
uint64_t id;
string name;
int speed;
string attributes; //additional attributes of way
string edges; //written uint64_t from,uint64_t to, int distance  written as string
string nodes; //vector<uint64_t> written as string
public:
HighWay() = default;
void setId(uint64_t _id) {
id = boost::lexical_cast<string>(_id);
}
void setName(string _name) {
name = _name;
}
void setSpeed(int _speed) {
speed = _speed;
}
void setAttributes(string _attributes) {
attributes = _attributes;
}
void setEdges(string _edges) {
edges = _edges;
}

void setNodes(vector<uint64_t>refs) {
stringstream s;
uint64_t i = 0;
for (; i < refs.size()-1;i++) {
s << boost::lexical_cast<uint64_t>(refs[i]) << " ";
}
s << boost::lexical_cast<uint64_t>(refs[i]);

nodes = s.str();
}

uint64_t getId() {
return id;
}
string getName() {
return name;
}
int getSpeed() {
return speed;
}
string getAttributes() {
return attributes;
}
string getEdges() {
return edges;
}

std::vector<int64_t> getNodes() {
stringstream s(nodes);
uint64_t node;
std::vector<int64_t> result;
while (s >> node) {
result.push_back(static_cast<int64_t>(node));
}

return result;
}
};

Я также создал код, который хранит строки как POD, сохраняя строку в векторе char и на карте, помня индекс нижней и верхней границы в массиве. Но такой подход приводит ко многим std :: maps, используемым в приложении.

//class to store in map
struct TypeName{
uint64_t start;
uint64_t end;
};

std::istream& operator >> (std::istream& i, TypeName& entry)
{
i >> entry.start;
i >> entry.end;
return i;
}
std::ostream& operator << (std::ostream& i, const TypeName& entry)
{
i << entry.start << " ";
i << entry.end;
return i;
}

struct PoiCategories{
uint64_t start;
uint64_t end;
};

std::istream& operator >> (std::istream& i,PoiCategories& entry)
{
i >> entry.start;
i >> entry.end;
return i;
}

std::ostream& operator << (std::ostream& i, const PoiCategories& entry)
{
i << entry.start << " ";
i << entry.end;
return i;
}

//object i want to store
struct Poi {
Poi() = default;
uint64_t id;
char type;
uint64_t id_in_pois; //id in vector pois

void addCategories(
vector<int> &kats, //categories to insert
stxxl::vector<uint64_t> &categories, //vector to store category
std::unordered_map <uint64_t, PoiCategories> &idPoi_categories //index to vector categories to retrieve all categories for Poi
)
{
size_t  start = categories.size();
for (auto & kat : kats) {
categories.push_back(kat);
}
size_t end = categories.size() - 1;
idPoi_categories.insert(make_pair(id, PoiCategories{start, end }));}

vector<int> getCategories(
stxxl::vector<uint64_t> &categories,
std::unordered_map <uint64_t, PoiKategorie> &idPoi_categories
)
{
std::vector<int> result;
PoiCategories bounds = idPoi_categories.find(id)->second;
for (size_t i = bounds.start; i <= bounds.end; i++) {
result.push_back(categories[i]);
}

return result;
}

};

Проблема в моем приложении заключается в том, что я храню несколько строковых данных, которые в основном являются названиями улиц и POI. Возможно я использую неправильную библиотеку. Если да, можете ли вы порекомендовать мне лучший подход к хранению данных при предварительной обработке?

0

Решение

Это действительно запрещено, но симптомы нарушения правила отсутствия POD, как правило, непредсказуемы. Может очень хорошо появиться работать до тех пор, пока все строки помещаются в памяти, но в этом случае вам все равно не нужен STXXL.

0

Другие решения


По вопросам рекламы [email protected]