Использование Стэнфорда TokenScanner
класс в C ++, как сохранить слово типа «не» нетронутым, потому что токен по умолчанию разбивает его на isn
, '
, t
,
string word = "This isn't me";
TokenScanner scanner(word);
scanner.ignoreWhitespace();
while(true){
if(!scanner.hasMoreTokens()) break;
string token = scanner.nextToken();
cout << token <<endl;
}
Этот текущий код отображает:
«Этот» \ n «не является» \ n «\ ‘» \ n «t» \ n «я» \ n
как отдельные слова, полученные из токена.
использование scanner.addWordCharacters"'"
добавить одинарную кавычку в список символов, которые принимаются в слове.
Других решений пока нет …