Pygment lexer несколько токенов
Я использую лексер Pygments, плагин Python. Я хочу получить токены для кода C ++, в частности, когда объявляется новая переменная, например,
int a=3,b=5,c=4;
Здесь a, b, c должен быть присвоен тип «объявленные переменные», который отличается от
a=3,b=5,c=4;
Здесь a, b, c следует просто дать тип «Переменные», так как они были объявлены ранее.
Я хотел бы использовать способность лексера сканировать несколько токенов одновременно (Смотрите документацию Pygments) Я хочу написать регулярное выражение в соответствии с
(int)(\s)(?:([a-z]+)(=)([0-9]+)(,))*, bygroups(Type,Space,Name,Equal,Number,Comma)
(«?:» Просто говорит Pygments, что эта группировка не должна использоваться в подгруппах.)
Однако вместо сопоставления с любым количеством объявлений в строке он возвращает только токены для последнего объявления в строке (в данном случае это часть «c = 4».) Как сделать так, чтобы он возвращал токены для всех объявлений в линия?
Решение
Что вам нужно, так это лексер с состоянием. Причина, по которой ваше регулярное выражение не будет
работа заключается в том, что группы не являются непрерывными.
int a=3,b=5,c=4;
Здесь вы хотите, чтобы символы 0..2 были Type, 3..3 Space, 4..7 Name, Equal
Число и запятая затем имя, равно, число и запятая. Это нет
хорошо.
Решение состоит в том, чтобы помнить, когда объявление типа было замечено,
введите новый режим лексера, который продолжается до следующей точки с запятой. Увидеть
Изменение состояния в документации к фрагментам.
Ниже представлено решение, которое использует CFamilyLexer и добавляет три новых лексера.
состояния. Поэтому, когда он видит такую линию, пока в function
государство:
int m = 3 * a + b, x = /* comments ; everywhere */ a * a;
Сначала он потребляет:
int
Это соответствует новому правилу, которое я добавил, поэтому оно входит в vardecl государство:
m
О, имя переменной! Так как лексер находится в vardecl государство,
это вновь определенная переменная. Испустить его как NameDecl маркер. затем
введите varvalue государство.
3
Просто номер.
*
Просто оператор.
a
О, имя переменной! Но теперь мы в varvalue заявить так
является не объявление переменной, просто ссылка на обычную переменную.
+ b
Оператор и другая ссылка на переменную.
,
Значение переменной m полностью заявлено. Вернуться к vardecl государство.
x =
Объявление новой переменной.
/* comments ; everywhere */
Другое состояние помещается в стек. В комментариях жетоны что бы
в противном случае имеют значение, такое как ; игнорируются
a * a
Ценность x переменная.
;
Вернуться к function государство. Специальные правила объявления переменных
сделано.
from pygments import highlight
from pygments.formatters import HtmlFormatter, TerminalFormatter
from pygments.formatters.terminal import TERMINAL_COLORS
from pygments.lexer import inherit
from pygments.lexers.compiled import CFamilyLexer
from pygments.token import *
# New token type for variable declarations. Red makes them stand out
# on the console.
NameDecl = Token.NameDecl
STANDARD_TYPES[NameDecl] = 'ndec'
TERMINAL_COLORS[NameDecl] = ('red', 'red')
class CDeclLexer(CFamilyLexer):
tokens = {
# Only touch variables declared inside functions.
'function': [
# The obvious fault that is hard to get around is that
# user-defined types won't be cathed by this regexp.
(r'(?<=\s)(bool|int|long|float|short|double|char|unsigned|signed|void|'
r'[a-z_][a-z0-9_]*_t)\b',
Keyword.Type, 'vardecl'),
inherit
],
'vardecl' : [
(r'\s+', Text),
# Comments
(r'/(\\\n)?[*](.|\n)*?[*](\\\n)?/', Comment.Multiline),
(r';', Punctuation, '#pop'),
(r'[~!%^&*+=|?:<>/-]', Operator),
# After the name of the variable has been tokenized enter
# a new mode for the value.
(r'[a-zA-Z_][a-zA-Z0-9_]*', NameDecl, 'varvalue'),
],
'varvalue' : [
(r'\s+', Text),
(r',', Punctuation, '#pop'),
(r';', Punctuation, '#pop:2'),
# Comments
(r'/(\\\n)?[*](.|\n)*?[*](\\\n)?/', Comment.Multiline),
(r'[~!%^&*+=|?:<>/-\[\]]', Operator),
(r'\d+[LlUu]*', Number.Integer),
# Rules for strings and chars.
(r'L?"', String, 'string'),
(r"L?'(\\.|\\[0-7]{1,3}|\\x[a-fA-F0-9]{1,2}|[^\\\'\n])'", String.Char),
(r'[a-zA-Z_][a-zA-Z0-9_]*', Name),
# Getting arrays right is tricky.
(r'{', Punctuation, 'arrvalue'),
],
'arrvalue' : [
(r'\s+', Text),
(r'\d+[LlUu]*', Number.Integer),
(r'}', Punctuation, '#pop'),
(r'[~!%^&*+=|?:<>/-\[\]]', Operator),
(r',', Punctuation),
(r'[a-zA-Z_][a-zA-Z0-9_]*', Name),
(r'{', Punctuation, '#push'),
]
}
code = '''
#include <stdio.h>
void main(int argc, char *argv[])
{
int vec_a, vec_b;
int a = 3, /* Mo;yo */ b=5, c=7;
int m = 3 * a + b, x = /* comments everywhere */ a * a;
char *myst = "hi;there";
char semi = ';';
time_t now = /* Null; */ NULL;
int arr[10] = {1, 2, 9 / c};
int foo[][2] = {{1, 2}};
a = b * 9;
c = 77;
d = (int) 99;
}
'''
for formatter in [TerminalFormatter, HtmlFormatter]:
print highlight(code, CDeclLexer(), formatter())
Другие решения
Других решений пока нет …