RegexLexerRule

public RegexLexerRule(string pattern, int tokenType)

Language: C#

Создаёт правило лексера на основе регулярного выражения

Parameters:

• pattern: Паттерн регулярного выражения (без якоря ^)
• tokenType: Тип создаваемого токена

public (int shift, Token? token) Apply(string content, int position, Dictionary<string, object> context)

Language: C#

Применяет правило к тексту на заданной позиции

Parameters:

• content: Исходный текст
• position: Текущая позиция в тексте
• context: Контекст лексера

Returns: Кортеж: сдвиг позиции и созданный токен (или null если правило не применимо)