Rules

Content:

public static class CommonLexerRules

Language: C#

Коллекция базовых правил лексера для распространённых токенов

public class RegexLexerRule : ILexerRule

Language: C#

Правило лексера для регулярных выражений
Применяет регулярное выражение к началу текста с текущей позиции
и создает токен при совпадении

public class KeywordLexerRule : ILexerRule

Language: C#

Правило лексера для ключевых слов (проверяет границы слов)
Проверяет совпадение с набором ключевых слов, учитывая границы слов

public class SimpleSublineLexerRule : ILexerRule

Language: C#

Простое правило лексического анализа для совпадения с одним из вариантов строк.
Использует Trie для эффективного поиска самого длинного совпадения.