IgdrasilAI Neural Text

Neural/Text

Локальные LLM и токенизаторы. Включает LocalLanguageModel и 4 реализации ITokenizer.

Локальная модель

LocalLanguageModel поддерживает TorchSharp/ONNX/PyTorch/llama.cpp.

Токенизаторы

• SimpleTokenizer — простой whitespace.
• TikTokenTokenizer — OpenAI tiktoken.
• HuggingFaceTokenizer — эвристическая оценка.
• SentencePieceTokenizer — эвристика для LLaMA.

Пример

var tokenizer = new TikTokenTokenizer(TikTokenTokenizer.ForModel("gpt-3.5-turbo"));
var tokenIds = await tokenizer.EncodeAsync("Привет!");
var text = await tokenizer.DecodeAsync(tokenIds);