标签：tokenizer

想了解大模型分词（Tokenizer）可视化吗？试试这个工具！

大家好，我是顺亿。今天咱们来聊聊大模型中的一个小巧玲珑的工具——Tokenizer可视化。是不是听起来有点高大上？别担心，我这就用最简单的话给你讲明白。 最近我发现了一个叫做 “Tiktokenizer” 的在线工具，它就像一个分词小...