不分割成token，直接从字节中高效学习，Mamba原来还能这样用
在定义语言模型时，常常使用基本的分词方法，将句子分为词、子词或字符。子词分词法一直以来都是最流行的选择，因为它在训练效率和处理词汇表外单词的能力之间取得了平衡。然而，一些研究指出了子词分词法的问题，例如对于错别字、拼写和大小写变化以及...
尤洋团队在AAAI 2023杰出论文奖中获得新成果，使用单块V100训练模型的速度提高了72倍
本文经AI新媒体量子位（公众号ID:QbitAI）授权转载，转载请联系出处。 就在刚刚，UC伯克利博士、新加坡国立大学校长青年教授尤洋发布最新消息——斩获AAAI 2023杰出论文奖（Distinguished Paper） ！ 研究...
本地运行性能超越 OpenAI Text-Embedding-Ada-002 的 Embedding 服务，太方便了！
ollama 是一款超级实用的工具，让你能够在本地轻松运行 llama 2、mistral、gemma 等开源模型。本文我将介绍如何使用 ollama 实现对文本的向量化处理。如果你本地还没有安装 ollama，可以阅读这篇文章。 本...
GPT-4.5 Turbo提前泄露？Altman亲自暗示新模型要来，传言本周四上线
OpenAI的GPT-4.5 Turbo提前泄露了？ 就在今天，网友纷纷发现，一款号称是GPT-4.5 Turbo的模型，竟然同时出现在了Bing、谷歌、DuckDuck Go的搜索结果里！ 介绍信息显示：GPT-4.5 Turbo是...
专为训练Llama 3，Meta 4.9万张H100集群细节公布
生成式大模型已经在人工智能领域引发了重大变革，尽管人们对实现通用人工智能（AGI）的希望日益增加，但是训练和部署大模型所需的算力也愈发庞大。 刚刚，Meta 宣布推出两个 24k GPU 集群（共 49152 个 H100），标志着 ...
谷歌将视觉迁移模型参数扩展到220亿，自ChatGPT火爆后研究者集体行动
与自然语言处理类似，对预训练视觉主干的迁移提高了模型在各种视觉任务上的性能。更大的数据集、可扩展的架构和新的训练方法都推动了模型性能的提升。 然而，视觉模型仍然远远落后于语言模型。具体来说，迄今为止最大的视觉模型 ViT 只有 4B ...
徒手搬螺丝，波士顿动力Atlas再进化：兄弟们，准备进厂了
在如今颇为火热的人形机器人赛道，波士顿动力是较早入局的一位选手。 在过去几年里，Atlas人形机器人的动态跑酷能力引起了全球的关注。随后，我们还看到Atlas在模拟建筑工地上展示了搬运能力。然而，需要指出的是，目前Atlas仍然只是一...
全球最强大模型一夜易主，GPT-4时代终结！Claude 3提前狙击GPT-5，3秒读懂万字论文理解力接近人类
卷疯了卷疯了，大模型又变天了。 就在刚刚，全球最强AI模型一夜易主，GPT-4被拉下神坛。 Anthropic发布了最新的Claude 3系列模型，一句话评价：真·全面碾压GPT-4！ 多模态和语言能力指标上，Claude 3都赢麻了...
ThinkPHP实例化模型的四种方法概述_PHP
ThinkPHP 本文讲述了 thinkphp 实例化模型的四种方法，对于thinkphp程序设计来说有非常重要的应用。具体如下： 1、创建一个基础模型：实例化一个系统自带的数据库操作类 Test.Model.class.php页面代...
Stability AI开源3B代码生成模型：可补全，还能Debug
本周一，Stability AI 开源了小体量预训练模型 Stable Code Instruct 3B。 Stable Code Instruct 3B 是建立在 Stable Code 3B 基础上的指令调整编码语言模型（Code...