RWKV(读作 RWaKuV)是一种具有 GPT 级大型语言模型(LLM)性能的 RNN,也可以像 GPT Transformer 一样直接训练(可并行化)。
RWKV 结合了 RNN 和 Transformer 的最佳特性 - 出色的性能、快速的推理、快速的训练、节省 VRAM、"无限" 的 ctxlen 和自由的句嵌入,而且是 100% 不含注意力机制的。
RWKV 是一个开源的非盈利组织,隶属于 Linux 基金会,算力则由我们的赞助商支持。
我们的最新架构是 RWKV-6 :
RWKV(读作 RWaKuV)是一种具有 GPT 级大型语言模型(LLM)性能的 RNN,也可以像 GPT Transformer 一样直接训练(可并行化)。
RWKV 结合了 RNN 和 Transformer 的最佳特性 - 出色的性能、快速的推理、快速的训练、节省 VRAM、"无限" 的 ctxlen 和自由的句嵌入,而且是 100% 不含注意力机制的。
RWKV 是一个开源的非盈利组织,隶属于 Linux 基金会,算力则由我们的赞助商支持。
我们的最新架构是 RWKV-6 :
新一代大模型架构 RWKV 将于 2025 年 2 月 22 日在上海举办首届主题为 《RWKV-7 架构与未来趋势》 的开发者大会,大会将深入探讨 RWKV-7 的独家技术亮点、应用场景以及未来趋势,展示 RWKV 在推动全球 AI 发展中的前瞻性与领导力。 RWKV-7 架构采用动态状态演化(dynamic state evolution)机制,超越了传统的 attention/linear attention 范式,拥有强大的上下文学习(in-context learning)能力和持续学习能力。RWKV-7 模型在...
2025 年 2 月 11 日,RWKV 基金会正式发布 RWKV-7-World-2.9B-V3 模型(以下简称 RWKV-7-2.9B)。 RWKV-7-2.9B 模型基于 RWKV World V3 数据集训练。无论是模型评测还是实际体验,RWKV-7-2.9B 都超越了上一代 RWKV-6-7B 模型。 英文和多语言测评 RWKV-7-2.9B 模型的英文和多语言能力,均显著超越所有同尺寸模型,包括 Llama 3.2 3B、Qwen2.5 3B 等知名优秀开源模型。 MMLU 测试 在选择题形式的 MMLU 测试上,RWKV-7-2.9B 模型得...
欢迎大家收看《RWKV 社区最新动态》,本期内容收录了 RWKV 社区 2025 年 1 月的最新动态。 只需 3 分钟,快速了解 RWKV 社区 1 月都有哪些新鲜事! 1 月动态省流版(TL;DR) RWKV 学术研究动态 新论文: Rate-Aware Learned Speech Compression(RWKV 语音压缩) 新论文: RWKV-UNet(RWKV 医学图像分割) 新论文: FSSC(RWKV 触觉传感跨域适应) 新论文: TRP(RWKV 知识图谱补全) 新论文: TCVADS(RWKV 视频异常检测) 新论...
除夕快乐!在除旧迎新之际,我们也正式发布 RWKV-7-World-1.5B-v3 基底模型!(下文简称为 RWKV-7-1.5B 模型) RWKV-7-1.5B 模型基于 RWKV World v3 数据集(共 3.1T 数据)训练而来。在英文和多语言评测中,RWKV-7-1.5B 模型的评分对比其他同参数模型处于绝对领先地位。 英文和多语言测评 RWKV-7-1.5B 模型的英文和多语言能力显著超越所有同尺寸模型,包括历史版本 RWKV-6,以及 Qwen2.5、SmolLm 等其他开源模型。 MMLU 测评 ...
RWKV-7-World-0.4B-v2.9 模型于 2025 年 1 月 8 日正式发布! 随着 RWKV-7 架构的发布,RWKV 社区也开源发布了多款基于 RWKV-7 的新项目,包括 RWKV-7-WebGPU Demo 和 基于 RWKV-7 架构的 CoT 黑白棋项目 “RWKV Othello”。 RWKV-7-World-0.4B 模型发布 RWKV-7-World-0.4B-v2.9 模型于 2025 年 1 月 8 日正式发布! RWKV-7-World-0.4B 在 world-2.9(从 world-v3 数据集中采样 2T tokens)数据集上训练。其英文和多语言能力显著...
【深圳,2025年1月3日】深圳元始智能有限公司(以下简称“元始智能”)宣布已于 2024 年 12 月 25 日走完工商变更,成功完成数千万级人民币天使轮融资,本轮投资方为天际资本。此次融资将为元始智能加速生态发展、增强技术实力以及推出更多面向 C 端的 AI 应用提供有力支持。 资本市场持续认可,一年内完成两次融资 元始智能成立于 2023 年 6 月,是一家专注于研发大模型架构和 AI 应用的高新技术企业。作为在人工智能领域迅速崛...
很高兴告诉大家:RWKV 社区推出"RWKV 生态内容征集大赛 ",此活动在 2025 年全年内公开征集 RWKV 相关的内容,包括: 与 RWKV 相关的论文 讲解 RWKV 的教程,例如文章、视频、动画 基于 RWKV 的应用 我们会根据内容的质量、新颖度、与 RWKV 的相关度,发放生态奖励: 奖项 奖金 参考论文 参考教程 参考应用 铂奖 6888元 RWKV-CLIP,RWKV-SAM 铂金教程参考 RWKV-LM-RLHF 金奖 4888元 StyleRWKV,RWKV-edge 金奖教程参考 RWKV-Inf...
欢迎大家收看《RWKV 社区最新动态》,本期内容收录了 RWKV 社区 2024 年 12 月的最新动态。 只需 3 分钟,快速了解 RWKV 社区 12 月都有哪些新鲜事! 12 月动态省流版(TL;DR) RWKV 学术研究动态 新论文: StyleRWKV(RWKV 视频风格迁移) 新论文: L3TC(RWKV 文本压缩) 新论文: A Survey of RWKV(RWKV 综述) 新论文: PCF-RWKV(RWKV 碳足迹评估模型) 新论文: RWKV-edge(RWKV 边缘设备部署) 新论文: RWkV-DPA(RWK...
RWKV-7 是极先进的最新大模型架构,超越 attention / linear attention 范式,拥有强大的 in-context-learning(上下文学习)能力,可真正持续学习,在保持 100% RNN 的同时,拥有极强的长文本能力。 RWKV-7 架构性能表现 RWKV-7 的大海捞针测试 RWKV-7-World 0.1B(L12-D768)在 ctx 4k 预训练 1T tokens(world-v2.8),无需任何微调,即可完美通过 ctx 16k 的大海捞针。且 world 系列模型支持全球 100+ 种语言和代码。 RWKV...
2024 年 12 月 11 日,RWKV 基金会正式发布了首款 RWKV-7 架构模型:RWKV-7-World-0.1B-v2.8。 同日,RWKV 海外社区团队发布了 QRWKV6-32B-Instruct-Preview-v0.1 模型,这是迄今最大规模的 RWKV 模型,且训练成本极低,仅需在 16 张显卡训练 8 小时。 关于 RWKV-7-World-0.1B RWKV-7-World-0.1B-v2.8 是 RWKV-7-World 系列的首个模型。由于参数量较小,RWKV-7-World-0.1B 从 World v3 数据集(共 3.1T 数据)中随机采样了 1T 训...
基于 RWKV 的视觉语言模型 VisualRWKV 被 COLING 2025 接收! COLING,国际计算语言学会议(International Conference on Computational Linguistics),是自然语言处理和计算语言学领域的顶级国际会议(CCF 推荐 B 类国际会议)。COLING 2025 将于 2025 年 1 月 19 日至 24 日在阿联酋阿布扎比召开。VisualRWKV 论文已被 COLING 2025 主会接收。 论文标题:VisualRWKV: Exploring Recurrent Neural Networks for Visual Langua...
2024年12月2日,元始智能自主研发的 RWKV AI 大模型已成功通过国家互联网信息办公室的生成式人工智能服务备案。这标志着 RWKV AI 大模型在 AI 技术安全、内容合规、数据管理及安全防护等方面已符合行业规范,为其在国内市场的进一步发展奠定了坚实基础。 上海市生成式人工智能服务已备案信息公告(12月2日) 自2024年4月上海市互联网信息办公室发布《关于受理生成式人工智能服务备案的公告》,元始智能的全资子公司——上海元我...
欢迎大家收看《RWKV 社区最新动态》,本期内容收录了 RWKV 社区 2024 年 11 月的最新动态。 只需 3 分钟,快速了解 RWKV 社区 11 月都有哪些新鲜事! 11 月动态省流版(TL;DR) RWKV 学术研究动态 新论文:DFT(RWKV 股票价格预测模型) 新论文:Video RWKV(RWKV 视频理解框架) 新论文:RuleVM(RWKV 暴力监控框架) 新论文:MARWKV(RWKV 智能体强化学习) 新论文:RWKV-AttnInput(利用 RWKV 模型增强拼音输入法) RWKV 模型...
2024 年 11 月 13 日,RWKV-6-World-7B-v3 模型正式开源发布。 对比 RWKV-6-World-v2.1 模型,RWKV-6-World-v3 模型新增了 World-v3 数据集(约 3.1T tokens),对比 v2.1 数据集补充了优质英文网页、代码、中文小说、多语言数据、数学数据、指令数据等。 更多的训练数据带来更好的模型性能,RWKV-6-World-7B-v3 的各方面能力显著增强,包括中文小说、对话、代码、数学能力。 RWKV-World 是 RWKV 模型的全球多语言训练数据集, ...
RWKV 做 CoT 特别有优势,因为推理速度和显存占用与上下文无关。即使做几百万 token 的 CoT 也不会变慢或额外消耗显存。 RWKV 社区开发者 @Jellyfish042 训练了一个用于解决数独谜题 的专用 RWKV 模型 Sudoku-RWKV ,项目的训练代码 和数据制作脚本均已开源。 GitHub 仓库:https://github.com/Jellyfish042/Sudoku-RWKV Sudoku-RWKV 使用 700k 条数独专用的 COT 数据进行训练,数据总量约 25B(250 亿) token。这些数据均使用...
由 Bo PENG 和 RWKV 开源社区共同完成的 RWKV-5/6架构论文《Eagle and Finch: RWKV with Matrix-Valued States and Dynamic Recurrence》被顶级会议 COLM 2024 收录。 这是继 RWKV-4 架构论文《RWKV: Reinventing RNNs for the Transformer Era》被 EMNLP 2023 收录之后,RWKV 又一篇被国际顶会认可的论文。 作为 RWKV 社区代表,Stella Biderman 出席本次 COLM 2024 演讲: 关于 COLM 会议 Conference On Language Modeling(C...
欢迎大家收看《RWKV 社区最新动态》,本期内容收录了 RWKV 社区 2024 年 10 月的最新动态。 10 月动态省流版(TL;DR) RWKV 社区活动 10 月 13 日,RWKV 团队在北京大学做了《RWKV 技术产品化与生态及模型架构》主题分享 RWKV 学术研究动态 新论文:VisualRWKV-HD and UHD,VisualRWKV 项目的高分辨率版本 MATCC:基于 RWKV 架构的股价预测框架 Bone:由 RWKV 社区发布的参数高效微调新方法 RWKV 社区项目动态 OccRWKV:基于 RW...
欢迎大家收看《RWKV 社区最新动态》第五期,本期内容收录了 RWKV 社区 2024 年 9 月的最新动态。 9 月动态省流版(TL;DR) RWKV 官方新闻动态 RWKV-7 发布预览版 RWKV-7 论文撰写已面向社区开放 RWKV 官网上线 Bad Case 收集页面 RWKV 中文文档已开源 RWKV 学术研究相关 RWKV-CLIP 论文被 EMNLP 主会收录 新论文:OccRWKV(3D 语义占用预测) 新论文:MSRWKV-2DTCN(光伏发电预测) 新论文:Mod-RWKV(多模态内容审核) 新论文:...
RWKV-7(代号 Goose 雁)预览版 RWKV-7 "Goose" x070.rc2-2409-2r7a-b0b4a 现已推出。 RWKV-7 超越了 attention / linear attention 范式,它的状态演化很灵活,可以解决在相同算力消耗下 attention 无法解决的问题。 RWKV-7 代码:https://github.com/BlinkDL/RWKV-LM/tree/main/RWKV-v7 RWKV-7 模型(训练中):https://huggingface.co/BlinkDL/temp-latest-training-models/tree/main RWKV-7 "Goose" x070.rc2-2409-2r7a-b0...
2024 年 9 月 ,RWKV 社区成员发现:Office 系统在自动更新后(版本 2407 及以后)已自带 RWKV 运行库。 在 Windows 系统的 C:\Program Files\Microsoft Office\root\vfs\ProgramFilesCommonX64\Microsoft Shared\OFFICE16 目录,可以找到一系列 rwkv dll(动态链接库) 文件。 由于正版 Windows 大多预装了 Office 365,因此,全球大多数 Windows 10 和 11 机器现已搭载 RWKV,包括线下商店中售卖的 Windows 机器。这意味着 RW...
评论