RWKV-7 – RWKV系列的最新大模型架构版本，有强大的上下文学习能力

RWKV-7是RWKV系列的最新大模型架构版本，超越了传统的attention和linear attention范式，具有更灵活的状态演化能力，能在相同算力消耗下解决attention无法解决的问题。RWKV-7的研究始于2024年9月，预览版 RWKV-7 “Goose” x070.rc2-2409-2r7a-b0b4a 的训练代码首次提交于RWKV-LM仓库的commit中。其核心优势在于强大的ICL（In-context Learning）能力，以及训练过程中的稳定性和效率。RWKV-7架构已确认使用”rc4a”版本作为最终代码，已经发布了0.1B和0.4B两种参数的模型。RWKV-7的研究和开发是一个活跃的领域，不断有新的进展和模型发布。

官网：https://github.com/BlinkDL/RWKV-LM/tree/main/RWKV-v7

立即打开官网