MHA2MLA – 复旦、上海AI Lab等推出优化LLM推理效率的方法
MHA2MLA是复旦大学、华东师范大学、上海AI Lab等机...
NodeRAG 是基于异构图的检索增强生成(Retrieval-Augmented Generation,RAG)系统。通过构建包含多种节点类型的异构图,将文档信息和语言模型生成的见解整合在一起,支持多跳检索和细粒度信息提取。NodeRAG 的异构图包含实体、关系、语义单元等多种节点类型,能实现上下文感知的检索,显著提升检索准确性和效率。支持增量更新,能动态适应数据变化,通过优化算法提高检索速度和性能。