Kimi专家交流纪要

Q：kimi路径实现的方法？A：主打长文本，以长文本作为产品差异化去做，从一开始20万，到现在200万，给客户带来冲击力，解决了用户的信息整合问题。对于信息整理领域，用户希望越长越好，趋势容易受到认可。公司长文本能力是领先于同行。长文本能力：指令检索能力、复杂数据流处理的优化；技术上成功实现了产品的定义。 Q：技术上怎么实现上下文？A：上下文核心是梳理、提炼、概括总结。1）文本越长，对参数要求越高；长文本基于transform-attention，关注长上下文有哪些关键点，分配相应的权重。公司利用内部算法去优化。2）上下文处理方面，使用类结构化的设计，系统化的外挂，可以让用户循序地匹配文本相关地关键词进来。 Q：参数量是不是很大？A：目前参数2000亿左右。 Q：模型的上下文比同行领先，从技术角度上如何定义？A：实 ………………………………