构建知识图谱的双重方法：传统NLP技术或大型语言模型

主要观点总结

本文介绍了在默沙东制药内部研讨会上的分享内容，关于如何利用知识图谱和大模型技术构建文档级别知识图谱并应用于智能知识库建设、推荐和检索、问答等应用场景。文章比较了传统命名实体识别（NER）和大型语言模型（LLM）在构建知识图谱方面的区别，以及每种方法如何影响流程。

关键观点总结

关键观点1: 知识图谱是以结构化格式表示实体之间关系的强大工具，广泛应用于医疗保健、金融、电子商务等行业。

知识图谱用于组织大量数据、启用高级搜索功能并提供更好的决策能力。构建知识图谱需要从原始文本中提取相关实体及其关系，这就是命名实体识别（NER）发挥作用的地方。

关键观点2: 传统 NER 和 LLM 在构建知识图谱方面的比较

传统 NER 模型在提取预定义的实体类型方面表现良好，但在处理自定义实体和上下文理解方面存在挑战。而 LLM 通过利用大量数据和深度学习技术，以更细致和上下文化的方式理解语言，改变了 NLP 的格局。LLM 可以直接从非结构化文本中提取实体和关系，无需预定义标签，并具有强大的适应性。

关键观点3: 使用传统 NER 和 LLM 构建知识图谱的步骤

传统 NER 构建知识图谱的步骤包括数据预处理、实体提取、关系提取、图谱构造和查询图形。而使用 LLM 的步骤包括文本收集、使用 LLM 进行实体和关系提取、特定于域的实体的微调（可选）、图谱构建和图查询与分析。LLM 提供了一种灵活的方法，通过最少的设置，直接从文本中识别实体和关系。

关键观点4: 使用 LLM 构建知识图谱的最佳实践和评估

最佳实践包括利用预先训练的模型、针对特定领域的需求进行定制、利用知识蒸馏、评估准确性和优化性能。评估提取的实体和关系的准确性对于确保知识图谱的质量至关重要。

关键观点5: 结论

传统的 NER 和基于 LLM 的方法在构建知识图谱中都有其优势。对于上下文、细微差别和可扩展性至关重要的项目，LLM 是更好的选择。知识图谱的未来在于两种方法的混合，将传统 NER 模型的精度与 LLM 的适应性和强大功能相结合，以创建能够处理日益复杂的数据环境的强大系统。