您现在的位置是:综合 >>正文
知识图谱抽取技术
综合29人已围观
简介去年我帮一家做电力设备的公司整理供应商档案,发现他们花了三个月人工录入的两万条企业信息里,有将近三成把“子公司”和“分公司”搞混了。这不是个案。知识图谱抽取技术要解决的,正是这类从非结构化文本里捞出结 ...
去年我帮一家做电力设备的知识公司整理供应商档案,发现他们花了三个月人工录入的图谱两万条企业信息里,有将近三成把“子公司”和“分公司”搞混了。技术这不是知识个案。知识图谱抽取技术要解决的图谱,正是技术这类从非结构化文本里捞出结构化事实的脏活。
抽取这件事,知识拆开来看就是图谱三个动作:找实体、定关系、技术填属性。知识听起来简单,图谱做起来处处是技术坑。比如“华为的知识鸿蒙系统由华为消费者业务部门研发”这句话,人一眼就能看出“华为”和“鸿蒙系统”是图谱两个实体,“研发”是技术关系。但机器要先把“华为”和“华为消费者业务部门”区分开——它们都带“华为”两个字,却是不同层级的组织。NER模型这时候就得靠上下文判断,不能光看字符串匹配。
关系抽取更麻烦。同一句话里可能藏着多重关系。“腾讯投资了美团,后者收购了摩拜”,这里“投资”和“收购”两个动作的主客体完全不同。早期我试过用规则模板,写了几百条正则,结果遇到“腾讯系公司入股美团”这种变体就歇菜了。后来改用远程监督,拿已有知识库去对齐文本,噪声又大得离谱。现在主流做法是预训练模型加少量标注,效果稳了不少,但标注成本依然让人肉疼。
属性抽取常被忽视,其实最磨人。一个公司的“注册资本”可能写成“5000万元人民币”“伍仟万”“5000万”三种形式。更头疼的是时间维度——2020年的注册资本和2023年的可能不一样。我见过一个图谱项目,把不同年份的财报数据混在一起抽,最后生成的公司画像自相矛盾。解决思路要么是给每个属性加时间戳,要么在抽取阶段就做时序对齐。前者存储开销大,后者逻辑复杂,没有银弹。
实际落地时,纯技术方案往往不够。那家电力设备公司最后用了“模型初筛+人工抽检”的混合流程。模型先跑一遍,把置信度低于阈值的条目挑出来,让业务人员重点核对。两万条数据里,真正需要人工处理的不到四千条,效率比全人工高了六倍。这个案例让我意识到,知识图谱抽取不是追求全自动,而是找到人机协作的最佳分割点。
还有个容易被忽略的环节:实体链接。抽出来的“苹果”到底指水果公司还是水果本身?得靠上下文和知识库消歧。我见过一个医疗图谱把“阿司匹林”和“ aspirin”当成两个实体,就因为没做同义词归一。这种错误在跨语言场景下更常见,中英文混合的文档里,“COVID-19”和“新冠肺炎”必须映射到同一个节点,否则图谱就是一堆孤岛。
工具选型上,spaCy适合快速原型,Stanford CoreNLP对中文支持还行但慢,HanLP在中文NER上表现不错。如果是工业级部署,大概率要自己微调BERT类模型。别迷信开箱即用,领域数据分布差异太大。金融公告里的实体边界和社交媒体上的完全是两回事。
说到底,知识图谱抽取是门妥协的艺术。追求高召回率,精确率就掉;追求高精确率,又漏掉大量长尾。我的经验是:先明确业务场景能容忍多少错误。做风控图谱,宁可漏抽也不能错抽;做推荐系统,召回率优先。没有通用最优解,只有场景适配。
Tags:
相关文章
反渗透膜多长时间更换
综合我家那台净水器,反渗透膜撑了整整三年零四个月。别急着羡慕,这数字背后全是教训——前两年我压根没管过它,直到出水流量小得像在滴眼药水,烧开后水面浮着一层白沫,才意识到问题。 厂家说反渗透膜寿命通常12到 ...
【综合】
阅读更多百度关键词竞价
综合百度关键词竞价,本质上是门花钱买注意力的生意。你出价,百度排位,用户点一下,钱就没了。这事儿听起来简单,但里面的坑和门道,比多数人想的要深。 我见过一个做五金工具的老板,预算每天五百,关键词选了“电钻 ...
【综合】
阅读更多有关黑洞的视频
综合黑洞的第一张照片,其实看起来像一团模糊的橙色甜甜圈。2019年4月10日,全球六地同步召开新闻发布会,我盯着屏幕上那个模糊的亮环,心里第一反应是:就这? 但紧接着,我意识到自己正在看的是5500万光年 ...
【综合】
阅读更多