注册    登录
今天看啥  ›  专栏  ›  cuizixin

自然语言处理笔记-lecture 3

cuizixin  · 简书  ·  · 2018-09-25 17:41

Lecture 3: Linguistics Foundations

本节课大纲

image.png

汉字

  • ideograph 表意文字/形意文字


    image.png
  • 汉字数量多
  • 简体 繁体
  • 异体字
    • 同意同音，不同形
    • “回”字有四种写法
  • 方言
  • 编码标准
  • 字本位语言处理
  • 字嵌入

词素

词素，意思或语法功能的最小单位，拆了之后就无法保留原来的意思了。
比如：“葡萄”是一个两个字的词素。

  • 语法词素
    比如：的、地、得
  • 内容词素
    比如：葡萄

中文词

  • 双音节词
  • 三音节词
  • 四音节词
  • 中文词格式
    • 词缀
    • 叠词 reduplication
    • 离合词 比如：理发，理了个发

词性 part-of-speech (POS)

词性，不表示词的意思，而是表示词是怎么用的。
比如：动词，名词

中文语法处理中的挑战

  • 正式的语言标志很少
    • 没有动词的词性变化
    • 没有单复数
  • 歧义
    • 词汇歧义
    • 断句歧义

短语

  • 短语的语法树
  • 依赖关系

语料语言学

image.png



原文地址：访问原文地址
快照地址： 访问文章快照
推荐文章
陕西都市快报  ·  西安交警：李某某，罚！
昨天
陕西都市快报  ·  突发！一客机紧急迫降，致1死30伤
2 天前
陕西都市快报  ·  陕西这里公开招聘23人！
2 天前
陕西都市快报  ·  7月1日起，开始报名！
2 天前
陕西都市快报  ·  停课！60余名儿童集体流鼻血？最新情况
5 天前
大楚网  ·  一航班高空紧急放油！机内画面曝光
5 月前
晓拾  ·  多点念想多点动力
2 年前
梧桐树下V  ·  最高法院发布《关于证券纠纷代表人诉讼若干问题的规定》，分普通代表人诉讼、特别代表人诉讼
3 年前
洞见资本  ·  【洞见干货】深度解析财务报表分析实操的11种方法！
3 年前
冬木a  ·  飞鸟集11
3 年前
关于   移动版   ·   Py中国   ·   RSS之家   ·   codingpro   ·   Code   ·   link之家   ·   卧龙AI搜索   ·   藏经阁   ·   小百科
今天看啥 - 微信公众号rss订阅, 微信rss, 稳定的RSS源
© 2024 ~ 沪ICP备11025650号