hanlp源码解析之中文分词算法
词图指的是句子中所有词可能构成的图。如果一个词a的下一个词可能是b的话，那么a和b之间具有一条路径e(a,b)。一个词可能有多个后续，同时也可能有多个前驱，它们构成的图我称作词图。
需要稀疏2维矩阵模型，以一个词的起始位置作为行，终止位置作为列，可以得到一个二维矩阵。例如：“他说的确实在理”这句话
图词的存储方法：一种是的dynamicarray法，一种是快速offset法。hanlp代码中采用的是第二种方法。
1、dynamicarray（二维数组）法
在词图中，行和列的关系：col为n 的列中所有词可以与row为n 的所有行中的词进行组合。例如“的确”这个词，它的col =5，需要和它计算平滑值的有两个，分别是row =5的两个词：“实”和“实在”。但是在遍历和插入的时候，需要一个个比较col和row的关系，复杂度是o(n)。
2、快速offset
一个一维数组，每个元素是一个单链表
“的确”的行号是4,长度是2,4+2=6，于是第六行的两个词“实/实在”就是“的确”的后续。
同时这种方法速度非常快，插入和查询的时间都是o(1)。
hanlp核心词典：
最短路径算法—viterbi（动态规划路径）
frequency:核心词典中的词频
ntwowordsfreq:共现词频
intmax_frequency= 25146057
double dtemp =(double) 1 / max_frequency +0.00001
dsmoothingpara =0.1
viterbi最短路径有向图
1、计算过程从上至下，根据计算出的权重值
变更前驱结点，保证前驱结点唯一（动态规划路径）
2、计算结束后，从最后一个结点开始取出term
,依次取出该结点的前驱结点即可
分词结果：理，在，确实，的，说，他
文章来源于亚当-adam的博客
集成电路设计企业认定管理办法
前沿技术中为什么还是没有出现超级电池？
Vivado逻辑分析仪使用教程简析
John Grimm：对物联网在2018年发展的三个预测
负端5v2A同步整流芯片U7710增速增长分析
hanlp源码解析之中文分词算法
智慧灯杆招标│18亿！8171套智慧灯杆！近期含智慧灯杆的备案建设项目
小米折叠屏手机新概念图曝光
扭转珊瑚礁减少趋势：CUREE 机器人“深度学习”深海潜水
AI需求与量子运算架构相符,量子的国度值得深究
微软预测2027年搜索框会消失 哪些职业会消失？
电动汽车电池回收或再利用，为什么不两者兼之
如何建立PC：CPU升级解决方案
Strategy Analytics杨光：5G行业专网建网模式探讨
朗科科技荣膺中国科技创新品牌500强，品牌价值近百亿
设计师和工程师在电源完整性方面遇到了哪些问题好吗？
网易关联公司入股小冰公司，后者此前已完成 Pre-A 轮融资
直流电机的励磁方式_直流电机的励磁特点
PT8026电容式触摸控制ASIC概述及主要特性
IGBT短路时的损耗
需要稀疏2维矩阵模型，以一个词的起始位置作为行，终止位置作为列，可以得到一个二维矩阵。例如：“他说的确实在理”这句话
图词的存储方法：一种是的dynamicarray法，一种是快速offset法。hanlp代码中采用的是第二种方法。
1、dynamicarray（二维数组）法
在词图中，行和列的关系：col为n 的列中所有词可以与row为n 的所有行中的词进行组合。例如“的确”这个词，它的col =5，需要和它计算平滑值的有两个，分别是row =5的两个词：“实”和“实在”。但是在遍历和插入的时候，需要一个个比较col和row的关系，复杂度是o(n)。
2、快速offset
一个一维数组，每个元素是一个单链表
“的确”的行号是4,长度是2,4+2=6，于是第六行的两个词“实/实在”就是“的确”的后续。
同时这种方法速度非常快，插入和查询的时间都是o(1)。
hanlp核心词典：
最短路径算法—viterbi（动态规划路径）
frequency:核心词典中的词频
ntwowordsfreq:共现词频
intmax_frequency= 25146057
double dtemp =(double) 1 / max_frequency +0.00001
dsmoothingpara =0.1
viterbi最短路径有向图
1、计算过程从上至下，根据计算出的权重值
变更前驱结点，保证前驱结点唯一（动态规划路径）
2、计算结束后，从最后一个结点开始取出term
,依次取出该结点的前驱结点即可
分词结果：理，在，确实，的，说，他
文章来源于亚当-adam的博客
集成电路设计企业认定管理办法
前沿技术中为什么还是没有出现超级电池？
Vivado逻辑分析仪使用教程简析
John Grimm：对物联网在2018年发展的三个预测
负端5v2A同步整流芯片U7710增速增长分析
hanlp源码解析之中文分词算法
智慧灯杆招标│18亿！8171套智慧灯杆！近期含智慧灯杆的备案建设项目
小米折叠屏手机新概念图曝光
扭转珊瑚礁减少趋势：CUREE 机器人“深度学习”深海潜水
AI需求与量子运算架构相符,量子的国度值得深究
微软预测2027年搜索框会消失 哪些职业会消失？
电动汽车电池回收或再利用，为什么不两者兼之
如何建立PC：CPU升级解决方案
Strategy Analytics杨光：5G行业专网建网模式探讨
朗科科技荣膺中国科技创新品牌500强，品牌价值近百亿
设计师和工程师在电源完整性方面遇到了哪些问题好吗？
网易关联公司入股小冰公司，后者此前已完成 Pre-A 轮融资
直流电机的励磁方式_直流电机的励磁特点
PT8026电容式触摸控制ASIC概述及主要特性
IGBT短路时的损耗