由于项目技术需要, 需要使用中文分词技术, 那么就去简单调研了一下, 简单搜集了一些资料
常见中文分词开源项目
SCWS
Hightman开发的一套基于词频词典的机械中文分词引擎,它能将一整段的汉字基本正确的切分成词。采用的是采集的词频
词典,并辅以一定的专有名称,人名,地名,数字年代等规则识别来达到基本分词,经小范围测试大概准确率在 90% ~ 95%
之间,已能基本满足一些小型搜索引擎、关键字提取等场合运用。45Kb左右的文本切词时间是0.026秒,大概是1.5MB文本/秒,支持PHP4和
PHP 5。
ICTCLAS
这可是最早的中文开源分词项目之一,ICTCLAS在国内973
专家组组织的评测中活动获得了第一名,在第一届国际中文处理研究机构SigHan组织的评测中都获得了多项第一名。ICTCLAS3.0分词速度单机
996KB/s,分词精度98.45%,API不超过200KB,各种词典数据压缩后不到3M.ICTCLAS全部采用C/C++编写,支持Linux、
FreeBSD及Windows系列操作系统,支持C/C++、C#、Delphi、Java等主流的开发语言。
HTTPCWS
HTTPCWS 是一款基于HTTP协议的开源中文分词系统,目前仅支持Linux系统。HTTPCWS 使用“ICTCLAS 3.0
2009共享版中文分词算法”的API进行分词处理,得出分词结果。HTTPCWS 将取代之前的 PHPCWS 中文分词扩展。
庖丁解牛分词:
Java 提供lucence 接口,仅支持Java语言。
CC-CEDICT
一个中文词典开源项目,提供一份以汉语拼音为中文辅助的汉英辞典,截至2009年2月8
日,已收录82712个单词。其词典可以用于中文分词使用,而且不存在版权问题。Chrome中文版就是使用的这个词典进行中文分词的。
IK
IKAnalyzer
是一个开源的,基于java语言开发的轻量级的中文分词工具包。从
2006年12月推出1.0版开始,IKAnalyzer
已经推出了3个大版本。最初,它是以开源项目Luence为应用主体的,结合词典
分词和文法分析算法的中文分词组件。新版本的IKAnalyzer3.0则发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对
Lucene的默认优化实现。
Paoding
Paoding
(庖丁解牛)基
于Java的开源中文分词组件,提供lucene和solr 接口,具有极 高效率
和 高扩展性
。引入隐喻,采用完全的面向对象设计,构思先进。
高效率:在PIII 1G内存个人机器上,1秒
可准确分词 100万
汉字。
采用基于 不限制个数
的词典文件对文章进行有效切分,使能够将对词汇分类定义。
能够对未知的词汇进行合理解析
MMSEG4J
MMSEG4J
基于Java的开源中文分词组件,提供lucene和solr 接口
1、mmseg4j 用 Chih-Hao Tsai 的 MMSeg
算法实现的中文分词器,并实现 lucene 的 analyzer 和 solr 的TokenizerFactory
以方便在Lucene和Solr中使用。
2、MMSeg
算法有两种分词方法:Simple和Complex,都是基于正向最大匹配。Complex 加了四个规则过虑。官方说:词语的正确识别率达到了
98.41%。mmseg4j 已经实现了这两种分词算法。
分享到:
相关推荐
JMenu algorithmMenu = new JMenu("分词算法"); JMenu trainMenu = new JMenu("训练语料"); JMenu helpMenu = new JMenu("帮助"); openDicItem = fileMenu.add("载入词典"); fileMenu.addSeparator(); ...
最好用的中文分词,真正能用的开源分词,下了绝对不后悔!找了好久终于找到的,比其他几种分词组件都好用,很感谢作者,也分享给大家。
中文分词开源项目 JAVA中文分词 中文分词开源项目 JAVA中文分词 一个当10个
IK中文分词器在Elasticsearch上的使用。原生IK中文分词是从文件系统中读取词典,es-ik本身可扩展成从不同的源读取词典。目前提供从sqlite3数据库中读取。es-ik-plugin-sqlite3使用方法: 1. 在elasticsearch.yml中...
cws_evaluation, Java开源项目cws_evaluation:中文分词器分词效果评估对比
中文分词中文分词中文分词中文分词中文分词中文分词中文分词中文分词中文分词
最初,它是以开源项目Luence 为应用主体的,结合词典分词和文法分析算法的中文分词组件。 从 3.0 版本开始,IK 发展为面向 Java 的公用分词组件,独立于 Lucene 项目,同时提供了对 Lucene 的默认优化实现。 在 2012...
盘古分词-开源中文分词组件词典PanGu_ReleaseV1.1.0.1
' 此文件算法根据织梦中文分词php版本的简化版本修改而来,如果用于商业请自行考虑版权问题 '关键字自动获取php源码 这个文件夹里面的就是原来的php文件,应该是老版本的织梦cms里面提取出来的....这是一个简化版本的...
处理中文地址的分词和匹配 采用混合分词算法进行中文地址分词 在中文地址分词基础上采用Double Levenshetin算法进行中文地址相似度进行地址匹配
最初,它是以开源项目Luence为应用主体的,结合词典分词和文法分析算法的中文分词组件。从3.0版本开 始,IK发展为面向Java的公用分词组件,独立于Lucene项目,同时提供了对Lucene的默认优化实现。在2012版本中,IK...
这是前一段时间我在研究中文分词时在网上找到的一个词典,TXT格式的,拿出来分享一下。这是前一段时间我在研究中文分词时在网上找到的一个词典,TXT格式的,拿出来分享一下。这是前一段时间我在研究中文分词时在网上...
它是以开源项目Luence为主体的,结合词典分词和文法分析算法的中文分词组件。 IKAnalyzer继承Lucene的Analyzer抽象类,使用IKAnalyzer和Lucene自带的分析器方法一样,将Analyzer测试代码改为IKAnalyzer测试中文分词...
开源免费的简易中文分词系统,PHP分词的上乘之选
NULL 博文链接:https://langiner.iteye.com/blog/746178
scws,中文分词,开源,机械分词法,简单分词
分词词库_中文分词词库最新整理(TXT格式)
lucene.NET 中文分词 高亮 lucene.NET 中文分词 高亮 lucene.NET 中文分词 高亮 lucene.NET 中文分词 高亮
百度以前用的中文分词词典,希望对大家有一点帮助
汇总的中文分词词库,分为两个目录: 1、中文分词词库汇总。包含10个词库,文件名字表示里面词的数量(单位是千),如150.txt,表示包含15万词。 2、主流分词工具的词库。包含word/jieba/mmseg/IK分词工具的最近词库...