org.apdplat.word

类 WordSegmenter

java.lang.Object

org.apdplat.word.WordSegmenter

public class WordSegmenter
extends Object

中文分词基础入口 默认使用双向最大匹配算法 也可指定其他分词算法

作者:

杨尚川

构造器概要

构造器

构造器和说明
WordSegmenter()

方法概要

限定符和类型	方法和说明
static List<Word>	filterStopWords(List<Word> words) 移除停用词
static void	main(String[] args)
static void	processCommand(String... args)
static void	seg(File input, File output) 对文件进行分词，移除停用词 使用双向最大匹配算法
static void	seg(File input, File output, SegmentationAlgorithm segmentationAlgorithm) 对文件进行分词，移除停用词 可指定其他分词算法
static List<Word>	seg(String text) 对文本进行分词，移除停用词 使用双向最大匹配算法
static List<Word>	seg(String text, SegmentationAlgorithm segmentationAlgorithm) 对文本进行分词，移除停用词 可指定其他分词算法
static void	segWithStopWords(File input, File output) 对文件进行分词，保留停用词 使用双向最大匹配算法
static void	segWithStopWords(File input, File output, SegmentationAlgorithm segmentationAlgorithm) 对文件进行分词，保留停用词 可指定其他分词算法
static List<Word>	segWithStopWords(String text) 对文本进行分词，保留停用词 使用双向最大匹配算法
static List<Word>	segWithStopWords(String text, SegmentationAlgorithm segmentationAlgorithm) 对文本进行分词，保留停用词 可指定其他分词算法

从类继承的方法 java.lang.Object

clone, equals, finalize, getClass, hashCode, notify, notifyAll, toString, wait, wait, wait

构造器详细资料

WordSegmenter

public WordSegmenter()

方法详细资料

segWithStopWords

public static List<Word> segWithStopWords(String text,
                                          SegmentationAlgorithm segmentationAlgorithm)

对文本进行分词，保留停用词 可指定其他分词算法

参数:

text - 文本

segmentationAlgorithm - 分词算法

返回:

分词结果

segWithStopWords

public static List<Word> segWithStopWords(String text)

对文本进行分词，保留停用词 使用双向最大匹配算法

参数:

text - 文本

返回:

分词结果

seg

public static List<Word> seg(String text,
                             SegmentationAlgorithm segmentationAlgorithm)

对文本进行分词，移除停用词 可指定其他分词算法

参数:

text - 文本

segmentationAlgorithm - 分词算法

返回:

分词结果

seg

public static List<Word> seg(String text)

对文本进行分词，移除停用词 使用双向最大匹配算法

参数:

text - 文本

返回:

分词结果

filterStopWords

public static List<Word> filterStopWords(List<Word> words)

移除停用词

参数:

words - 词列表

返回:

无停用词的词列表

segWithStopWords

public static void segWithStopWords(File input,
                                    File output,
                                    SegmentationAlgorithm segmentationAlgorithm)
                             throws Exception

对文件进行分词，保留停用词 可指定其他分词算法

参数:

input - 输入文件

output - 输出文件

segmentationAlgorithm - 分词算法

抛出:

Exception

segWithStopWords

public static void segWithStopWords(File input,
                                    File output)
                             throws Exception

对文件进行分词，保留停用词 使用双向最大匹配算法

参数:

input - 输入文件

output - 输出文件

抛出:

Exception

seg

public static void seg(File input,
                       File output,
                       SegmentationAlgorithm segmentationAlgorithm)
                throws Exception

对文件进行分词，移除停用词 可指定其他分词算法

参数:

input - 输入文件

output - 输出文件

segmentationAlgorithm - 分词算法

抛出:

Exception

seg

public static void seg(File input,
                       File output)
                throws Exception

对文件进行分词，移除停用词 使用双向最大匹配算法

参数:

input - 输入文件

output - 输出文件

抛出:

Exception

processCommand

public static void processCommand(String... args)

main

public static void main(String[] args)