public class WordSegmenter extends Object
构造器和说明 |
---|
WordSegmenter() |
限定符和类型 | 方法和说明 |
---|---|
static List<Word> |
filterStopWords(List<Word> words)
移除停用词
|
static void |
main(String[] args) |
static void |
processCommand(String... args) |
static void |
seg(File input,
File output)
对文件进行分词,移除停用词
使用双向最大匹配算法
|
static void |
seg(File input,
File output,
SegmentationAlgorithm segmentationAlgorithm)
对文件进行分词,移除停用词
可指定其他分词算法
|
static List<Word> |
seg(String text)
对文本进行分词,移除停用词
使用双向最大匹配算法
|
static List<Word> |
seg(String text,
SegmentationAlgorithm segmentationAlgorithm)
对文本进行分词,移除停用词
可指定其他分词算法
|
static void |
segWithStopWords(File input,
File output)
对文件进行分词,保留停用词
使用双向最大匹配算法
|
static void |
segWithStopWords(File input,
File output,
SegmentationAlgorithm segmentationAlgorithm)
对文件进行分词,保留停用词
可指定其他分词算法
|
static List<Word> |
segWithStopWords(String text)
对文本进行分词,保留停用词
使用双向最大匹配算法
|
static List<Word> |
segWithStopWords(String text,
SegmentationAlgorithm segmentationAlgorithm)
对文本进行分词,保留停用词
可指定其他分词算法
|
public static List<Word> segWithStopWords(String text, SegmentationAlgorithm segmentationAlgorithm)
text
- 文本segmentationAlgorithm
- 分词算法public static List<Word> segWithStopWords(String text)
text
- 文本public static List<Word> seg(String text, SegmentationAlgorithm segmentationAlgorithm)
text
- 文本segmentationAlgorithm
- 分词算法public static List<Word> filterStopWords(List<Word> words)
words
- 词列表public static void segWithStopWords(File input, File output, SegmentationAlgorithm segmentationAlgorithm) throws Exception
input
- 输入文件output
- 输出文件segmentationAlgorithm
- 分词算法Exception
public static void segWithStopWords(File input, File output) throws Exception
input
- 输入文件output
- 输出文件Exception
public static void seg(File input, File output, SegmentationAlgorithm segmentationAlgorithm) throws Exception
input
- 输入文件output
- 输出文件segmentationAlgorithm
- 分词算法Exception
public static void seg(File input, File output) throws Exception
input
- 输入文件output
- 输出文件Exception
public static void processCommand(String... args)
public static void main(String[] args)
Copyright © 2014 APDPlat. All rights reserved.