製品概要

特徴

トークン化

多くの検索ツールでは、日本語など単語と単語の 間にスペースのない言語を処理する際、バイグラム という手法を用いています。この手法ですと、索引 データのサイズが増大し、検索精度も低くなります。 Base Linguistics では、高度な統計モデリングを使用して、各単語を正確に抜き出し、検出することができます。Base Linguistics からのトークン出力データ（分節データ）は、最小限の索引データで、精度の高い、より的確な検索を実現します。

複合語の分解

RBLは、複合語を構成要素に分解し、要素ごとに索引データにすることが可能です。これは複合語が頻出する検索で、極めて有効です。

文の区切り

検索文章の始めと終わりは、句読点の使用が不明瞭であっても自動的に識別されます。

名詞句抽出

特定の名詞、特に固有名詞は、ひとつのエンティティとして出力するのが難しい場合があります。RBLは、名詞とその修飾語句をグループ化することができ ますので、ドキュメント・クラスタリングやコンセプト抽出に有効です。

品詞のタグづけ

基本形出力では、同時に統計モデリングを用いて 品詞を特定します。各トークンには、充実した情報が付与され、的確な検索結果を実現します。

基本形出力

ほとんどの検索エンジンは、単純に単語の最後を切り落として、語幹としています。このような語幹出力では、無駄に再現性（どれだけヒットするか）を高くするだけで、検索精度は低下します。RBLでは、語彙、文脈、および高度な形態素解析を使用して、辞書形式（基本形）を正確に返すことができます。すべての変化形を索引データに取り込まずに済むので、最小限の索引データで、精度の高い検索が実現できます。補助索引データ用に、代替基本形を出力することもできます。

日本語、中国語の読み

日本語テキストの場合はカタカナで、中国語テキストの場合はピンインで、各トークンの読みを返します。

スペック

Online Demo

Cloud

Easy to use

Built for the most demanding text analytics applications and engineered to deliver high accuracy without sacrificing speed, Rosette Cloud is instantly accessible and offers a variety of plans to suit both startups and enterprises. The tokenization and sentences endpoints break your text into word components and sentences, and the morphological analysis endpoint provides POS tagging, lemmatization, decompounding, and Chinese/Japanese readings.

Try base linguistics and the rest of Rosette Cloud’s endpoints, signup today for a 30-day free trial!

Get a Rosette Cloud Key

Quality documentation and support

Customers love our thorough and responsive support team. We also provide in-depth documentation that lists all the features and functions of the various Rosette Cloud endpoints along-side examples in the binding of your choice.

Visit our GitHub for the binding and documentation.

Enterprise ready

Evaluate Rosette’s functional fit with your business and data needs on Rosette Cloud knowing that scalable, customizable, enterprise deployments are available if you need them.

{
  "tokens": [
    "The",
    "fact",
    "is",
    "that",
    "the",
    "geese",
    "just",
    "went",
    "back",
    "to",
    "get",
    "a",
    "rest",
    "and",
    "I",
    "'m",
    "not",
    "banking",
    "on",
    "their",
    "return",
    "soon"
  ],
  "lemmas": [
    "the",
    "fact",
    "be",
    "that",
    "the",
    "goose",
    "just",
    "go",
    "back",
    "to",
    "get",
    "a",
    "rest",
    "and",
    "I",
    "be",
    "not",
    "bank",
    "on",
    "they",
    "return",
    "soon"
  ]
}

Enterprise