ホワイトペーパー: 概念と意味による言語横断検索


1つのクエリーで様々な言語の文書を一度に検索させる言語横断検索は、最近まで機械翻訳ベースのアプローチが一般的でした。本ホワイトペーパーでは、別のアプローチとして、テキスト埋め込み(言葉の意味をベクトルに変換する自然言語処理技術)を応用した方法について論じています。

パート1でこれら2つのアプローチを比較した後、パート2で意味ベースの言語横断検索の実装について説明し、システム運用上の課題を検討します。また、人名、地名など特殊なクエリーの言語横断検索についても考察します。

ホワイトペーパーのダウンロード(英語)


White Paper: Cross-Lingual Search Based on Concepts and Meaning


We’ve recently released this whitepaper which explores a new way to solve cross-lingual semantic search. Rather than use machine translation to translate queries or search records, this approach delivers better accuracy based on semantics, not translation. Semantic search (aka, concept search) goes beyond finding keywords, to retrieving ideas suggested by the keywords.

In part 1 we will compare the traditional translation-based approach with a newer approach using text embeddings — a natural language processing technology that encodes the meaning of words as mathematical vectors.

In part 2 we will look at implementing semantic search via:

  • How to retrofit an existing keyword search engine to add cross-lingual and fuzzy search
  • Ways to overcome issues of speed and searching very large data sets
  • A specific use case: targeted topic and event extraction
  • The special case of cross-lingual name matching

Download the whitepaper now