はてなブックマーク

Search and analytics, data ingestion, and visualization – all at your fingertips.

Want to get Elastic certified? Find out when the next Elasticsearch Engineer training is running! Elasticsearch is packed with new features to help you build the best search solutions for your use case. Dive into our sample notebooks to learn more, start a free cloud trial, or try Elastic on your local machine now. Today, we are pleased to announce the general availability of ES|QL (Elasticsearch

さまざまな用途で一般的に使用されるベクトル埋め込みには、いくつかの異なるタイプがあります。以下はその一例です。 単語埋め込みは、個々の単語をベクトルとして表します。Word2Vec、GloVe、FastTextなどの手法は、大規模なテキストコーパスから意味的関係とコンテキスト情報をキャプチャすることで単語の埋め込みを学習します。 文の埋め込みは、文全体をベクトルで表します。Universal Sentence Encoder(USE)やSkipThoughtなどのモデルは、文の全体の意味とコンテキストをキャプチャする埋め込みを生成します。 ドキュメントの埋め込みは、ドキュメント(新聞記事や学術論文から書籍に至るまで)をベクトルとして表します。これらは、ドキュメント全体の意味情報とコンテキストをキャプチャします。Doc2Vecやパラグラフベクトルなどの手法は、ドキュメントの埋め込みを学習する

組織内のドキュメントや製品情報など日々大量に生成される文書の中から必要なものを素早く探し出すことは、日々の業務、あるいは日常生活の中でも非常に重要な作業です。しかし検索対象になるドキュメントが大量に存在する場合、例えコンピューターを使っていたとしても、その場で全てのドキュメントを読み込み直して目的の文書を見つけ出すことは非常に時間がかかる処理になります。そこでElasticsearchのような検索エンジンと呼ばれるソフトウェアが登場しました。検索エンジンを使うと事前に検索インデックスと呼ばれる索引データが作成され、見つけたいドキュメントに含まれるキーワードを使って検索するだけで素早くその目的を達成できます。 しかし、中には探したい情報のイメージはあっても、適切なキーワードを思い出せなかったり、同じ意味でも別の表現で検索してしまったりすることがあります。Elasticsearchでは類義語、

Search and analytics, data ingestion, and visualization – all at your fingertips.

Search and analytics, data ingestion, and visualization – all at your fingertips.

Search and analytics, data ingestion, and visualization – all at your fingertips.

「Elasticsearch」という名称に関連し、ElasticのAmazonに対する商標侵害訴訟が解決に至りましたことをご報告いたします。現在、AWSおよびAWS Marketplaceでサービスとして提供される唯一のElasticsearchが、Elastic Cloudです。 2021年に実施されたElasticsearchおよびKibanaのライセンス変更と、その後Amazonにより実施されたサービスの名称変更を含む行動の結果、本訴訟は解決いたしました。Elasticはこの解決によって市場における混乱が解消され、また、コミュニティとお客様が切望していた明確さがもたらされたと考えています。 現在、1つのElasticsearchだけが存在しており、その提供元はElasticです。つまり、ユーザーがElasticsearchを使用するとき、AWSやAzure、Google Cloudの

Search and analytics, data ingestion, and visualization – all at your fingertips.

キャッシュは、スピーディなデータ取得の王道です。Elasticsearchがさまざまなキャッシュをどのように使用して、データの取得を可能な限り高速化できるようにしているかについてご興味をお持ちなら、15分間だけ気を引き締めてこの記事をお読みください。このブログでは、Elasticsearchのさまざまなキャッシング機能についてスポットを当てます。それらの機能は、最初のデータアクセス後のデータの取得を高速化するのに役立ちます。Elasticsearchはさまざまなキャッシュのヘビーユーザーですが、この記事では次のものに焦点を当てます。 ページキャッシュ(ファイルシステムキャッシュと呼ばれることもあります)シャードレベルリクエストのキャッシュクエリキャッシュこれらの各キャッシュが何を実行しているか、その仕組み、およびどのキャッシュがどのユースケースに最適かについて説明します。また、優れたキャッ

前回の記事、「Automating the installation of Elastic Cloud Enterprise with Ansible(AnsibleでElastic Cloud Enterpriseのインストールを自動化する)」に続いて、本記事ではTerraformでクラウドプロビジョニングの自動化を拡張する方法をご紹介します。前回、Ansibleを使用してAWSの3つのアベイラビリティゾーンにElastic Cloud Enterprise(ECE)をデプロイ、および設定する方法を説明しました。しかしこの方法では、基盤となるEC2インスタンスのプロビジョニングと、セキュリティグループの設定はすべて手動で行う必要がありました。 本記事では、Terraformを使ってメソッドを改良し、EC2インスタンス、およびセキュリティグループのプロビジョニングと設定を自動化する方法を実

Elasticsearch 7.6のリリースで新たに、機械学習推論インジェストプロセッサーと、言語特定機能が加わりました。この機会に、多言語コーパスを検索するいくつかのユースケースや戦略について、またそこで言語特定の機能が果たす役割について、ご紹介したいと思います。以前にもこの領域のトピックについて、いくつかのブログ記事を投稿しました。今回取り上げる事例には、その内容を発展させているものもあります。 背景グローバルな交流が活発になった現在、私たちが扱うドキュメントやその他の情報ソースもさまざまな種類の言語で書かれています。多くの検索アプリにとってこの現象は、問題を提起するものです。適切な分析を行って可能な限り最高の検索エクスペリエンスを提供するには、ドキュメントがどの言語で書かれているか、極力把握しなくてはなりません。そこで"言語特定"の出番です。 言語特定は、そのような多言語コーパスの全

Kubernetesは、コンテナ化したアプリケーションのデプロイ、スケーリング、および管理を行うための、オープンソースのコンテナオーケストレーションシステムですが、昨今はこの分野におけるデファクトスタンダードの地位を確立したかに見えます。Kubernetesによってもたらされた、モノリシックなアプリケーションからマイクロサービスへのシフトは、動的な環境を当たり前のものとして、より素早い展開を可能にした反面、アプリケーションとそれを支えるインフラストラクチャーの監視をより複雑にしています。幸いなことに、Elasticのテクノロジーは、古くはELK Stackと呼ばれた時代から、最近はElastic Observabilityとして、ITインフラやアプリケーションの監視ソリューションとして、幅広く利用されて来ました。Elastic Observablityを利用することで、Kubernetes

安価なオブジェクトストアに格納する検索可能スナップショットに新登場のColdティアを組み合わせ、より多くのデータを保持・検索検索可能スナップショットを使うと、AWS S3やMicrosoft Azure Storage、Google Cloud Storageなど、ローコストオブジェクトストレージに格納されたスナップショットのデータを検索できます。Elasticsearchクラスターのストレージコストと、検索パフォーマンス、データから取得するインサイトの深さを天秤にかけていた従来とは、まったく異なるアプローチが誕生しました。検索可能スナップショットはストレージコストを大幅に減少に引き下げ、また新登場のColdティア機能をサポートします。Coldティアは今回一般公開に移行し、Elastic Cloudでも提供を開始しました。パフォーマンスへの影響を最小限に抑えながら、インフラコストを最大50

Search and analytics, data ingestion, and visualization – all at your fingertips.

Elasticは先日、ブログ記事とFAQを通じ、ライセンス変更に関する発表を行いました。また本日付で、ライセンス変更に関する補足的なガイダンスを公開しました。変更を行う理由を共有したい、という私の想いからです。 これは信じられないほど困難な決断でした。オープンソースに関連したバックグラウンドや経歴を持つ私には、とりわけ難しいものでした。私はElasticの責任を非常に真剣に捉えています。明確化のために、この変更によるElasticユーザーへの影響はゼロである可能性が最も高いことを付記しておきます。Elasticがクラウド、あるいはオンプレミスで提供する有償サービスをご利用のお客様にも、一切の影響はありません。期待を込めて言えば、目標はとても明確です。 なぜ変更するか、その理由はAWSとAmazon Elasticsearch Serviceです。彼らは2015年以来、私たちがどう考えても"

Search and analytics, data ingestion, and visualization – all at your fingertips.

ElasticsearchとKibanaのライセンス変更予定についてElasticsearchおよびKibanaは、Apache 2.0ライセンスソースコードからServer Side Public License(SSPL)とElastic Licenseのデュアルライセンスに移行します。今後、ユーザーは適用するライセンスを選択することが可能になります。このライセンスの変更は、Elasticのコミュニティとお客様に対し、使用、修正、再配布、コラボレーションを目的としたコードへの無料かつオープンなアクセスを確保します。またこの変更は、クラウドサービスプロバイダーがいかなる還元も行わずサービスとしてのElasticsearchおよびKibanaを提供する行為を禁止することにより、Elasticが無料かつオープンに配布する製品の開発に対して行う継続的な投資を保護するものです。ライセンス変更は、

Elastic Cloudを使用すると、柔軟なマネージドおよびサーバーレスのオプションで、Search、Observability、Securityを簡単に立ち上げてスケールできます。ソリューションと導入を比較して、最適なものを見つけてください。

全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは? Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書(ファイル)から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検

サジェストは、優れた検索エクスペリエンスにおける重要な要素です。一方で、この機能は一部の言語では実装が難しい場合があり、日本語もそのような言語の1つです。このブログでは、日本語のサジェスト機能を実装する際の課題と、Elasticsearchを使用してこれらの課題を克服する方法をご紹介します。 日本語のサジェストの特徴次の図にはGoogleの日本語サジェスト候補を表示しています。この例では、キーワードは「日本」です。 日本語のサジェスト機能の実装が英語よりも困難であることには、いくつかの要因があります。 単語の区切りがわかりにくいサジェストの機能を実装するには、単語を分割するためのアナライザーが必要です。英語を含む大半のヨーロッパ言語では、単語がホワイトスペースで区切られるため、容易に文章を単語に分割できます。しかし、日本語では個々の単語をホワイトスペースで分割することはありません。そのため

Search and analytics, data ingestion, and visualization – all at your fingertips.

POST items/doc/_bulk {"index":{}} {"arrival_date":"2018年12月02日","name":"Tsugaru Apple","origin":{"prefecture":"Aomori","location":"40.82,140.73"},"price":310,"promotion":2} {"index":{}} {"arrival_date":"2018年11月29日","name":"Shinano Apple","origin":{"prefecture":"Nagano","location":"36.65,138.17"},"price":280,"promotion":10} {"index":{}} {"arrival_date":"2018年12月04日","name":"Fuji Apple","origin":{"pre

Elasticはオープンソースの力を信じており、コミュニティの重要性を理解しています。コミュニティを最優先することで、可能な限りすぐれたプロダクトを生み出し、ユーザーに届けることができます。Elasticセキュリティが掲げる2つのコア目標は、脅威を大規模に停止させること、そしてすべてのアナリストに武器を供給することです。本日Elasticは、新しいGitHubレポジトリ、elastic/detection-rulesを開設しました。セキュリティコミュニティと共に作業し、より大規模な脅威を停止するためのレポジトリです。 Elasticセキュリティによる検知エンジンのリリースで、Elastic Stackに自動の脅威検知機能が搭載されるようになりました。初回のリリース以降、Elasticセキュリティインテリジェンス&分析チームは50以上のルールを検知エンジンに追加し、Linux、macOS、W

Search and analytics, data ingestion, and visualization – all at your fingertips.

通信データ処理の中核プロセスにオブザーバビリティ戦略を適用すると、事業者は以前回答できなかった問いに答えられるようになります。このアプローチが知られるようになり、Elastic Stackは通信分野にますます普及しています。ドイツテレコム社も例外ではありません。同社はハンス=コンラッド・ロス氏のリーダーシップの下にデジタルトランスフォーメーションを進めており、社内トラフィック監視のソリューションとしてElasticを採用しました。 Elastic Stackで音声トラフィックデータを監視するElasticsearchで作動するElastic Stackは、3つの情報処理の階層すべてに対応します。最初の階層はIngestパイプライン(Elastic Endpoint Security、Beats、Logstash)です。ユーザーはIngestパイプラインを使い、あらゆるソースからすばやくデー

Elastic Cloudコンソールを使えば、デプロイの作成・管理から、請求情報の閲覧、最新リリースの確認まで1か所で行うことができます。Elastic Cloudコンソールは、一般的な管理操作や管理者のタスクを簡単に、直感的に行うことができるユーザーインターフェースです。 管理用のUIは非常に便利ですが、一方で、一般的なタスクやワークフローをAPIで自動化したいというニーズは多くの組織に存在します。とりわけ、デプロイを管理するタスクの自動化には、大きなニーズがあります。この度Elasticは、このような自動化ワークフローを可能にする"Elasticsearch Service API"を一般公開しました。 このAPIは直接統合されていることに加えて、新たにElasticsearch Service APIもサポートするようになったElastic Cloudのコマンドラインインターフェース

業務はますます高速化し、かつてないほど分散して実施されるようになりました。いま、資産となるコンテンツが幅広い共同作業用ツールで、リアルタイムに生成されています。Elastic Workplace Searchはシンプルかつパワフルな発想に根ざして開発されています。つまり、組織のチームが日々使用するアプリケーションすべてに散らばった知識を横断して検索する一元的な方法を構築し、数時間から数日程度で大規模にデプロイしようというアイデアです。たとえるなら、"あちこちで乱雑に増えてゆく情報を、禅の精神で新鮮に見直す"、そんなプロダクトです。関連性が高く、パーソナライズされた、情報検索の一元的なエクスペリエンスを提供します。 今すぐ立ち上げることも、Elastic Workplace Search導入ウェビナーにご登録いただくこともできます。 バーチャルな作業空間への入口 Elastic Workpl