Elasticsearchを導入してみた

電氣羊 @ Goldenbridge in Osaka

2020年03月02日

Windows7のサポート終了で余ったPCが出てきたので、CentOSをインストールしてElasticsearchに手を出してみました。

全文検索に向け、ジャブを放ってみます。

# Elasticsearchってなに？

オープンソースの全文検索エンジンです。速いらしいのと、日本語も中国語にも対応している（形態素解析による検索が可能）ということで選びました。

詳しくはElasticsearchにて。

# Elasticsearchのインストール

公式ドキュメントを見ながら、yumでインストールできます。

firewallをいじって、社内LANからのアクセスと9200番ポートを開けておきます。

# 読み込み元のファイルをつくる

Wordからテキストを抽出するで書いたPowerShellスクリプトを微修正して、ファイルパスなどを書き込めるようにします。とりあえず1000ファイルほどを作ってみました。

次にバルクインサートを参考に、JSONライクなファイルにまとめます。

バルクインサート用のファイルは、

命令行　{index: {}}
内容行

を交互に記述するようですので、JSONファイルを一行にしなければいけないのですが、PowerShellのConvertTo-Jsonは-Compressオプションを付けるだけでできて便利。

$files = Get-ChildItem *.json -file
$output = "./indices.json"
foreach($file in $files){
	$content = Get-Content $file -Encoding UTF8 | ConvertFrom-Json
	Write-Output "{'index': {}}" | Add-Content $output -Encoding UTF8
	ConvertTo-Json $content -Compress | Add-Content $output -Encoding UTF8
}