목차
1. 인덱스 설정
인덱스 설정
GET [인덱스 이름]/_settings
Bash
복사
•
number_of_shard
◦
인덱스가 데이터를 몇 개의 샤드로 분리할 지 지정
◦
reindex를 하지 않는한 바꿀 수 없다.
•
number_of_replicar
◦
샤드 하나당 복제본 샤드의 갯수 지정
◦
변경이 가능하다.
PUT [인덱스 이름]/_settings
{
[변경 사항]
}
Bash
복사
PUT my_index/_settings
{
"index.number_of_replicas":0
}
Bash
복사
refresh_interval
•
ES refresh 수행 주기
•
-1로 지정하면 주기적으로 수행하지 않는다.
•
null로 업데이트해서 설정 전으로 되돌릴 수 있다.
PUT my_index/_settings
{
"index.refresh_interval": "1s" # 1초마다 refresh를 하겠다는 의미
}
Bash
복사
index.search.idle.after
•
마지막 쿼리 수행 이후 해당 설정 시간이 지나면 새로운 쿼리 요청이 오기전까지 refresh를 수행하지 않는다.
인덱스 생성
•
설정값 없이 인덱스를 생성하면 모두 기본값으로 지정되는데, 프로덕션 환경에선 적절하지 않다.
PUT [인덱스 이름]
{
"settings": {
[인덱스 설정]
}
}
Bash
복사
PUT my_index2
{
"settings": {
"number_of_shards": 2,
"number_of_replicas": 2
}
}
Bash
복사
•
number_of_shard와 replicas 정보가 의도한대로 2로 설정되어 있다.
GET my_index2 결과
매핑과 필드 타입
매핑
•
바로 위 GET my_index2 의 결과 중 mappings라는 key가 보인다.
•
매핑(mapping)은 문서가 인덱스에 어떻게 색인되고 저장되는지를 정의하는 부분이다.
•
JSON 문서의 각 필드를 어떤 방식으로 분석하고 색인할지, 어떤 타입으로 저장할지 지정한다.
•
다음 샘플 데이터를 입력 후 mappings를 확인해보자.
PUT my_index2/_doc/1
{
"title":"hello world",
"views": 1234,
"public": true,
"point":4.5,
"created": "2019-01-17T14:05:01:234Z"
}
GET my_index2
Bash
복사
: 각 필드에 타입과 관련된 정보가 생성되었다.
ES는 새로운 필드가 들어오면 자동으로 문서의 내용을 보고 타입 추론 후 매핑 정보를 생성한다.
이렇게 ES가 자동으로 생성해주는 매핑을 동적 매핑(dynamic mapping) 이라 부른다.
당연히, 반대로 사용자가 직접 지정하는 방법을 명시적 매핑(explicit mapping)이라 부른다.
"mappings": {
"properties": {
"created": {
"type": "text",
"fields": {
"keyword": {
"type": "keyword",
"ignore_above": 256
}
}
},
"point": {
"type": "float"
},
"public": {
"type": "boolean"
},
"title": {
"type": "text",
"fields": {
"keyword": {
//멀티 매핑
"type": "keyword",
"ignore_above": 256
}
}
},
"views": {
"type": "long"
}
}
}
Bash
복사
운영 환경에서는 명시적 매핑을 사용하자.
•
대부분의 설정은 한 번 지정되면 사실상 변경이 불가능하다.
•
운영 환경에서 대용량 데이터 처리시에는 기본적으로 명시적 매핑을 사용하자.
PUT mapping_test
{
"mappings": {
"properties": {
"createdDate": {
"type": "date",
"format": "strict_date_time || epoch_millis"
},
"keywordString" :{
"type": "keyword"
},
"textString":{
"type": "text"
}
}
},
"settings": {
"number_of_replicas": 1,
"number_of_shards": 1
}
}
# 매핑정보 추가하기
PUT mapping_test/_mapping
{
"properties":{
"longValue": {
"type":"long"
}
}
}
Bash
복사
필드 타입
•
심플 타입
◦
직관적인 데이터 자료형
◦
숫자형(long, integer, short, float, ..)
◦
date형
▪
format이라는 옵션으로 데이터 형식을 지정할 수 있다.
▪
Ex: strict_date_time || epoch_second
▪
날짜 비교 검색시 ES에서는 어떤 형식으로 들어오더라도 내부적으로 UTC 시간대로 변환하여 epoch milliseconds 형식의 long 숫자로 색인한다.
◦
배열은 별도의 타입은 없고 대괄호[ ] 를 이용하면 된다.
•
계층 구조를 지원하는 타입
◦
필드 하위에 다른 필드가 들어가는 계층 구조 데이터 타입
◦
object
▪
JSON 문서는 필드로 또 다른 객체를 가질 수 있다.
▪
계층 구조에 대한 매핑 정보는 계층적으로 나타난다.
put object_test/_doc/1
{
"price": 2770.75,
"spec": {
"cores":12,
"memory":128,
"storage":8000
}
}
get object_test
###################
"mappings": {
"properties": {
"price": {
"type": "float"
},
"spec": {
"properties": {
"cores": {
"type": "long"
},
"memory": {
"type": "long"
},
"storage": {
"type": "long"
}
}
}
}
}
Bash
복사
◦
하위의 계층화된 속성정보는 평탄화된 키-값으로 색인한다.
{
"price": 2770.75,
"spec.cores": 12,
"spec.memory": 128,
"spec.storage": 8000
}
Bash
복사
◦
계층화된 구조가 배열타입일 경우에는 다음과 같이 색인된다.
put object_test/_doc/2
{
"spec":[
{
"cores":12,
"memory":128,
"storage":8000
},
{
"cores":6,
"memory":64,
"storage":8000
},
{
"cores":6,
"memory":32,
"storage":4000
}
]
}
# 다음과 같이 평탄화되어 색인된다.
{
"spec.cores": [12, 6, 6]
"spec.memory": [128, 64, 32]
"spec.storage": [8000, 8000, 4000]
}
Bash
복사
◦
nested
▪
object 타입과 비슷하지만 배열 내 각 객체를 독립적으로 취급한다.
▪
다른 필드 복합 조건이 object가 or조건에 가깝다면 nested는 and조건에 가깝다.
타입 | object | nested |
용도 | 일반적인 계층 구조 | 배열 내 각 객체를 독립적으로 취급해야 하는 상황 |
성능 | 상대적으로 가볍다 | 상대적으로 무겁다 |
검색 | 일반적인 쿼리 사용 | 전용 nested 쿼리로 감싸서 사용 |
•
text 타입과 keyword 타입
text 타입과 keyword타입의 역색인 과정
◦
둘 다 문자열 필드 타입이다.
◦
text
▪
애널라이저를 통해 값을 분석 후 토크나이징 한 뒤 역색인이 된다. (term)
▪
전문 검색에 적합하다.
▪
fielddata 캐시를 사용한다.
◦
keyword
▪
노멀라이저를 통해 간단한 전처리 후 전체 키워드를 역색인한다.
▪
일치 검색에 적합하다.
▪
doc_values 캐시를 사용한다.
참고: doc_value와 fielddata
•
doc_values
◦
디스크 기반 자료구조로 파일 시스템 캐시를 통해 정렬,집계,스크립트 작업을 수행할 수 있도록 지원한다.
◦
text, annotion_text를 제외한 대부분의 필드는 doc_values를 지원한다.
◦
정렬등의 작업을 할 일이 없는 필드는 doc_values를 끌 수 있다. (속성을 false로 )
•
fielddata
◦
fielddata는 정렬, 집계, 스크립트 작업 수행 시 역색인 전체를 읽어 힙 메모리에 올리는데, 이는 OOM등의 문제 발생 가능성이 있다. 그렇기에 기본적으로는 비활성화(false) 상태이다.
◦
text는 정렬, 집계, 스크립트 작업이 필요할 경우 fielddata라는 캐시를 이용한다.
◦
어지간해선 활성화시키지 말자
_source
•
문서 색인 시점에 ES에 전달된 원본 JSON 문서를 저장하는 메타데이터 필드
•
_source 필드 자체는 역색인 대상이 아니라 검색 대상이 되진 않는다.
•
비활성화 할 경우 재인덱싱이나 업데이트등을 사용할 수 없으니 활성화 해두자.
•
디스크 공간이 절약해야만 한다면 이 설정을 비활성화 하기보단 인덱스 데이터 압축률을 높히자.
PUT codec_text
{
"settings": {
"index": {
"codec": "best_compression" # default(LZ4), best_compression(DEFLATE)
}
}
}
Bash
복사
index
•
해당 필드의 역색인을 만들 것인지 지정할 수 있다.
•
ES 8.1부터는 설정을 false로 설정해도 doc_value를 통해 검색이 수행될 수 있다.
◦
성능은 떨어지지만 디스크 공간을 절약한다.
•
설계 시점에 검색 대상이 될 가능성이 없거나 어쩌다 한번씩만 검색되는 필드는 index를 false로 하는 것도 고려할 수 있다.
put mapping_test/_mapping
{
"properties": {
"notSearchableText": {
"type":"text",
"index": false
},
"docValuesSearchableText": {
"type": "keyword",
"index": false
}
}
}
put mapping_test/_doc/4
{
"textString": "Hello, World!",
"notSearchableText": "World, Hello!",
"docValuesSearchableText": "hello"
}
get mapping_test/_search
{
"query": {
"match": {
"docValuesSearchableText": "hello"
}
}
}
Bash
복사
•
검색 필드를 notSearchableText로 하면 검색되지 않는 걸 볼 수 있는데 notSearchableText는 text 필드이기 때문에 doc_values를 사용하지 않기 때문이다.
•
docValuesSearchableText은 index가 꺼져있어도 doc_values설정을 통해 검색할 수 있었다.
enabled
•
object 타입 필드에만 적용된다.
•
false로 지정된 필드는 ES에서 파싱수행도 하지 않는다. 즉 _source 외에는 저장되는 곳이 없다.
•
역색인이 되지 않았기 때문에 검색도 불가능하고 정렬이나 집계도 안된다.
•
여러 타입이 혼용되는 배열도 enabled가 false면 유효성 체크를 하지 않아 저장할 수 있다.
•
데이터를 _source에서만 확인만 하면 되는 필드가 있다면 false로 설정하는 것을 고려할 수 있다.
애널라이저와 토크나이저
•
text 타입의 데이터는 애널라이저를 통해 여러 텀(term)으로 쪼개져서 색인된다.
애널라이저
•
애널라이저는
◦
0개 이상의 캐릭터 필터
▪
문자열 변형
◦
1개의 토크나이저
▪
변형된 문자열 분리
◦
0개 이상의 토큰 필터로 구성된다.
▪
분리된 토큰에 추가 변형작업 수행
◦
위 과정들을 마치면 분석 완료된 텀(term)이 완성된다.
◦
_analyze 를 통해 어떻게 분석되는지 확인 가능하다.
post _analyze
{
"analyzer": "standard",
"text": "Hello, HELLO, World!"
}
Bash
복사
애널라이저 - 캐릭터 필터
•
텍스트를 캐릭터의 스트림으로 받아 데이터를 추가,변경,삭제한다.
•
빌트인 캐릭터 필터는 다음과 같이 존재한다.
◦
HTML strip: <b>와 같은 요소 안쪽 데이터를 꺼내고, HTML 엔티티 디코딩도 한다.
◦
mapping: 치환할 대상 문자와 치환문자를 맵 형태로 보관한다.
◦
pattern replace: 정규 표현식을 이용해 문자를 치환한다.
애널라이저 - 토크나이저
•
1개의 토크나이저만 지정할 수 있다.
•
standard
◦
기본적인 토크나이저로 Unicode Text Segmentation 알고리즘을 사용하여 텍스트를 단어 단위로 나눈다.
◦
대부분의 문장 부호가 사라진다.
•
keyword
◦
들어온 텍스트를 쪼개지않고 그대로 내보낸다.
•
ngram
◦
min_gram 값 이상 max_gram 값 이하 단위로 쪼갠다.
◦
min_gram : 2 max_gram: 3 으로 설정하고 hello를 토크나이징할 경우
▪
he, hel, el, ell, ll, llo로 토크나이징 된다.
◦
무의미한 공백 문자도 token_chars 속성으로 토큰에 포함시킬 타입의 문자 지정 가능
▪
Letter : 언어의 글자로 분류되는 문자
▪
Digit : 숫자로 분류되는 문자
▪
whitespace : 띄어쓰기나 줄바꿈
▪
punchuation : !나 “같은 문장 부호
▪
symbol : $나 ⎇같은 기호
▪
custom : custom_token_chars 설정을 통해 따로 지정한 커스텀 문자
◦
우선적으로 token_chars 지정되지 않은 문자를 기준으로 토크나이징을 한 뒤 속성에 따라 단어를 토크나이징 한다.
◦
RDB의 Like 유사검색과 유사하게 검색을 구현하고 싶을 때 활용한다.
◦
min_gram과 max_gram의 값 차이는 index.max_ngram_diff으로 제한을 설정할 수 있다.
•
edge_ngrma
◦
ngram과 유사하지만 토큰의 시작 글자를 단어의 시작글자로 고정시킨다.
◦
Hello, World를 토크나이징 할 경우 Hel, Hell, Wor, Worl으로 토크나이징된다.
애널라이저 - 토큰 필터
•
토크나이저를 통해 만들어진 토큰 스트림을 받아 토큰에 대한 후처리를 한다. (추가,변경,삭제)
•
내장 토큰은 다음과 같이 존재한다.
◦
lowercase / uppercase : 토큰을 대/소문자로 만든다.
◦
stop: 불용어를 지정해 제거할 수 있다. (ex: the, a, an, in등)
◦
synonym: 유의어 사전 파일을 지정해 지정된 유의어를 치환한다.
◦
pattern_replace: 정규식을 사용해 토큰의 내용을 치환한다.
◦
stemmer : 지원되는 몇몇 언어의 어간 추출 수행(not korean)
◦
trim: 토큰 전후 공백 제거
◦
truncate: 지정한 길이로 토큰을 자른다.
내장 애널라이저
•
필터와 토크나이저를 조합해둔 내장 애널라이저가 몇 가지 존재한다.
•
standard(default)
◦
standard 토크나이저 + lowercase 토큰 필터
•
simple
◦
letter가 아닌 문자 단위로 토크나이징 후 lowercase 토큰 필터 적용
•
whitespace
◦
whitespace 토크나이저로 구성
•
stop
◦
standard 애널라이저 + stop 토큰 필터
•
keyword
◦
keyword 토크나이저로 구성되어 있다.
◦
분석을 하지 않고 하나의 큰 토큰을 그대로 반환한다.
•
pattern
◦
pattern 토크나이저 + lowercase 토큰 필터
•
language
◦
여러 언어의 분석 지원( 한국어는 지원하지 않는다.)
•
fingerprint
◦
standard 토크나이저
◦
+ lowercase 토큰필터
◦
+ ASCII folding 토큰필터
◦
+ stop 토큰필터
◦
+ fingerprint 토큰필터
애널라이저를 매핑에 적용
•
전체적인 default analyzer 설정과, 타입별 analyzer 지정이 가능하다.
put analyzer_test
{
"settings": {
"analysis": {
"analyzer": {
"default": {
"type": <애널라이저 타입>
}
}
}
},
"mappings": {
"properties": {
"defaultText": {
"type": "text"
},
"standardText": {
"type": "text",
"analyzer": <애널라이저 타입>
}
}
}
}
Bash
복사
•
커스텀 애널라이저를 직접 매핑할수도 있다.
put analyzer_test2
{
"settings": {
"analysis": {
"char_filter": {
"my_char_filter": {
"type": "mapping",
"mappings": [
"i. => 1.",
"ii. => 2.",
"iii. => 3.",
"iv. => 4."
]
}
},
"analyzer": {
"my_analyzer": {
"char_filter": [ "my_char_filter" ],
"tokenizer": "whitespace",
"filter": ["lowercase"]
}
}
}
},
"mappings": {
"properties": {
"myText": {
"type":"text",
"analyzer":"my_analyzer"
}
}
}
}
Bash
복사
참고: 한국어 형태소 분석 애널라이저 플러그인
•
공식적으로 ES에서 한국어 형태소 분석을 지원하진 않지만, nori라는 플러그인을 통해 분석할 수 있다.
•
설치 방법
elasticsearch-plugin install [플러그인 이름]
#elasticsearch-plugin install anaysis-nori
Bash
복사
◦
이후 analyzer 속성의 값을 nori로 지정해서 분석하면 된다.
템플릿
•
인덱스 설정, 매핑, 애널라이저같은 설정들을 템플릿화해서 반복작업을 없앨 수 있다.
인덱스 템플릿
PUT _index_template/my_template
{
"index_patterns": [
"pattern_test_index-*",
"another_pattern-*"
],
"priority": 1,
"template": {
"settings" : {
"number_of_shards": 2,
"number_of_replicas": 2
},
"mappings": {
"properties": {
"myTextField": {
"type": "text"
}
}
}
}
}
Bash
복사
•
index_pattern
◦
해당 템플릿을 지정할 인덱스의 네이밍 패턴을 지정한다. priority를 통해 여러 템플릿 중 우선순위 조정도 가능하다.
컴포넌트 템플릿
•
인덱스 템플릿에서 중복되는 블록을 쪼개어 재사용할 수 있게 만들어둔 템플릿
PUT _component_template/my_shard_settings
{
"template": {
"settings": {
"number_of_shards": 2,
"number_of_replicas": 2
}
}
}
PUT _index_template/my_template2
{
"index_patterns": ["timestamp_index-*"],
"composed_of": ["timestamp_mappings", "my_shard_settings"]
}
Bash
복사
라우팅
•
ES에서 인덱스를 구성하는 샤드 중 몇 번 샤드를 대상으로 작업할지 지정하기 위해 사용하는 값
•
작업 대상 샤드 번호는 지정된 라우팅 값을 해시한 후 주 샤드의 개수로 나머지 연산을 수행한 값이 된다.
•
라우팅 값을 지정하지 않으면 _id 값이 기본값이 된다.
•
검색 시(_search) 라우팅 값을 queryString에 작성하면 해당 샤드를 대상으로 검색한다.
put routing_test
{
"settings": {
"number_of_shards":5,
"number_of_replicas":1
}
}
put routing_test/_doc/1?routing=myid
{
"login_id":"myid",
"comment": "hello world",
"created_at": "2020-09-08T22:14:09.123Z"
}
get routing_test/_search?routing=myid
Bash
복사
routing 값 지정 하지 않은 경우
routing 값을 지정한 경우
•
운영 환경에서 라우팅 값을 지정해주는게 성능부분에서 크게 도움이 된다.
◦
Ex: 게시판에서 사용자별 댓글을 색인하고자 할때 사용자의 아이디로 라우팅 값을 지정하면 사용자별 댓글을 조회할 때 검색 성능을 끌어올릴 수 있다.
라우팅 필수 지정 설정
•
라우팅값을 설정하는 것이 선택적(Optional)이 아닌 필수적(required)으로 정책을 통일하고 싶다면 mappings._routing.required 속성 설정을 통해 라우팅 값 명시를 필수로 설정할 수 있다.
PUT routing_test2
{
"mappings": {
"_routing": {
"required": true
}
}
}
PUT routing_test2/_doc/1
{
"comment": "index without routing"
}
Bash
복사
라우팅 값 없이 저장 결과
정리
◦
ES에서 인덱스는 상세설정이 가능한만큼 설정에 주의가 필요하다.
◦
number_of_shard를 통해 인덱스가 몇 개의 샤드로 분리할 지 지정한다.
◦
number_of_replicas를 통해 샤드의 복제본 수를 지정한다.
◦
refresh_interval속성으로 refresh 주기를 정할 수 있다.
◦
인덱스는 자동보단 수동으로 직접 설계해주자
◦
운영 환경에서는 명시적 매핑(explicit mapping)을 사용해주자.
◦
text 타입은 애널라이저를 통해 여러 term으로 쪼개져서 색인된다.
◦
애널라이저는 캐릭터 필터, 토크나이저, 토큰 필터로 구성되어 있다.
◦
한국어는 nori라는 애널라이저 플러그인을 통해 형태소 분석을 할 수 있다.
◦
애널라이저나 인덱스 설정들을 템플릿화 할 수 있다.
◦
템플릿의 중복되는 블록을 분리해 컴포넌트화 할 수 있다.
◦
라우팅 값을 지정해서 검색할 대상 샤드를 좁힐 수 있다.
◦
required속성을 통해 라우팅 지정 정책을 강제할 수 있다.
