IT_tech/ElasticSearch6 logstash 쿼리문에 sp 넣기 Exec sp명; 을 sql 부분에 넣으면 수행이 됩니다. 특수문자 등으로 곤란하다면 sp로 만들어서 넣으시는게 관리면에서도 편리하리라 생각됩니다. 2020. 4. 27. Elk 용량부족 관련오류 Elastic FORBIDDEN 12 index read only allow delete api 403코드 에러가 난다면 디스크 용량 문제입니다 용량이슈를 해결한 후 인덱스 설정에 “index": { "blocks": { "read_only_allow_delete": "false" } 로 지정 해야 적용이 됩니다. 용량이 계속 부족하면 False지정 해도 계속 true로 바뀝니다. 2020. 4. 24. ELK) 로그스태쉬 sql DB연동하기 로그스태시에 dB연동하여 여러 쿼리를 쓸때 쓰는방법입니다. 1. sqljdbc6-6.4.0.jre8.jar 파일을 로그스태시 폴더에 위치 2. jdbc연결정보 ,쿼리, 스케줄(크론탭) 입력.(비밀번호는 평문은 ELK마다 암호화 하는법-키생성 이 있습니다. 필요하신분은 체크하셔서 암호화변수로 사용가능 합니다.) 3. 쿼리 index 구분은 type으로 실행 (7버전 이후는 type이 없어졌다고 들었는데 적용이되네요??) 4. 중복값 방지를 위해 elastic 부분에 document_id를 추가(혹은 마지막값을 쿼리설정에 추적하는방법) - 로그 데이터가 기간을 두고 변동될확률이 있다면 변동값 반영을 위해 그기간만큼 select where절을 잡고 document_id로 pk를 관리하는 방법이 좋습니다. 5... 2019. 9. 18. logstash 시간 gmt-> 한국시간 변경하기 logstash의 경우 기본셋이 gmt 표준시간으로 돼있어서 +9시간을 해줘야 날짜기준 index 생성시간이 한국기준으로 나누어서 정상적으로 생성됩니다. 하루 단위로 데이터 입력을 받을 시 index 단위에 중복데이터의 원인이 되므로 시간세팅을 한국시간으로 하는것이 좋겠습니다. output index 부분에는 timestamp가 아닌 다른 pk변수나 시간변수를 사용하셔도 됩니다. ruby{ code => "event.set('kr_time',event.get(@timestamp').time.localtime('+9:00').strftime(%Y%m%d'))" } //엘라스틱서치 output 시 해당 시간부분 output{ index => "logstash_%{kr_tiime}" } 2019. 6. 12. ELK)logstash DB연동데이터 PK로 지정해 갱신받기 ElasticSearch에서 _id 라는 필드가 데이터중복을 체크하는 부분이 되므로 _id에 logstash로 받는 DB내 PK컬럼을 지정해주면 데이터가 최신데이터로 계속 갱신(덮어쓰기)이 됩니다. 여기서 주의점은,._id에 변수지정해줄때 영문소문자로 변환되서 인식하므로 컬럼명을 소문자로 기입해줘야 한다는 사실..(ELK 고수님들 이유좀 알려주세요~) 세팅코드는 .._ㅆ_다음에 기회되면 정리해보겠습니다 , ( 저에겐 아직너무 어려운 ELK..) 그외 confing파일 내부 keystore 기능이 현재(19년5월) 가장 최신버전은 왜인지 적용이 안되고있습니다.. 살짜쿵 최신 이전버전을 사용하시는게 안정성 등에 더 좋은 것 같아요.. 2019. 5. 22. Elastic Stack (실시간 데이터 분석&시각화) - kibana Elastic Stack은 다양한 데이터 및 형식, 예를 들어 서버로그와 같은 데이터를 실시간으로 시각화하여 표현할수 있는 오픈소스입니다. Beats (예제는 File Beats)데이터 수집 -> Logstash (데이터 수집, 필터, 전송) - ElasticSearch(데이터 저장&분석)-> Kibana (데이터 시각화)의 4단계를 세트로 구성 될 수 있습니다. (간단한 작업의 경우 beats나 logstash를 생략도 가능한 것으로 보입니다) 위 4가지 오픈소스 제품은https://www.elastic.co/kr/products에서 다운로드 받을 수 있습니다. 각 제품별 실행 방법을 설명 드리자면 1. 엘라스틱서치 압축파일 해제 후 elasticsearch-6.1.1\bin\ 폴더내에elasticse.. 2019. 2. 12. 이전 1 다음
