Hello 희희낙락

히가시노 게이고 작가의 소설로 영화로도 개봉되어 아주 유명한 작품이다.일반적인 추리소설과 달리 살인사건의 '범인'은 이미 정해져있고, 어떻게 시신을 처리한지와 인물들의 감정과 심리에 초점이 맞춰져있는 독특한 소설로 평가된다. 1. 시놉시스야스코의 전 남편 도미가시는 야스코에게 늘 돈을 요구하며 괴롭혀 왔었고, 야스코는 그를 피해 다녔지만 끊임없는 괴롭힘에 우발적으로 도미가시를 살해하게 된다. 야스코를 짝사랑 중인 이시가미는 그녀를 위해 완전 범죄를 설계하였고, 그의 오랜 친구인 물리학자 유가와가 사건을 추적한다.2. 후기일반적인 추리소설과는 달리 '범인'은 정해져있어서 중후반부까지는 지루할 수 있다. 도미가시를 죽인 야스코가 '범인'이고 그녀를 도와 이시가미가 시체를 처리하기 때문이다. 하지만 이시가미가..

추리 소설 중에서 나름 인지도 있는 해바라기가 피지 않는 여름.저자는 미치오 슈스케로 가장 유명한 책이 "해바라기가 피지 않는 여름"이라고 생각한다.1. 시놉시스N마을에 시는 초등학교 4학년 미치오는 미카라는 여동생과 엄마, 아빠 넷이 살고 있다. 여름 방학을 앞둔 종업식날 미치오는 담임선생님인 이와무라 선생님의 심부름으로 결석한 S의 집을 찾아간다.미치오는 S의 집에서 목을 매고 죽어있는 S의 시체를 발견하게 되고, 떨리는 마음을 부여잡고 학교로 돌아가 이와무라선생님에게 사건의 내용을 털어놓는다. 소식을 들은 이와무라 선생님은 경찰과 함께 S의 집을 찾아가지만 시신은 사라지고 없었다. 미치오는 미카와 함께 수수께끼같은 사건의 진상을 좇기 시작한다.2. 후기시놉시스를 읽고 내용이 궁금하다면 실제 서적을 ..

LogGPT: Log Anomaly Detection via GPT LogGPT: Log Anomaly Detection via GPTDetecting system anomalies based on log data is important for ensuring the security and reliability of computer systems. Recently, deep learning models have been widely used for log anomaly detection. The core idea is to model the log sequences as naturalarxiv.org> OpenSource Code GitHub - nokia/LogGPTContribute to nokia/..

1. Word2Vec - CBOWCBOW에 대한 정의는 아래 게시글 참조 [NLP] Word Embedding자연어처리 공부중입니다. 잘못된 부분은 편히 댓글 부탁드립니다.1. 워드 임베딩이란?단어를 인공신경망 학습을 통해 벡터화하는 하는 것즉 텍스트를 숫자로 변환하는 방법2. 희소 표현(Sparse Rehello-heehee.tistory.com2. CODE1) Gensim Gensim: topic modelling for humansEfficient topic modelling in Pythonradimrehurek.com가장 많이 사용되고 상용화되어있는 Gensim의 Word2Vec이다.from gensim.models import Word2Vecfrom gensim.models.word2vec i..

Experience Report: Deep Learning-based System Log Analysis for Anomaly Detection - 2022.01.11 Experience Report: Deep Learning-based System Log Analysis for Anomaly DetectionLogs have been an imperative resource to ensure the reliability and continuity of many software systems, especially large-scale distributed systems. They faithfully record runtime information to facilitate system troubleshoo..

분산데이터 저장기술분산파일시스템클러스터데이터베이스NoSQL1. 데이터베이스 클러스터하나의 데이터베이스를 여러개의 서버상에 구축하는 것데이터를 통합할 때, 성능과 가용성의 향상을 위해 데이터베이스 차원의 파티셔닝 또틑 클러스터링을 이용데이터베이스 파티셔닝: 데이터베이스를 여러부분으로 분할하는 것을 의미파티션: 분할된 각 요소. 각 파티션은 여러 노드로 분할 배치되어 여러 사용자가 각 노드에서 트랜잭션을 수행할 수 있음1) 효과병렬처리: 파티션 사이의 병렬처리를 통한 빠른 데이터 검색 및 처리 성능을 얻을 수 있음고가용성: 특정 파티션에서 장애가 발생하더라도 서비스가 중단되지 않음성능향상: 성능의 선형적인 증가 효과를 볼 수 있음2) 데이터베이스 클러스터 구분구성형태에 따라 단일서버 내의 파티셔닝/ 다중서버..

분산데이터 저장기술분산파일시스템클러스터데이터베이스NoSQL 1. 구글파일시스템(GFS, Google FIle System)파일을 고정된 크기(64mb)의 chunk들로 나누고, 각 chunk에 대한 여러 개의 복제본과 chunk를 청크서버에 분산 및 저장chunk는 마스터에 의해 생성/삭제 될 수 있으며, 유일한 식별자에 의해 구별됨1) GFS 설계의 가정저가형 서버로 구성된 환경으로 서버의 고장이 빈번히 발생 할 수 있다고 가정대부분 파일은 대용량이라고 가정하고 효과적으로 관리할 수 있는 방법 요구됨파일에 대한 쓰기 연산은 주로 순차적으로 이루어짐낮은 응답지연시간보다 높은 처리율이 더 중요2) GFS의 구성요소Client파일에 대한 읽기/쓰기 동작을 요청하는 애플리케이션파일 시스템 인터페이스와 유사한 ..

1. Drain3자연어로 이루어진 데이터들의 Template을 자동적으로 만들어주는 라이브러리# 라이브러리 설치pip install drain32. CODEGithub GitHub - logpai/Drain3: A robust streaming log template miner based on the Drain algorithmA robust streaming log template miner based on the Drain algorithm - logpai/Drain3github.comexamples 폴더의 drain3.ini와 drain_bigfile_demo.py, drain_stdin_demo.py만 봐도 기본적인 drain3가 사용가능위를 바탕으로 아래에 코드 재 정리1) LogTemplate..

1. 데이터 처리 기법 비교 구분전통적 데이터 처리 기법빅데이터 처리 기법비고추출∙ 운영DB(Operational Database)   → ODS∙ ODS → 데이터웨어하우스∙ 빅데이터 환경 → 빅데이터환경특정 소스에서 타깃으로 데이터를 옮긴다는 측면은 동일변환OO 로딩OO시각화XO시각화를 통해 대용량 데이터에서 통찰력(Insight)을 획득하고자 하는 시도는 빅데이터 고유한 특성분석∙ OLAP∙  통계(Statistics)와 데이터마이닝 기술∙ 통계와 데이터마이닝 기술각종 통계 도구/기법과 데이터마이닝의 분석 모델 설계/운영/개선 기법의 적용은 유사리포팅비즈니스 인텔리전스비즈니스 인텔리전스 인프라스트럭처∙  SQL∙  전통적 RDBS 인스턴스(HA포함)∙ NoSQL등∙ 초대형분산(Redundant)  ..

1. ETL(Extraction, Transformation and Load)1) ETL 정의 및 특징데이터의 이동 및 변환 절차와 관련된 업계 표준 용어데이터를 추출 및 변환하여 운영 데이터 스토어(ODS, Operational Data Stor), 데이터웨어하우스(DW, Data Warehouse), 데이터마트(DM, Data Mart) 등에 데이터를 적재하는 작업의 핵심 구성요소데이터 통합(Data Integration), 데이터 이동(Data Migration), 마스터 데이터 관리(MDM, Master Data Management)에 걸쳐 폭 넓게 활용되며 데이터 이동과 변환을 주목적으로 함대용량 데이터를 처리하기 위한 MPP(Massicely Parallel Processing)를 지원할 수 ..