Hello 희희낙락

보통 Excel에서 보기 위해서 Pandas 패키지를 이용하여 데이터 프레임을 to_csv로 저장한다. 하지만 그 양이 엄청 많고 Excel에서 보기 위함이 아니라 컴퓨터에서 읽고/쓰기의 목적이라면,Parquet와 Feather가 용량이 더 적고 빠르다.1. 성능 비교 * 100만행 기준 CSVParquetFeather저장 속도느림빠름매우 빠름로드 속도느림빠름매우 빠름파일 크기매우 큼 중간(압축)큼타입 보존XOO호환성O◐X✓ 호환성 필요? → CSV ✓ 속도 최우선? → Feather ✓ 대용량 + 효율성? → Parquet ✓ 아무거나? → 균형 있게 Parquet2. CSV (Comma-Sqparated Values)# 저장df.to_csv('file.csv', index=False)# 로..

torch를 활용하여 학습에 필요한 오픈소스 이미지 데이터 셋을 사이트에 방문하지 않고 다운하기1. 옥스퍼드-IIIT 펫(Oxford-IIIT Pet) 데이터셋 Visual Geometry Group - University of Oxford www.robots.ox.ac.uk총 이미지 개수는 7,349장카테고리: 총 37종의 개와 고양이 품종 (개 25종, 고양이 12종)클래스당 이미지 수: 각 품종별로 약 200장 내외로 구성Train Set과 Test Set로 나뉘어 제공 2. 가상환경에서 설치들어가기에 앞서, 가상환경에서 작업하면 좋으니 가상환경 만들어서 실행! 가상환경(Virtual Environment) 생성하기/삭제하기/복제하기1. 가상환경 컴퓨터 환경을 여러 개로 분리하는 것1) 가상환경이 ..

1. 추가하기1) append값 추가ls = [1,2,3]ls.append(5)ls #[1,2,3,5]2) insert해당 index에 값 추가ls = [1,2,3]ls.insert(0, 2) #(index, value)ls #[2, 1, 2, 3]3) extendlist에 다른 list 원소값 추가ls = [1,2]ls.extend([3,4]) #list 확장ls #[1,2,3,4]4) +'+'를 이용하여 list에 list 추가ls1 = [1,2,3]ls2 = [4,5,6]ls = ls1 + ls2ls #[1,2,3,4,5,6]2. 삭제하기1) delindex를 기입하여 값 삭제ls = [1,3,5,7,9]del ls[1] #[index]ls #[1,5,7,9]2) popindex를 기입하여 값 삭제..

1. 가상환경 컴퓨터 환경을 여러 개로 분리하는 것1) 가상환경이 필요한 이유라이브러리를 설치하다보면 '버전 충돌'문제가 발생하기 때문.가상환경이 없다면 라이브러리 버전을 매번 설치/삭제를 반복해야하지만 가상환경을 만들면 버전을 다르게 설치 할 수 있음.2) 대표적인 가상환경 도구venv : Python 3.3부터 내장된 기본 도구로 가볍고 별도 설치 필요 없음.Conda : Data Science, Machine Learning 분야에서 주로 사용.Poetry : 의존성 관리와 배포가 편리함.2. venv 가상환경 구축터미널(CMD or VSCode)에서 실행#가상환경 생성python -m venv test_env #현재 폴더에 test_env 라는 이름의 가상환경 생성#가상환경 활성화test_env..

히가시노 게이고 작가의 소설로 영화로도 개봉되어 아주 유명한 작품이다.일반적인 추리소설과 달리 살인사건의 '범인'은 이미 정해져있고, 어떻게 시신을 처리한지와 인물들의 감정과 심리에 초점이 맞춰져있는 독특한 소설로 평가된다. 1. 시놉시스야스코의 전 남편 도미가시는 야스코에게 늘 돈을 요구하며 괴롭혀 왔었고, 야스코는 그를 피해 다녔지만 끊임없는 괴롭힘에 우발적으로 도미가시를 살해하게 된다. 야스코를 짝사랑 중인 이시가미는 그녀를 위해 완전 범죄를 설계하였고, 그의 오랜 친구인 물리학자 유가와가 사건을 추적한다.2. 후기일반적인 추리소설과는 달리 '범인'은 정해져있어서 중후반부까지는 지루할 수 있다. 도미가시를 죽인 야스코가 '범인'이고 그녀를 도와 이시가미가 시체를 처리하기 때문이다. 하지만 이시가미가..

추리 소설 중에서 나름 인지도 있는 해바라기가 피지 않는 여름.저자는 미치오 슈스케로 가장 유명한 책이 "해바라기가 피지 않는 여름"이라고 생각한다.1. 시놉시스N마을에 사는 초등학교 4학년 미치오는 미카라는 여동생과 엄마, 아빠 넷이 살고 있다. 여름 방학을 앞둔 종업식날 미치오는 담임선생님인 이와무라 선생님의 심부름으로 결석한 S의 집을 찾아간다.미치오는 S의 집에서 목을 매고 죽어있는 S의 시체를 발견하게 되고, 떨리는 마음을 부여잡고 학교로 돌아가 이와무라선생님에게 사건의 내용을 털어놓는다. 소식을 들은 이와무라 선생님은 경찰과 함께 S의 집을 찾아가지만 시신은 사라지고 없었다. 미치오는 미카와 함께 수수께끼같은 사건의 진상을 좇기 시작한다.2. 후기시놉시스를 읽고 내용이 궁금하다면 실제 서적을 ..

LogGPT: Log Anomaly Detection via GPT LogGPT: Log Anomaly Detection via GPTDetecting system anomalies based on log data is important for ensuring the security and reliability of computer systems. Recently, deep learning models have been widely used for log anomaly detection. The core idea is to model the log sequences as naturalarxiv.org> OpenSource Code GitHub - nokia/LogGPTContribute to nokia/..

1. Word2Vec - CBOWCBOW에 대한 정의는 아래 게시글 참조 [NLP] Word Embedding자연어처리 공부중입니다. 잘못된 부분은 편히 댓글 부탁드립니다.1. 워드 임베딩이란?단어를 인공신경망 학습을 통해 벡터화하는 하는 것즉 텍스트를 숫자로 변환하는 방법2. 희소 표현(Sparse Rehello-heehee.tistory.com2. CODE1) Gensim Gensim: topic modelling for humansEfficient topic modelling in Pythonradimrehurek.com가장 많이 사용되고 상용화되어있는 Gensim의 Word2Vec이다.from gensim.models import Word2Vecfrom gensim.models.word2vec i..

Experience Report: Deep Learning-based System Log Analysis for Anomaly Detection - 2022.01.11 Experience Report: Deep Learning-based System Log Analysis for Anomaly DetectionLogs have been an imperative resource to ensure the reliability and continuity of many software systems, especially large-scale distributed systems. They faithfully record runtime information to facilitate system troubleshoo..

분산데이터 저장기술분산파일시스템클러스터데이터베이스NoSQL1. 데이터베이스 클러스터하나의 데이터베이스를 여러개의 서버상에 구축하는 것데이터를 통합할 때, 성능과 가용성의 향상을 위해 데이터베이스 차원의 파티셔닝 또틑 클러스터링을 이용데이터베이스 파티셔닝: 데이터베이스를 여러부분으로 분할하는 것을 의미파티션: 분할된 각 요소. 각 파티션은 여러 노드로 분할 배치되어 여러 사용자가 각 노드에서 트랜잭션을 수행할 수 있음1) 효과병렬처리: 파티션 사이의 병렬처리를 통한 빠른 데이터 검색 및 처리 성능을 얻을 수 있음고가용성: 특정 파티션에서 장애가 발생하더라도 서비스가 중단되지 않음성능향상: 성능의 선형적인 증가 효과를 볼 수 있음2) 데이터베이스 클러스터 구분구성형태에 따라 단일서버 내의 파티셔닝/ 다중서버..