개념정리

머신러닝, 딥러닝, 소프트웨어의 핵심 개념을 정리한 글.

머신러닝, 딥러닝, 소프트웨어의 핵심 개념을 정리한 글.

64 posts · 아카이브에서 필터로 보기

[가이드] RAG 평가지표 입문: RAGAS·TruLens·DeepEval로 검색과 답변 나누어 보기

RAG는 자료를 보고 답하는 AI입니다 사내 챗봇에 “연간 교육비 한도는 얼마이고, 신청 전에 누구의 승인을 받아야 하나요?”라고 물었다고 생각해 보겠습니다. 답변은 매끄럽습니다. 그런데 한도는 맞고 승인자는 틀렸다면, 이 챗봇을 잘 만들었다고 할 수 있을까요? RAG 평가는 답변이 그럴듯한지를 넘어, 필요한 자료를 찾았는지와 그 자료를 제대로 사...

[복습] 다시 근본으로, 언어모델을 오랜만에 복습해보자: Transformer to T5

최근 JEV라는 모델이 공개되면서 BERT 계열 인코더와의 비교가 다시 활발해졌고, 덕분에 BERT에 대한 관심도 한 번 더 올라갔습니다. 생성형 LLM이 대세가 된 지금도 분류·검색·라우팅처럼 “빠르고 정확하게 이해하는” 문제에서는 인코더 모델이 여전히 자주 언급됩니다. 그런데 막상 “BERT는 GPT와 학습 방식이 정확히 어떻게 다르지? 입력과 출...

[Repo Review] OpenClaw — 메시지 한 건이 에이전트 실행과 응답으로 이어지는 구조

들어가며 메신저에 연결된 AI 비서를 만들 때 모델 호출만으로 해결되지 않는 문제가 있습니다. 같은 대화를 어떤 기록에 연결할지, 사용자가 전송 버튼을 다시 눌렀을 때 어떻게 처리할지, 실행 중 도착한 메시지를 어떻게 다룰지, 도구 결과와 최종 답변을 어떤 화면으로 돌려보낼지를 함께 설계해야 합니다. OpenClaw는 이러한 연결을 담당하는 자체 ...

[CS50] CS50x 2026 - Lecture 0 - Scratch

https://youtu.be/7ZJ4oo4h8vI 참고 자료 Harvard CS50: Introduction to Computer Science (https://cs50.harvard.edu/) 원본 영상: [한글더빙] “AI가 코딩 다 하는데 왜 배워요?” 하버드 교수의 사이다 참교육 (https://www.youtube.c...

AI 에이전트의 핵심 개념 20가지: 문제와 해결책으로 배우는 실전 가이드

AI 에이전트는 단순한 챗봇을 넘어 복잡한 작업을 자율적으로 수행하는 시스템으로 진화하고 있습니다. 하지만 이 과정에서 수많은 기술적 도전과제들이 존재합니다. 이 글에서는 AI 에이전트가 직면하는 20가지 핵심 문제와 그 해결책을 하나씩 풀어가며, 실제 기업 사례와 함께 설명하겠습니다. 해당 문항은 Tom Yeh 교수님의 Agentic A...

F-Lab AI 역량 진단 테스트 - 정답 및 해설

소개 네이버, 카카오, 토스, 아마존, 마이크로소프트 출신 상위 1% 개발자들이 멘토로 활동하는 F-Lab에서 AI 역량 진단 테스트를 공개했습니다. LLM, RAG, AI Agent, Function Calling, 멀티모달까지—요즘 AI 엔지니어링에서 핵심으로 꼽히는 개념들을 6단계 난이도, 25문항으로 압축한 테스트입니다. 직접 풀어보니 ...

🐍 내가 보려고 작성한 *args, **kwargs, 그리고 **vars(args) 파이썬 함수 인자 정리

👋 들어가며 Python으로 데이터를 다루다 보면 함수에 인자를 유연하게 넘겨야 하는 상황이 자주 생깁니다. 특히 다음과 같은 경우죠: 인자의 개수가 많아서 일일이 쓰기 귀찮을 때 argparse로 파싱한 커맨드라인 인자를 함수에 넘기고 싶을 때 재사용성과 유지보수가 좋은 함수를 만들고 싶을 때 이럴 때 args, kwargs...

[개념] API에 대해서 이해해보자!

이미지 출처: https://appmaster.io/ko/blog/cobojareul-wihan-api-apireul-sayonghaneun-bangbeob-wanjeonhan-gaideu 1. API는 무엇인가? 💡 API는 애플리케이션 프로그래밍 인터페이스(Application Programming Interface)의 줄임말로...

[개념] 모델 컨텍스트 프로토콜(MCP) 완전 정복

AI의 USB 시대가 시작된다 최근 AI 개발 생태계에서 “MCP(Model Context Protocol)”라는 키워드가 심상치 않은 주목을 받고 있습니다. ChatGPT, Claude, Cursor 등 다양한 AI 에디터와 에이전트 환경이 생겨나는 가운데, LLM(Large Language Model)과 외부 도구를 연결하는 “표준 인터페이스...

[개념정리] 메타-분석과 서베이 페이퍼

안녕하세요! 오늘은 조금 색다른 주제를 다뤄보려고 합니다. 바로 두 가지 유형의 논문을 정의하고 그 차이점을 비교하는 것인데요! (TMI) 최근에 메타분석 관련 논문을 살펴볼 일이 있었는데, 개인적으로 서베이 논문과의 차이가 궁금하더라고요. 그래서 이번 기회에 정리해보면 좋을 것 같아서 글을 써보게 되었습니다! 과학적 연구를 진행하거나 논문...

[개념정리] Streamlit👑 소개 및 활용 가이드

1. Streamlit이란? Streamlit은 Python 기반의 오픈소스 웹 애플리케이션 프레임워크로, 데이터 사이언스 및 머신러닝 모델을 빠르게 배포하고 공유할 수 있도록 설계된 도구입니다. Flask, Django 같은 전통적인 웹 프레임워크보다 훨씬 간결한 코드로 대시보드를 구축할 수 있습니다. 머신러닝 모델의 입력과 출력을 ...

[머신러닝] 로지스틱 회귀 모델 (Logistic Regression)

1. 개요 안녕하세요! 이번 글에서는 머신러닝의 주요 개념인 로지스틱 회귀(Logistic Regression) 모델과 오즈 비(Odds Ratio)에 대해서 쉽게 정리해보았습니다. 친구에게 제대로 멋지게 설명하고 싶었는데, 뭔가 다시 한번 정리가 필요할 것 같더라고요 ㅎㅎ ^^7 로지스틱 회귀 모델은 범주형 데이터를 예측할 때 사용하는 통계...

[도서리뷰] 경사 하강법 계보 정리(혁펜하임의 『Easy! 딥러닝』)

안녕하세요! 지난 『Easy! 딥러닝』 도서 소개 게시글(딥러닝 입문자를 위한 책 추천, 혁펜하임 『Easy! 딥러닝』)에 이어서 오늘은 핵심 챕터 분석 및 심층 탐구를 해보겠습니다 📸 (참고) 책 이미지들은 리뷰 목적으로 직접 촬영 후 첨부하였습니다. 이번 게시글에서는 “Chapter 2 – 인공 신경망과 선형 회귀, 그리고 최적화 기...

(설명추가) 웨이트 초기화 (Weight Initialization)

1. 웨이트 초기화란? 딥러닝에서 웨이트 초기화(Weight Initialization)는 신경망의 가중치를 학습 전에 설정하는 과정입니다. 초기화 방식에 따라 모델의 학습 속도, 성능, 안정성이 크게 달라질 수 있습니다. 적절한 초기화 방식은 훈련을 가속화하고, 최적화 과정에서 안정적인 학습을 보장하며, 그래디언트 소실 및 폭발 문제를 방지...

(설명추가) Q-Learning: 강화학습의 핵심 개념과 이해

혁펜하임님의『Easy! 딥러닝』책을 보다보면 엄청 중요한 내용들이 쉽게 풀이되어 있습니다. 처음 배우시는 분들도 쉽게 따라오실 수 있습니다. 아래 그림과 같이 쉬운 예제와 용어 설명이 되어 있습니다. 사진 출처 : 책 내용 일부 사진 직접 촬영 강화학습에 문외한이었던 저도 개념에 대해서 쉽게 맥락을 잡을 수 있어서 개인적으로 너...

(설명추가) Perplexity와 BLEU 스코어에 대한 보충 설명

책 19쪽에 해당 스코어에 대한 언급은 있지만, 개인적으로 좀 더 정리가 필요하다고 생각하여 아래와 같이 정리를 수행하였습니다. Perplexity 1. Perplexity란 무엇인가? Perplexity는 “혼란도”라는 뜻으로, 언어 모델이 주어진 문장을 얼마나 잘 예측했는지를 측정하는 지표입니다. 낮은 Perplexity 값은 모...

[파이썬] 데코레이터(Decorator) 사용법

메리크리스마스 여러분!!‧₊˚🎄✩ 크리스마스 트리를 장식할 때, 가장 중요한 건 뭐니 뭐니 해도 트리 자체입니다. 하지만 단순한 나무에 예쁜 전구, 리본, 장난감을 더하면 특별한 분위기를 연출할 수 있죠. 데코레이터도 마찬가지입니다! 기본 함수에 원하는 장식을 덧붙여서, 함수의 전후를 꾸미거나 새로운 기능을 추가할 수 있습니다. 이번 포스트에서는 크...

[IT] 클라우드 컴퓨팅의 서비스 모델: IaaS, PaaS, SaaS와 최신 GPUaaS, IQaaS 비교

배경 클라우드 컴퓨팅은 현대 IT 환경에서 필수적인 기술로 자리 잡고 있습니다. 기존의 물리적 인프라를 대체하며, 다양한 서비스 모델(IaaS, PaaS, SaaS)로 기업과 개인의 컴퓨팅 필요를 충족시킵니다. 최근에는 GPUaaS와 IQaaS라는 새로운 형태의 서비스 모델이 등장하며, AI 및 고성능 컴퓨팅에 대한 수요를 충족시키고 있습니다. ...

Unlearning : 머신러닝 모델도 '잊을 수 있다'

딥러닝과 머신러닝은 오늘날 다양한 분야에서 놀라운 성과를 거두고 있습니다. 하지만 모델이 학습한 정보 중 불필요하거나 민감한 정보를 삭제해야 하는 상황도 발생합니다. 예를 들어, 개인정보 보호 규정에 따라 모델이 특정 사용자의 데이터를 삭제해야 하거나, 학습 과정에서 발생한 편향(Bias)을 교정해야 할 수 있습니다. 이러한 필요를 충족...

[개념] GLU와 그 변형들: 역사와 주요 개념 정리

딥러닝 분야에서 활성화 함수는 신경망 모델이 학습할 때 중요한 역할을 합니다. 이 중에서도 GLU(Gated Linear Unit)는 고급 모델에서 자주 사용되는 활성화 함수 중 하나입니다. 특히 자연어 처리(NLP)와 같은 분야에서 뛰어난 성능을 발휘하며, 이 활성화 함수에서 파생된 여러 변형들이 연구되었습니다. 이번 글에서는 GLU와 그 변형들,...

[개념] 인공지능을 위한 선형대수 : 행렬편

1. 행렬(Matrix)의 정의 인공지능 및 기계 학습에서 행렬(matrix)은 데이터를 처리하고 표현하는 중요한 도구입니다. 행렬은 수를 직사각형 형태로 배열한 것으로, 데이터를 수학적으로 다루기 위해 필수적입니다. 행렬을 사용하면 대규모 데이터를 효율적으로 관리하고 계산할 수 있습니다. 예시: 우리가 이미 익숙한 데이터 테이블을 생각해봅시다....

[개념] 시스템, 미분방정식, 그리고 상태 공간 모델

우리는 일상생활에서 다양한 시스템과 상호작용하고 있습니다. 동적 시스템은 그중 하나로, 시간이 지남에 따라 상태가 변화하는 시스템을 의미합니다. 상태 공간(State Space) 모델은 복잡한 동적 시스템을 이해하고 분석하는데 중요한 도구입니다. 이 모델은 시스템을 상태(state)라는 개념으로 표현하며, 이를 통해 시간에 따른 시스템의 변화를 행렬로...

[IT] LLMOps와 RAG

최근 몇 년간 대규모 언어 모델(LLM)의 발전은 다양한 산업에서 큰 변화를 일으키고 있습니다. LLM은 사람과 유사한 방식으로 텍스트를 생성하거나 질문에 답변할 수 있으며, 고객 지원, 의료, 법률, 콘텐츠 생성 등 수많은 분야에서 널리 활용되고 있습니다. 그러나 LLM의 성능을 극대화하고 지속적으로 개선하기 위해서는 LLMOps와 같은 체계적인 운...

[파이썬] 정규표현식 활용 방법

정규표현식(Regular Expression, RegEx)은 문자열을 처리하고 패턴을 검색하거나 변형할 때 매우 유용한 도구입니다. 데이터 과학과 웹 스크래핑, 텍스트 처리 등 다양한 작업에서 문자열을 다룰 때 정규표현식은 필수적으로 사용됩니다. 이번 포스트에서는 파이썬에서 re 모듈을 사용해 정규표현식을 어떻게 활용할 수 있는지에 대해 자세히 ...

[개념] 데이터 기반 의사결정 방법

디지털 시대의 경쟁 환경에서 기업의 성공은 얼마나 효과적으로 데이터를 활용하여 고객의 요구를 이해하고, 이에 맞춰 제품과 서비스를 개선하는지에 달려 있습니다. 데이터 기반 분석 및 의사결정(Data-Driven Analysis and Decision Making)은 이러한 목표를 달성하기 위한 핵심 방법론으로 자리잡고 있습니다. 이번 글에서는 이...

[Graph] 4장. Graph Neural Networks: Algorithms

1. Introduction 그래프 구조 데이터는 복잡한 관계와 상호작용을 모델링하는 데 매우 유용합니다. 이러한 데이터를 효과적으로 분석하고 학습하기 위해 그래프 신경망(Graph Neural Networks, GNN)과 그래프 임베딩(Graph Embedding) 기법이 개발되었습니다. 1.1 그래프 신경망 모델 vs 그래프 임베딩 그래...

[Graph] 3장. Graph Node Embedding Methods

1. 그래프 노드 임베딩의 필요성 그래프 노드 임베딩은 그래프의 각 노드를 저차원 벡터 공간으로 매핑하는 과정입니다. 이는 그래프 데이터를 기계 학습 알고리즘에 적용하기 쉽게 만들어줍니다. 여기서 중요한 질문은 다음과 같습니다. 어떤 정보(WHAT)를 우리는 보존(preserve, e...

[Graph] 2장. Graph Neural Networks

1. GNN 개요 GNN(Graph Neural Networks)은 그래프 구조의 데이터를 처리하기 위해 개발된 딥러닝 방법입니다. 실제 세계의 많은 데이터가 그래프 형태로 표현될 수 있습니다: 소셜 네트워크: 사용자는 노드, 친구 관계는 엣지 분자 구조: 원자는 노드, 화학 결합은 엣지 교통 네트워크: 교차로는 노드, 도로는 엣지 ...

[Graph] 1장. 그래프와 GNN

1. 그래프란? 그래프는 현실 세계의 데이터를 표현하는 중요한 도구로 사용됩니다. 다양한 분야에서 그래프를 활용하여 관계와 구조를 모델링할 수 있습니다. 예시: 사회 과학: 소셜 네트워크에서 개인 간의 관계를 그래프로 표현할 수 있습니다. 예를 들어, 페이스북 친구 관계는 노드(사용자)와 에지(친구 관계)로 나타낼 수...

[개념정리] 시계열 인과관계 분석: Granger Causality

안녕하세요😊 지난 번 포스트에서 “인과관계와 상관관계의 개념”(링크)에 대해서 살펴보았는데요. 오늘은 시계열 분석의 핵심 개념 중 하나인 ‘그랜저 인과관계(Granger causality)’에 대해 알아보고, 이를 실제 데이터에 적용해보는 시간을 가져보겠습니다. 실습에 사용할 데이터는 Kaggle 데이터 중 하나인 Advertising Sales ...

[개념정리] 상관관계 vs 인과관계

안녕하세요! 💡 저는 요즘 인과관계 분석, 인과성 분석에 대해 공부하고 있습니다. 🙌 본격적으로 공부를 시작하기에 앞서 가장 기본이 되는 상관관계와 인과관계에 대해 다시 한번 정리하고 넘어가려고 합니다. ㅎㅎ 이 두 개념은 비슷해 보이지만 매우 다른 의미를 가지고 있으며, 데이터 해석에 있어 중요한 역할을 합니다. 그전에! 답변 궁금하시죠? ...

[개념정리] 빈도주의(Frequentist) vs 베이지안(Bayesian)

Bayesian 확률과 Frequentist 확률 안녕하세요!🙌 오늘은 통계학의 두 가지 주요 접근법인 Bayesian 확률과 Frequentist 확률에 대해 자세히 알아보겠습니다. 이 개념들은 머신러닝과 딥러닝에서 중요한 역할을 하므로, 깊이 있는 이해가 필요합니다. 0. 확률 (Probability) 개념 확률은 불확실한 사건의 발생 가능성...

[개념] Deep Learning Normalization Techniques

딥러닝에서의 정규화 기법 출처: https://theaisummer.com/normalization/ 정규화의 정의와 목적 정규화(Normalization)는 데이터의 스케일을 조정하는 과정으로, 머신러닝과 딥러닝에서 모두 중요한 역할을 합니다. 그러나 전통적인 머신러닝에서의 정규화와 딥러닝에서의 정규화는 그 목적과 방법에 있어 약간의 차이가 ...

[트리] 트리 기반 ML 알고리즘

트리 기반 ML 알고리즘 트리 기반 머신러닝(ML) 알고리즘은 데이터의 특징을 기반으로 트리를 생성하여 예측(Regression) 또는 분류(Classification)를 수행하는 방법입니다. 이 알고리즘은 루트 노드에서 시작하여 내부 노드에서 데이터를 분할하고, 리프 노드에서 최종 예측값을 산출합니다. 트리 기반 알고리즘은 데이터의 구조를 시각적으...

[개념] 신호처리 및 푸리에 변환

신호처리란? 신호처리(Signal Processing)는 신호를 분석하고 변환하며 해석하는 기술과 방법을 연구하는 학문입니다. 신호는 시간에 따라 변화하는 물리량이나 데이터로, 음성, 영상, 전기 신호, 생체 신호 등 다양한 형태로 존재할 수 있습니다. 신호처리의 목적은 이러한 신호로부터 유용한 정보를 추출하거나 신호를 변형하여 특정 목적을 달성하는...

[이탐] 내가 보려고 정리한 ML 이상탐지

이상탐지 이상탐지는 데이터셋에서 정상적인 패턴에서 벗어난 데이터 포인트를 식별하는 과정입니다. 이러한 이상치는 데이터의 분포나 특성에서 눈에 띄게 다른 점들을 나타내며, 종종 오류, 사기, 결함 등의 문제를 나타낼 수 있습니다. 따라서 이상탐지는 데이터 분석, 품질 관리, 보안 등 다양한 분야에서 중요한 역할을 합니다. 이상탐지 방법론에 따른 ...

리눅스 : 리눅스 구성 요소

안녕하세요😎 지난 번 “네트워크 계층 : OSI 7계층 vs TCP/IP 5계층” 글 이후로 다시 찾아뵙게 되었습니다!! 오늘은 리눅스의 주요 구성 요소인 커널(Kernel), 셸(Shell), 그리고 프로그램(Program)에 대해 소개해드리려고 합니다. 운영체제란? 운영체제(OS, Operating System)는 컴퓨터 하드웨어와 사용자...

네트워크 계층 : OSI 7계층 vs TCP/IP 5계층

안녕하세요😎 지난 번 “네트워크 기초: 네트워크 그리고 서버란?” 글 이후로 다시 찾아뵙게 되었습니다!! 오늘은 “네트워크 계층 : OSI계층 vs TCP/IP 5계층”이라는 주제로 여러분들께 네트워크 계층에 대해 소개해드리려고 합니다. OSI 7계층 vs TCP 5계층 네트워크 통신은 복잡한 과정이며, 이를 이해하기 위해서는 네트워크 계층을 잘 ...

네트워크 기초 : 네트워크 그리고 서버란?

안녕하세요 😎 최근 딥러닝·ChatGPT가 상용화되며, 우리는 IT/ICT/네트워크/서버실 이런 단어들을 한번씩 들어보셨을 겁니다. 실제로 딥러닝을 한번이라도 접해보신 분이라면 “서버 공부 한번해야 하는데…“라고 다들 한번씩은 생각해보셨을 겁니다. (Hoxy… 저만 그런가요🤣) 그래서 한번 각을 잡고 이번 시리즈는 리눅스 서버라는 방대한 주제를 잡고,...

[개념] 생성 AI의 학습 방식: 제로샷·원샷·퓨샷 러닝

최근 챗GPT로 인해 부상한 제로샷(zero-shot), 원샷(one-shot), 퓨샷(few-shot) 러닝 기법은 데이터를 일일이 라벨링하지 않고도 머신러닝 모델을 학습시킬 수 있도록 해줍니다. 해당 포스트는 CV(Computer Vision) 및 NLP(Natural Language Processing)의 관점에서 N-shot learning을 ...

[IT] 개발자들의 종류 및 역할

프론트엔드/백엔드 - UX와 시스템의 연결 다리 우리가 살고 있는 시대는 디지털 혁신이 모든 삶의 영역을 지배하는 시대입니다. 기술의 발전은 우리의 일상 생활, 업무 방식, 심지어는 인간 관계에도 깊숙이 영향을 미치고 있습니다. 이러한 변화의 중심에는 다양한 전문 영역에서 활동하는 개발자들이 있습니다. 프론트엔드 개발자부터 백엔드 개발자, 그리고 데...

[Git] Git을 어떻게 합치지? : Git Merging

깃(Git)은 소프트웨어 개발에서 버전 관리를 위해 널리 사용되는 도구입니다. 여러 개발자가 동시에 다양한 기능을 개발할 때, 이들의 작업을 효율적으로 통합하기 위해서는 깃의 머징(merging)과 패스트포워딩(fast-forwarding) 기능에 대한 이해가 필수적입니다. 이 블로그 포스트에서는 머징과 패스트포워딩의 개념을 설명하고, 보편적인 예시...

[컨퍼][CIO] '24년 비즈니스 혁신을 가속화하는 생성형 AI

본 내용은 CIO SUMMIT 2024에서 발표된 내용을 기반으로 제가 더 조사 및 정리해서 작성한 글입니다. 틀린 내용이 있다면 편하게 댓글 달아주세요!! 🤗 제목 2024 비즈니스 혁신을 가속화하는 생성형 AI 활용 방안 발표자 한국IBM 김지관 상무, AI Tech SME (Subject Matter Expert) 발표내용 Founda...

[파이썬] 쉽게 설명한 Process vs Thread

프로세스(Process)란? 컴퓨터에서 프로그램이 실행되고 있을 때, 그 실행 중인 프로그램을 프로세스라고 합니다. 예를 들어, 인터넷 브라우저를 열면 하나의 프로세스가 실행되고, 워드 프로세서(문서 작성 프로그램)를 열면 또 다른 프로세스가 실행되는 것이죠. 각 프로세스는 자신만의 독립된 공간을 가지며, 다른 프로세스와는 독립적으로 운영됩니다. ...

[파이썬] multiprocessing의 Pool 클래스

multiprocessing.Pool은 Python의 멀티프로세싱 모듈에서 제공하는 매우 유용한 클래스로, 병렬 처리를 위한 프로세스 풀을 관리합니다. 이 클래스를 사용하면 여러 프로세스에서 동시에 작업을 실행하는 복잡한 로직을 간단하게 처리할 수 있습니다. 본 블로그 포스트에서는 Pool의 주요 기능과 특징에 대해 자세히 설명하겠습니다. Pool...

[파이썬] Multiprocessing, Multithreading 자원 분할 및 할당

멀티프로세싱과 멀티스레딩에서 자원 분할과 작업 할당은 각각 다르게 이루어집니다. 이 과정을 이해하기 위해서는 먼저, 컴퓨터의 자원(특히 CPU와 메모리) 사용 방식과 작업의 종류(예: CPU 집약적 vs. I/O 집약적)를 고려해야 합니다. 멀티프로세싱(Multiprocessing)의 자원 분할 멀티프로세싱에서는 각 프로세스가 독립된 메모리 공간을...

[파이썬] Multiprocessing, Multithreading 사용 시 고려 사항

멀티프로세싱과 멀티스레딩을 선택할 때 고려해야 하는 작업의 특성에 대해 더 자세히 설명하겠습니다. 자원 분할 및 할당에 대해서 궁금하신 분을 다음 게시글에서 확인하실 수 있습니다. 멀티프로세싱(Multiprocessing) 멀티프로세싱은 주로 CPU 집약적인 작업에 적합합니다. 이런 작업은 계산이 많이 필요하고 CPU의 자원을 많이 사용하는 경우인...

[개념] MLOps vs AIOps

MLOps란 무엇인가? MLOps는 기계 학습(ML) 시스템의 개발과 배포를 통합하는 프레임워크입니다. 이는 ML 모델을 지속적으로 생산에 투입하기 위해 표준화하고 간소화하는 역할을 합니다. MLOps의 주요 단계는 다음과 같습니다: 데이터 추출: 다양한 출처에서 데이터 통합 탐색적 데이터 분석: 데이터의 기본 속성 이해 데이터 준비:...

파이썬 마스터하기 : 람다(Lambda) 함수

람다(lambda) 함수는 함수형 프로그래밍에서 중요한 개념 중 하나로, 익명 함수(anonymous function)라고도 부릅니다. 람다 함수는 이름이 없는 함수로, 일반적으로 함수를 한 번만 사용하거나 함수를 인자로 전달해야 하는 경우에 매우 유용하게 사용됩니다. 이번 블로그에서는 Python에서 람다 함수의 개념과 활용 예제에 대해 다루어보겠...

파이썬 마스터하기 : apply(), map(), applymap() 함수

파이썬 판다스 심화 판다스(Pandas)는 매우 다양한 함수와 메소드를 제공하기 때문에 처음 사용하면 헷갈릴 수 있는 함수들이 많습니다. 이번 포스트에서는 apply(), applymap(), map(), reduce()와 같은 헷갈릴 수 있는 함수들을 중심으로 간단한 개념과 예제를 소개해보도록 하겠습니다. 1. apply() apply() 메...

파이썬 마스터하기 : Group By 함수

파이썬 판다스 심화 판다스(Pandas)에서 Group By는 데이터를 그룹화하고 그룹화된 데이터에 대한 연산을 수행하는데 매우 유용한 기능입니다. 이번 포스트에서는 Python에서 Group By의 개념과 활용 예제에 대해 다루어보겠습니다. Group By란? Group By는 데이터를 그룹화하고 그룹화된 데이터에 대한 연산을 수행하는 기능입...

파이썬 마스터하기 : Pandas

판다스(Pandas)란? 판다스(Pandas)는 파이썬 데이터 분석 라이브러리 중 하나로, 데이터 조작, 정제, 분석, 시각화 등을 위한 다양한 기능을 제공합니다. 판다스는 시리즈(Series)와 데이터프레임(DataFrame)이라는 자료형을 이용하여 데이터를 처리합니다. 판다스 설치 판다스를 사용하려면 먼저 설치가 필요합니다. 판다스는 pip를...

파이썬 마스터하기 : Numpy

NumPy란? NumPy는 Python에서 과학 연산을 위한 가장 기본적인 패키지 중 하나입니다. NumPy는 “Numeric Python”의 약자이며 대규모 다차원 배열과 행렬 연산에 필요한 다양한 함수와 메소드를 제공합니다. NumPy는 데이터 분석, 데이터 처리, 선형 대수, 머신 러닝 등 다양한 분야에서 널리 사용되고 있습니다. NumPy의...

[SPL] stats와 eventstats 차이점 이해하기

stats와 eventstats 차이점 이해하기 Splunk에서 데이터를 분석하다 보면, 다양한 명령어를 사용하여 데이터를 집계하고 요약해야 할 때가 있습니다. 이러한 상황에서 자주 사용되는 두 가지 명령어가 stats와 eventstats입니다. 이 글에서는 이 두 명령어의 차이점과 사용법에 대해 알아봅니다. stats stats 명령어는 결과...

[SPL] Splunk & SPL 개요

Splunk & SPL(Splunk Processing Language) Splunk는 실시간 데이터 처리 및 분석 솔루션입니다. 이를 통해 기업은 기계 데이터를 수집, 검색, 모니터링, 분석 및 시각화하여 보다 효율적인 의사 결정을 내릴 수 있습니다. Splunk의 검색 언어인 Splunk Processing Language(SPL)은 이...

[Git] 깃(Git)이란?

깃(Git)이란? 깃(Git)은 소프트웨어 개발에서 사용되는 분산 버전 관리 시스템입니다. 즉, 여러 명이 하나의 프로젝트를 개발할 때, 소스코드의 변경 내역을 추적하고 관리하여 버전을 관리할 수 있는 도구입니다. 깃은 빠른 속도와 분산 저장소를 통한 안정적인 관리, 브랜치 기능 등 다양한 기능을 제공하며, 다양한 운영체제에서 사용할 수 있습니...

[머신러닝] 이상 탐지 개요 및 밀도 기반 이상치탐지

본 포스트는 고려대학교 강필성 교수님의 강의를 수강 후 정리를 한 것입니다. 작성 및 설명의 편의를 위해 아래 포스트는 반말로 작성한 점 양해부탁드립니다. Abnormal Data란 Anomaly Data는 다음과 같이 Hawkins와 Harmeling에 의해 정의된다. Observations that deviate so much f...

[머신러닝] 거리•군집•서포트벡터 기반 이상탐지 기법

본 포스트는 고려대학교 강필성 교수님의 강의를 수강 후 정리를 한 것입니다. 작성 및 설명의 편의를 위해 아래 포스트는 반말로 작성한 점 양해부탁드립니다. 거리 기반 이상치탐지 K-Nearest Neighbor-based Anomaly Detection 각 데이터에 대한 Anomaly Score를 K개의 근접 이웃까지의 거리를 이용하여 계산...

[알고리즘] 그래프

오늘은 알고리즘/자료구조를 공부하면서 평소 두려움에 떨며 제대로 공부하지 못했던 그래프에 대해 공부를 하며 정리해보았습니다. 공부하며 작성한 글이므로 반말이어도 양해부탁드립니다. 그래프 1. 그래프란? 그래프는 가장 일반화된 자료구조로, 연결된 객체들 사이의 관계를 잘 표현함. 그래프 이론 일반적으로 그래프와 관련된 다양한 문제를...

[머신러닝][시계열] AR, MA, ARMA, ARIMA의 모든 것 - 개념편

오늘은 머신러닝 시계열에서 가장 많이 쓰이는 AR, MA, ARMA, ARIMA에 대해 정리해보는 시간을 가지려고 합니다. 해당 포스트는 고려대학교 김성범 교수님의 강의를 바탕으로 제작되었습니다. 목차 정상 프로세스와 비정상 프로세스 Autoregressive (AR) Models Moving Average (MA) Models A...

[머신러닝][차원축소] 변수 선택법

본 포스트는 고려대학교 강필성 교수님의 강의를 수강 후 정리를 한 것입니다. 작성 및 설명의 편의를 위해 아래 포스트는 반말로 작성한 점 양해부탁드립니다. Dimensionality Reduction Curse of dimensionality 정의 이론적(theory)으로는 변수의 개수가 증가할 때 모델의 성능도 증가한다. 하지만, 현실...

[파이토치] 파이토치 기초 요소 (Autograd란)

순전파와 역전파 신경망(Neural Network)은 어떤 입력 데이터에 대해 실행되는 중첩된 함수들의 집합체입니다. 신경망을 아래 2단계를 거쳐 학습됩니다 : 순전파(Forward Propagation) 역전파(Backward Propagation) Forward Propagation (순전파) Forward Propagatio...

[개념] CPU, GPU, 그리고 GPU 원리

CPU와 GPU 딥러닝과 머신러닝을 학습하거나 작업할 때 GPU를 사용하는 것은 이제 당연하게 여겨집니다. 실제로 아래와 같은 코드로 GPU나 CPU를 손쉽게 선택할 수 있습니다. 1 2 3 4 5 6 7 8 import torch # CUDA 사용 여부 확인 USE_CUDA = torch.cuda.is_available() print(USE_C...

[딥러닝][개념정리] Inductive Bias란?

Inductive Bias Overview Inductive Bias란 무엇일까요? 최근 논문들을 보면 그냥 Bias도 아니고 Inductive Bias라는 말이 자주 나오는 것을 확인할 수 있는데요! 오늘은 해당 개념에 대해 정리해보는 시간을 가지려고 합니다. 공부하면서 작성한 글이므로 틀린 개념이 있다면 언제든 피드백 환영합니다. Bias(편...