mung_TIL

경사하강법- 정답과 예측 값의 차이(손실 함수)가 적어질 수 있게 최적의 가중치 값 찾기- 편미분을 사용해 손실 함수의 기울기를 계산 → 극소점(경사가 0이 되는 지점) 찾기- 최소 값이 진짜 최소 값이 아닐 수 있는 문제가 있음(전역 최소값(global minimun)이 아닌 국소 최소값(local minimun)일 수 있다)학습률(Learning Rate)- 가중치를 얼마나 이동할 것인지- 학습률이 너무 크면 최소점에 도달하지 못 할 수 있고, 너무 작으면 학습 속도가 느려짐 배치 경사하강법BGD (Batch Gradient Descent) 전체 데이터셋을 한 번에 사용하여 기울기를 계산하고 가중치를 업데이트하는 방식한 번에 모든 데이터를 계산해야 함데이터셋이 적을 때 사용 global minimun..

인공신경망- 인간 두뇌의 신경 연결을 흉내 내 데이터에 대한 학습으로 - 학습 결과가 신경망 내의 내부 가중치로 정해져 결과의 이유를 알기가 어려움 (black boxes)퍼셉트론- 여러 개의 입력을 받아 하나의 출력으로 만드는 모델- 각 입력 값에 해당 가중치를 곱함계층뉴런이 모여 하나의 계층을 형성입력층 -> 은닉층 -> 출력층모듈여러 계층(은닉층)이 모여서 특정 덩어리를 만들 수 있음모델여러 모듈을 조합해 최종적으로 만드는 신경망 선형 vs 비선형선형 (Linear)데이터의 패턴을 찾고 직선으로 나타낼 수 있음입력 차원 × 출력 차원 => 가중치 크기더보기import torchimport torch.nn as nn# 선형 회귀모델class LinearRegressionModel(nn.Module):..

웹(Web)인터넷 상에서 정보를 제공하거나 접근할 수 있는 서비스 (웹 애플리케이션)인터넷: 네트워크 인프라 구조로, wb, e-mail, telnet 등 웹 기본 동작클라이언트 - 서버 모델클라이언트: 사용자 컴퓨터, 서버: 웹 사이트를 호스팅하는 컴퓨터클라이언트가 서버한테 요청(url)을 보내고, 서버는 요청에 따라 데이터를 응답하는 방식(view에서 url 패턴 처리)검색, 로그인, 회원가입 등HTTP 요청 - 응답클라이언트가 웹 페이지를 요청하면 서버는 요청을 처리하고 HTML 문서를 반환함클라이언트는 이를 해석해 화면에 표시 HTTP/ HTTPSHTTP HyperText Transfer Protocol의 약어로, 월드 와이드 웹(WWW)에서 웹 페이지를 주고받기 위해 사용되는 프로토콜데이터를 평..

❕ 3차원 : 길이(z, 높이) 너비(y, 가로) 깊이(x, 세로) 순으로 작성 PyTorch  곱셈일반 곱셈 (*)같은 위치의 원소끼리 곱하는 연산두 텐서의 크기가 같아야 함A = torch.tensor([ [1, 2], [3, 4]]) B = torch.tensor([ [5, 6], [7, 8]])C = A * B# [[1×5, 2×6], [3×7, 4×8]]print(C)# 결과# tensor([[ 5, 12],# [21, 32]])행렬 곱셈 (@)행렬의 곱셈 규칙을 따르는 연산 (m × n) 행렬 × (n × p) 행렬 = (m × p) 크기의 행렬A = torch.tensor([ [1, 2], [3, 4]]) B = torch.tensor(..

텐서(Tensor)딥러닝과 머신러닝에서 데이터를 표현하는 기본 단위예) 이미지 데이터 (4D 텐서), 자연어 처리(3D 텐서), RNN 상태 정보(2D 텐서) 차원차원에 따라 다른 명칭을 가짐 (랭크로 표현)스칼라: 단순 숫자- 예) 4, 3.14scalar = torch.tensor(4)print(scalar)print(scalar.dim())print(scalar.item())# 결과# tensor(4)# 0# 4​벡터: 1차원 텐서 (리스트)- 크기와 방향이 있음- 하나의 축으로 이뤄져있음- 예) [2, 4, 6] 행렬: 2차원 텐서 (중첩 리스트)- 예) [[1, 2], [3, 4]]matrix = torch.tensor([[1, 2], [3, 4]])print(matrix)print(matrix..

모델구조학습 방식주요 특징MLP다층 퍼셉트론역전파(Backpropagation)입력값 간 순서를 고려하지 않음DNN깊은 신경망역전파복잡한 데이터 처리 가능RNN순환 신경망시간축 학습(시퀀스)순서가 중요한 데이터 처리 가능  ANN (Artificial Neural Network)인공신경망(ANN)은 인간의 신경망을 모방한 기계 학습 모델.퍼셉트론과 MLP가 ANN의 기본 구조를 이룸. DNN (Deep Neural Network)MLP를 확장하여 은닉층을 깊게 쌓은 신경망을 DNN이라고 함.특징 추출과 복잡한 패턴 학습이 가능하지만, 학습이 어려운 문제(Vanishing Gradient) 발생. RNN (Recurrent Neural Network) Recurrent: 이전의 결과를 다음 입력에 반영과거..

퍼셉트론인공 뉴런을 수학적으로 모델링한 개념딥러닝의 기초가 되는 알고리즘단순한 이진 분류 문제 해결 알고리즘가장 기본적인 인공신경망 모델여러 개의 입력을 받아 하나의 출력으로 만드는 모델 가설식입력 x (Input): 여러 개의 입력값 가중치 W (Weight): 각각의 입력에 적용되는 가중치바이어스 b (Bias): 모델이 더 유연하게 학습할 수 있도록 추가된 값활성화 함수 f (Activation Function): 입력과 가중치의 선형 결합 결과를 변환하는 함수단순 퍼셉트론에서는 계단 함수를 사용하여 출력이 0 또는 1이 되도록 함 연산 과정 여러 개의 입력을 받아 가중치를 곱하고 더한 후특정 조건을 만족하면 1, 그렇지 않으면 0을 출력한계  단일 퍼셉트론은 선형 분리가 가능한 문제를 해결할 수 ..

CoT (Chain of Thought)연쇄 추론을 의미하는 개념LLM에서 단계별 추론 과정을 명시적으로 포함하는 프롬프트 기법 또는 모델 학습 방식복잡한 문제를 해결할 때, 인간이 생각하는 방식과 유사하게 중간 사고 과정을 기술함으로써 성능을 향상시킴즉각적인 답변 생성 말고 문제 해결 과정을 통해 정확한 답을 도출할 수 있도록 유도프롬프트에 예제(Few-shot CoT) 또는 명시적인 지시문(Zero-shot CoT)을 포함하여 모델의 추론 능력 향상적절히 사용해 AI의 설명력과 신뢰성 높임인간이 문제를 해결하는 방식(사고 체인)과 유사한 패턴을 모델에 학습시킴NLP, AI, 코드 생성, 수학 및 논리 문제에서 사용주의논리적으로 맞지 않는 사고  과정이 생성될 수 있음너무 복잡할 경우 모델에 혼란을 가..

얕은 복사(Shallow Copy)최상위 객체만 복사하고 중첩된 객체 내부의 데이터는 복사되지 않음객체 내부에 포함된 중첩 객체는 원본과 동일한 참조를 가짐리스트나 딕셔너리 같은 가변 객체에 주로 해당복사본의 일부가 변경될 경우 원본도 영향을 받을 수 있음1차원 리스트나 데이터 구조가 간단한 경우copy 모듈의 copy 함수 사용import copy# 원본 리스트list_a = [1, 2, [3, 4]]# 얕은 복사list_b = list_a[:]list_c = copy.copy(list_a)# 복사본 수정list_b[0] = 10list_c[2][0] = 100print("원본 리스트:", list_a)print("복사본 리스트 b:", list_b)print("복사본 리스트 c:", list_c)# ..

SQL(Structured Query Language)데이터베이스에서 데이터를 저장, 수정, 삭제, 조회하는 데 사용하는 언어입니다. 쿼리 종류데이터 정의어 DDL (Data Definition Language): 데이터베이스 구조를 정의CREATE : 데이터베이스, 테이블, 인덱스 등을 생성ALTER : 테이블 구조 변경 (컬럼 추가/삭제, 데이터 타입 변경 등)DROP : 데이터베이스, 테이블, 인덱스 삭제TRUNCATE : 테이블의 모든 데이터를 삭제(롤백 불가)데이터 조작어DML (Data Manipulation Language)INSERT : 데이터 삽입UPDATE : 데이터 수정DELETE : 데이터 삭제데이터 질의어DQL (Data Query Language)SELECT : 데이터 조회데이터..