mung_TIL

LLM_딥러닝 모델

모델구조학습 방식주요 특징MLP다층 퍼셉트론역전파(Backpropagation)입력값 간 순서를 고려하지 않음DNN깊은 신경망역전파복잡한 데이터 처리 가능RNN순환 신경망시간축 학습(시퀀스)순서가 중요한 데이터 처리 가능  ANN (Artificial Neural Network)인공신경망(ANN)은 인간의 신경망을 모방한 기계 학습 모델.퍼셉트론과 MLP가 ANN의 기본 구조를 이룸. DNN (Deep Neural Network)MLP를 확장하여 은닉층을 깊게 쌓은 신경망을 DNN이라고 함.특징 추출과 복잡한 패턴 학습이 가능하지만, 학습이 어려운 문제(Vanishing Gradient) 발생. RNN (Recurrent Neural Network) Recurrent: 이전의 결과를 다음 입력에 반영과거..

LLM_퍼셉트론

퍼셉트론인공 뉴런을 수학적으로 모델링한 개념딥러닝의 기초가 되는 알고리즘단순한 이진 분류 문제 해결 알고리즘가장 기본적인 인공신경망 모델여러 개의 입력을 받아 하나의 출력으로 만드는 모델 가설식입력 x (Input): 여러 개의 입력값 가중치 W (Weight): 각각의 입력에 적용되는 가중치바이어스 b (Bias): 모델이 더 유연하게 학습할 수 있도록 추가된 값활성화 함수 f (Activation Function): 입력과 가중치의 선형 결합 결과를 변환하는 함수단순 퍼셉트론에서는 계단 함수를 사용하여 출력이 0 또는 1이 되도록 함 연산 과정 여러 개의 입력을 받아 가중치를 곱하고 더한 후특정 조건을 만족하면 1, 그렇지 않으면 0을 출력한계  단일 퍼셉트론은 선형 분리가 가능한 문제를 해결할 수 ..

CoT (Chain of Thought)연쇄 추론을 의미하는 개념LLM에서 단계별 추론 과정을 명시적으로 포함하는 프롬프트 기법 또는 모델 학습 방식복잡한 문제를 해결할 때, 인간이 생각하는 방식과 유사하게 중간 사고 과정을 기술함으로써 성능을 향상시킴즉각적인 답변 생성 말고 문제 해결 과정을 통해 정확한 답을 도출할 수 있도록 유도프롬프트에 예제(Few-shot CoT) 또는 명시적인 지시문(Zero-shot CoT)을 포함하여 모델의 추론 능력 향상적절히 사용해 AI의 설명력과 신뢰성 높임인간이 문제를 해결하는 방식(사고 체인)과 유사한 패턴을 모델에 학습시킴NLP, AI, 코드 생성, 수학 및 논리 문제에서 사용주의논리적으로 맞지 않는 사고  과정이 생성될 수 있음너무 복잡할 경우 모델에 혼란을 가..