CNN과 같은 알고리즘이 점차 발전하면서 VGG계열 모델의 파라미터 수는 매우 많다. 파라미터 수가 많으면 그만큼 표현할 수 있는 능력이 높아지기 때문에 성능이 향상될 것이라 생각하지만, 오버피팅, 즉 과적합의 문제로 학습에 이용되는 데이터에 대해서는 Task를 잘 수행하지만 학습에 이용되지 않은 새로운 데이터에 대해서는 Task를 잘 수행할 수 없는 현상이 발생한다. 따라서 파라미터 수를 무조건 늘리는 것이 중요한 것이 아니라 해당 task를 수행하기 위해 적절한 수의 파라미터를 할당하고 학습에 이요되지 않는 데이터에 대해서도 task를 정확히 수행하기 위해 regularization 과정이 반드시 필요하다. Weight dacay Dropout Batch Normalization 등 과 같은 기법이 ..

이미 사용하고 있거나 개발한 알고리즘의 간단한 확장이다. 지도 학습에서 성능을 올릴 수 있는 방법이다. lower variance의 안정적인 성능을 제공하는데 유용한 방법임 " Ensemble: (프) 함께, 동시에, 협력하여 라는 뜻임, (영) 소규모 협주곡 " 머신러닝에서 알고리즘의 종류에 상관없이 서로 다르거나, 같음 매커니즘으로 동작하는 다양한 머신러닝 모델을 묶어 함께 사용하는 방식임 - 여러 다른 모델을 함께 모아서 예측 model의 집합으로 사용하는 것이다. 하나의 학습 모델: expert이라고 함 NN은 비선형적인 문제에 더 나은 성능을 제공할 수 있다. 다양한 모델의 장점을 살려서 예측 모델 향상 가능하다. 앙상블의 장점: 1. 예측 성능을 안정적으로 향상 가능 2. 쉽게 구현이 가능하다..

*주의할 점: 문제 상황에 따라 적합한 activation function을 고르는 것은 문제가 어떻게 복잡한가, 입출력 데이터의 특성은 어떠한가 등에 따라 달라지므로 다양하게 실험해보고 하이퍼 파라미터를 조정하는 것이 좋다. 1. Hidden Layer (1) ReLU(Rectified Linear Unit): - 가장 많이 쓰이고 가장 먼저 쓰임. 렐루 짱짱~>

삼성sds 동계 알고리즘 특강 2023