파라미터(parameter)와 하이퍼파라미터(hyperparameter)

컴퓨터가 학습할 수 있도록 하는 알고리즘과 기술을 개발하는 분야로 인공지능의 한 분야인 머신 러닝(machine learning)이나 딥러닝에서는 파라미터(parameter)와 하이퍼파라미터(hyperparameter)라는 두 용어의 개념을 알아야 한다. 파라미터(parameter)는 어떤 시스템이나 함수의 특정한 성질을 나타내는 변수를 뜻하며, 매개변수라고도 한다. 함수에 특정 파라미터를 전달함으로써 출력되는 값이 달라지게 되는데 원하는 값을 얻기 위해서는 알맞은 파라미터를 입력해 주어야 한다. 한편 인공지능의 내부는 자동으로 실현된다고 자칫 착각하기 쉬운데 무슨 일이 있어도 사람이 설정해야 하는 부분이 존재한다. 이것을 하이퍼파라미터(hyperparameter)라고 부른다.

피라미터(parameter)는 매개변수라고 하며, 모델에 적용할 하나 이상의 파라미터를 사용하여 새로운 샘플에 대한 예측을 하기 위해 사용된다. 파라미터의 특징은 ①예측 모델은 새로운 샘플이 주어지면 무엇을 예측할지 결정할 수 있도록 파라미터를 필요로 한다. ②머신러닝 훈련 모델의 성능은 파라미터에 의해 결정된다. ③파라미터는 데이터로부터 추정 또는 학습된다. ④파라미터는 개발자에 의해 수동으로 설정하지 않는다. 즉 임의로 주절이 불가능하다. ⑤학습된 모델의 일부로 저장된다. 모델 피라미터는 새로운 샘플이 주어지면 무엇을 예측할지 결정하기 위해 사용하는 것이며 학습 모델에 의해 결정된다.

하이퍼파라미터(hyperparameter)는 머신러닝에서 최적의 훈련 모델을 구현하기 위해 모델에 설정하는 변수로 학습률(learning rate), 에포크 수(훈련 반복 횟수), 가중치 초기화 등을 결정할 수 있다. 또한 하이퍼파라미터(hyperparameter) 튜닝 기법을 적용하여 훈련 모델의 최적값을 찾을 수 있다. 하이퍼파라미터의 특징은 ①모델의 매개 변수를 추정하는 데 도움이 되는 프로세스에서 사용된다. ②하이퍼파라미터는 개발자에 의해 수동으로 설정할 수 있다. 즉 임의 조정 가능하다. ③학습 알고리즘의 샘플에 대한 일반화를 위해 조절된다. 하이퍼파라미터는 학습 알고리즘 자체의 파라미터로 모델이 새로운 샘플에 일반화 돠도록 하이퍼파라미터들의 최적값을 찾으나, 데이터 분석 결과로 얻어지는 값이 아니므로 절대적인 최적값은 존재하지 않고 사용자가 직접 설정한다