하이퍼파라미터(Hyperparameter (machine learning))는 기계 학습에서 학습 속도나 옵티마이저 선택과 같은 매개변수로, 학습 프로세스의 세부 사항을 지정하므로 하이퍼파라미터라는 이름이 붙었다. 이는 모델 자체를 결정하는 매개변수와 대조된다.
하이퍼파라미터는 모델 하이퍼파라미터로 분류될 수 있으며, 목적 함수는 일반적으로 이에 대해 미분할 수 없기 때문에 기계를 훈련 세트에 맞추는 동안 추론할 수 없다. 결과적으로 그래디언트 기반 최적화 방법을 직접 적용할 수 없다. 모델 하이퍼파라미터의 예로는 신경망의 토폴로지와 크기가 있다. 알고리즘 하이퍼파라미터의 예로는 학습률, 배치 크기, 미니 배치 크기 등이 있다. 배치 크기는 미니 배치 크기가 더 작은 샘플 세트인 전체 데이터 샘플을 참조할 수 있다.
다양한 모델 훈련 알고리즘에는 다양한 하이퍼파라미터가 필요하며, 일부 간단한 알고리즘(예: 일반 최소 제곱 회귀)에는 아무 것도 필요하지 않다. 이러한 하이퍼파라미터가 주어지면 훈련 알고리즘은 데이터에서 매개변수를 학습한다. 예를 들어 LASSO는 일반 최소제곱회귀에 정규화 하이퍼파라미터를 추가하는 알고리즘으로, 훈련 알고리즘을 통해 매개변수를 추정하기 전에 먼저 설정해야 하는 알고리즘이다.