[빅데이터] 특징량 엔지니어링

특징량을 직역하자면, 데이터 중 수치로 된 관측된 값의 대표적 특징이라고 이해하는게 좋은 것 같다.#

• 데이터를 머신러닝 알고리즘에서 사용할 수 있게 변환하는 것
• 데이터를 기반으로 머신러닝 알고리즘을 예측할 때, 새로운 특징량(데이터의 대표적인 값)을 만드는 것
• [글쓴이의 견해]특징량은 어려운 개념이 아니다. 사실 일상생활 에서도 많이 쓰인다. 대표적인 예로 우리는 어떤 친구가 시험을 잘봤는지 못봤는지 평가하기 위해서 그래서 너의 평균 점수가 몇이야? 라고 말한다. 왜? 기준이 필요하기 때문이다. 그 사람을 대표하는 점수가 그 사람의 특징을 나타내기 때문이다.위의 설명은 이해를 돕기 위한 예시일뿐이다. 그렇다고 모든 데이터가 위처럼 국한되지는 않는다. then 일반화 하여 말하자면 데이터의 어떤 값을 특정상황에 활용할 수 있게 만들어 내는것을 특징량 엔지니어링이라고 일괄할 수 있다.
• 아래는 타이타닉 데이터 셋 중 예제 코드 중 특징량 처리 과정 중 한 부문을 발췌하였다.

[데이터 처리]특징량 일반화#

• 대표적인 일반화하는 정규화 함수 중 로지스틱 회귀는 특징량의 범위가 다르면 학습이 제대로 되지 않는다.
• 이러한 문제를 해결하는 방법은 최대한 특징량의 범위를 조정해야한다.
• 특징량의 평균을 0, 표준편차를 1로 변환 하는게 대표적이다.
• 로지스틱 회귀 외 '랜덤 포레스트','LightGBM' 등이 여기에 해당한다.

[데이터 처리]결손값 처리#

• 일반적으로 결손(NA)값은 다음과 같이 처리한다

1. 결손값을 그대로 다룬다.
2. 대푯값으로 결손값을 보완한다.
3. 다른 특징량으로 결손값을 예측해서 보완한다.
4. 결손값인지 아닌지를 기반으로 새로운 특징량을 만들어서 사용한다.