지식참고자료

[태그:] kernel PCA

  • PCA & SVD

    목차

    PCA (주성분 분석)
    SVD (특이값 분해)
    Relationship between PCA and SVD

    본문내용

    PCA는 데이터의 분산(variance)을 최대한 보존하면서 서로 직교하는 새 기저(축)를 찾아, 고차원 공간의 표본들을 선형 연관성이 없는 저차원 공간으로 변환하는 기법이다. 이를 그림으로 나타내면 아래와 같다. 3차원 공간에 있는 데이터들이 서로 수직인 두 개의 주성분(PC1, PC2)을 새로운 기저로, 선형변환된 것을 확인할 수 있다. 데이터의 분산을 최대로하는 새로운 기저를 찾기 위해서는 데이터 행렬 A의 공분산 행렬을 구해야 한다. 데이터가 각 변수별로 평균이 0으로 맞춰져 있을 때(pre-centering), 공분산 행렬은 아래와 같다.
    PCA의 새로운 축을 찾기 위해서는 위 공분산행렬을 아래처럼 고유분해(Eigendecomposition)를 수행해야한다.

    출처 : 해피캠퍼스

  • Kernel PCA & Spectral Clustering

    목차

    없음

    본문내용

    유사도 행렬 A는 사실 kernel PCA에서 사용했던 Gram matrix K와 역할이 같다. 유사도 행 렬 A와 Gram matrix K를 통해 우리는 transformed space에서 eigen vectors를 찾고, 각각의 작업을 수행한다.
    하지만 이 유사한 작업의 결과는 다르다. Spectral Clustering은 군집화를 더 쉽게 하기 위해 서 유사도행렬 A를 통해 데이터들을 변형된 공간에 넣고, 후에 clustering algorithm을 적용해 데 이터들을 Linear line으로 데이터들을 partitioning한다.

    출처 : 해피캠퍼스