데이터분석준전문가(ADsP)/3과목
-
목차 1) 여러개의 분류 모형에 의한 결과를 종합하여 분류의 정확도를 높이는 방법 2) 적절한 표본추출법으로 데이터에서 여러 개의 훈련용 데이터를 집합을 만들어 각 데이터 집합에 하나의 분류기를 만들어 결합하는 방법 3) 약하게 학습 된 여러 모델들을 결합하여 사용 (약하다는 것은 데이터셋이 있었을때 여러개로 나누어서 사용하기 때문에 데이터의 양이 적다) 4) 성능을 분산시키기 때문에 과적합(overfitting)감소효과가 있음 앙상블 모형(Ensemble) 의 종류 보팅(Voting) - 서로 다른 여러개 알고리즘 분류기 사용 - 각 모델의 결과를 취합하여 많은 결과 또는 높은 확률로 나올 거을 최종 결과로 채택하는 것 Hard voting 각 모델의 예측 결과 중 많은 것을 선택 1예측 3표, 2예측..
[정형데이터마이닝] 앙상블 분석목차 1) 여러개의 분류 모형에 의한 결과를 종합하여 분류의 정확도를 높이는 방법 2) 적절한 표본추출법으로 데이터에서 여러 개의 훈련용 데이터를 집합을 만들어 각 데이터 집합에 하나의 분류기를 만들어 결합하는 방법 3) 약하게 학습 된 여러 모델들을 결합하여 사용 (약하다는 것은 데이터셋이 있었을때 여러개로 나누어서 사용하기 때문에 데이터의 양이 적다) 4) 성능을 분산시키기 때문에 과적합(overfitting)감소효과가 있음 앙상블 모형(Ensemble) 의 종류 보팅(Voting) - 서로 다른 여러개 알고리즘 분류기 사용 - 각 모델의 결과를 취합하여 많은 결과 또는 높은 확률로 나올 거을 최종 결과로 채택하는 것 Hard voting 각 모델의 예측 결과 중 많은 것을 선택 1예측 3표, 2예측..
2021.08.14 -
목차 01 시계열 자료 ∙시간의 흐름에 따라 관측된 데이터 ∙시계열 분석을 위해서는 정상성을 만족해야 함 02 정상성 ∙시계열의 수준과 분산에 체계적인 변화가 없고, 주기적 변동이 없다는 것 ∙미래는 확률적으로 과거와 동일하다는 것. 정상 시계열의 조건 ∙평균은 모든 시점 (시간t) 에 대해 일정하다. (\ ∙분산은 모든 시점(시간t)에 대해서 일정하다. ∙공분산은 시점(시간t)에 의존하지 않고, 단지 시차에만 의존한다. 정상 시계열로 변환 ∙비정상적인 시계열이라면 다루기 어려운 자료로 분석을 실시할때 정상적인 시계열로 바꾸는 작업이 필요하다. ∙비정상시계열 자료는 정상성을 만족하도록 데이터를 정상시계열로 만든 후 시계열 분석을 수행한다. ∙평균이 일정하지 않은 경우: 원계열의 차분 사용 ∙계절성을 갖는..
[통계분석] 시계열 분석목차 01 시계열 자료 ∙시간의 흐름에 따라 관측된 데이터 ∙시계열 분석을 위해서는 정상성을 만족해야 함 02 정상성 ∙시계열의 수준과 분산에 체계적인 변화가 없고, 주기적 변동이 없다는 것 ∙미래는 확률적으로 과거와 동일하다는 것. 정상 시계열의 조건 ∙평균은 모든 시점 (시간t) 에 대해 일정하다. (\ ∙분산은 모든 시점(시간t)에 대해서 일정하다. ∙공분산은 시점(시간t)에 의존하지 않고, 단지 시차에만 의존한다. 정상 시계열로 변환 ∙비정상적인 시계열이라면 다루기 어려운 자료로 분석을 실시할때 정상적인 시계열로 바꾸는 작업이 필요하다. ∙비정상시계열 자료는 정상성을 만족하도록 데이터를 정상시계열로 만든 후 시계열 분석을 수행한다. ∙평균이 일정하지 않은 경우: 원계열의 차분 사용 ∙계절성을 갖는..
2021.08.13 -
통계 기호 l 상징 기호 이름 의미/정의/예시 P ( x ) 확률 밀도 함수 (pdf-probability density function ) P ( a ≤ x ≤ b ) = ∫ f ( x ) dx P ( A ) 확률 함수 사건 A의 확률 P ( A ∩ B ) 사건 교차 확률 사건 A와 B의 확률 P ( A ∪ B ) 사건 합동 확률 사건 A 또는 B의 확률 P ( A | B ) 조건부 확률 함수 이벤트 B가 발생한 경우 이벤트 A의 확률 Σ 통계에서는 수열의 합. 시그마. 수열의 모든 항을 더한것 더하다는 뜻 sum 에서 유래하여 그리스 기호 시그마로 s로 나타낸다. F ( x ) 누적 분포 함수 (cdf-Cumulative distribution function) F ( x ) = P ( X ≤ x )..
[통계분석] 통계기초 - 수학기호&통계기호통계 기호 l 상징 기호 이름 의미/정의/예시 P ( x ) 확률 밀도 함수 (pdf-probability density function ) P ( a ≤ x ≤ b ) = ∫ f ( x ) dx P ( A ) 확률 함수 사건 A의 확률 P ( A ∩ B ) 사건 교차 확률 사건 A와 B의 확률 P ( A ∪ B ) 사건 합동 확률 사건 A 또는 B의 확률 P ( A | B ) 조건부 확률 함수 이벤트 B가 발생한 경우 이벤트 A의 확률 Σ 통계에서는 수열의 합. 시그마. 수열의 모든 항을 더한것 더하다는 뜻 sum 에서 유래하여 그리스 기호 시그마로 s로 나타낸다. F ( x ) 누적 분포 함수 (cdf-Cumulative distribution function) F ( x ) = P ( X ≤ x )..
2021.08.12 -
목차 평균으로 돌아가는 회귀현상 한번 돌아(일주하여) 원래로 돌아오는 것. 유전학자 갤톤은 부모와 자식간의 키를 조사하여, 일반적으로 장신인 부모의 아이는 장신이지만, 그 평균신장은 부모만큼 크지 않다는 것을 밝혀냈다. 이것을 평균의 회귀현상이라 하였다. 이런 회귀현상을 유전학 뿐만 아니라 자연현상이나 사회현상에도 적용할 수 있다는 것을 알게 되면서 유전학 뿐만 아니라 여러분야에도 회귀현상을 적용시키게 되었다. 데이터분석 준전문가 3과목 통계분석의 이해 내용 요약 01 회귀분석(Regression analysis)의 개요 회귀분석의 정의 회귀분석(Regression analysis)에서 회귀란 말은 어딘가(?)로 돌아간다는 뜻이다. 왜하는가? 회귀분석의 목적 주어진 (독립)변수로 (종속)변수를 예측하기 ..
[통계분석] 회귀분석 - 기초목차 평균으로 돌아가는 회귀현상 한번 돌아(일주하여) 원래로 돌아오는 것. 유전학자 갤톤은 부모와 자식간의 키를 조사하여, 일반적으로 장신인 부모의 아이는 장신이지만, 그 평균신장은 부모만큼 크지 않다는 것을 밝혀냈다. 이것을 평균의 회귀현상이라 하였다. 이런 회귀현상을 유전학 뿐만 아니라 자연현상이나 사회현상에도 적용할 수 있다는 것을 알게 되면서 유전학 뿐만 아니라 여러분야에도 회귀현상을 적용시키게 되었다. 데이터분석 준전문가 3과목 통계분석의 이해 내용 요약 01 회귀분석(Regression analysis)의 개요 회귀분석의 정의 회귀분석(Regression analysis)에서 회귀란 말은 어딘가(?)로 돌아간다는 뜻이다. 왜하는가? 회귀분석의 목적 주어진 (독립)변수로 (종속)변수를 예측하기 ..
2021.08.11 -
목차 1. 통계 * 특정집단을 대상으로 수행한 조사나 실험을 통해 나온 결과에 대한 요약된 형태의 표현이다. * 조사 또는 실험을 통해 데이터를 확보, 조사 대상에 따라 총조사와 표본조사로 구분한다. 2. 통계자료의 획득 방법 2-1.총 조사 / 전수조사 (census) 대상 집단 모두를 조사하는데 많은 비용과 시간이 소요되므로 특별한 경우를 제외하고는 사용되지 않는다.(ex. 인구주택 총 조사) 2-2.표본조사 대부분의 설문조사가 표본조사로 진행되며 모집단에서 샘플을 추출하여 진행하는 조사이다. 모집단의 정의, 표본의 크기, 조사방법, 조사기간, 표본추출방법을 정확히 명시해야 한다. 모집단(population) 조사하고자 하는 대상 집단 전체 원소(element) 모집단을 구성하는 개체 표본(sampl..
[통계분석] 통계분석의 이해목차 1. 통계 * 특정집단을 대상으로 수행한 조사나 실험을 통해 나온 결과에 대한 요약된 형태의 표현이다. * 조사 또는 실험을 통해 데이터를 확보, 조사 대상에 따라 총조사와 표본조사로 구분한다. 2. 통계자료의 획득 방법 2-1.총 조사 / 전수조사 (census) 대상 집단 모두를 조사하는데 많은 비용과 시간이 소요되므로 특별한 경우를 제외하고는 사용되지 않는다.(ex. 인구주택 총 조사) 2-2.표본조사 대부분의 설문조사가 표본조사로 진행되며 모집단에서 샘플을 추출하여 진행하는 조사이다. 모집단의 정의, 표본의 크기, 조사방법, 조사기간, 표본추출방법을 정확히 명시해야 한다. 모집단(population) 조사하고자 하는 대상 집단 전체 원소(element) 모집단을 구성하는 개체 표본(sampl..
2021.08.08