목록데이터과학을 위한 통계 (6)

수혁지능

[Practical Statistics for Data Scientists] Multi-Armed Bandit Algorithm

이 글은 데이터 과학을 위한 통계(앤드루 브루스) 및 다양한 블로그를 참고했음을 미리 밝힙니다. 참고문헌은 맨 밑에 기재해놓았습니다. 전통적인 A/B 검정의 한계 A/B 검정은 두가지 처리방법, 제품, 절차 중 어느 쪽이 다른 쪽보다 더 우월하다는 것을 입증하기 위해 실험군 두 그룹으로 나누어 진행하는 실험. 둘 중 더 좋은 방법을 얻게 되면 실험을 멈추고 결과에 따라 행동하게 됨. 웹 디자인이나 마케팅에서 일반적으로 사용되는 방법! 하지만 이러한 접근에 몇가지 어려움이 존재 결론을 내리기 어렵다 -실험 결과가 한쪽으로 나와도(더 좋은 효과), 충분한 크기의 표본이 없다면 입증불가능 실험이 끝나기 전, 이미 얻은 결과들을 이용 시작 가능 -테스트를 다 했을 때 B가 더 좋다고 나왔는데, 지금까지는 A를 ..
데이터과학을 위한 통계 2022. 3. 31. 02:37
[Practical Statistics for Data Scientists] Random Sampling and Sample Bias

빅데이터 시대가 되면서 표본추출은 필요 없다? No! 데이터의 크기는 많이 늘어났지만 데이터의 질과 적합성을 담보할 수 없는 실태 >> 표본추출은 여전히 필요하다 빅데이터 프로젝트도 작은 표본 데이터를 가지고 예측 모델 개발 후 테스트함. 모집단에서 표본 데이터를 추출하는 것 : 표본추출 데이터 과학자들은 표본추출 과정과 주어진 데이터에 집중해야 함. 모집단에 대한 이해를 바탕으로 추가적인 통찰을 얻을 수 있는 경우: 모델링이 가능할 때 ex) coin flip(이항 분포) RandomSampling : 무작위로 표본을 추출하는 것(모든 원소는 동일한 확률로 selected) / 추출된 샘플 = simple random sample -복원 추출: 추첨 후 , 다음번에도 중복 추출 가능 -비 복원 추출: ..
데이터과학을 위한 통계 2022. 3. 17. 01:53
이전 Prev 1 2 Next 다음