집순이 놀이터

PC에 있는 CSV파일을 MySQL 테이블에 업로드 하는 방법에는 당연하게도 여러 방법이 있다. 여러 방법을 시도해 보고, 부딪혔던 문제들을 적어본다 [방법 1. MySQL Workbench - Import Wizard] 데이터를 업로드 하고자 하는 테이블 우클릭 - Table Data Import Wizard 장점 : 쉽다 단점 : 데이터의 형태에 따라, 라인이 밀려서 잘못 import될 수 있다. 완료 후 데이터의 개수를 꼭 확인해야 한다. 엄청 느리다 [방법 2. LOAD DATA Query ] step 1. 환경설정 : 파일을 보내는 쪽과 받는쪽 모두 환경설정이 필요하다 - 파일을 보내는 쪽 설정 MySQL home 화면에서 connection 우클릭 후, Edit connection connec..

0. 역사로 보는 데이터 시장에 대한 이해 [1기 : 데이터를 존재하게 하기에 집중하던 시기] - 2010년 ~ 2013 - 빅데이터라는 말이 처음 등장 - 데이터를 제대로 모으고 저장하는 것만으로도 큰 일 -> Hadoop을 셋팅하는 것만으로도 큰 과제 - 분석하나를 MapReduce 프로그래밍을 몇 일씩 작성해야 했던 시절 - 백엔드 엔지니어 출신 ( 검색 엔진 ) 다수 - 데이터 사이언티스트 직업의 확립 [2기: 데이터 프로세싱 성숙기] - 2013 ~ 2014년 - 이전의 단점 : MapReduce 프로그래밍을 할줄 아는 사람만 분석이 가능 - 이를 극복하기 위해 SQL 을 MR로 자동 변환해서 병렬 실행해주는 툴 등장 -> SQL on Hadoop 프로젝트들 -> Hive, Impala, Pre..

1. 데이터 처리 - 데이터 분석은 통계에 기반을 두고 있지만 통계지식과 복잡한 - 2. 시각화(시각화 그래프) - 시각화는 가장 낮은 수준의 분석이지만 잘 사용하면 복잡한 분석보다도 효율적임 -대용량 데이터를 다루는 빅데이터에서 시각화는 필수 - 탐색적 분석을 할 때 시각화는 필수 ex) Bar chart : x 가 독립적인 값일 때, Category 화 데이터 , 시간의 흐름데이터 Scatterplots : x 가 셀수 없는 값 일때 Bubble Charts : 두 개 이상의 변수값이 있을때 사용 Line Graphs : Stacked area Chart

1. 통계 - 정의 : 특정 집단을 대상으로 수행한 조사나 실험을 통해 나온 결과에 대한 요약된 형태의 표현 ex) 일기예보, 물사/실업율/GNP,정당지지도, 의식조사와 사회조사 분석통계, 임상실험 등의 실험결과 분석 통계 - 필요한 자료 : 조사 또는 실험을 통해 확보, 조사대상에 따라 총 조사( 전수 조사 ,census)와 표본조사로 구분 2. 통계자료의 획득 방법 - 총조사 /전수조사 : 대상 집단 모두를 조사하므로 많은 비용과 시간이 소요되므로 특별한 경우를 제외하고는 사용되지 않음 (ex 인구주택 총 조사 ) - 표본조사 : 대부분 .모집단 ( population ) : 조사하고자 하는 대상 집단 전체 .원소(element) : 모집단을 구성하는 개체 . 표본(sample) : 조사하기 위해 추..