빅 데이터에 대한 통찰력, '스파크' 성공비결 < 기술 < 기사본문 - AI타임스

빅 데이터에 대한 통찰력, '스파크' 성공비결

박유환
입력 2019.04.08 17:32
댓글 0
좋아요 0

이 기사를 공유합니다

▲아파치 스파크는 오늘날 가장 큰 빅 데이터 플랫폼 중 하나다(사진=123rf)

하둡의 후속작으로 언급된 아파치 스파크는 오늘날 가장 큰 빅 데이터 플랫폼 중 하나다. 오랜 시간 동안 빅 데이터에는서 큰 진보를 이뤘고 2017년도 마찬가지다.

스파크의 채택은 주요 데이터 플랫폼이 스파크와 연동해 상호 운용돼 커뮤니티가 기하 급수적으로 성장함에 따라 갈수록 유명해지고 있다. 주 계약자와 프로젝트 관리 위원회(PMC)는 이미 유명한 IBM, 페이스북 및 마이크소로프트다.

최신 데이터브릭스 기술에 추가 된 델타는 모든 데이터 프로세싱이 클라우드의 모든 부분과 스케일에서 처리되도록 AWS S3 스토리지보다 상위의 스마트 캐시 레이어며 구글과 Azure도 곧 뒤따를 예정이다.

스파크의 성공 비결은 간단하다. 유용성과 성능에 중점을 둔 통합 프레임 워크, 강력한 오픈 소스 기반과 커뮤니티는 모두 현재의 성공에 기여한다.

Copyright © '인공지능 전문미디어' AI타임스 (http://www.aitimes.com)
무단전재 및 재배포 금지

기사제보 및 보도자료 news@aitimes.com

박유환 AI시대의 AI소통법 tjdrnjsah9@naver.com

다른기사 보기

기사 댓글 0

Array ( [0] => Array ( [data] => Array ( [0] => 정책 [1] => S1N1 [2] => [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => 산업 [1] => S1N3 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N3 [1] => 산업일반 [2] => S2N48 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N3 [1] => 메타버스 [2] => S2N50 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N3 [1] => AI 기업 [2] => S2N51 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N3 [1] => 말·말·말 [2] => S2N101 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N3 [1] => English News [2] => S2N102 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N3 [1] => 인터뷰 [2] => S2N109 [3] => [4] => N [5] => ) ) ) ) [2] => Array ( [data] => Array ( [0] => 기술 [1] => S1N24 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N24 [1] => 뉴테크 [2] => S2N103 [3] => [4] => N [5] => ) ) ) ) [3] => Array ( [data] => Array ( [0] => Art & Living [1] => S1N25 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N25 [1] => Art [2] => S2N56 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N25 [1] => Living [2] => S2N55 [3] => [4] => N [5] => ) ) ) ) [4] => Array ( [data] => Array ( [0] => 교육 [1] => S1N26 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N26 [1] => AI 교육 [2] => S2N58 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N26 [1] => AI대학원 [2] => S2N59 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N26 [1] => AI융합연구센터 [2] => S2N60 [3] => [4] => N [5] => ) ) ) ) [5] => Array ( [data] => Array ( [0] => 인물 [1] => S1N27 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N27 [1] => AI초대석 [2] => S2N61 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N27 [1] => 글로벌LAB 젊은 과학자 [2] => S2N62 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N27 [1] => 동정 [2] => S2N63 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N27 [1] => 인사/부음 [2] => S2N64 [3] => [4] => N [5] => ) ) ) ) [6] => Array ( [data] => Array ( [0] => 오피니언 [1] => S1N28 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N28 [1] => 칼럼 [2] => S2N65 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N28 [1] => 기고 [2] => S2N66 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N28 [1] => 기자수첩 [2] => S2N67 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N28 [1] => 박정현의 데이터사이언스 [2] => S2N68 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N28 [1] => 조금원의 디지털 세상 이야기 [2] => S2N69 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N28 [1] => 조영임의 AI단상 [2] => S2N70 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N28 [1] => 옴부즈만 [2] => S2N96 [3] => [4] => N [5] => ) ) ) ) [7] => Array ( [data] => Array ( [0] => 포커스 [1] => S1N32 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N32 [1] => AI만평 [2] => S2N90 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N32 [1] => 주간 AI [2] => S2N91 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N32 [1] => 포토/영상 [2] => S2N98 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N32 [1] => 그래픽 [2] => S2N92 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N32 [1] => 영상 [2] => S2N94 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N32 [1] => 리스티클 [2] => S2N93 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N32 [1] => 왔다!AI [2] => S2N104 [3] => [4] => N [5] => ) ) [7] => Array ( [data] => Array ( [0] => S1N32 [1] => Chat with AI [2] => S2N106 [3] => [4] => N [5] => ) ) [8] => Array ( [data] => Array ( [0] => S1N32 [1] => 오픈-Ko LLM 리더보드 [2] => S2N107 [3] => [4] => N [5] => ) ) [9] => Array ( [data] => Array ( [0] => S1N32 [1] => AI주크박스 [2] => S2N108 [3] => [4] => N [5] => ) ) ) ) [8] => Array ( [data] => Array ( [0] => 이벤트 [1] => S1N29 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N29 [1] => NVIDIA GTC [2] => S2N97 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N29 [1] => IFA [2] => S2N71 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N29 [1] => CES [2] => S2N72 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N29 [1] => CES 2023 [2] => S2N99 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N29 [1] => AI 갤러리 [2] => S2N100 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N29 [1] => AI & BIG DATA SHOW [2] => S2N105 [3] => [4] => N [5] => ) ) ) ) [9] => Array ( [data] => Array ( [0] => 스페셜 리포트 [1] => S1N30 [2] => [3] => [4] => N [5] => ) [child] => Array ( [0] => Array ( [data] => Array ( [0] => S1N30 [1] => 찬이의 IT교실 [2] => S2N74 [3] => [4] => N [5] => ) ) [1] => Array ( [data] => Array ( [0] => S1N30 [1] => 칼럼이 있는 AI 톡 [2] => S2N75 [3] => [4] => N [5] => ) ) [2] => Array ( [data] => Array ( [0] => S1N30 [1] => 일상으로 파고드는 AI기술 [2] => S2N76 [3] => [4] => N [5] => ) ) [3] => Array ( [data] => Array ( [0] => S1N30 [1] => AI와 클라우드 [2] => S2N77 [3] => [4] => N [5] => ) ) [4] => Array ( [data] => Array ( [0] => S1N30 [1] => 스포츠, AI를 만나다 [2] => S2N78 [3] => [4] => N [5] => ) ) [5] => Array ( [data] => Array ( [0] => S1N30 [1] => 춤추는 AI개발자 연봉 [2] => S2N79 [3] => [4] => N [5] => ) ) [6] => Array ( [data] => Array ( [0] => S1N30 [1] => 로봇이 온다 [2] => S2N80 [3] => [4] => N [5] => ) ) [7] => Array ( [data] => Array ( [0] => S1N30 [1] => 이미지와 비전 AI [2] => S2N81 [3] => [4] => N [5] => ) ) [8] => Array ( [data] => Array ( [0] => S1N30 [1] => 블록체인 쿼바디스? [2] => S2N82 [3] => [4] => N [5] => ) ) [9] => Array ( [data] => Array ( [0] => S1N30 [1] => 코로나와 AI [2] => S2N83 [3] => [4] => N [5] => ) ) [10] => Array ( [data] => Array ( [0] => S1N30 [1] => 광주의 AI교육 [2] => S2N84 [3] => [4] => N [5] => ) ) [11] => Array ( [data] => Array ( [0] => S1N30 [1] => AI 저널리즘을 부탁해 [2] => S2N85 [3] => [4] => N [5] => ) ) [12] => Array ( [data] => Array ( [0] => S1N30 [1] => 자율주행차 사고 어떻게 볼 것인가 [2] => S2N86 [3] => [4] => N [5] => ) ) [13] => Array ( [data] => Array ( [0] => S1N30 [1] => 김미정의 로빌리티 뿌뿌 [2] => S2N95 [3] => [4] => N [5] => ) ) ) ) [10] => Array ( [data] => Array ( [0] => Global [1] => S1N13 [2] => [3] => [4] => N [5] => ) ) [11] => Array ( [data] => Array ( [0] => Feature [1] => S1N35 [2] => [3] => [4] => N [5] => ) ) [12] => Array ( [data] => Array ( [0] => Future Energy [1] => S1N34 [2] => [3] => [4] => N [5] => ) ) [13] => Array ( [data] => Array ( [0] => 체험기 [1] => S1N33 [2] => [3] => [4] => N [5] => ) ) )