Uber Experimentation Platform(XP) 이해
in Data on Engineering
- 우버 테크 블로그에 있는 Under the Hood of Uber’s Experimentation Platform 을 읽고 정리한 글입니다
- 제가 관심있는 부분 위주로 정리했기 때문에 자세한 이해를 하고 싶은 분들은 원문을 읽어보길 추천합니다!
데이터 엔지니어 관련 영상 메모
in Data on Engineering
Youtube에서 데이터 엔지니어로 검색해서 나온 몇 영상들을 보고 정리한 글입니다. 추후 영어 비디오도 정리할 예정입니다 (지속적으로 업데이트)
Apache Kafka Install on Linux
in Data on Engineering
카프카, 데이터 플랫폼의 최강자를 읽고 Apache Kafka 설치에 대해 정리한 글이며 linux 16.04에서 진행했습니다.
Apache Spark RDD, Dataframe을 DB(MySQL, PostgreSQL)에 저장하기
in Data on Engineering
Apaceh Spark RDD, Dataframe을 MySQL, PostgreSQL에 저장하는 방법에 대해 작성한 글입니다. Mac 환경에서 작업했으며, Spark Version은 2.3.0입니다
Apache Kafka(아파치 카프카) Intro
in Data on Engineering
카프카, 데이터 플랫폼의 최강자를 읽고 Apache Kafka에 대해 정리한 글입니다!
Apache Spark Streaming
in Data on Engineering
Apache Spark Streaming에 대한 글입니다
Apache Spark Cluster on Google Cloud Platform
in Data on Engineering
구글 클라우드 플랫폼(Google Cloud Platform, GCP)을 사용해 Apache Spark Cluster를 띄우는 방법을 작성한 글입니다.
1) Compute Engine에서 클러스터를 띄우는 방법과 2) Dataproc을 사용하는 방법 2가지를 설명합니다.
Spark 공식 문서 참고
Apache Spark RDD NotSerializableException
in Data on Engineering
Apache Spark RDD NotSerializableException 오류에 대한 포스팅입니다!
Apache SparkSQL과 Dataframe
in Data on Engineering
SparkSQL과 Dataframe에 대한 포스팅입니다!
Apache Zeppelin(아파치 제플린)
in Data on Engineering
Apache Zeppelin 장점
- Apache Spark와 궁합이 잘맞음
- Interactive한 레포트 작성 가능
Apache Spark(아파치 스파크) RDD API
in Data on Engineering
Apache Spark RDD API(Scala)에 대한 설명 및 예제 코드입니다. 원본 글
이 글은 완성되지 않았습니다! 계속 업데이트할 예정입니다
참고 자료 : RDD Programming guide
Apache Spark(아파치 스파크) Intro
in Data on Engineering
아파치 스파크에 대한 입문 내용입니다 (주로 RDD)
대용량 데이터 처리 기술(GFS, HDFS, MapReduce, Spark)
in Data on Engineering
- 대용량 데이터 처리 기술에 대해 작성한 글입니다
- 실제 대용량 데이터 처리하는 방법이 궁금하신 분은 BigQuery와 Datalab을 사용해 데이터 분석하기를 참고하시면 좋을 것 같습니다
Apache Airflow - Workflow 관리 도구(1)
in Data on Engineering
- 오늘은 Workflow Management Tool인
Apache Airflow관련 포스팅을 하려고 합니다. - 이 글은 1.10.3 버전에서 작성되었습니다
- 최초 작성은 2018년 1월 4일이지만, 2020년 2월 9일에 글을 리뉴얼했습니다
- 슬라이드 형태의 자료를 원하시면 카일스쿨 6주차를 참고하시면 좋을 것 같습니다 :)
빅데이터 생태계(Bigdata Ecosystem) - 벤더 및 아파치 재단
in Data on Engineering
빅데이터 생태계에 대한 포스팅입니다. 빅데이터 벤더들, 오픈소스, 아파치 재단 및 아파치 프로젝트에 대한 내용입니다!
