GAN(Generative Adversarial Network) 기초
in Data on Deep-Learning
최근 핫한 Generative Adversarial Network, GAN을 학습한 내용을 정리한 문서입니다
리눅스 awk 사용법
in Development on Linux
awk
awk: 데이터를 조작하고 리포트를 생성하기 위해 사용하는 언어입니다. 리눅스에서 사용하는 awk는 GNU 버전의gawk로 심볼릭 링크되어 있습니다- 간단한 연산자를 명령라인에서 사용할 수 있으며, 큰 프로그램을 위해 사용될 수 있습니다.
awk는 데이터를 조작할 수 있기 때문에 쉘 스크립트에서 사용되는 필수 툴이며, 작은 데이터베이스를 관리하기 위해서도 필수입니다 - Alfred Aho, Peter Weinberger, Brian Kernighan 3명이 만들었는데 이들의 이름 이니셜을 가져와서 awk라고 부릅니다
리눅스 sed 사용법
in Development on Linux
- 텍스트 처리를 위한 유틸리티는 대표적으로
sed(stream editor)와awk가 있습니다. 이번엔sed에 대해 학습해보려고 합니다 - 정규 표현식을 사용하고, 기본 입출력은 표준 입력과 출력을 사용합니다. 파이프를 통해 한쪽의 출력을 다른 쪽으로 넘길 수 있습니다
- 주어진 주소 범위에 대해 입력의 어떤 줄을 처리할 것인지 결정합니다. 주소 범위에는 라인 번호 또는 패턴을 사용할 수 잇습니다. 예를 들어
5d라고 하면 다섯 번째 라인을 삭제하라는 것이며windows/d는 “windows”를 포함하는 모든 라일을 삭제하라는 의미입니다
리눅스 grep 사용법
in Development on Linux
grep
- 입력되는 파일에서 주어진 패턴 목록과 매칭되는 라인을 검색한 다음 표준 출력으로 검색된 라인을 복사해서 출력
- 정렬 관련 옵션을 사용하면 정렬해 출력할 수 있음
grep의 검색 범위는 메모리 제한을 넘어가지 않는 범위에서 입력 라인의 제한이 없으며 하나의 라인 안의 전체적인 문자들도 매칭할 수 있음- 입력 파일의 마지막 바트가
newline이 아니라면grep은 작업을 수행한다.
구글 BigQuery 개요
- 본 문서는 Github Tutorial의 내용을 재구성한 것입니다!
- (20.05.20) 발표 자료로 만든 BigQuery의 모든 것(입문편)를 참고하셔도 좋을 것 같습니다! 약 270쪽 정도 됩니다
- (2022년 10월 추가) 아래 내용보다 제가 강의용으로 만든 BigQuery 가이드북을 참고하시면 더욱 좋을 것 같습니다 :) 아래 내용은 2017년에 작성해서 UI가 바뀌었습니다. 추후에 아래 내용도 수정해두겠습니다!
- (2024년 7월) BigQuery 강의를 출시했습니다. 입문편, 활용편으로 나뉘며 입문편은 무료니 궁금하신 분이 계시면 보고 가셔도 좋을 것 같아요
