전체 글
[1028web from boostcourse] 파일 시스템, 터미널 기본
https://www.boostcourse.org/ai100 : 출처 : 부스트 코스 Operating System 운영체제 : 우리 프로그램이 동작할 수 있는 구동 환경 어플리케이션 > Operating System > CPU + Memory File system 파일시스템 OS에서 파일을 저장하는 트리구조 저장체계 컴퓨터 등의 기기에서 의미있는 정보를 담는 논리적인 단위, 모든 프로그램은 파일로 구성되어 있고, 파일을 사용한다. (from wiki) 파일 시스템 root 디렉토리 부터 시작하는 트리구조로 되어 있음. 윈도우 c 맥 root (리눅스와 동일) 파일의 기본체계 - 파일 vs 디렉토리 Directory - 폴더(윈도우기준) 또는 디렉토리로 불림, - 파일과 다른 디렉토리를 포함 할 수 있음..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 16]EsperTech
에스퍼 https://www.espertech.com/ 실시간 적재 핵심기술. 룰엔진 라이브러리 에스퍼만의 쿼리를 사용. ex) 과속로직/룰 을 디파인함. 라이센스 GNU GPLv2 : https://www.jopenbusiness.com/mediawiki/Esper 유사프로젝트 Drools 주요 구성요소 Event 실시간 스트림으로 발생하는 데이터들의 특정 흐름 또는 패턴을 정의 EPL 유사 SQL을 기반으로 하는 이벤트 데이터 처리 스크립트 언어 ex) 과속의 룰 정의 Input Adapter 소스로부터 전송되는 데이터를 처리하기 위한 어댑터 제공 CSV, Socker, JDBC, Http, 등 Output Adapter 타깃으로 전송하는 데이터를 처리하기 위한 어댑터 제공 HDFS, CSV, Soc..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 15]Storm
STORM http://storm.apache.org/ 대규모 메시지성 데이터 발생 -> 카프카(토픽: 버퍼링 _브로커 한계 전에 이동필요) -> 스톰(카프카 컨슈머 역할) 1. 분산병렬위치, 영구저장소에 빠른 적재 2. 전처리, 집계, 분석 -> HDFS or NoSQL or RDBMS or Radis(캐시) 라이센스 Apache 유사프로젝트 Samza, S4, Akka, Spark Stram (마이크로배치: 배치처리짧게한것 요즘대세, 스톰은 리얼타임) 주요 구성요소 Spout (이번엔. 카프카 spout) 외부로부터 데이터를 유입받아 가공, 처리해서 튜플을 생성, 이휴 해당 튜플을 Bolt에 전송 Bolt 튜플을 받아 실제 분산 작업을 수행하며, 필터링(Filtering), 집계(Aggregation..
[1028 from 실무로 배우는 빅데이터 기술 By 김강원 14]redis
radis http://www.radis.io/ Remote Dictionary Server 1. 분산 캐시 시스템 2. NoSql 처럼 Key -Value 관리. ::: 분산서버 메모리 저장, 고성능 응답속도 3. Hbase 와 달리. 대규모 메시지데이터중 특정 데이터를 저장함. 라이센스 BSD 유사프로젝트 jBoss Infinispan, MemCahshed, Mambase 주요 구성요소 Master 분산 노드 간의 데이터 복제와 Slave서버의 관리를 위한 마스터 서버 Slave 다수의 Slave서버는 주로 읽기 요청을 처리하고, Master서버는 쓰기 요청을 처리. Sentinel 레디스 3.x부터 지원하는 기능으로 Master 서버에 문제가 발생할 경우 새로운 Master를 선출 하는 기능 Rep..