[산대특]클라우드기반 빅데이터 활용 정보 시스템보안과정/Cloud
-
[산대특] Docker Alpine, Inspect, Logs, fulentd 로깅, Container에 Resource 할당, Docker FTP, Docker Swarm[산대특]클라우드기반 빅데이터 활용 정보 시스템보안과정/Cloud 2024. 11. 6. 08:26
1105 이미지 중에서 가장 용량이 적은 이미지 형식 => Alpine docker inspect 컨테이너 => 해당 컨테이너에 대한 정보를 자세히 보임=> docker에서 Debugging 도구 docker logs 컨테이너=> 해당 컨테이너에 대한 활동이력을 보인다. fluentd 로깅fluentd => Open source, 각족 오그를 수집하고 저장 가능. 이 도구를 통해 컨테이너 로그들을 AWS S3, HDFS, MongDB 등에 저장하게 만들 수 있다. docker 서버에서 데이터 발생 -> fluentd 로 전송, fluentd 에서 MongoDB 에 로그 기록 컨테이너 리소스 할당Docker에서 컨테이너들의 관계는 수평적 개념이다. 그래서 컨테이너별 역할에 따라 리소스를 다르게 설정해야..
-
[산대특] Docker backup/restore, export/import, 이벤트, Dockerfile, Multi-Stage, Express, Node.js, React, Flask,[산대특]클라우드기반 빅데이터 활용 정보 시스템보안과정/Cloud 2024. 11. 5. 09:54
1104 조직에서 모두 동일한 환경의 가상 머신을 이용하게 backup/restore 하여 파일을 만들 수 있다. docker save -o ~~docker load -i ~~~ export/import 로도 할 수 있다. export 로 파일을 tar로 추출, import로 다른 이름으로 저장. export 와 save 는 압축되는 파일 구조&디렉터리가 다르다.export : 컨테이너를 동작하는데 필요한 모든 파일을 압축. (컨테이너의 루트 파일 시스템 전체가 포함)save : 레이어 구조까지 포함한 형태로 압축 이러한 이미지 생성하는 방법은 아래와 같다- docker hub 이용 - 무료- 웹에서 Organization 생성, 팀원과 공유 - 유료- 웹에서 WebHook 생성, 팀원과 공유 - ..
-
[산대특] Docker Daemon, Engine, Server, Client, Dangling Image[산대특]클라우드기반 빅데이터 활용 정보 시스템보안과정/Cloud 2024. 11. 1. 16:16
101 오늘 UTP 케이블 Straight 랑 Cross-Over 두 개 만들었다! 도커 컨테이너들을 묶어주는 네트워크 방법은 1) 디폴트로 docker0 브리지(스위치, 게이트웨이)를 이용하기2)사용자 정의 브리지를 생성한 뒤 이용하기3)사용자 정의 브리지에 IP 주소 옵션을 준 뒤 이용하기 4)외부 호스트의 네트워크 그대로 이용하기5)외부와 단절시키는 None 네트워크 이용하기6)container 네트워크로 이용하기7) Bridge 네트워크에서 --net-alias 옵션 이용하기가 있다. (자세한 실습은 개인 필기를 보자) *** Network Cabling 실습 각자가 Cross-Over와 Straight-Thru를 케이블링 한 뒤 Tester기로 확인 했다. 도커 데몬 도커는 클라이언..
-
[산대특] Docker Layer, Volume, Network[산대특]클라우드기반 빅데이터 활용 정보 시스템보안과정/Cloud 2024. 10. 31. 17:26
1031 docker 이미지를 다운 받을 때Layer 라고 하는데, 이미지를 여러 부분으로 분산 저장한 것을 다운받아와서 이렇게 보인다. (Layer + Cache 개념이 들어있다.) 컨테이너에서는 홈피 소스를 저장할 수 없어서(cpu에서 돌아가서 용량이 작아서) 외부 호스트인 Ubuntu에 홈피 소스를 저장하여 연결하면 용량 제약 없이 화려한 홈피를 볼 수 있다. 물론 다른 컨테이너에서도 이 홈피를 볼 수 있다. MySQL DB 컨테이너를 만들 땐환경변수 인자를 통해 계정이나 DB를 생성할 때 만들 수 있다. Container 에 Network 를 할당하여 사용할 수 있다. Class A나 Class B 주소 10.0.0.0이나 172.17.0.0 주소를 사용하여 외부로 노출되는 가상 IP를..
-
[산대특] Docker와 Kubernetes[산대특]클라우드기반 빅데이터 활용 정보 시스템보안과정/Cloud 2024. 10. 30. 17:10
1030 Docker와 Kubernetes 가상 컨테이너에서 실행되는 Docker(API 이미지)Docker Orchestration (운영 관리) => Kubernetes(Kube, K8s) AI Labs에서 사용 중인 도구들은▪ Openstack(가상 컨테이너는 소프트웨어를 연결하기 위한 소프트웨어적인 스위치와 라우터를 구축해주는 오픈 소스 프로그램) => 사내 클라우드 구축 ▪ Docker / Kubernetes 등으로 환경 구성과 서비스 지원▪ Helm(Kubernetes 패키지 매니저)으로 서비스 설정과 지원▪ Prometheus(Helm에서의 정보 수집) / Grafana(오픈소스 메트릭/로그 시각화 대시보드 제공)로 클라우드 모니터링 ▪ Terraform(오픈소스 클라우드 인프라스트럭..
-
[산대특] Hadoop, ganglia, grids[산대특]클라우드기반 빅데이터 활용 정보 시스템보안과정/Cloud 2024. 10. 29. 16:43
1029 Hadoop에서의 용어HDFSHadoop Distributed File System 파일을 일정 크기의 데이터 블록(chunk)으로 저장블록, 여러번 복제 가능, 가용성 ↑ Name Node(Master)가 데이터 블록들을 전체 클라우드에 분산 저장시킴위치와 무관하게 빠르게 데이터에 접속, 장애처리(fault–tolerance) 가능, 각각의 DataNode(Slave)하드웨어 부담↓NameNodeHadoop Master NameNode 실제 데이터가 저장된 Hadoop Slave DataNode의 클러스터내의 위치 정보를 추적각 DataNode(Slave)의 상태를 알고 있는 Name Node(Master)는Hadoop이 부팅시 바로 NameNode들과 연결을 시도DataNode슬레이브 노..
-
[산대특] Cloud 1 이론, GitHub, ownCloud, Haddop[산대특]클라우드기반 빅데이터 활용 정보 시스템보안과정/Cloud 2024. 10. 28. 18:23
1028 Cloud웹상에 데이터를 저장하는 Web Hard웹상의 데이터베이스에 데이터나 각종 응용 프로그램, 서버 등을 저장하는 구조와 Cloud는 개념상 서로 다르다. 클라우드는 모든 호스트들데이터가 자동으로 동기화 =>보안이 매우 중요 유료 클라우드 컴퓨팅인 Amazon AWS, Microsoft Azure, Google GCP(Google Cloud Platform) 그리고 IBM, KT, Naver =>IT 리소스를 인터넷을 통해서 온-디맨드(On-Demand) 방식으로 제공=> 사용한 만큼만 비용을 지불하는 방식 사설 클라우드(Private Cloud)와 공개형 클라우드(Public Cloud), 혼합형 클라우드(Hybrid Cloud)로 분류 클라우드 서비스는 3가지로 나뉨소프트웨어를 웹..