전체 글 (52) 썸네일형 리스트형 AWS 메시징 서비스 종류? SQS, SNS, Kinesis, Amazon MSK(Amazon Managed Streaming for Apache Kafka) -SQS 실습- 대기열 생성 - AWS SQS에서 SQS 생성 -파이썬 코드로 메시지 송수신 송신 import boto3 sqs = boto3.client('sqs') queue_url = 'https://sqs.ap-northeast-2.amazonaws.com/[큐번호]/[큐이름]' response = sqs.send_message( QueueUrl=queue_url, MessageBody=( 'Information about current NY Times fiction bestseller for ' 'week of 12/11/2016.' ) ) print(resp.. Zookeeper + Kafka -실습- 주키퍼 3개중 리더 1개가 문제가 생기면 나머지 둘중 하나가 리더로 변경된다(클러스터링 구성) [리더 - 팔로워] 2888 - 주키퍼 리더 포트 3888 - 주키퍼 팔로워 포트 zookeeper 클러스터 설정 1) 3대 VM 준비 hostname : zookeeper1, zookeeper2, zookeeper3 IP주소 : 192.168.245.130, 192.168.245.140, 192.168.245.150 2) zookeeer 다운 및 설치 yum -y install java-1.8.0-openjdk-devel.x86_64 wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz tar .. Kafka? 카프카?(Kafka) Kafka는 LinkedIn에서 개발한 분산 스트리밍 플랫폼, 오픈 소스 메시지 브로커 메시징, 메트릭 수집, 로그 수집, 스트림 처리 등 다양한 용도로 사용 가능 +메세지 큐(메시지, 요청을 저장하고 있다가 필요할 때 보내준다) +서버와 서버가 통신할때 카프카를 통해 연결 복잡도를 줄여준다.(단순화한다.) -특징 빠르다 : 수 천 개의 데이터 소스로 부터 초당 수백 메가바이트의 데이터를 입력받아도 안정적으로 처리 가능 확장가능 : 메시지를 파티션으로 분리하여 분산 저장, 처리할 수 있어 클러스터로 구성하여 확장 가능 안정적이다 : 클러스터에 파티션 복제하여 장애 내구성을 가짐 -구조 발행/구독(Pub/Sub) 모델 Kafka는 발행-구독(Pub/Sub) 모델을 기반으로 동작 발행-.. AWS 서버리스(server less) 3Tier conn 2 -HTTPS로 정적 리소스 배포 -cloudfront 일단 인증서 (Certificate Manager) 리전 : 북미 로 만들어놓기 - 내 도메인에 인증서 인증해주기 ( CNAME 이름, 값 입력해주고 끝에 .은 다 빼주기) -API Gateway -다시 cloudfront에서 장고에서 CORS ORIGIN WHITELIST에 도메인 입력하고, zappa update 를 실행해야 한다. CORS_ORIGIN_WHITELIST = [ "https://www.kjs1.kro.kr", AWS 서버리스(server less) 3Tier conn 1 -미리준비 RDB, 파이썬, 정도? -zappa 설치(AWS에 장고를 올려보자) zappa 설치 하려면 설치 파일 다운로드 - 그대로 설치하면 오류때문에 설치 안된다. - setup 파일 따로 수정 https://pypi.org/project/kappa/0.6.0/#files 다운로드 받고 - 압축해제 - 파일 경로에서 파이썬 구동 - setup.py파일 수정 def open_file(fname): return open(os.path.join(os.path.dirname(__file__), fname), 'r', encoding='UTF8') -settings.py도 미리 수정 DATABASE = { 'ENGINE': 'mysql.connector.django', cd C:\Users\user\Deskt.. AWS API GATEWAY? AWS API GATEWAY에서 오른쪽 API 생성 클릭 Generate Template : Method Request passthrough 의 내용의 일부이니 범위를 잘 보고 복사, 붙여넣기 하자. Django - AWS S3 연동, AWS Lambda 함수 생성 장고의 기능을 활용하여 AWS의 S3와 연동해보려 한다. -준비F AWS RDS,AWS S3 ,Django -장고에서 pip install boto3 django-storages AWS_REGION = 'ap-northeast-2' AWS_STORAGE_BUCKET_NAME = 'kjs27-s3' AWS_ACCESS_KEY_ID = '' AWS_SECRET_ACCESS_KEY = '' AWS_S3_CUSTOM_DOMAIN = '%s.s3.%s.amazonaws.com' % (AWS_STORAGE_BUCKET_NAME, AWS_REGION) STATIC_URL = "https://%s/static/" % AWS_S3_CUSTOM_DOMAIN STATICFILES_STORAGE = 'storages.back.. AWS S3 버킷 생성 S3은 AWS의 객체 스토리지이다. 객체 스토리지 안의 파일들은 모두 수평 관계를 가지고 있으며, 클라이언트가 접근할때 특정 URL로 직접 접근한다. *객체 스토리지 : S3 - 서버와 컴퓨터 없어도 사용 가능/ 클라이언트가 접근할때 특정 URL로 직접 접근한다. *블록 스토리지 : EBS - 서버와 컴퓨터가 있어야만 사용 가능/ 클라이언트가 접근할때 특정 디렉토리 밑의 파일을 찾아간다. 이전 1 2 3 4 5 6 7 다음
