Zero to Hero: 플라스크 생산 레시피

게시 됨: 2022-03-11

머신 러닝 엔지니어이자 컴퓨터 비전 전문가인 저는 놀랍게도 Flask로 API와 웹 앱을 만드는 경우가 많습니다. 이 게시물에서 저는 완전한 프로덕션 준비가 된 Flask 애플리케이션을 구축하기 위한 몇 가지 팁과 유용한 레시피를 공유하고자 합니다.

다음 주제를 다룰 것입니다.

  1. 구성 관리. 모든 실제 응용 프로그램에는 최소한 개발, 테스트 및 배포와 같은 특정 단계가 있는 수명 주기가 있습니다. 각 단계에서 애플리케이션 코드는 데이터베이스 연결 문자열, 외부 API 키 및 URL과 같은 다른 설정 집합이 필요한 약간 다른 환경에서 작동해야 합니다.
  2. Gunicorn을 사용한 자체 호스팅 Flask 애플리케이션. Flask에는 웹 서버가 내장되어 있지만 우리 모두 알고 있듯이 프로덕션에는 적합하지 않으며 WSGI 프로토콜을 통해 Flask와 통신할 수 있는 실제 웹 서버 뒤에 배치해야 합니다. 이를 위한 일반적인 선택은 Python WSGI HTTP 서버인 Gunicorn입니다.
  3. Nginx로 정적 파일 및 프록시 요청 제공. Gunicorn은 HTTP 웹 서버인 동시에 웹에 직면하기에 적합하지 않은 애플리케이션 서버입니다. 이것이 Nginx가 역 프록시로 필요하고 정적 파일을 제공하는 이유입니다. 애플리케이션을 여러 서버로 확장해야 하는 경우 Nginx가 로드 밸런싱도 처리합니다.
  4. 전용 Linux 서버의 Docker 컨테이너 내부에 앱 배포. 컨테이너화된 배포는 이제 꽤 오랫동안 소프트웨어 설계의 필수 부분이었습니다. 우리의 애플리케이션도 다르지 않으며 자체 컨테이너(사실 여러 컨테이너)에 깔끔하게 패키징됩니다.
  5. 애플리케이션에 대한 PostgreSQL 데이터베이스 구성 및 배포. 데이터베이스 구조 및 마이그레이션은 객체 관계형 매핑을 제공하는 SQLAlchemy와 함께 Alembic에 의해 관리됩니다.
  6. 장기 실행 작업을 처리하기 위해 Celery 작업 대기열을 설정합니다. 결국 모든 애플리케이션은 외부 작업자의 웹 서버 스레드에서 메일 전송, 자동 데이터베이스 하우스키핑 또는 업로드된 이미지 처리와 같은 시간 또는 계산 집약적인 프로세스를 오프로드하기 위해 이것을 요구할 것입니다.

플라스크 앱 만들기

먼저 애플리케이션 코드와 자산을 생성해 보겠습니다. 이 게시물에서 적절한 Flask 응용 프로그램 구조를 다루지 않을 것임을 유의하십시오. 데모 앱은 간결함과 명확성을 위해 최소한의 모듈과 패키지로 구성됩니다.

먼저 디렉토리 구조를 만들고 빈 Git 리포지토리를 초기화합니다.

 mkdir flask-deploy cd flask-deploy # init GIT repo git init # create folder structure mkdir static tasks models config # install required packages with pipenv, this will create a Pipfile pipenv install flask flask-restful flask-sqlalchemy flask-migrate celery # create test static asset echo "Hello World!" > static/hello-world.txt

다음으로 코드를 추가하겠습니다.

구성/__init__.py

config 모듈에서 우리는 작은 구성 관리 프레임워크를 정의할 것입니다. 아이디어는 APP_ENV 환경 변수에 의해 선택된 구성 사전 설정에 따라 앱이 작동하도록 하고 필요한 경우 특정 환경 변수로 구성 설정을 재정의하는 옵션을 추가하는 것입니다.

 import os import sys import config.settings # create settings object corresponding to specified env APP_ENV = os.environ.get('APP_ENV', 'Dev') _current = getattr(sys.modules['config.settings'], '{0}Config'.format(APP_ENV))() # copy attributes to the module for convenience for atr in [f for f in dir(_current) if not '__' in f]: # environment can override anything val = os.environ.get(atr, getattr(_current, atr)) setattr(sys.modules[__name__], atr, val) def as_dict(): res = {} for atr in [f for f in dir(config) if not '__' in f]: val = getattr(config, atr) res[atr] = val return res

구성/설정.py

이것은 구성 클래스 세트이며 그 중 하나는 APP_ENV 변수에 의해 선택됩니다. 응용 프로그램이 실행될 때 __init__.py 의 코드는 이러한 클래스 중 하나를 인스턴스화하여 필드 값이 있는 경우 특정 환경 변수로 필드 값을 재정의합니다. 나중에 Flask 및 Celery 구성을 초기화할 때 최종 구성 개체를 사용합니다.

 class BaseConfig(): API_PREFIX = '/api' TESTING = False DEBUG = False class DevConfig(BaseConfig): FLASK_ENV = 'development' DEBUG = True SQLALCHEMY_DATABASE_URI = 'postgresql://db_user:db_password@db-postgres:5432/flask-deploy' CELERY_BROKER = 'pyamqp://rabbit_user:rabbit_password@broker-rabbitmq//' CELERY_RESULT_BACKEND = 'rpc://rabbit_user:rabbit_password@broker-rabbitmq//' class ProductionConfig(BaseConfig): FLASK_ENV = 'production' SQLALCHEMY_DATABASE_URI = 'postgresql://db_user:db_password@db-postgres:5432/flask-deploy' CELERY_BROKER = 'pyamqp://rabbit_user:rabbit_password@broker-rabbitmq//' CELERY_RESULT_BACKEND = 'rpc://rabbit_user:rabbit_password@broker-rabbitmq//' class TestConfig(BaseConfig): FLASK_ENV = 'development' TESTING = True DEBUG = True # make celery execute tasks synchronously in the same process CELERY_ALWAYS_EAGER = True

작업/__init__.py

작업 패키지에는 Celery 초기화 코드가 포함되어 있습니다. 초기화 시 모듈 수준에서 이미 모든 설정이 복사된 구성 패키지는 예약된 작업 및 작업자 시간 초과와 같은 향후 Celery 관련 설정이 있을 경우 Celery 구성 개체를 업데이트하는 데 사용됩니다.

 from celery import Celery import config def make_celery(): celery = Celery(__name__, broker=config.CELERY_BROKER) celery.conf.update(config.as_dict()) return celery celery = make_celery()

작업/celery_worker.py

이 모듈은 별도의 Docker 컨테이너에서 실행될 Celery 작업자를 시작하고 초기화하는 데 필요합니다. 응용 프로그램과 동일한 환경에 액세스할 수 있도록 Flask 응용 프로그램 컨텍스트를 초기화합니다. 필요하지 않은 경우 이 줄을 안전하게 제거할 수 있습니다.

 from app import create_app app = create_app() app.app_context().push() from tasks import celery

API/__init__.py

다음은 Flask-Restful 패키지를 사용하여 REST API를 정의하는 API 패키지입니다. 우리 앱은 데모일 뿐이며 엔드포인트는 두 개뿐입니다.

  • /process_data – Celery 작업자에서 긴 더미 작업을 시작하고 새 작업의 ID를 반환합니다.
  • /tasks/<task_id> – 작업 ID별로 작업 상태를 반환합니다.
 import time from flask import jsonify from flask_restful import Api, Resource from tasks import celery import config api = Api(prefix=config.API_PREFIX) class TaskStatusAPI(Resource): def get(self, task_id): task = celery.AsyncResult(task_id) return jsonify(task.result) class DataProcessingAPI(Resource): def post(self): task = process_data.delay() return {'task_id': task.id}, 200 @celery.task() def process_data(): time.sleep(60) # data processing endpoint api.add_resource(DataProcessingAPI, '/process_data') # task status endpoint api.add_resource(TaskStatusAPI, '/tasks/<string:task_id>')

모델/__init__.py

이제 User 개체에 대한 SQLAlchemy 모델과 데이터베이스 엔진 초기화 코드를 추가합니다. User 개체는 데모 앱에서 의미 있는 방식으로 사용되지 않지만 데이터베이스 마이그레이션이 작동하고 SQLAlchemy-Flask 통합이 올바르게 설정되었는지 확인하는 데 필요합니다.

 import uuid from flask_sqlalchemy import SQLAlchemy db = SQLAlchemy() class User(db.Model): id = db.Column(db.String(), primary_key=True, default=lambda: str(uuid.uuid4())) username = db.Column(db.String()) email = db.Column(db.String(), unique=True)

UUID가 기본 표현식에 의해 객체 ID로 자동 생성되는 방식에 유의하십시오.

앱.파이

마지막으로 기본 Flask 응용 프로그램 파일을 만들어 보겠습니다.

 from flask import Flask logging.basicConfig(level=logging.DEBUG, format='[%(asctime)s]: {} %(levelname)s %(message)s'.format(os.getpid()), datefmt='%Y-%m-%d %H:%M:%S', handlers=[logging.StreamHandler()]) logger = logging.getLogger() def create_app(): logger.info(f'Starting app in {config.APP_ENV} environment') app = Flask(__name__) app.config.from_object('config') api.init_app(app) # initialize SQLAlchemy db.init_app(app) # define hello world page @app.route('/') def hello_world(): return 'Hello, World!' return app if __name__ == "__main__": app = create_app() app.run(host='0.0.0.0', debug=True)</td> </tr> <tr> <td>

여기 우리가 있습니다:

  • 시간, 레벨, 프로세스 ID를 사용하여 적절한 형식으로 기본 로깅 구성
  • API 초기화와 “Hello, world!”로 Flask 앱 생성 함수 정의 페이지
  • 개발 시간 동안 앱을 실행하기 위한 진입점 정의

wsgi.py

또한 Gunicorn으로 Flask 애플리케이션을 실행하려면 별도의 모듈이 필요합니다. 두 줄만 있습니다.

 from app import create_app app = create_app()

애플리케이션 코드가 준비되었습니다. 다음 단계는 Docker 구성을 만드는 것입니다.

Docker 컨테이너 빌드

애플리케이션을 실행하려면 여러 Docker 컨테이너가 필요합니다.

  1. 템플릿 페이지를 제공하고 API 엔드포인트를 노출하는 애플리케이션 컨테이너입니다. 프로덕션에서 이 두 기능을 나누는 것은 좋은 생각이지만 데모 앱에는 템플릿 페이지가 없습니다. 컨테이너는 WSGI 프로토콜을 통해 Flask와 통신할 Gunicorn 웹 서버를 실행합니다.
  2. 긴 작업을 실행하기 위한 셀러리 작업자 컨테이너. 이것은 동일한 애플리케이션 컨테이너이지만 Gunicorn 대신 Celery를 시작하는 사용자 지정 실행 명령이 있습니다.
  3. 셀러리 비트 컨테이너 - 위와 유사하지만 이메일을 확인하지 않은 사용자의 계정을 제거하는 것과 같이 정기적으로 호출되는 작업에 사용됩니다.
  4. RabbitMQ 컨테이너. Celery는 작업자와 앱 간에 통신하고 작업 결과를 저장하기 위해 메시지 브로커가 필요합니다. RabbitMQ는 일반적인 선택이지만 Redis 또는 Kafka를 사용할 수도 있습니다.
  5. PostgreSQL이 있는 데이터베이스 컨테이너.

여러 컨테이너를 쉽게 관리하는 자연스러운 방법은 Docker Compose를 사용하는 것입니다. 그러나 먼저 애플리케이션의 컨테이너 이미지를 빌드하기 위해 Dockerfile을 생성해야 합니다. 프로젝트 디렉토리에 넣어줍시다.

 FROM python:3.7.2 RUN pip install pipenv ADD . /flask-deploy WORKDIR /flask-deploy RUN pipenv install --system --skip-lock RUN pip install gunicorn[gevent] EXPOSE 5000 CMD gunicorn --worker-class gevent --workers 8 --bind 0.0.0.0:5000 wsgi:app --max-requests 10000 --timeout 5 --keep-alive 5 --log-level info

이 파일은 Docker에 다음을 지시합니다.

  • Pipenv를 사용하여 모든 종속성 설치
  • 컨테이너에 애플리케이션 폴더 추가
  • 호스트에 TCP 포트 5000 노출
  • 컨테이너의 기본 시작 명령을 Gunicorn 호출로 설정합니다.

마지막 줄에서 무슨 일이 일어나는지 더 논의합시다. 작업자 클래스를 gevent로 지정하여 Gunicorn을 실행합니다. Gevent는 협력적 멀티태스킹을 위한 경량 동시성 라이브러리입니다. I/O 바운드 로드에서 상당한 성능 향상을 제공하여 스레드에 대한 OS 선점형 멀티태스킹에 비해 더 나은 CPU 사용률을 제공합니다. --workers 매개변수는 작업자 프로세스의 수입니다. 서버의 코어 수와 동일하게 설정하는 것이 좋습니다.

애플리케이션 컨테이너용 Dockerfile이 있으면 애플리케이션이 실행하는 데 필요한 모든 컨테이너를 정의하는 docker-compose.yml 파일을 생성할 수 있습니다.

 version: '3' services: broker-rabbitmq: image: "rabbitmq:3.7.14-management" environment: - RABBITMQ_DEFAULT_USER=rabbit_user - RABBITMQ_DEFAULT_PASS=rabbit_password db-postgres: image: "postgres:11.2" environment: - POSTGRES_USER=db_user - POSTGRES_PASSWORD=db_password migration: build: . environment: - APP_ENV=${APP_ENV} command: flask db upgrade depends_on: - db-postgres api: build: . ports: - "5000:5000" environment: - APP_ENV=${APP_ENV} depends_on: - broker-rabbitmq - db-postgres - migration api-worker: build: . command: celery worker --workdir=. -A tasks.celery --loglevel=info environment: - APP_ENV=${APP_ENV} depends_on: - broker-rabbitmq - db-postgres - migration api-beat: build: . command: celery beat -A tasks.celery --loglevel=info environment: - APP_ENV=${APP_ENV} depends_on: - broker-rabbitmq - db-postgres - migration

다음 서비스를 정의했습니다.

  • broker-rabbitmq – RabbitMQ 메시지 브로커 컨테이너입니다. 연결 자격 증명은 환경 변수에 의해 정의됩니다.
  • db-postgres – PostgreSQL 컨테이너 및 해당 자격 증명
  • migration – Flask-Migrate를 사용하여 데이터베이스 마이그레이션을 수행하고 종료할 앱 컨테이너입니다. API 컨테이너는 이에 의존하며 나중에 실행됩니다.
  • api – 주요 애플리케이션 컨테이너
  • api-worker 및 api-beat – API에서 받은 작업 및 예약된 작업에 대해 Celery 작업자를 실행하는 컨테이너

각 앱 컨테이너는 docker-compose up 명령에서 APP_ENV 변수도 수신합니다.

모든 애플리케이션 자산이 준비되면 GitHub에 올려 보겠습니다. 그러면 서버에 코드를 배포하는 데 도움이 됩니다.

 git add * git commit -a -m 'Initial commit' git remote add origin [email protected]:your-name/flask-deploy.git git push -u origin master

서버 구성

코드는 현재 GitHub에 있으며 초기 서버 구성을 수행하고 애플리케이션을 배포하는 일만 남았습니다. 제 경우 서버는 AMI Linux를 실행하는 AWS 인스턴스입니다. 다른 Linux 버전의 경우 지침이 약간 다를 수 있습니다. 또한 서버에 이미 외부 IP 주소가 있고 DNS가 이 IP를 가리키는 A 레코드로 구성되어 있으며 도메인에 대해 SSL 인증서가 발급되었다고 가정합니다.

보안 팁: HTTP(S) 트래픽에는 포트 80 및 443을, 호스팅 콘솔에서 SSH에는 포트 22를 허용하고(또는 iptables 사용) 다른 모든 포트에 대한 외부 액세스를 차단하는 것을 잊지 마십시오! IPv6 프로토콜에 대해서도 동일한 작업을 수행해야 합니다!

종속성 설치

먼저 서버에서 실행되는 Nginx 및 Docker가 필요하고 코드를 가져오려면 Git이 필요합니다. SSH를 통해 로그인하고 패키지 관리자를 사용하여 설치해 보겠습니다.

 sudo yum install -y docker docker-compose nginx git

Nginx 구성

다음 단계는 Nginx를 구성하는 것입니다. 기본 nginx.conf 구성 파일은 종종 있는 그대로 좋습니다. 그래도 필요에 맞는지 확인하십시오. 앱의 경우 conf.d 폴더에 새 구성 파일을 만듭니다. 최상위 구성에는 모든 .conf 파일을 포함하라는 지시문이 있습니다.

 cd /etc/nginx/conf.d sudo vim flask-deploy.conf

다음은 배터리가 포함된 Nginx용 Flask 사이트 구성 파일입니다. 다음과 같은 기능이 있습니다.

  1. SSL이 구성되었습니다. 도메인에 대한 유효한 인증서(예: 무료 Let's Encrypt 인증서)가 있어야 합니다.
  2. www.your-site.com 요청은 your-site.com 으로 리디렉션됩니다.
  3. HTTP 요청은 보안 HTTPS 포트로 리디렉션됩니다.
  4. 역방향 프록시는 요청을 로컬 포트 ​​5000으로 전달하도록 구성됩니다.
  5. 정적 파일은 Nginx가 로컬 폴더에서 제공합니다.
 server { listen 80; listen 443; server_name www.your-site.com; # check your certificate path! ssl_certificate /etc/nginx/ssl/your-site.com/fullchain.crt; ssl_certificate_key /etc/nginx/ssl/your-site.com/server.key; ssl_protocols TLSv1 TLSv1.1 TLSv1.2; ssl_ciphers HIGH:!aNULL:!MD5; # redirect to non-www domain return 301 https://your-site.com$request_uri; } # HTTP to HTTPS redirection server { listen 80; server_name your-site.com; return 301 https://your-site.com$request_uri; } server { listen 443 ssl; # check your certificate path! ssl_certificate /etc/nginx/ssl/your-site.com/fullchain.crt; ssl_certificate_key /etc/nginx/ssl/your-site.com/server.key; ssl_protocols TLSv1 TLSv1.1 TLSv1.2; ssl_ciphers HIGH:!aNULL:!MD5; # affects the size of files user can upload with HTTP POST client_max_body_size 10M; server_name your-site.com; location / { include /etc/nginx/mime.types; root /home/ec2-user/flask-deploy/static; # if static file not found - pass request to Flask try_files $uri @flask; } location @flask { add_header 'Access-Control-Allow-Origin' '*' always; add_header 'Access-Control-Allow-Methods' 'GET, POST, PUT, DELETE, OPTIONS'; add_header 'Access-Control-Allow-Headers' 'DNT,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type,Range,Authorization'; add_header 'Access-Control-Expose-Headers' 'Content-Length,Content-Range'; proxy_read_timeout 10; proxy_send_timeout 10; send_timeout 60; resolver_timeout 120; client_body_timeout 120; # set headers to pass request info to Flask proxy_set_header Host $http_host; proxy_set_header X-Forwarded-Proto $scheme; proxy_set_header X-Forwarded-For $remote_addr; proxy_redirect off; proxy_pass http://127.0.0.1:5000$uri; } }

파일을 편집한 후 sudo nginx -s reload 를 실행하여 오류가 있는지 확인합니다.

GitHub 자격 증명 설정

프로젝트 및 CI/CD 시스템 배포를 위해 별도의 "배포" VCS 계정을 갖는 것이 좋습니다. 이렇게 하면 자신의 계정 자격 증명을 노출하여 위험을 감수할 수 있습니다. 프로젝트 리포지토리를 추가로 보호하기 위해 해당 계정의 권한을 읽기 전용 액세스로 제한할 수도 있습니다. GitHub 리포지토리의 경우 이를 수행하려면 조직 계정이 필요합니다. 데모 애플리케이션을 배포하기 위해 서버에서 공개 키를 생성하고 GitHub에 등록하면 매번 자격 증명을 입력하지 않고도 프로젝트에 액세스할 수 있습니다.

새 SSH 키를 생성하려면 다음을 실행합니다.

 cd ~/.ssh ssh-keygen -b 2048 -t rsa -f id_rsa.pub -q -N "" -C "deploy"

그런 다음 GitHub에 로그인하고 계정 설정에서 ~/.ssh/id_rsa.pub 의 공개 키를 추가합니다.

앱 배포

마지막 단계는 매우 간단합니다. GitHub에서 애플리케이션 코드를 가져와 Docker Compose로 모든 컨테이너를 시작해야 합니다.

 cd ~ git clone https://github.com/your-name/flask-deploy.git git checkout master APP_ENV=Production docker-compose up -d

터미널에서 바로 각 컨테이너의 출력을 보고 가능한 문제를 확인하기 위해 첫 번째 실행을 위해 -d (컨테이너를 분리 모드로 시작함)를 생략하는 것이 좋습니다. 또 다른 옵션은 나중에 docker logs 로 각 개별 컨테이너를 검사하는 것입니다. 모든 컨테이너가 docker ps.

image_alt_text

엄청난. 5개의 컨테이너가 모두 실행 중입니다. Docker Compose는 docker-compose.yml에 지정된 서비스를 기반으로 컨테이너 이름을 자동으로 할당합니다. 이제 전체 구성이 어떻게 작동하는지 마침내 테스트할 시간입니다! 서버의 네트워크 설정이 올바른지 확인하려면 외부 시스템에서 테스트를 실행하는 것이 가장 좋습니다.

 # test HTTP protocol, you should get a 301 response curl your-site.com # HTTPS request should return our Hello World message curl https://your-site.com # and nginx should correctly send test static file: curl https://your-site.com/hello-world.txt

그게 다야 우리는 AWS 인스턴스에서 실행되는 앱의 최소이지만 완전히 프로덕션 준비가 된 구성을 가지고 있습니다. 실제 애플리케이션 구축을 빠르게 시작하고 몇 가지 일반적인 실수를 피하는 데 도움이 되기를 바랍니다! 전체 코드는 GitHub 리포지토리에서 사용할 수 있습니다.

결론

이 기사에서는 Flask 애플리케이션을 구성, 구성, 패키징 및 프로덕션에 배포하는 모범 사례에 대해 논의했습니다. 이것은 하나의 블로그 게시물에서 완전히 다룰 수 없는 매우 큰 주제입니다. 다음은 우리가 다루지 않은 중요한 질문 목록입니다.

이 문서에서는 다음을 다루지 않습니다.

  • 지속적인 통합 및 지속적인 배포
  • 자동 테스트
  • 로그 전달
  • API 모니터링
  • 여러 서버로 애플리케이션 확장
  • 소스 코드의 자격 증명 보호

그러나 이 블로그의 다른 훌륭한 리소스를 사용하여 그렇게 하는 방법을 배울 수 있습니다. 예를 들어, 로깅을 탐색하려면 Python 로깅: 심층 자습서를 참조하거나 CI/CD 및 자동화된 테스트에 대한 일반 개요를 보려면 효과적인 초기 배포 파이프라인을 구축하는 방법을 참조하세요. 나는 이것들의 구현을 독자인 당신에게 연습으로 남겨둡니다.

읽어 주셔서 감사합니다!