전체 글 (39) 썸네일형 리스트형 [Airflow] API기반 DAG Trigger 하기 - DAG예시 - slack으로 메세지를 보내는 간단한 작업을 수행 사용 가능한 API 목록 Airflow REST API airflow.apache.org 1. Auth 설정 1-1. 컨테이너 생성 시 설정 (docker-compose.yaml) AIRFLOW__API__AUTH_BACKENDS 환경 변수 추가 Airflow 2 버전의 기본값은 외부에서 접근 불가 id, pw를 입력하여 접근 가능하도록 basic_auth로 변경 1-2. 컨테이너 내부에서 설정 컨테이너 접속 docker exec -it /bin/bash airflow.cfg 파일 변경 vim airflow.cfg auth_backends = airflow.api.auth.backend.basic_auth로 변경 2. DAG 작성 im.. Slack Webhook(API) 사용하여 메세지 보내기 1. Slack에서 Incoming WebHooks 추가 2. 메시지를 보낼 채널 설정 3. 웹후크 URL 복사 URL 형식은 다음과 같다. 4. 메세지 전송을 위한 코드 작성 (python) import json import requests def send_message(url): data = {"text": "hello"} # {"text": "slack에 보낼 메시지"} req = requests.post( url=url, data=json.dumps(data) ) if __name__ == '__main__': url = '' # 3에서 복사한 URL 붙여넣기 send_message(url) 결과 [Python] requirements.txt에 링크 넣기 mmcv 설치 하는데 삽질을 너무 많이 해서 정리할 겸 올리는 글. requirements.txt에 다음과 같이 넣어준다. (반드시 PyTorch, CUDA 버전에 맞게 설치할 것) mmcv-full==1.7.0 --find-links https://download.openmmlab.com/mmcv/dist/cu117/torch1.13/index.html mmcv가 아닌 다른 패키지를 설치하는 경우에도 동일한 방법으로 사용 가능 이후 다음 명령어로 설치를 진행한다. pip install -r requirements.txt [논문 리뷰] DRÆM – A discriminatively trained reconstruction embedding for surface anomaly detection Introduction표면 이상 탐지(surface anomaly detection)는 정상적인 형태에서 벗어난 이미지 영역의 위치를 찾는 것.일반적인 이상 탐지는정상적인 학습 이미지 세트와 크게 다른 이미지를 찾는 것.표면 이상 탐지는 이미지 픽셀의 작은 부분만을 차지하며 일반적으로 학습 이미지 세트 분포와 유사DRÆM (Discriminative joint Reconstruction Anomaly Embedding Method)DRÆM은 다음 두 가지 sub-network로 구성 된다.Reconstructive sub-network정상 이미지만 학습Discriminative sub-network원본 이미지와 재구성된 이미지의 결합 모양에 대한 판별을 학습→ 생성 방식(auto-encoder, GAN .. Custom Dataset으로 YOLOv5/YOLOv7 학습하기 (22.12.07 Update) (22.12.07) YOLOv7 추가Custom Dataset 준비자신이 가지고 있는 데이터를 사용하고 싶다! → labelImglabeling이 귀찮다! → 존재하는 dataset을 사용한다. 1. LabelImgLabelImg를 사용해 데이터셋을 생성하는 방법은 다음을 참조한다. LabelImg 설치 및 사용방법Image Labeling을 쉽게 할 수 있는 툴인 LabelImg를 알아보자. 설치 공식 github의 Installation을 보고 사용하는 OS에 맞게 설치해준다. GitHub - tzutalin/labelImg: 🖍️ LabelImg is a graphical image annota..ssun-g.tistory.com 이 글에서는 roboflow에서 제공하는 dataset을 사용해 학.. AttributeError: module 'distutils' has no attribute 'version' AttributeError: module 'setuptools._distutils' has no attribute 'version' I was trying to train a model using tensorboard. While executing, I got this error: $ python train.py Traceback (most recent call last): File "train.py", line 6, in from t... stackoverflow.com pip install setuptools=59.5.0 p.s. 잘 알려진 PyTorch 버그라고 한다. [EC2] EC2를 이용한 Deep Learning시 유의사항 ssh로 접속해야 할 경우 인바운드 규칙을 추가해줘야 한다. (EC2 instance 클릭→ 보안 탭→ 보안 그룹 클릭 → 인바운드 규칙 편집)특정 ip만 접속 허용하고 싶을 경우 0.0.0.0/0 대신 ip를 입력한다. mlflow나 FastAPI 등 특정 port를 사용하는 경우에도 인바운드 규칙을 추가 해줘야 한다. 예를 들어, FastAPI의 경우 기본 port=8000이므로 다음과 같이 port 8000에 대해서도 인바운드 규칙을 추가한다. systemd를 통해 python code를 실행할 경우 root 계정의 환경을 체크해야 한다. (이유는 추후 설명) systemd에서 user로 실행할 때의 동작은 다음과 같다. root 계정에서 su {USER_NAME} systemd에 등록된 servi.. GLIBCXX_3.4.26 not found 에러 해결 (Ubuntu 22.04) sudo add-apt-repository ppa:ubuntu-toolchain-r/test sudo apt-get update sudo apt-get install gcc-4.9 ## 설치가 안되고 진행해도 가능 sudo apt-get upgrade libstdc++6 (Optional) After this is complete, make sure to run the following: sudo apt-get dist-upgrade 나는 GLIBCXX_3.4.29 not found 에러도 같이 발생하였는데 위와 같이 실행 후 GLIBCXX_3.4.26 not found는 사라졌다. GLIBCXX_3.4.29 not found 에러는 결국 해결하지 못하여서 Ubuntu 20.04 버전으로 다운그레이드 했.. 이전 1 2 3 4 5 다음
