필요하면 만드는 남자

목표저번까지는, 예제 코드를 실행시켰는데, 실제 셀레니움 코드를 실행 시켜보자.과정처음 dag 코드 실패(그런데 vscode에서 실행했을땐 동작했었다 ;;)run_external_script = SSHOperator( task_id='run_external_script', ssh_conn_id='ssh_default', command='python C:\\script\\my_script.py' )외부의 스크립트를 실행한거라 오류 내용이 출력이 안됨. 따라서 오류 로그를 출력하는 메모장을 추가"python C:\script\my_script.py > C:\script\log.txt" : 우선 my_script.py를 실행하고 그 출력내용을 log.txt로 보내"2>&1" : (..

배경 : 도커허브에 ollama 공식 이미지를 제공해 주길래 시도. 혹시라도 내가 만들 서비스가 규모가 커져서, 쿠버네티스로 실행해야하는 상황이 올수도 있지 않을까.. ㅋ 실습환경 : 윈도우 내 리눅스 환경인 우분투에서 진행과정공식 도커 이미지 다운$ docker pull ollama/ollama내가 가지고 있는 Nvidia GPU 기반으로 실행하기 위해 환경설정공개 GPG 키를 다운로드하고 시스템에 설치 $ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg1줄: 주어진 URL에서 NVIDI..

요약 : 외부 스크립트(셀레니움으로 제작된)를 실행시키기 위한 dag 작성.우선 셀레니움 기능을 하는 코드 대신, 메모장을 생성하는 코드로 테스트 했다. 배경지식UTF-8 인코딩 : 유니코드를 사용하는 인코딩 방식으로, 세계의 거의 모든 문자 체계를 하나의 인코딩으로 표현할 수 있습니다. 따라서 다양한 언어나 특수 문자를 포함할 가능성이 있는 파일을 다룰 때는 encoding='utf-8'을 사용하는 것이 안전하고 효과적인 방법이다. 다양한 시스템과 플랫폼 간에 호환되는 방식으로 데이터를 전송하거나 저장할 수 있다.Base64 인코딩 : 기존 ASCII 코드는 시스템간 데이터를 전달하기에 안전하지 않다. 모든 Binary 데이터가 ASCII 코드에 포함되지 않으므로 제대로 읽지 못한다.  Base64는 ..

배경 : 도커와 Poetry를 결합해 컨테이너 구축(https://makenow90.tistory.com/3). 이후 request 모듈 설치후 컨테이너 쉘에서도 설치 됐는지 체크해봤는데, 설치가 안돼있음. 오류 해결과정컨테이너 쉘에 접속후 잘 설치 됐는지 확인$ docker exec -it airflow_airflow-webserver_1 /bin/bash$ pip show pythonWARNING: The directory '/home/airflow/.cache/pip' or its parent directory is not owned or is not writable by the current user. The cache has been disabled. Check the permissions an..