전체 글 99

도커에서 ollama GPU 기반으로 실행하기

배경 : 도커허브에 ollama 공식 이미지를 제공해 주길래 시도. 혹시라도 내가 만들 서비스가 규모가 커져서, 쿠버네티스로 실행해야하는 상황이 올수도 있지 않을까.. ㅋ 실습환경 : 윈도우 내 리눅스 환경인 우분투에서 진행과정공식 도커 이미지 다운$ docker pull ollama/ollama내가 가지고 있는 Nvidia GPU 기반으로 실행하기 위해 환경설정공개 GPG 키를 다운로드하고 시스템에 설치 $ curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey \    | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg1줄: 주어진 URL에서 NVIDI..

도커 컨테이너에서 외부 셀레니움 실행 2

요약 : 외부 스크립트(셀레니움으로 제작된)를 실행시키기 위한 dag 작성.우선 셀레니움 기능을 하는 코드 대신, 메모장을 생성하는 코드로 테스트 했다. 배경지식UTF-8 인코딩 : 유니코드를 사용하는 인코딩 방식으로, 세계의 거의 모든 문자 체계를 하나의 인코딩으로 표현할 수 있습니다. 따라서 다양한 언어나 특수 문자를 포함할 가능성이 있는 파일을 다룰 때는 encoding='utf-8'을 사용하는 것이 안전하고 효과적인 방법이다. 다양한 시스템과 플랫폼 간에 호환되는 방식으로 데이터를 전송하거나 저장할 수 있다.Base64 인코딩 : 기존 ASCII 코드는 시스템간 데이터를 전달하기에 안전하지 않다. 모든 Binary 데이터가 ASCII 코드에 포함되지 않으므로 제대로 읽지 못한다.  Base64는 ..

도커 컨테이너에서 외부 셀레니움 실행 1

실습환경 : 명령프롬프트(cmd) 배경운영체제는 윈도우10을 사용.현재 윈도우 내 리눅스(우분투)에 airflow 컨테이너를 구축한 상황.도커 내부에서 셀레니움을 실행시킨적이 있다. 정말 토나온다. 구축의 난이도는 2째로 놓고 봐도.리눅스 환경이라, 셀레니움의 가장 강점(동작이 보여서 오류 위치를 찾을수 있다) 를 포기해야한다.따라서 컨테이너 외부 비주얼한 환경(윈도우)에 셀레니움 스크립트를 저장하고, 실행시키고자 한다. 전체 순서윈도우 내 ssh 설정으로 외부에서 접근 가능하게 수정(여기서 할 것)airflow로 윈도우에 my_script.py 파일을 생성하고 실행시켜 테스트실제로 my_script.py에 셀레니움 코드를 넣고 테스트 윈도우 내 ssh 설정으로 외부에서 접근 가능하게 수정윈도우 검색창에..