필요하면 만드는 남자

이전포스트과거 잘못된 도커 내 poetry 설치(https://makenow90.tistory.com/3)배경저번에 1편에서 컨테이너에 poetry를 설치하는데는 성공했지만, 도커 내에 poetry 가상환경을 만든꼴이 됐다.poetry는 의존성 관리에만 사용하고, 도커 내에서는 가상환경을 실행하지 않도록 바꾸려한다.도커파일FROM apache/airflow:2.7.3USER root# 필요한 시스템 패키지 설치# 1줄: 패키지 관리 시스템이 최신 패키지 정보를 얻도록 함.# 2줄: 원격 서버에 SSH 프로토콜을 통해 접속할 수 있게 함.# -y 설치중 사용자 확인을 자동으로 승인# 3줄: 다운로드한 패키지 파일을 삭제하여 캐시를 정리,# 디스크 공간을 절약해 이미지 크기를 줄임# 4줄: apt-get u..

배경airflow(리눅스)에서 로컬(윈도우)에 있는 스크립트를 실행하고자 했다.그 이유는 window에서 많은 자동화 작업이(hwp_pdf 변환, LLM 변환, 카톡자동보내기) 이루어질 예정이었고, window 에서만 사용가능한 파이썬 모듈도 사용해야 했다.왜 굳이 윈도우에서 실행시키느냐는 질문도 있었지만 하고자 하는 모든게 깔끔하게 API로 갖춰진 상황은 아니였다.또한 크론탭을 통해 airflow를 사용하지 않아도 됐지만, 내가 평생 구축하고 운영하고자 하는 파이프라인이 수백개는 넘는다.이를 관리할수 있는 툴은 왠만하면 한개로 제한하고 싶다.airflow는 리눅스 하에서만 사용이 가능하기 때문에, 스케줄러 및 파이프라인 관리용으로만 쓰고,스크립트(코드)를 윈도우에 두고 윈도우 환경에서 실행 했다.실행하..

배경윈도우에 스크립트를 두고 아래 명령어를 통해 파워쉘로 실행하고자 했다.command=f'cd {default_path}; poetry shell; python [2]hwp_to_pdf.py'실행이 안됐다.원인 파악 및 해결과정로그를 확인해보니 가상환경이 활성화 된걸 확인했다. 경로도 스크립트 파일이 있는 경로가 맞다.[2024-07-10, 03:09:59 UTC] {winrm.py:129} INFO - Try the new cross-platform PowerShell https://aka.ms/pscore6[2024-07-10, 03:09:59 UTC] {winrm.py:129} INFO - [2024-07-10, 03:09:59 UTC] {winrm.py:129} INFO - (.venv) PS ..

배경airflow 컨테이너(리눅스구조) 내부에 여러 폴더들이 있는데 각각 무슨역할을 하는지 궁금하다.아래는 Linux 시스템의 주요 디렉토리에 일반적으로 포함될 수 있는 파일 유형과 몇 가지 예시 파일들입니다. 이들은 각 디렉토리의 용도와 역할을 이해하는 데 도움이 될 것입니다.폴더 별 설명/bin-Binary(실행파일)용도: 이 디렉토리에는 사용자와 시스템이 사용하는 필수 실행 파일이 포함되어 있습니다. 예를 들어, ls, cp 등의 기본적인 시스템 명령어가 여기에 있습니다.예시:ls - 디렉토리 내용을 리스트업.cp - 파일 복사.mv - 파일 이동. /boot - Boot용도: 부팅에 필요한 파일들, 예를 들어 커널, 부트 로더 설정 파일 등이 저장됩니다.예시:vmlinuz - 부팅에 사용되는 Li..

오류내용Message: session not created: Chrome failed to start: crashed. (session not created: DevToolsActivePort file doesn't exist) (The process started from chrome location C:\Program Files (x86)\Google\Chrome\Application\chrome.exe is no longer running, so ChromeDriver is assuming that Chrome has crashed.)Stacktrace:배경winrm을 통한 원격 실행도중 셀레니움에서 오류 발생, 평소 로컬실행에서는 발생하지 않았던 오류해결방법chrome_options.add_a..

DNS 우회개념DNS 우회는 지역 제한이나 인터넷 검열을 피하기 위해 사용자의 DNS 쿼리를 표준 ISP 제공 DNS 서버 대신 다른 DNS 서버로 전송하는 방법입니다. 이렇게 함으로써 사용자는 차단된 웹사이트에 접근할 수 있게 됩니다. DNS 우회는 소프트웨어나 네트워크 설정을 통해 진행되며, VPN이나 다른 방법에 비해 간단하고 빠르게 설정할 수 있습니다. 그러나 DNS 쿼리만 변경되기 때문에, 트래픽 자체는 암호화되지 않아 보안이 상대적으로 약할 수 있습니다.활용DNS 우회로 공부 방해 사이트 차단하기https://makenow90.tistory.com/23VPN 우회VPN (가상 사설 네트워크) 은 사용자의 전체 인터넷 트래픽을 암호화하고, VPN 서버를 통해 우회하여 인터넷에 접속합니다. 이는 ..

실습환경 : window 10배경winrm 설정을 하다가 DNS가 뭔지 공부하게 됨사람이 이해하기 쉬운 도메인 명을 실제 주소로 변경해 접속하게해줌이 연결 과정을 변형하면 사이트 차단을 할수 있겠음내 공부를 방해하는 사이트들을 차단해보자.이미 그런 어플은 존재하지만, 차단이 쉬운만큼, 차단 해제도 쉬운상황그런 어플과 병행해서 3중으로 차단하고 풀기도 더 어렵게 해보자. 과정(1차차단) 크롬 확장도구(Website Blocker) 이용해 차단차단 앱 설치 후, 따라하며 방해 사이트 차단 https://iloverkss.tistory.com/557 (1차 차단)-> 시크릿 모드로 열면 뚫림.. 2차 차단까지 꼭 할것(2차차단) DNS 우회 이용해 차단메모장을 관리자 권한으로 실행(마우스 오른쪽 버튼눌러 관리..

인터넷 신호 교환 순서ISP 연결ISP에서 서비스 제공 (광케이블, ADSL, 위성 등)모뎀을 통해 외부 네트워크와 연결모뎀아날로그 신호를 디지털 데이터로 변환인터넷 연결의 첫 번째 지점라우터 연결모뎀과 연결하여 인터넷 신호를 여러 장치에 분배Wi-Fi 및 이더넷을 통한 내부 네트워크 구성IP 주소 할당DHCP를 통해 자동 IP 주소 할당네트워크 상의 각 장치가 서로를 인식하고 통신 가능데이터 전송DNS를 통해 웹사이트 이름을 IP 주소로 변환HTTP/HTTPS를 통한 웹 요청과 데이터 수신게이트웨이와 라우팅기본 게이트웨이(라우터)를 통해 데이터를 인터넷으로 전송여러 네트워크 노드를 거쳐 데이터가 목적지에 도달DNS 서버개념사람이 읽기 쉬운 도메인 이름(예: www.example.com)을 컴퓨터가 이해..

WinRM 설정WinRM 환경설정 시작winrm quickconfigWinRM 서비스에서 기본 인증 방식을 허용하도록 설정합니다. (사용자 이름과 비밀번호를 사용한 인증)winrm set winrm/config/service/auth @{Basic="true"}암호화되지 않은 통신을 허용. 이는 네트워크를 통해 데이터가 암호화되지 않고 전송되도록 허용하는 설정winrm set winrm/config/service @{AllowUnencrypted="true"}WinRM 서비스의 채널 바인딩 토큰 강화 수준이 강화로 설정된 경우 해당 값을 낮음으로 변경winrm set winrm/config/service/auth @{CbtHardeningLevel="relaxed"}위에서 바꾼 설정 제대로 바뀌었는지 하..

등장배경기존의 유닉스 시스템 원격 접속 텔넷은, 암호화가 없는 텍스트 기반 통신ssh는 키 교환 알고리즘 기반의 암호화 기능을 갖춤, 기본 포트는 22번현재 원격 접속 보안을 위한 필수적인 요소로 자리잡고 있음. NBP나 AWS와 같은 CSP(Cloud Service Provider, 클라우드 서비스를 제공하는 곳)에서 서버 생성시 필수적으로 SSH 보안 과정을 거침작동원리공개키(.pub), 개인키(.pem), 대칭키로 나뉨. 공개키는 유출돼도 상관없음사용자가 키 페어를 생성했을 경우, 공개 키를 서버에 전송서버는 공개 키를 받아서, 이 공개 키로 만들어진 랜덤한 값을 생성사용자는 이 랜덤 값을 개인 키를 이용해 푼다. 오직 키 페어 생성 시 함께 생성된 개인 키와 공개 키만 서로 해석이 가능 서버는 ..