전체 글 100

크롤링 시 HEADERS를 활용해 사람인척 하기

📌 HTTP 요청 헤더(HEADERS) 설명웹 크롤링을 할 때, 서버가 요청을 정상적인 브라우저 요청인지, 아니면 봇(자동화 프로그램)인지 구별하기 위해 여러 정보를 확인합니다.따라서, 정상적인 브라우저처럼 보이게 하려면 HEADERS 값을 적절히 설정해야 합니다.아래는 크롤링에 필요한 주요 헤더들의 역할과 필요성에 대한 상세 설명입니다.HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/115.0.0.0 Safari/537.36", "Accept": "text/html,application/xhtml+xml,application/xml;q..

크롤링 2025.02.12

thisown 속성: Python과 C++ 객체 메모리 관리의 이해

thisown이란?thisown은 Python과 C++ 간 객체 메모리 소유권을 관리하기 위해 사용되는 속성입니다. SWIG(Simplified Wrapper and Interface Generator)를 통해 Python과 C++를 연결할 때 생성된 객체의 소유권(즉, 메모리 관리 책임)이 Python에 있는지 C++에 있는지를 명시적으로 제어할 수 있습니다.thisown의 동작 원리Python과 C++ 메모리 관리 차이:Python: 가비지 컬렉터로 메모리를 자동 관리.C++: 수동 메모리 관리를 사용하며, 명시적으로 객체 생성 및 삭제 필요.소유권 플래그:thisown = True: Python이 객체의 소유권을 가짐.Python에서 객체가 삭제될 때 C++ 메모리도 해제됨.thisown = Fal..

Poetry에서 jupyter 가상환경 만들고, vscode에 적용하기

배경jupyter 가상환경을 vs코드에 추가하는게 뭔가 쉽지 않았다.해결한 뒤 나중에도 보기 위해 정리한다.해결과정poetry shell로 가상환경 진입가상환경 위치 찾기(project_name-py3.11) C:\Users\>poetry env info --pathC:\Users\makenow\AppData\Local\pypoetry\Cache\virtualenvs\project_name-NJYVGSWI-py3.11notebook, ipykernel 설치(project_name-py3.11) C:\Users\>poetry add notebook ipykernel패키지역할왜 필요한가?notebookJupyter 서버 실행 및 노트북 인터페이스 제공Jupyter 노트북을 실행하고, .ipynb 파일을 관리..