전체 글 106

IQR 울타리로 GIS 지옥 탈출하기 – GIS 이상 좌표 전처리

1. 배경 📍목표 – 건물마다 높이·노후도를 계산해 재개발 후보지를 한눈에 볼 수 있는 격자 지도를 만든다.항목값건물 SHP 용량9 MB (인천 서구 전체)50 m 격자 예상 수866 ,036 ,502 셀첫 실행 시간3 시간+ — 지도도 못 띄우고 멈춤IQR 필터로 제거된 건물3 건 (좌표가 강원·제주로 튄 극단값)필터 후 격자 수2 ,589 ,048 셀최종 처리 시간72 초3 개의 잘못된 좌표 때문에 격자 범위가 전 국토로 확장돼 속도가 334 배 폭증했던 셈!2. IQR 울타리는 이렇게 쓴다 📦축별(minx·maxx·miny·maxy)로 Q1(25 %) / Q3(75 %) 를 구한다.IQR = Q3 − Q1.Fence = $Q1 − k·IQR , Q3 + k·IQR$k = 1.5 → 가벼운 이상치..

Windows + PostgreSQL에서 `UnicodeDecodeError` 해결기

1. 증상UnicodeDecodeError: 'utf-8' codec can't decode byte 0xB8 …상황pandas.DataFrame.to_sql() 로 한글 컬럼이 포함된 데이터를 PostgreSQL(pgadmin) 로 넣을 때 위 오류 발생환경Windows 11PostgreSQL 17 (설치 시 기본 “Korean_Windows” 로케일)SQLAlchemy + psycopg2 + pandas2. 원인 - “DB 클러스터 인코딩이 EUC-KR”PostgreSQL은 클러스터를 만들 때 지정한 로케일/인코딩으로만 내부 데이터를 저장한다. 기본 설치를 그대로 두면 윈도우의 Korean_Windows(EUC-KR) 가 설정된다.Python, pandas, SQLAlchemy는 모두 기본이 UTF-..

CSRF 토큰과 DOM

배경CSRF 토큰, dom 은 뭐고 왜필요할까?둘은 어떤관계를 가지고 있을까?본문1. 한 줄 요약CSRF 토큰은 로그인이나 폼 전송 시 서버가 발급한 보안 코드이고, DOM은 그 토큰이 담긴 HTML 구조 안에서 우리가 그 값을 추출해내는 장소입니다.2. 🧠 용어 먼저 정리✅ CSRF 토큰이란?CSRF = Cross-Site Request Forgery (사이트 간 요청 위조)사용자가 로그인한 상태를 악용해, 의도치 않은 요청을 자동으로 보내는 공격을 막기 위해 사용됨서버는 폼 안에 무작위 토큰을 삽입해서, 이 토큰이 없거나 틀리면 요청을 거부함 CSRF 토큰은 HTML 안에 숨겨진 input 필드로 들어가며,서버는 이 값을 확인해 정상 요청인지 판단합니다.✅ DOM이란?DOM (Docu..

크롤링 2025.04.22