pickle과 json 비교

pkl 파일은 Python에서 객체를 직렬화(serialize)한 데이터를 저장하는 파일 형식입니다. 이 파일은 Python의 pickle 모듈을 사용하여 생성됩니다. 직렬화는 Python 객체를 바이트 스트림으로 변환하는 과정이며, 이를 통해 객체를 파일에 저장하거나 네트워크를 통해 전송할 수 있습니다. 역직렬화(deserialization)는 바이트 스트림을 다시 원래의 Python 객체로 변환하는 과정입니다.

pickle 모듈의 주요 사용 사례

1. 객체 저장과 로드:

   • Python 객체(리스트, 딕셔너리, 사용자 정의 객체 등)를 파일로 저장하고 나중에 불러와 사용할 수 있습니다.
   • 예를 들어, 복잡한 데이터 구조를 한 번 계산한 후 다시 계산하지 않기 위해 저장할 때 유용합니다.

2. 모델 저장:

   • 머신 러닝 모델을 학습한 후, 그 모델을 저장해두고 나중에 필요할 때 불러와 사용할 수 있습니다. scikit-learn과 같은 라이브러리에서는 학습된 모델을 저장하고 불러오는 데 pickle을 자주 사용합니다.

3. 상태 유지:

   • 프로그램의 실행 상태를 저장하고, 나중에 프로그램을 다시 실행할 때 이전 상태에서부터 이어서 작업을 할 수 있습니다.

예시 코드

import pickle

# 객체 직렬화: 객체를 pkl 파일로 저장
data = {'name': 'Alice', 'age': 25, 'scores': [85, 90, 88]}
with open('data.pkl', 'wb') as file:
    pickle.dump(data, file)

# 객체 역직렬화: pkl 파일에서 객체를 불러오기
with open('data.pkl', 'rb') as file:
    loaded_data = pickle.load(file)

print(loaded_data)

pkl 파일의 장단점

장점:

• 간편성: 복잡한 Python 객체를 손쉽게 파일로 저장하고, 필요할 때 불러올 수 있습니다.
• 유연성: 다양한 Python 객체를 저장할 수 있으며, 커스텀 객체도 저장 가능합니다.

단점:

• 호환성 문제: pickle 파일은 Python 버전에 따라 호환성 문제가 발생할 수 있습니다. 다른 프로그래밍 언어나 다른 Python 버전에서 사용하기 어려울 수 있습니다.
• 보안 문제: 피클 파일은 임의의 코드를 실행할 수 있는 가능성이 있어, 신뢰할 수 없는 소스에서 받은 pkl 파일을 로드하면 보안 위험이 따릅니다.

사용 시 주의 사항

pkl 파일은 보안 상의 이유로 신뢰할 수 없는 소스에서 받은 데이터를 로드하는 데 매우 주의해야 합니다. 피클 파일을 역직렬화하는 과정에서 악성 코드가 포함된 객체를 실행할 수 있기 때문입니다. 따라서 pickle을 사용할 때는 파일의 출처를 반드시 확인해야 하며, 안전한 소스에서만 사용해야 합니다.