필요하면 만드는 남자

  • 홈
  • 태그
  • 방명록

log 1

LLM 프로젝트에서 저장되는 로그의 용량이 너무 큰 문제

배경프로젝트 진행중 저장되는 로그파일 용량이 너무 큰 문제발생몇번 실행하니 용량이 무려 4기가가 넘었다.몇개의 스크립트를 실행하는 프로젝트였는데, 우선 가장 로그가 많은 스크립트(hwpx -> pdf)를 조사해봤다. log_file = os.path.join(path_daily_download, 'execution.log') logging.basicConfig( filename=log_file, level=logging.DEBUG, # 로그 레벨 설정 (DEBUG, INFO, WARNING, ERROR, CRITICAL) format='%(asctime)s - %(name)s - %(levelname)s - %(message)s', datefmt='%Y-%m-%d..

오류 해결 과정 2024.08.21
이전
1
다음
더보기
프로필사진

필요하면 만드는 남자

프로그램 제작 및 기타 문의 makenow90@gmail.com

  • 분류 전체보기 (106)
    • 로컬 LLM으로 공고 요약 전송 봇 만들기 (5)
    • 다용도 로컬 파이프라인 구성 (6)
    • 오류 해결 과정 (17)
    • 사용툴 분석 (13)
    • 그때그때 CS 정리 (19)
    • 잡다한것 (5)
    • langchain 공부 (34)
    • 배포 (2)
    • 크롤링 (5)

Tag

runnablepassthrough, 오블완, 멀티프로세서, win32com, docker, poetry, threadpoolexecutor, FAISS, reranker, Langchain, json, bm25retriever, rag, python, retriever, ollama, SSH, psexec, 도커, 멀티스레드, GPT, 티스토리챌린지, GPU, processpoolexecutor, bm25, 벡터db, 로그인, 크롤링, LLM, prompttemplate,

최근글과 인기글

  • 최근글
  • 인기글

최근댓글

공지사항

페이스북 트위터 플러그인

  • Facebook
  • Twitter

Archives

Calendar

«   2025/07   »
일 월 화 수 목 금 토
1 2 3 4 5
6 7 8 9 10 11 12
13 14 15 16 17 18 19
20 21 22 23 24 25 26
27 28 29 30 31

방문자수Total

  • Today :
  • Yesterday :

Copyright © Kakao Corp. All rights reserved.

티스토리툴바