전체 글70 21일차 ) Python 을 사용한 Text Mining 글 쓴 이유금일 배운 Text Mining 을 어떻게 사용하고 어떨때 사용하는지에 대한 학습 내용을 토대로 정리하고자 작성함텍스트 마이닝은 왜하는가 ?뉴스 댓글 , 포털의 카페 , 블로그 , 소셜 미디어 등을 통해 자신의 경험과 의견을 자유롭게 공유하고있음자연어는 컴퓨터가 이해할 수 있도록 수치형 데이터로 변환해야함예를 들어 블로그 크롤링 , 리뷰 데이터 같은 Text 형식의 데이터초기의 하향식 규칙 기반 접근 방식은 수많은 규칙과 예외를 만들어야 했음대규모 데이터 기반 접근 방식이 도입된 이후 정확성이 크게 향상됨텍스트 마이닝은 자연어를 분석 가능한 형태로 변환 , 데이터에 포함된 사람들의 공통적인 생각과 의견을 읽어 인사이트를 도출텍스트 마이닝이 어려운 이유텍스트 데이터를 수집하기 어려움웹 크롤링을 .. 2026. 1. 20. 프로젝트 ) 2023년부터 2025년까지의 주요 범죄 보도와 네이버 기반의 '호신용품' 관련 키워드 검색량 간의 상관관계를 분석 호신용품 분석 보고서1. 분석 개요본 보고서는 2023년부터 2025년까지의 주요 범죄 보도와 네이버 기반의 '호신용품' 관련 키워드 검색량 간의 상관관계를 분석한 결과임.분석 목적: 사회적 이슈가 되는 강력 범죄 발생 시기에 따른 대중의 불안감 변화를 호신용품 검색량 수치로 정량화하여 분석함.분석 기간: 2023년 1월 ~ 2025년 12월 (현재 시점까지의 데이터 기반)데이터 소스:범죄 현황: 주요 언론 보도 및 사건 리스트성폭력 통계: 2023~2024년 범죄발생 월별 통계검색량 데이터: 네이버 기반 검색량 분석 사이트 '키워드사운드' 및 성별/세대별 검색 트렌드 데이터범죄 발생 월 데이터: 공공데이터 포털에서 제공해주는 '대검찰청_범죄발생월' 데이터2. 연도별 주요 범죄 발생 및 이슈 현황분석 기.. 2026. 1. 19. 15~19일 ) 두바이 쫀득 쿠키의 시장성과 수익성을 분석하기 위한 데이터 기반 비즈니스 인사이트 도출 1. 프로젝트 개요 (Introduction)문제 정의 (Why)F&B 시장의 '반짝 유행' vs '지속 트렌드' 구분의 필요성소상공인들은 신메뉴 도입 시 객관적 지표 없이 '감'에 의존하여 의사결정을 내리고 있습니다. 특히 두바이 쫀득 쿠키의 경우:원자재 가격 급등: 피스타치오 약 122% 상승불확실한 시장 전망: 이것이 포켓몬빵처럼 사라질 일시적 유행인가, 마라탕처럼 정착할 트렌드인가?높은 진입 리스크: 잘못된 판단 시 재고 손실 및 매출 타격1. 프로젝트 개요 (Introduction)문제 정의 (Why)F&B 시장의 '반짝 유행' vs '지속 트렌드' 구분의 필요성소상공인들은 신메뉴 도입 시 객관적 지표 없이 '감'에 의존하여 의사결정을 내리고 있습니다. 특히 두바이 쫀득 쿠키의 경우:원자재 가격.. 2026. 1. 19. 14일차 ) Airflow 란 ? 글 쓴 이유코드 기반 자동화 파이프라인 구축을 위한 툴인 AirFlow를 사용하는 시간을 가짐AirFlow가 무엇인지 , 어떻게 사용하고 , 어떻게 환경을 설정하는지에 대해 간단하게 설명을 작성함Airflow 란 ?복잡한 데이터 파이프라인과 워크플로우를 프로그래밍 방식(주로 Python 사용)으로 작성, 예약 및 모니터링하기 위한 오픈 소스 플랫폼Airflow의 핵심 개념 : DAG(Directred Acyclic Graph)Directed (방향성) : 작업의 흐름이 한 방향으로 진행됨 (A -> B -> C)Acyclic (비순환) : 작업이 무한 루프를 돌지않음 (A -> B -> A 처럼 돌아가지 않음)Graph (그래프) : 여러 작업들이 선으로 연결된 구조Airflow의 동작 그림![[Past.. 2026. 1. 12. 11일차 ) youtube 조회 결과를 활용한 일별 총 조회수 글 쓴 이유 - 이전 글에서 Youtube API를 사용해서 원하는 키워드의 영상데이터를 얻어왔으니 차트화를 시키는 작업을 진행하도록 함 목적 - 원하는 키워드에 대한 조회수 분석을 하기위해 - 트렌드 시각화 : 날짜 별 총 조회수 추이를 그래프로 시각화해서 어느시점부터 인기가 급상승했는지 즉시 파악 - 그래프 최적화 : 그래프를 가독성 있게 표현하고 , 마우스 오버 시 상세 정보를 제공 - CSV를 자유롭게 로드해서 즉시 분석 가능(같은 데이터 컬렴명 한정) 목표 설정 및 결과 - 원하는 키워드에 대한 CSV 파일을 읽어 일별 영상들의 총 조회수를 bar chart로 그래프화 - CSV 선택을 동적으로 읽어들일수 있도록 기능 수행 사용된 기술 - 언어 : Python 3.12 - 사용된 파이썬 라이브러.. 2026. 1. 8. 11일차 ) AI를 활용한 youtube api 사용해보기 글 쓴 이유 - 이번 데이터 엔지니어링 부분은 대부분 antigravity IDE에 탑재되어 있는 AI와 같이 개발을 진행하는 방식으로 함 - 모든 소스는 AI가 제공해주었지만 해당 하는 소스의 내용을 파악하기 위해 정리하고자 작성 목적 - Youtube 에서 제공되는 Youtube API V3를 사용해보고자 함 - 검색 기반 데이터 수집 : 특정 키워드에 대한 영상 메타데이터 자동 수집 - 카테코리별 데이터 수집 : 주식 ,게임 , 노래 ,흑백요리사 등 관심사 별 데이터셋을 CSV 파일로 추출 목표 설정 및 결과 - 원하는 키워드를 입력하고 키워드에 해당하는 영상들의 정보를 추출해 csv로 변환 - cmd 창에는 일별로 해당 키워드 영상의 업로드 수 , 키워드 영상들의 누적 조회수 합계를 출력 사용된.. 2026. 1. 8. 이전 1 2 3 4 ··· 12 다음