2024 년, KPT 회고하기

0. 2024 회고를 시작하며 

벌써 2025년의 1월도 중반이 지났다. 개인 블로그에 일기나 회고보다는 기술이야기를 기재하고자 노력하고 있지만, 그래도 1년이 지난 지금의 시점에서 회고를 하고, 2025년도는 좀 더 나은 방향으로 갈 수 있기를 바라면서 적어보기로 한다. KPT의 약자는 아래와 같다. 회고 방식은 성윤님의 블로그를 참고해보았다. 

• K : Keep. (앞으로도 유지할 것)
• P: Problem. (개선해야 할 문제 사항)
• T : Try (시도할 내용)

큰 카테고리별로 요약 및 정리하고, KPT 회고를 해본다. 

 

1. 회사 내부에서 진행한 프로젝트 

2025.02 ~ 2025.03 : PoC 지원

• Snowflake와 Databricks 를 비교하는 PoC 에서, Databricks 에 대한 부분을 리딩했다. 타 컨설팅 회사와 Databricks SA와 협업하는 기회였다. 처음으로 나한테 무엇인가 역할이 주어졌다. 

 

2024.03 ~ 2024.07 : 빅데이터 플랫폼 구축 

• Data Engineering 프로젝트에서, Databricks 관련 인프라 리소스를 설계 / 구축했다.  
• Medalion 아키텍처를 기반으로 ETL 파이프라인을 개발했다. 
• 배치 기반의 pyspark 파이프라인을 구축했으며, jdbc 커넥션 기반의 데이터 마이그레이션 할 때 파티셔닝 기법을 익혔다. 

K : 책임감 있게 맡은 일을 완수하는 태도를 유지하자. 개발 도중에 아키텍처와 사람이 바뀌어서 시간이 촉박하고 물리적으로나 심적으로 압박감이 있었더라도 주말근무 / 야근 / 점심시간을 아껴가면서 일을 처리해내어 데드라인을 지켰다. 
P : 중간에, 어플리케이션 개발 조직으로 팀이동을 시도했으나 실패했다. 아쉬웠지만, 회사일이 내 마음대로 되지 않는다라는 아주 중요한.. 인사이트를 얻었다. 또한 팀이동과 같이 신중한 결정을 내릴 때는 해당 부서의 TO 와 이동 조건 등 모든걸 확실하게 진행하고 긴 프로세스를 버텨내야 한다. 
T : 커리어를 긴 호흡으로 바라보기. 철처하게 준비하기.

2024.08 ~ 2024.11 : Databricks 기반 플랫폼 구축 

• 처음으로 프로젝트의 처음부터 끝까지, 그리고 인수인계까지 담당했다. 
• 동료들과도 커뮤니케이션이 잘 되었다. 교육도 만족해했다. 
• 처음으로 thank you 메일을 받았고, 다른 동료들 그리고 팀장님께 많이 인정을 받았다 (!!!) 

K : 내가 해볼수 있는 건 최대한 프로젝트에 녹여내보기. 실제로 요구 사항은 Bronze Layer 의 Raw 데이터를 배치로 옮겨오는 것이었으나, EDA 와 Silver, Gold Layer 까지 데모로 개발했다. 또한 대시보드를 만들어서 파이프라인을 모니터링하게 해주었다. 
P / T : 문제 ? 크게 없었음 

 

2024.12 : Azure ADF 기반 트러블 슈팅

•  Azure 기반의 ADF로 오케스트레이션 함.
• Databricks 의 Cluster 로 실제 pyspark / python 프로세스 실행시킴. 
• ETL 파이프라인과 MLOps 파이프라인 장애 모니터링 대응 -> Python Kernel Error 와의 전쟁

급하게 개발한거라고 듣기는 했지만, 예상대로 장애가 참 빈번히도 일어났다. Azure 서비스들을 처음 다뤄본다. Python Kernel Error 는 pandas 로 짜여진 코드를 pyspark 로 마이그레이션하니까 조금 덜 빈번히 일어났다. 
K : 코드 수정에 손이 많이 갈것을 각오하고 트러블슈팅 함.
P : 처음에 내 R&R과, 보고를 누구한테 해야할지 빠르게 파악을 하지 못했다. 앞으로는 프로젝트 내부에서 나의 R&R을 생각하면 더 빠르게 기여할 수 있을듯. 

 

2025.01 ~ ing : 회사 내부 플랫폼 백엔드 & 인프라 개발

• fastapi 기반으로 LLM 기반 플랫폼의 API 개발을 담당함.
• 현재 AWS위에 올라가있는데, 이를 온프렘에 마이그레이션하기 위한 인프라를 개발중임

 

2. 외부 스터디 및 프로젝트

CS Study 

• 글또에서 진행한 CS 관련 스터디. 좋은 분들을 많이 만났고, CS 에 대해서 한번은 훑었다는 자신감이 부여되었다. 

글또 9기 마무리 및 10기 시작  

• 글또에서 좋은 사람들을 많이 만났고, 기술블로그에도 정리하는 습관이 조금 생김. 

Airflow & 데중어설 Study 

• 진행중. 데이터 엔지니어링 전반적인 내용을 공부할 수 있었다. 

리트코드 스터디 

• 주 2회씩 LeetCode 풀이 진행 

K: 꾸준히 알고리즘 공부 Good!
P: 텀이 길어질 수록 느슨해지거나, 너무 많은 Study 와 외부프로젝트를 한꺼번에 함. -> 시간관리를 철저히 할것 ! 
T: 이것저것 해보는 건 좋지만, 정말 나한테 도움이 되는 우선순위를 정해서 딥다이브하기 

 

사이드 프로젝트 

Resumait 

• AI 기반 자소서 작성을 도와주는 플랫폼. BE + DevOps 로 참여. 

 

테크포임팩트 & 누구나리포터Lab 

• Typescript 기반 + 서버리스 기반으로 개발 

K : 부족한 부분을 채우기 위해서, 백엔드 관련 개발을 직접하고 코드 치는 시간을 늘리는 것은 좋은 것 같다. 
P : 데이터 엔지니어링 관련해서 더 깊게 파야 할 것 같다. 또한 팀플도 좋지만, 이제는 좀 혼자서 쭉 진행해보고 싶다 
T : 올해는 개인프로젝트에 도전하기. 전체를 부분 부분으로 쪼개서 부분에만 기여하지 않고, 모든 부분을 리딩하고 큰 기여를 하기. 

 

여행

• 호주 시드니 6박 7일
• 강릉 1박 2일 
• 강릉 2박 3일 
• 단양 자연 휴양림 1박 2일

 

일 (혹은 개발) 외적으로 새로 시도/시작한 것 

• 회사에 도시락을 싸서 다니기 
• Mantra 댄스 원데이 클래스 
• 적금만 하다가, 재테크 시작함. 주식, 적금, ISA 통장 개설, 박종훈의 지식 한방 챙겨보기 
• 플라잉 요가 원데이 클래스
• 글또 음감회 참여 / 음감회 진행
• 아이엘츠 영어 단어 공부 시작함. 
• 연애 

 

3. 총평

• 여전히 열정이 넘치는 한해였다. 회사 내부적으로도 인정을 받기 시작했고, 외부적으로는 다양한 스터디와 프로젝트에 참여했다. 회사 밖의 사람들에게서 새로운 개발 스타일과 협업 방식을 배울 수 있어서 성장할 수 있었다. 또한 회사 내부에서도, 일하는 스타일이 잘 맞는 시니어(?) 분도 만나보고, 인정받을 수 있었던 감사한 한 해였다. 
• 호주에 다녀오고 나서, 마음이 더 건강해지고 여유가 생겼다. 내심 마음속으로는 비교도 많이 했었고, 2023년에 이어서 여전히 불안해 했던 한 해였는데, "몇년이 지나고 보니 뭐라도 되어있더라" 라는 말이 사실 나에게는 굉장한 위로가 되었다. 
• 개발자이기도 하지만 직장인이다. 시간이 한정적인 자원이라는 것을 깨달았고, 선택과 집중을 점점 많이 하게 된다. 
• 열정을 주체못하고... 개인적으로는 실패를 많이 했던 한 해였다. 실패를 많이 했다 == 시도를 많이 했다. 라는 것. 덕분에 꿈에 조금 가까워져볼 수 도 있었다. 
• 사람마다 각기 다른 커리어 timeline 을 가지고 있으며, 나의 시기는 지금처럼 열심히 계속 노젓다보면 언젠간 물이 들어오겠지 라는 장원영적 사고를 하며 회고를 마친다.