0. 2024 회고를 시작하며
벌써 2025년의 1월도 중반이 지났다. 개인 블로그에 일기나 회고보다는 기술이야기를 기재하고자 노력하고 있지만, 그래도 1년이 지난 지금의 시점에서 회고를 하고, 2025년도는 좀 더 나은 방향으로 갈 수 있기를 바라면서 적어보기로 한다. KPT의 약자는 아래와 같다. 회고 방식은 성윤님의 블로그를 참고해보았다.
- K : Keep. (앞으로도 유지할 것)
- P: Problem. (개선해야 할 문제 사항)
- T : Try (시도할 내용)
큰 카테고리별로 요약 및 정리하고, KPT 회고를 해본다.
1. 회사 내부에서 진행한 프로젝트
2025.02 ~ 2025.03 : PoC 지원
- Snowflake와 Databricks 를 비교하는 PoC 에서, Databricks 에 대한 부분을 리딩했다. 타 컨설팅 회사와 Databricks SA와 협업하는 기회였다. 처음으로 나한테 무엇인가 역할이 주어졌다.
2024.03 ~ 2024.07 : 빅데이터 플랫폼 구축
- Data Engineering 프로젝트에서, Databricks 관련 인프라 리소스를 설계 / 구축했다.
- Medalion 아키텍처를 기반으로 ETL 파이프라인을 개발했다.
- 배치 기반의 pyspark 파이프라인을 구축했으며, jdbc 커넥션 기반의 데이터 마이그레이션 할 때 파티셔닝 기법을 익혔다.
K : 책임감 있게 맡은 일을 완수하는 태도를 유지하자. 개발 도중에 아키텍처와 사람이 바뀌어서 시간이 촉박하고 물리적으로나 심적으로 압박감이 있었더라도 주말근무 / 야근 / 점심시간을 아껴가면서 일을 처리해내어 데드라인을 지켰다.
P : 중간에, 어플리케이션 개발 조직으로 팀이동을 시도했으나 실패했다. 아쉬웠지만, 회사일이 내 마음대로 되지 않는다라는 아주 중요한.. 인사이트를 얻었다. 또한 팀이동과 같이 신중한 결정을 내릴 때는 해당 부서의 TO 와 이동 조건 등 모든걸 확실하게 진행하고 긴 프로세스를 버텨내야 한다.
T : 커리어를 긴 호흡으로 바라보기. 철처하게 준비하기.
2024.08 ~ 2024.11 : Databricks 기반 플랫폼 구축
- 처음으로 프로젝트의 처음부터 끝까지, 그리고 인수인계까지 담당했다.
- 동료들과도 커뮤니케이션이 잘 되었다. 교육도 만족해했다.
- 처음으로 thank you 메일을 받았고, 다른 동료들 그리고 팀장님께 많이 인정을 받았다 (!!!)
K : 내가 해볼수 있는 건 최대한 프로젝트에 녹여내보기. 실제로 요구 사항은 Bronze Layer 의 Raw 데이터를 배치로 옮겨오는 것이었으나, EDA 와 Silver, Gold Layer 까지 데모로 개발했다. 또한 대시보드를 만들어서 파이프라인을 모니터링하게 해주었다.
P / T : 문제 ? 크게 없었음
2024.12 : Azure ADF 기반 트러블 슈팅
- Azure 기반의 ADF로 오케스트레이션 함.
- Databricks 의 Cluster 로 실제 pyspark / python 프로세스 실행시킴.
- ETL 파이프라인과 MLOps 파이프라인 장애 모니터링 대응 -> Python Kernel Error 와의 전쟁
급하게 개발한거라고 듣기는 했지만, 예상대로 장애가 참 빈번히도 일어났다. Azure 서비스들을 처음 다뤄본다. Python Kernel Error 는 pandas 로 짜여진 코드를 pyspark 로 마이그레이션하니까 조금 덜 빈번히 일어났다.
K : 코드 수정에 손이 많이 갈것을 각오하고 트러블슈팅 함.
P : 처음에 내 R&R과, 보고를 누구한테 해야할지 빠르게 파악을 하지 못했다. 앞으로는 프로젝트 내부에서 나의 R&R을 생각하면 더 빠르게 기여할 수 있을듯.
2025.01 ~ ing : 회사 내부 플랫폼 백엔드 & 인프라 개발
- fastapi 기반으로 LLM 기반 플랫폼의 API 개발을 담당함.
- 현재 AWS위에 올라가있는데, 이를 온프렘에 마이그레이션하기 위한 인프라를 개발중임
2. 외부 스터디 및 프로젝트
CS Study
- 글또에서 진행한 CS 관련 스터디. 좋은 분들을 많이 만났고, CS 에 대해서 한번은 훑었다는 자신감이 부여되었다.
글또 9기 마무리 및 10기 시작
- 글또에서 좋은 사람들을 많이 만났고, 기술블로그에도 정리하는 습관이 조금 생김.
Airflow & 데중어설 Study
- 진행중. 데이터 엔지니어링 전반적인 내용을 공부할 수 있었다.
리트코드 스터디
- 주 2회씩 LeetCode 풀이 진행
K: 꾸준히 알고리즘 공부 Good!
P: 텀이 길어질 수록 느슨해지거나, 너무 많은 Study 와 외부프로젝트를 한꺼번에 함. -> 시간관리를 철저히 할것 !
T: 이것저것 해보는 건 좋지만, 정말 나한테 도움이 되는 우선순위를 정해서 딥다이브하기
사이드 프로젝트
Resumait
- AI 기반 자소서 작성을 도와주는 플랫폼. BE + DevOps 로 참여.
테크포임팩트 & 누구나리포터Lab
- Typescript 기반 + 서버리스 기반으로 개발
K : 부족한 부분을 채우기 위해서, 백엔드 관련 개발을 직접하고 코드 치는 시간을 늘리는 것은 좋은 것 같다.
P : 데이터 엔지니어링 관련해서 더 깊게 파야 할 것 같다. 또한 팀플도 좋지만, 이제는 좀 혼자서 쭉 진행해보고 싶다
T : 올해는 개인프로젝트에 도전하기. 전체를 부분 부분으로 쪼개서 부분에만 기여하지 않고, 모든 부분을 리딩하고 큰 기여를 하기.
여행
- 호주 시드니 6박 7일
- 강릉 1박 2일
- 강릉 2박 3일
- 단양 자연 휴양림 1박 2일
일 (혹은 개발) 외적으로 새로 시도/시작한 것
- 회사에 도시락을 싸서 다니기
- Mantra 댄스 원데이 클래스
- 적금만 하다가, 재테크 시작함. 주식, 적금, ISA 통장 개설, 박종훈의 지식 한방 챙겨보기
- 플라잉 요가 원데이 클래스
- 글또 음감회 참여 / 음감회 진행
- 아이엘츠 영어 단어 공부 시작함.
- 연애
3. 총평
- 여전히 열정이 넘치는 한해였다. 회사 내부적으로도 인정을 받기 시작했고, 외부적으로는 다양한 스터디와 프로젝트에 참여했다. 회사 밖의 사람들에게서 새로운 개발 스타일과 협업 방식을 배울 수 있어서 성장할 수 있었다. 또한 회사 내부에서도, 일하는 스타일이 잘 맞는 시니어(?) 분도 만나보고, 인정받을 수 있었던 감사한 한 해였다.
- 호주에 다녀오고 나서, 마음이 더 건강해지고 여유가 생겼다. 내심 마음속으로는 비교도 많이 했었고, 2023년에 이어서 여전히 불안해 했던 한 해였는데, "몇년이 지나고 보니 뭐라도 되어있더라" 라는 말이 사실 나에게는 굉장한 위로가 되었다.
- 개발자이기도 하지만 직장인이다. 시간이 한정적인 자원이라는 것을 깨달았고, 선택과 집중을 점점 많이 하게 된다.
- 열정을 주체못하고... 개인적으로는 실패를 많이 했던 한 해였다. 실패를 많이 했다 == 시도를 많이 했다. 라는 것. 덕분에 꿈에 조금 가까워져볼 수 도 있었다.
- 사람마다 각기 다른 커리어 timeline 을 가지고 있으며, 나의 시기는 지금처럼 열심히 계속 노젓다보면 언젠간 물이 들어오겠지 라는 장원영적 사고를 하며 회고를 마친다.
