0. 2024 회고를 시작하며
벌써 2025년의 1월도 중반이 지났다. 개인 블로그에 일기나 회고보다는 기술이야기를 기재하고자 노력하고 있지만, 그래도 1년이 지난 지금의 시점에서 회고를 하고, 2025년도는 좀 더 나은 방향으로 갈 수 있기를 바라면서 적어보기로 한다. KPT의 약자는 아래와 같다. 회고 방식은 성윤님의 블로그를 참고해보았다.
- K : Keep. (앞으로도 유지할 것)
- P: Problem. (개선해야 할 문제 사항)
- T : Try (시도할 내용)
큰 카테고리별로 요약 및 정리하고, KPT 회고를 해본다.
1. 회사 내부에서 진행한 프로젝트
2025.02 ~ 2025.03 : PoC 지원
- Snowflake와 Databricks 를 비교하는 PoC 에서, Databricks 에 대한 부분을 리딩했다. 타 컨설팅 회사와 Databricks SA와 협업하는 기회였다. 처음으로 나한테 무엇인가 역할이 주어졌다.
2024.03 ~ 2024.07 : 빅데이터 플랫폼 구축
- Data Engineering 프로젝트에서, Databricks 관련 인프라 리소스를 설계 / 구축했다.
- Medalion 아키텍처를 기반으로 ETL 파이프라인을 개발했다.
- 배치 기반의 pyspark 파이프라인을 구축했으며, jdbc 커넥션 기반의 데이터 마이그레이션 할 때 파티셔닝 기법을 익혔다.
K : 책임감 있게 맡은 일을 완수하는 태도를 유지하자. 개발 도중에 아키텍처와 사람이 바뀌어서 시간이 촉박하고 물리적으로나 심적으로 압박감이 있었더라도 주말근무 / 야근 / 점심시간을 아껴가면서 일을 처리해내어 데드라인을 지켰다.
P : 중간에, 어플리케이션 개발 조직으로 팀이동을 시도했으나 실패했다. 아쉬웠지만, 회사일이 내 마음대로 되지 않는다라는 아주 중요한.. 인사이트를 얻었다. 또한 팀이동과 같이 신중한 결정을 내릴 때는 해당 부서의 TO 와 이동 조건 등 모든걸 확실하게 진행하고 긴 프로세스를 버텨내야 한다.
T : 커리어를 긴 호흡으로 바라보기. 철처하게 준비하기.
2024.08 ~ 2024.11 : Databricks 기반 플랫폼 구축
- 처음으로 프로젝트의 처음부터 끝까지, 그리고 인수인계까지 담당했다.
- 동료들과도 커뮤니케이션이 잘 되었다. 교육도 만족해했다.
- 처음으로 thank you 메일을 받았고, 다른 동료들 그리고 팀장님께 많이 인정을 받았다 (!!!)
K : 내가 해볼수 있는 건 최대한 프로젝트에 녹여내보기. 실제로 요구 사항은 Bronze Layer 의 Raw 데이터를 배치로 옮겨오는 것이었으나, EDA 와 Silver, Gold Layer 까지 데모로 개발했다. 또한 대시보드를 만들어서 파이프라인을 모니터링하게 해주었다.
P / T : 문제 ? 크게 없었음
2024.12 : Azure ADF 기반 트러블 슈팅
- Azure 기반의 ADF로 오케스트레이션 함.
- Databricks 의 Cluster 로 실제 pyspark / python 프로세스 실행시킴.
- ETL 파이프라인과 MLOps 파이프라인 장애 모니터링 대응 -> Python Kernel Error 와의 전쟁
급하게 개발한거라고 듣기는 했지만, 예상대로 장애가 참 빈번히도 일어났다. Azure 서비스들을 처음 다뤄본다. Python Kernel Error 는 pandas 로 짜여진 코드를 pyspark 로 마이그레이션하니까 조금 덜 빈번히 일어났다.
K : 코드 수정에 손이 많이 갈것을 각오하고 트러블슈팅 함.
P : 처음에 내 R&R과, 보고를 누구한테 해야할지 빠르게 파악을 하지 못했다. 앞으로는 프로젝트 내부에서 나의 R&R을 생각하면 더 빠르게 기여할 수 있을듯.
2025.01 ~ ing : 회사 내부 플랫폼 백엔드 & 인프라 개발
- fastapi 기반으로 LLM 기반 플랫폼의 API 개발을 담당함.
- 현재 AWS위에 올라가있는데, 이를 온프렘에 마이그레이션하기 위한 인프라를 개발중임
2. 외부 스터디 및 프로젝트
CS Study
- 글또에서 진행한 CS 관련 스터디. 좋은 분들을 많이 만났고, CS 에 대해서 한번은 훑었다는 자신감이 부여되었다.
글또 9기 마무리 및 10기 시작
- 글또에서 좋은 사람들을 많이 만났고, 기술블로그에도 정리하는 습관이 조금 생김.
Airflow & 데중어설 Study
- 진행중. 데이터 엔지니어링 전반적인 내용을 공부할 수 있었다.
리트코드 스터디
- 주 2회씩 LeetCode 풀이 진행
K: 꾸준히 알고리즘 공부 Good!
P: 텀이 길어질 수록 느슨해지거나, 너무 많은 Study 와 외부프로젝트를 한꺼번에 함. -> 시간관리를 철저히 할것 !
T: 이것저것 해보는 건 좋지만, 정말 나한테 도움이 되는 우선순위를 정해서 딥다이브하기
사이드 프로젝트
Resumait
- AI 기반 자소서 작성을 도와주는 플랫폼. BE + DevOps 로 참여.
테크포임팩트 & 누구나리포터Lab
- Typescript 기반 + 서버리스 기반으로 개발
K : 부족한 부분을 채우기 위해서, 백엔드 관련 개발을 직접하고 코드 치는 시간을 늘리는 것은 좋은 것 같다.
P : 데이터 엔지니어링 관련해서 더 깊게 파야 할 것 같다. 또한 팀플도 좋지만, 이제는 좀 혼자서 쭉 진행해보고 싶다
T : 올해는 개인프로젝트에 도전하기. 전체를 부분 부분으로 쪼개서 부분에만 기여하지 않고, 모든 부분을 리딩하고 큰 기여를 하기.
여행
- 호주 시드니 6박 7일
- 강릉 1박 2일
- 강릉 2박 3일
- 단양 자연 휴양림 1박 2일
일 (혹은 개발) 외적으로 새로 시도/시작한 것
- 회사에 도시락을 싸서 다니기
- Mantra 댄스 원데이 클래스
- 적금만 하다가, 재테크 시작함. 주식, 적금, ISA 통장 개설, 박종훈의 지식 한방 챙겨보기
- 플라잉 요가 원데이 클래스
- 글또 음감회 참여 / 음감회 진행
- 아이엘츠 영어 단어 공부 시작함.
- 연애
3. 총평
- 여전히 열정이 넘치는 한해였다. 회사 내부적으로도 인정을 받기 시작했고, 외부적으로는 다양한 스터디와 프로젝트에 참여했다. 회사 밖의 사람들에게서 새로운 개발 스타일과 협업 방식을 배울 수 있어서 성장할 수 있었다. 또한 회사 내부에서도, 일하는 스타일이 잘 맞는 시니어(?) 분도 만나보고, 인정받을 수 있었던 감사한 한 해였다.
- 호주에 다녀오고 나서, 마음이 더 건강해지고 여유가 생겼다. 내심 마음속으로는 비교도 많이 했었고, 2023년에 이어서 여전히 불안해 했던 한 해였는데, "몇년이 지나고 보니 뭐라도 되어있더라" 라는 말이 사실 나에게는 굉장한 위로가 되었다.
- 개발자이기도 하지만 직장인이다. 시간이 한정적인 자원이라는 것을 깨달았고, 선택과 집중을 점점 많이 하게 된다.
- 열정을 주체못하고... 개인적으로는 실패를 많이 했던 한 해였다. 실패를 많이 했다 == 시도를 많이 했다. 라는 것. 덕분에 꿈에 조금 가까워져볼 수 도 있었다.
- 사람마다 각기 다른 커리어 timeline 을 가지고 있으며, 나의 시기는 지금처럼 열심히 계속 노젓다보면 언젠간 물이 들어오겠지 라는 장원영적 사고를 하며 회고를 마친다.
0. 2024 회고를 시작하며
벌써 2025년의 1월도 중반이 지났다. 개인 블로그에 일기나 회고보다는 기술이야기를 기재하고자 노력하고 있지만, 그래도 1년이 지난 지금의 시점에서 회고를 하고, 2025년도는 좀 더 나은 방향으로 갈 수 있기를 바라면서 적어보기로 한다. KPT의 약자는 아래와 같다. 회고 방식은 성윤님의 블로그를 참고해보았다.
- K : Keep. (앞으로도 유지할 것)
- P: Problem. (개선해야 할 문제 사항)
- T : Try (시도할 내용)
큰 카테고리별로 요약 및 정리하고, KPT 회고를 해본다.
1. 회사 내부에서 진행한 프로젝트
2025.02 ~ 2025.03 : PoC 지원
- Snowflake와 Databricks 를 비교하는 PoC 에서, Databricks 에 대한 부분을 리딩했다. 타 컨설팅 회사와 Databricks SA와 협업하는 기회였다. 처음으로 나한테 무엇인가 역할이 주어졌다.
2024.03 ~ 2024.07 : 빅데이터 플랫폼 구축
- Data Engineering 프로젝트에서, Databricks 관련 인프라 리소스를 설계 / 구축했다.
- Medalion 아키텍처를 기반으로 ETL 파이프라인을 개발했다.
- 배치 기반의 pyspark 파이프라인을 구축했으며, jdbc 커넥션 기반의 데이터 마이그레이션 할 때 파티셔닝 기법을 익혔다.
K : 책임감 있게 맡은 일을 완수하는 태도를 유지하자. 개발 도중에 아키텍처와 사람이 바뀌어서 시간이 촉박하고 물리적으로나 심적으로 압박감이 있었더라도 주말근무 / 야근 / 점심시간을 아껴가면서 일을 처리해내어 데드라인을 지켰다.
P : 중간에, 어플리케이션 개발 조직으로 팀이동을 시도했으나 실패했다. 아쉬웠지만, 회사일이 내 마음대로 되지 않는다라는 아주 중요한.. 인사이트를 얻었다. 또한 팀이동과 같이 신중한 결정을 내릴 때는 해당 부서의 TO 와 이동 조건 등 모든걸 확실하게 진행하고 긴 프로세스를 버텨내야 한다.
T : 커리어를 긴 호흡으로 바라보기. 철처하게 준비하기.
2024.08 ~ 2024.11 : Databricks 기반 플랫폼 구축
- 처음으로 프로젝트의 처음부터 끝까지, 그리고 인수인계까지 담당했다.
- 동료들과도 커뮤니케이션이 잘 되었다. 교육도 만족해했다.
- 처음으로 thank you 메일을 받았고, 다른 동료들 그리고 팀장님께 많이 인정을 받았다 (!!!)
K : 내가 해볼수 있는 건 최대한 프로젝트에 녹여내보기. 실제로 요구 사항은 Bronze Layer 의 Raw 데이터를 배치로 옮겨오는 것이었으나, EDA 와 Silver, Gold Layer 까지 데모로 개발했다. 또한 대시보드를 만들어서 파이프라인을 모니터링하게 해주었다.
P / T : 문제 ? 크게 없었음
2024.12 : Azure ADF 기반 트러블 슈팅
- Azure 기반의 ADF로 오케스트레이션 함.
- Databricks 의 Cluster 로 실제 pyspark / python 프로세스 실행시킴.
- ETL 파이프라인과 MLOps 파이프라인 장애 모니터링 대응 -> Python Kernel Error 와의 전쟁
급하게 개발한거라고 듣기는 했지만, 예상대로 장애가 참 빈번히도 일어났다. Azure 서비스들을 처음 다뤄본다. Python Kernel Error 는 pandas 로 짜여진 코드를 pyspark 로 마이그레이션하니까 조금 덜 빈번히 일어났다.
K : 코드 수정에 손이 많이 갈것을 각오하고 트러블슈팅 함.
P : 처음에 내 R&R과, 보고를 누구한테 해야할지 빠르게 파악을 하지 못했다. 앞으로는 프로젝트 내부에서 나의 R&R을 생각하면 더 빠르게 기여할 수 있을듯.
2025.01 ~ ing : 회사 내부 플랫폼 백엔드 & 인프라 개발
- fastapi 기반으로 LLM 기반 플랫폼의 API 개발을 담당함.
- 현재 AWS위에 올라가있는데, 이를 온프렘에 마이그레이션하기 위한 인프라를 개발중임
2. 외부 스터디 및 프로젝트
CS Study
- 글또에서 진행한 CS 관련 스터디. 좋은 분들을 많이 만났고, CS 에 대해서 한번은 훑었다는 자신감이 부여되었다.
글또 9기 마무리 및 10기 시작
- 글또에서 좋은 사람들을 많이 만났고, 기술블로그에도 정리하는 습관이 조금 생김.
Airflow & 데중어설 Study
- 진행중. 데이터 엔지니어링 전반적인 내용을 공부할 수 있었다.
리트코드 스터디
- 주 2회씩 LeetCode 풀이 진행
K: 꾸준히 알고리즘 공부 Good!
P: 텀이 길어질 수록 느슨해지거나, 너무 많은 Study 와 외부프로젝트를 한꺼번에 함. -> 시간관리를 철저히 할것 !
T: 이것저것 해보는 건 좋지만, 정말 나한테 도움이 되는 우선순위를 정해서 딥다이브하기
사이드 프로젝트
Resumait
- AI 기반 자소서 작성을 도와주는 플랫폼. BE + DevOps 로 참여.
테크포임팩트 & 누구나리포터Lab
- Typescript 기반 + 서버리스 기반으로 개발
K : 부족한 부분을 채우기 위해서, 백엔드 관련 개발을 직접하고 코드 치는 시간을 늘리는 것은 좋은 것 같다.
P : 데이터 엔지니어링 관련해서 더 깊게 파야 할 것 같다. 또한 팀플도 좋지만, 이제는 좀 혼자서 쭉 진행해보고 싶다
T : 올해는 개인프로젝트에 도전하기. 전체를 부분 부분으로 쪼개서 부분에만 기여하지 않고, 모든 부분을 리딩하고 큰 기여를 하기.
여행
- 호주 시드니 6박 7일
- 강릉 1박 2일
- 강릉 2박 3일
- 단양 자연 휴양림 1박 2일
일 (혹은 개발) 외적으로 새로 시도/시작한 것
- 회사에 도시락을 싸서 다니기
- Mantra 댄스 원데이 클래스
- 적금만 하다가, 재테크 시작함. 주식, 적금, ISA 통장 개설, 박종훈의 지식 한방 챙겨보기
- 플라잉 요가 원데이 클래스
- 글또 음감회 참여 / 음감회 진행
- 아이엘츠 영어 단어 공부 시작함.
- 연애
3. 총평
- 여전히 열정이 넘치는 한해였다. 회사 내부적으로도 인정을 받기 시작했고, 외부적으로는 다양한 스터디와 프로젝트에 참여했다. 회사 밖의 사람들에게서 새로운 개발 스타일과 협업 방식을 배울 수 있어서 성장할 수 있었다. 또한 회사 내부에서도, 일하는 스타일이 잘 맞는 시니어(?) 분도 만나보고, 인정받을 수 있었던 감사한 한 해였다.
- 호주에 다녀오고 나서, 마음이 더 건강해지고 여유가 생겼다. 내심 마음속으로는 비교도 많이 했었고, 2023년에 이어서 여전히 불안해 했던 한 해였는데, "몇년이 지나고 보니 뭐라도 되어있더라" 라는 말이 사실 나에게는 굉장한 위로가 되었다.
- 개발자이기도 하지만 직장인이다. 시간이 한정적인 자원이라는 것을 깨달았고, 선택과 집중을 점점 많이 하게 된다.
- 열정을 주체못하고... 개인적으로는 실패를 많이 했던 한 해였다. 실패를 많이 했다 == 시도를 많이 했다. 라는 것. 덕분에 꿈에 조금 가까워져볼 수 도 있었다.
- 사람마다 각기 다른 커리어 timeline 을 가지고 있으며, 나의 시기는 지금처럼 열심히 계속 노젓다보면 언젠간 물이 들어오겠지 라는 장원영적 사고를 하며 회고를 마친다.
