국내 IT 기업들의 기술 블로그 글을 한 곳에서 모아보세요
안녕하세요, 플레이스데이터플랫폼 나호철입니다.이번 글에서는 YARN 클러스터에 배포된 Trino 클러스터의 리소스 구성 및 리소스 관련 설정을 순차적으로 최적화하여 장비 증설 없이 쿼리를 처리하는데 사용되는 클러스터 가용 메모리를 약 40% 가량 증가시킨 과정에 대해 간략히 공유하려고 합니다.저희 플레이스데이터플랫폼(aka. PDP) 팀은 플레이스의 ...
네이버 지도 내비게이션, 꽃길만 가자 — 좁은 길 탐지 모델1. INTRODUCTION안녕하세요. NAVER Maps Directions의 김준태 입니다.저희 팀은 네이버 지도에서 내비게이션, 대중교통 길찾기 서비스 개발을 중심으로 좋은 품질의 서비스를 제공하기 위해서 빅데이터 수집, 분석, 모델링(통계, DL) 등도 수행하고 있는데요.이번에 소개드릴...
안녕하세요?G플레이스데이터개발 나호철입니다.제가 속해있는 G플레이스데이터개발팀은 아래와 같이 크게 3가지의 기능을 하는 Data Lakehouse를 운영하고 있습니다.PDL(Place Data Lakehouse) ArchitectureGlace CIC의 여러 서비스로부터 Protobuf로 schema가 정의된 데이터를 받아 HDFS에 적재하는 ETL ...
안녕하세요, G플레이스데이터개발 팀에 올 하반기 신입으로 합류하게 된 양은석입니다. 비전공자인 저에게는 데이터 엔지니어링(DE)이 생소하고 낯설게 느껴졌는데요, DE의 핵심 도구 중 하나인 Airflow를 이해하게 된 과정과 개발 환경 설정을 통해 팀 생산성에 기여한 경험, 그리고 그 결과를 공유드리고자 이 글을 작성하게 되었습니다.왼쪽부터 기존 로컬...
안녕하세요, 플레이스 리뷰플랫폼 개발팀 강준우입니다.저희는 네이버 플레이스 서비스인 MY플레이스를 포함해, LINE PLACE, Y!Map 등으로부터 등록된 방문자리뷰를 저장 및 관리하는 플랫폼 팀입니다. 리뷰 각 항목엔 여러 부가정보를 함께 태깅하고 있는데요, 이번에 전체 태깅프로세스를 재설계해 업데이트 부하 67%를 줄이는 등의 개선을 이룰 수 있...
This is a link to the Korean versionHello. My name is Yun Sang Ju, and I’m in charge of the AI development team at GLACE (Global Place) CIC (Company-In-Company), which is one of NAVER’s CICs. I wou...
Intro안녕하세요, G플레이스AI개발팀 박상준, 이주영, 민준호입니다.저희 팀에서는 한국, 일본 등의 지역기반서비스를 사용하시는 유저분들께 새롭고 더 개선된 가치를 제공하기 위해 여러가지 AI 모델을 서비스에 활용하고 있는데요.여기서 그치지 않고 더욱 훌륭한 서비스 경험을 제공하기 위한 large model train, 그리고 더 다양한 모델 활용을...
Intro안녕하세요. 스마트플레이스서비스개발 1팀의 오정석입니다.네이버 예약·주문 팀에서는 올해 초부터 본격적으로 GitHub Actions를 활용해 개발 효율화를 꾀하고 있습니다.초기에는 GitHub Actions를 단순히 예약·주문 리포지토리에 PR Lint test 실행을 목적으로 도입되었습니다.이 과정에서 Runner 머신 구축 뿐 아니라 PR...
네이버 G플레이스AI개발 팀에서는 ML 학습과 모델 서빙 과정에서 필요한 데이터 아카이빙을 위한 스토리지로 MinIO를 운영하고 있습니다. MinIO 도입을 위한 실험과, 백업/복구 시스템 구축 내용을 공유합니다.업무 진행 배경1 — 중요도 높은 데이터 아카이빙G플레이스AI개발 팀에서는 AI 모델 학습부터 모델 서빙까지 머신러닝 과제의 전체 프로세스에...
오픈소스에 기여한 계기안녕하세요. G플레이스데이터개발 팀에서 근무하고 있는 서주현입니다. 저희 팀에서는 한국 및 일본의 Place data를 Hadoop eco-system에서 활용 할 수 있도록 Data Lakehouse를 구축하는 업무를 담당하고 있습니다. 또 누구라도 Data Lakehouse에 적재된 데이터를 손쉽게 탐색 할 수 있도록 Data...