[서울특별시] '공무원 디지털 비서 구현' 행정 패러다임 전환, 자체 '초거대언어모델(LLM)' 도입...'아시아 · 태평양 AI 행정 허브' 도약

[한국지방정부신문=김미숙 기자] 서울특별시(시장 오세훈)가 반복적이고 정형화된 행정업무를 자체 개발한 초거대언어모델(LLM)에 기반해 자동화하는 ‘챗봇 2.0’ 사업을 올 하반기 내부망에 시범적으로 가동한다.

이번 도입으로 문서 초안 작성, 규정 조회, 보고서 작성 등 다수의 일상 행정지원 업무가 AI 디지털 비서로 대체되며, 공무원은 보다 창의적·전략적 업무에 집중할 수 있을 것으로 기대된다.

특히 “공유재산 사용료가 3회 연속 체납된 경우 즉시 계약 해지가 가능한가?”와 같은 복합 질의에도 AI가 내부 편람을 종합해 실시간 답변을 제공, 부서간 문의 시간을 획기적으로 단축한다.

행정 혁신 물결, LLM 디지털 비서 첫 걸음...안전한 폐쇄망 구축, 보안·신뢰성 확보

올해 GPU 서버(H200 8GPU)를 도입하고, 내년까지 3대를 추가 확보해 폐쇄망 내 고도화된 AI 서비스 환경을 갖춘다.

서울시는 민감한 공공데이터를 외부 노출 없이 안전하게 처리하기 위해 자체 폐쇄망에 LLM 인프라를 구축한다.

외부 인터넷과 물리적으로 분리된 ‘독립형 AI 비서’는 내부 보안 규정에 맞춰 설계되며, 데이터 보관·처리 과정 전반에 다단계 암호화와 접근 통제 기술을 적용한다.

이로써 공공기관 특유의 높은 보안 요구사항을 충족하면서도 행정지원용 생성형 AI를 안정적으로 운영할 수 있다.

전문가 자문 따라 단계적 확장…내년 '고도화기능 확대', 완전 가동 준비

전문가 자문회의에서는 자체 LLM 구축이 보안·신뢰성 면에서 적절하나, 전면 확산 시에는 단계적 접근이 필요하다는 의견이 제시됐다.

이에 서울시는 올해 말까지 시범 운영 결과를 면밀히 검토한 뒤, 내년 중 내부 행정 시스템과 LLM API를 연계해 문서 자동화·의사결정 지원 기능을 고도화할 계획이다. 또한, RAG(Retrieval-Augmented Generation) 기반 검색 연계 및 AI 에이전트 도입으로 실시간 업무 지원 범위를 확대해 나갈 예정이다.

2025년 6월, 직원 342명을 대상으로 한 설문에서 ▴문서 초안 자동 작성(23%) ▴문서 요약 및 정리(20%) ▴내부 문서 기반 질의응답(16%) 등 생성형 AI 활용 수요가 높은 것으로 조사됐다.

강옥현 서울시 디지털도시국장은 “챗봇 2.0 도입으로 공무원은 더 효율적으로 일하고, 시민은 더 빠르고 정확하게 응답받는 시대가 열릴 것”이라며, “공공행정 전반에 AI를 적극 활용해 국내를 넘어 ‘글로벌 AI 행정도시’로 거듭나겠다”고 강조했다.

국제사례 대비, AI 행정 선도 경쟁력 강화...'아시아 · 태평양 지역 AI 행정 허브' 도약

서울시의 LLM 도입은 이미 AI 행정 선도 도시로 자리매김한 글로벌 사례들과 맥을 같이한다.

예컨대 두바이 ‘DubaiNow’ 앱은 55종 이상의 스마트 서비스를 단일 플랫폼에 통합해 시민 편의를 극대화했으며, 미국 보스턴시는 블룸버그 필란트로피스와 연계해 AI·데이터 분석으로 도시 서비스 접근성을 높이는 프로그램을 운영 중이다.

서울시는 이러한 국제 모범사례를 벤치마킹해 자체 LLM 도입이라는 독창성을 더함으로써, 향후 아시아·태평양 지역 AI 행정 허브로 도약할 기반을 다진다.

한편, 글로벌 컨설팅업체 BCG는 “생성형 AI가 공공부문 전반에 도입될 경우 2033년까지 연간 1.75조 달러(약 2,209조 원)의 생산성 향상 효과가 기대된다”고 전망했다.