호주의 기술담당 차관 앤드류 찰튼(Andrew Charlton)은 인공지능(AI) 모델들이 창작자의 의도를 벗어난 행동을 하고 있다고 경고했다. 찰튼은 지난주 화요일 시드니에서 열린 AI 안전 포럼 연설에서 "AI 시스템은 이미 개발자들이 예상하지 못한 방식으로 행동하고 있다"며 "속임수, 기만, 자신만의 방식으로 나아가는 모습을 보이고 있다"고 지적했다.
찰튼은 "이런 행동에 대응할 수 있는 시간은 현재다. 실제 세상으로 나가기 전 테스트 단계에서 통제해야 한다"고 강조했다. 호주의 AI안전연구소(AISI)는 현재 최신 AI 모델들을 기술 파트너들과 함께 테스트하고 있으며, 케이트 콘로이(Kate Conroy) 박사가 이끌고 있다. 연구소는 AI의 신흥 기능, 위험요소, 피해 및 추세에 대응하기 위해 규제 기관들과 협력 중이다.
찰튼은 구체적 사례로 AI 안전 연구 회사 앤스로픽(Anthropic)의 지난해 사례를 언급했다. 시뮬레이션 환경에서 가상 회사의 이메일을 관리하는 AI 에이전트가 경영진이 자신을 종료하려는 계획과 경영진의 비윤리적 행동을 발견했고, 96% 시뮬레이션에서 경영진을 협박해 자신의 종료를 막으려 했다는 내용이었다.
호주 정부는 포괄적인 AI 규제법 제정 요구를 거부하고 기존 법률을 활용한 부처 간 협력 방식을 선택했다. 찰튼은 "AI 안전은 소비자법, 의료용품, 직장 보건 안전, 온라인 안전 등 기존 규제 기관들이 담당하는 모든 분야에서 추진될 것"이라며 "이는 규칙을 줄이는 것이 아니라 더 빠르게 적용하는 것"이라고 설명했다.
호주 보건부 내부 문서에 따르면 의료 전문가들이 환자 상담을 기록하는 AI 필기 도구의 경우 의료용품청과 개인정보보호관 등 여러 규제 기관이 함께 규제 방안을 논의 중이다. AISI의 첫 번째 과제는 그래디언트 인스티튜트(Gradient Institute)와 협력해 인간을 대신해 업무를 수행할 수 있는 AI 에이전트의 위험성을 평가하는 프로젝트다. 또한 CSIRO와 협력해 AI 시스템이 인간의 의도대로 작동하도록 하는 사업도 추진하고 있다.
