[11월의 AI 트렌드] AI의 취약점까지 알려주는 스캐너 도구가 등장했다?!

글: SK브로드밴드 AIX R&D팀 전혜윤 매니저

 

안녕하세요.

 

11월에도 AI 관련한 새로운 소식들이 많이 전해졌는데요.

 

NVIDIA에서 다양한 LLM의 모델의 취약점을 스캔하는 도구를 공개했답니다.

 

AI 취약점 스캐너 ‘Garak’의 능력이 궁금하시다구요?

 

그럼 ‘Garak’에 관한 내용과 다른 AI 소식도 자세히 알려드릴게요!

 

<목차>

오픈AI, 기업 시장 점유율 50%에서 34%로 하락…앤트로픽은 24%로 두배 증가

MS, '이그나이트'에서 AI 에이전트·코파일럿 업데이트 대거 공개...분위기 쇄신 나섰다

앤트로픽, 개발자용 프롬프트 엔지니어링 자동화 도구 출시

AWS랩스가 재정의하는 ‘AI 에이전트’의 미래는

NVIDIA “Garak” – LLM 취약점 스캐너

👉🏻 위의 목차 중 원하시는 주제명을 클릭하시면, 해당 본문으로 바로 이동할 수 있습니다.

 

 

 

 

오픈AI, 기업 시장 점유율 50%에서 34%로 하락…앤트로픽은 24%로 두배 증가

1. Summary: 벤처 캐피탈 기업인 멘로 벤처스에서 ‘기업 생성 AI’를 발표했다.

이에 따르면 오픈AI의 기업 시장 점유율이 지난해 50%에서 올해34%로 감소한 반면, 엔트로픽의 점유율은 12%에서 24%로 두 배 증가했다.

이 조사는 50명 이상의 직원을 둔 회사의 IT 의사 결정권자를 대상으로 진행되었으며, 2024년 기업의 생성 AI 지출이 지난해 23억 달러에서 138억 달러로 급증할 것으로 예상된다.

기업들이 평균 3개의 파운데이션 모델을 채택하여 실용적인 접근 방식을 취하고 잇다는 분석이 있다.

따라서 오픈AI 사용자가 줄어든 것이 아니라, 다른 모델을 복수로 채택하는 비율이 늘어나며 점유율만 줄어든 것으로 볼 수 있다.

한편 생성 AI는 호기심에서 실제 고가치 사용 사례에 집중하는 단계로 접어들었다고 밝혔다.

분야로는 의료분야가 5억 달러로 가장 많은 지출을 기록했으며, 법률(3.5억달러)과 금융, 미디어/엔터테인먼트(1억 달러)도 뒤를 이었다.

 

2. Implication: 이번 보고서는 AI 기술의 시장 변화와 기업의 전략적 접근 방식을 보여준다.

오픈AI를 비롯한 AI 회사의 점유율 증감은 기업들이 단일 모델이 아닌 다양한 모델을 채택하여 필요에 맞게 활용하고 있음을 나타낸다.

이는 AI를 활용하고자 하는 기업들에게 여러 모델 간의 통합 및 최적화를 고려해야할 필요성을 제기하며, 각 산업에서의 고부가가치 사용 사례 개발에 주목해야 함을 시사한다.

또한 교육 사이트 체그의 시가 총액 85% 증발과 스택오버플로우의 트래픽이 절반으로 줄어든 것으로 보며 AI를 통해 산업을 혁신하고 새로운 시장을 개척하여 기존 기업이 안주해 온 여러 분야에서도 이와 유사한 파괴가 나타날 것을 주목해야 한다.

 

3. 참고 기사: https://www.aitimes.com/news/articleView.html?idxno=165557

 

 

 

 

MS, '이그나이트'에서 AI 에이전트·코파일럿 업데이트 대거 공개...분위기 쇄신 나섰다

1. Summary: 마이크로소프트(MS)가 '이그나이트 2024' 행사에서 AI 에이전트 신제품과 다양한 업데이트를 선보였으며, 신규 에이전트로는 셰어포인트 에이전트, 통역 에이전트, 직원 셀프서비스 에이전트, 프로젝트 매니저 에이전트 등이 포함됐다.

- '셰어포인트 에이전트(Agent in SharePoint)': 특정 사이트와 파일, 폴더가 AI 에이전트와 연동돼 정보를 쉽게 찾을 수 있는 검색 전문 기능

- '통역 에이전트(Interpreter agent)': 팀즈에서 실시간 음성 통역을 지원하는 기능

- '직원 셀프서비스 에이전트(Employee Self-Service Agent)’: 직원들이 휴가 신청, 급여 및 복지 정보 확인, 장비 요청 등을 쉽게 처리할 수 있도록 돕는 기능

- '프로젝트 매니저 에이전트(Project Manager agent)': 작업 관리 도구인 플래너(Planner)에서 프로젝트 계획 수립부터 실행까지의 과정을 자동화하는 기능

개발자가 다양한 AI 모델을 활용할 수 있는 애저 AI 파운드리도 소개되었으며, 이는 오픈AI 모델 외에도 다른 모델을 자유롭게 사용할 수 있도록 한다.

최근 코파일럿의 실효성과 수익성에 대한 의문이 제기되었으나, 이번 행사로 분위기 반전을 시도하는 것으로 보인다. 행사에서는 AI 에이전트 생태계의 급속한 확장도 강조되었다.

 

2. Implication: MS의 이그나이트 2024 행사는 AI 에이전트를 중심으로 한 다양한 솔루션과 업데이트를 선보이며, 사용자 업무 능력 확장과 비즈니스 프로세스 혁신을 목표로 하고 있다.

새로운 AI 에이전트와 통합 기능의 도입은 기업의 생산성과 효율성을 크게 향상시킬 것으로 기대된다.

이를 사내에서 활용한다면, 특정 작업의 자동화를 통해 직원의 업무 효율성을 극대화할 수 있다.

또한, 셰어포인트 에이전트나 직원 셀프서비스 에이전트를 통해 정보 검색 및 관리 업무를 보다 쉽게 처리할 수 있다.

프로젝트 매니저 에이전트를 통해 프로젝트 관리의 효율성을 높이고, 통역 에이전트를 통해 글로벌 커뮤니케이션을 원활하게 할 수 있다.

AI 기술을 통해 전반적인 업무 처리 속도와 정확도를 향상시켜 회사 전체의 생산성과 경쟁력을 크게 향상시킬 수 있다.

 

3. 참고 기사: https://www.aitimes.com/news/articleView.html?idxno=165512

 

 

 

 

앤트로픽, 개발자용 프롬프트 엔지니어링 자동화 도구 출시

1. Summary: 앤트로픽이 새로운 프롬프트 엔지니어링 도구 세트를 선보였다.

이 도구는 클로드 AI에서 높은 품질의 결과를 얻도록 지원하며, 프롬프트 개선 기능과 고급 예시 관리 도구를 포함한다.

프롬프트 임프루버(Prompt Improver)는 모범 사례를 적용해 프롬프트를 자동으로 최적화하고, 사고 사슬 추론 등 기법을 활용해 문제를 단계적으로 해결한다.

개발자들은 다양한 AI 플랫폼 간 프롬프트를 쉽게 적용할 수 있으며, 테스트 결과 정확도가 30% 개선됐다.

예시 관리 및 수정 기능도 추가돼 비즈니스 애플리케이션에서 일관된 출력을 유지할 수 있다.

부족한 예시는 클로드가 자동으로 합성 예시를 생성한다.

이번 기능 추가는 기업용 챗봇 서비스 경쟁 속에서 사용자 진입 장벽을 낮추고 기업이 원하는 결과를 제공하기 위한 것으로 보인다.

 

2. Implication: 프롬프트 임프루버와 같은 자동화 도구는 프롬프트 엔지니어링의 효율성을 크게 향상시킬 수 있다.

사용자 진입 장벽을 낮추는 것은 기업용 AI 도구의 경쟁력을 높이는 데 중요한 요소가 되며, 이는 기업들이 더 쉽게 모델을 활용하고 원하는 결과를 얻을 수 있도록 지원한다.

또한, 정확도가 개선된 AI 모델을 통해 더 높은 품질의 결과를 얻어내어, 기업 전체의 생산성과 효율성을 높이는 데 기여할 수 있을 것이다.

 

3. 참고 기사: https://www.aitimes.com/news/articleView.html?idxno=165369

 

 

 

 

AWS랩스가 재정의하는 ‘AI 에이전트’의 미래는

1. Summary: 아마존 웹 서비스(AWS) 랩스가 오픈 소스로 공개한 '멀티 에이전트 오케스트레이터'는 여러 AI 에이전트를 관리하고 협업을 조율하는 프레임워크이다.

이 프레임워크는 파이썬과 타입스크립트를 지원하며, 다양한 클라우드 플랫폼과 통합할 수 있는 유연성을 제공한다.

AWS는 이를 통해 복잡한 대화를 처리하고 다양한 작업을 효율적으로 수행하는 데모를 GitHub에 공개했다. 또한, 음성 기반 상호작용을 지원하며,

분산 컴퓨팅의 원칙을 기반으로 에지 컴퓨팅과 클라우드 서비스의 통합을 가속화한다.

AI 에이전트는 자율성과 효율성을 높여 클라우드 환경에서의 분산 컴퓨팅과 자동화를 근본적으로 변화시킨다.

이를 통해 조직은 리소스 최적화와 시스템 신뢰성을 높일 수 있다.

 

2. Implication: 멀티 에이전트 오케스트레이터는 AI 에이전트의 자율성과 효율성을 극대화하고, 분산 컴퓨팅과 클라우드 비용 최적화를 통해 리소스 관리와 시스템 신뢰성을 향상시킨다.

이를 통해 AI 기술 도입이 용이해지고, 기업들의 효율적인 클라우드 지출 관리가 가능하다.

 

3. 참고 기사: https://awslabs.github.io/multi-agent-orchestrator/

https://www.kcloudnews.co.kr/news/articleView.html?idxno=14477

 

 

 

 

NVIDIA “Garak” – LLM 취약점 스캐너

1. Summary: NVIDIA Garak은 NVIDIA에서 개발한 LLM 취약점 스캐너 도구이다.

이 도구는 모델의 환각, 데이터 유출, 프롬프트 주입, 허위정보, 유해 콘텐츠 생성, 탈옥 등 다양한 취약점들에 대해 평가를 지원한다.

이는 정적, 동적, 적응형 Probe를 지원하여 모델의 답변 실패 가능성에 대해 탐색한다.

이 도구는 다양한 LLM 모델(OpenAI, Huggingface, Cohere 등)을 지원하며 REST API 형태로 접근이 가능하여 Open source 모델뿐 아니라 Closed 모델들의 평가도 지원한다.

평가 결과는 리포트 로그 형태로 확인이 가능하다.

이는 pip을 통해 간단히 설치할 수 있으며 커뮤니티의 기여로 새로운 Probe들이 추가되고 개선되어 테스트의 범위가 지속적으로 확장되고 있다.

 

2. Implication: 현재 garak은 20개의 항목에 대한 프로브를 지원하며, 이는 오픈소스로 공개되어 지속적으로 확장 및 개선되고 있다.

이를 통해 LLM 관련 서비스의 보안 분야 발전에 기여할 것으로 기대된다.

이는 LLM 모델의 성능 평가가 아닌, 보안 관점에서의 평가를 지원하므로 모델에 대한 신뢰도를 높이는데 도움이 될 것으로 보인다.

 

3. 참고 기사: https://news.hada.io/topic?id=17833

https://github.com/NVIDIA/garak

https://github.com/NVIDIA/garak/blob/main/garak-paper.pdf

 

 

 

 

오늘은 11월에 핫했던 AI 관련 이슈들을 정리해봤는데요!

 

AI의 취약점을 스캔하는 도구까지 등장하다니, 이제는 AI를 좀 더 신뢰하고 쓸 수 있겠네요!

 

오늘 알려드린 AI 정보들은 어떠셨나요?

 

그럼 여기서 마무리하고, 다음달에도 더 유용한 AI 정보들로 찾아오겠습니다!