Trusted Machine Learning Models Unlock Private Inference for Problems Currently Infeasible with Cryptography 요약 설명

이번 글에서는 Trusted Machine Learning Models Unlock Private Inference for Problems Currently Infeasible with Cryptography 논문의 핵심 포인트만 간단히 정리한다.

• 2025년 1월 15일(Arxiv)
• Shumailov, Ilia, Ramage, Daniel, Meiklejohn, Sarah, Kairouz, Peter, Hartmann, Florian, Balle, Borja, Bagdasarian, Eugene.
• Google DeepMind, Google Research, Google
• 논문 링크

영문판 보기

요약

• 이 논문은 서로 신뢰하지 않는 참여자들이 자유 형식 텍스트를 포함한 비공개 데이터로 연산하면서 공개되는 정보를 제한하는 방법을 다룬다. 유일한 정량 실험에서는 언어 모델 Gemini-1.5-Flash가 그래프 색칠의 유효성을 직접 검사할 때 정답 레이블 대비 정확도가 35%에 그쳤다. 그래프 색칠은 인접한 노드에 서로 다른 색을 할당하는 문제다.
• 논문이 제안하는 Trusted Capable Model Environment(TCME)는 무상태성과 정보 흐름 제어를 통해 작업 수행 능력을 갖춘 모델을 신뢰할 수 있는 중개자로 사용한다. 무상태성은 비공개 데이터에 의존하는 상태가 연산 사이에 남지 않는다는 뜻이다. 정보 흐름 제어는 환경으로 들어오고 나가는 데이터에 제한을 강제한다는 뜻이다. 정확성은 모델 역량에, 프라이버시는 격리와 제약의 강제 적용에 달려 있다. 논문은 현재 이러한 요건을 부분적으로만 달성할 수 있다고 인정한다.
• 논문의 기여는 아키텍처 제안, 신뢰하는 구성 요소와 보안 가정을 명시한 위협 모델, 응용 시나리오 4개, 제한적인 역량 실험 1개다. 저자들은 모델 추론을 통해 암호학적 연산으로 표현하기 어려운 작업을 처리할 수 있다고 주장한다. 다만 그 이점을 입증하는 종단 간 구현, 프라이버시 보장 측정, 실행 시간 비교는 제시하지 않는다.

1. What are TCMEs?

TCME는 합의된 모델 1개 이상을 고정된 프롬프트와 입출력 제약 아래 실행한다. 백만장자 문제는 2명 중 누가 더 많은 돈을 가졌는지 각자의 금액을 공개하지 않고 알아내는 문제다. 논문의 예시는 32-bit 정수 A와 B를 입력받고 ‘first’ 또는 ‘second’만 출력하도록 허용한다.

• 필수 속성 3개는 무상태성, 명시적이고 검증 가능한 정보 흐름 제어, 참여자의 기대에 부합하는 역량과 동작을 갖춘 모델이다.
• 참여자는 모델, 프롬프트, 제약을 검증할 수 있어야 한다. 메모리 삭제, 전원 껐다 켜기, 방사선 검사, 전자기 신호 유출을 차단하는 패러데이 케이지를 사용하는 하드웨어 예시는 가상 시나리오다.

2. Trusted Capable Model Environments

이 프레임워크에는 합의된 연산을 충분히 잘 수행하는 모델과 비공개 입력을 보호하고 합의된 정보 정책을 강제하는 실행 환경이 모두 필요하다. 따라서 보안은 구성 요소 2개에 대한 가정에 의존한다.

Formulation and threat model

안전한 다자간 연산(MPC)은 참여자들이 각자 보유한 비공개 입력으로 공동 연산을 수행하게 한다. MPC에서와 마찬가지로 n명의 참여자가 x₁, …, xₙ을 보유하고 사전에 합의한 함수 F에 대해 y = F(x₁, …, xₙ)을 구하려 한다. TCME는 이 입력들을 격리된 환경 안에서 받아 모델 M으로 응답을 계산하며, 참여자가 수용할 수 있는 정확성과 효율성을 목표로 한다.

• 신뢰 환경은 무단 접근을 막고, 모델 변조를 방지하며, 중간 연산 상태를 보호하고, 무상태 동작과 사전에 정한 정보 흐름 정책을 강제해야 한다. 이러한 가정 아래에서는 환경 운영자에게도 비공개 입력을 숨기는 프라이버시 보호를 목표로 한다.
• 위협 모델은 정확하게 구현되어 변조할 수 없는 정보 흐름 제어, 유입 데이터를 검사하고 제한하는 입력 정제, 출력 필터링, 안전한 통신을 가정한다. 또한 알려진 취약점과 백도어가 있는지 모델을 사전에 검증한다고 가정한다. 백도어는 의도하지 않은 동작을 유발할 수 있는 숨겨진 장치다. 모니터링은 무결성 위반이나 공격자가 감지되면 실행을 중단할 수 있어야 한다.
• 참여자는 모델, 프롬프트, 정보 흐름 정책, 입출력 제약에 합의해야 한다. 각주는 투명성과 참여자의 통제권을 유지한다면 실행할 질의를 선택할 때 제한적인 재량을 허용한다.

Why is this different from classical cryptographic approaches?

TCME의 정확성과 프라이버시는 모델 동작과 실행 환경에 관한 휴리스틱 가정에 의존한다. 암호학적 구성은 명시된 보안 가정 아래 증명을 제공한다. 영지식 증명(ZKPs)은 증명자가 주장을 뒷받침하는 비공개 정보를 공개하지 않고도 그 주장을 입증하게 한다.

• Table 1은 목적, 신뢰 요건, 통신 비용, 연산 비용을 비교한다. TCME의 통신 비용은 입력 크기에 선형으로 비례하며, 입력 전달과 출력 수신에 1라운드가 필요하다고 설명한다. 연산 비용은 모델 추론 비용을 따른다.
• 작고 구조화된 연산에서는 입력 전송과 추론 실행의 비용이 암호학적 방법보다 클 수 있다. 크고 비정형적인 작업에서 유리하다는 주장은 해당 작업을 회로로 표현하기 어렵다는 점에 근거한다. 회로는 연결된 논리 게이트로 표현한 연산이다. 비용 우위가 바뀌는 지점은 측정하지 않는다.
• 저자들은 방법들을 결합하는 방안도 제안한다. TCME가 암호학적 방법으로 처리하기 까다로운 모델 추론을 수행하고, 암호학적 실행에 적합한 부분은 회로로 생성할 수 있다는 구상이다.

이 비교는 신뢰 가정의 차이를 명확히 보여준다. TCME 연산은 모델 역량과 환경의 신뢰성에 의존하며, 암호학적 대안에는 서로 다른 형식적 요건이 있다. 비용 항목은 규모에 따른 정성적 특성을 설명하며, 측정으로 효율성 우위를 입증하지는 않는다.

Why is this different from Trusted Execution Environments?

신뢰 실행 환경(TEE)은 코드를 안전하게 실행하는 격리 환경이다. TCME는 여기에 특정 모델, 작업 제약, 무상태성, 정보 흐름 제어를 추가한다. 논문은 TCME를 TEE 안에서 실행하고, 생성된 코드는 TEE의 보호된 실행 영역인 별도 인클레이브에서 실행하는 방안을 제안한다.

• Table 2는 제약된 모델 기반 연산과 임의 코드의 안전한 실행을 구분한다. TEE 안에 구현한 TCME는 해당 TEE의 신뢰 가정을 그대로 따른다.
• 저자들은 배포된 소프트웨어와 환경을 검증하는 증명 절차인 attestation이 완전히 투명하려면 모델 가중치가 알려져 있고 인프라가 공개되어 있어야 한다고 주장한다. 뒤에서 제시하는 비공개 코드 감사 시나리오는 독점 구성 요소에 대해 보장 수준이 더 약한 모델 기반 대안을 제안한다.

이 표는 제약된 모델 기반 연산과 임의 코드의 안전한 실행을 구분한다. 본문은 TCME를 TEE 내부에서 실행할 수 있다고 설명한다. 따라서 이 비교는 서로 다른 목적과 요건을 다루며, 독립적인 보안 보장을 입증하지 않는다.

3. Instantiating TCMEs

제안하는 구현 요건은 정보 교환을 명시적으로 제한하는 AirGap, 비공개 입력으로부터 학습하지 못하게 하는 불변 모델 상태, 사용자 기대에 부합하는 모델 동작, 메모리 접근과 데이터 처리에 대한 세밀한 제한, 하드웨어 상태와 정보 흐름을 검증하는 장치다. 저자들은 현대적인 TEE에서 이 제한들을 모사하거나 전용 하드웨어 장치로 구현하는 방안을 제안한다. 다만 구상한 보장을 현재 모두 제공할 수는 없다고 인정한다.

3.1. Practical implementation

실용적인 설계는 합의된 호스팅 방식, 환경 attestation, 입력 검증, 출력 필터링, 암호화 통신, 연산마다 수행하는 상태 초기화, 장애 처리를 결합한다. 입출력 제약은 허용되는 문자열 집합을 엄밀하게 정의한 정규 언어로 명시하고, 별도 TEE에서 실행하는 절차로 강제할 수 있다.

• TCME 운영 주체를 정하는 표준은 없다. 논문은 참여자가 수용하는 중립적인 호스트를 제안하며, 데이터 처리, 접근 제어, 분쟁 해결에 관한 합의와 모니터링, 감사로 이를 뒷받침한다.
• 저자들은 인클레이브 크기, 배포 복잡성, 관리 부담을 장애물로 꼽는다. 또한 논문에서 논의한 H100과 H200 그래픽 처리 장치(GPU)의 TEE에는 필요한 메모리 내 기밀성과 무상태성 보장 장치가 없다고 서술한다. 이에 따라 외부 격리와 전원을 껐다 켜는 작업처럼 비용이 큰 운영 조치가 필요해진다.
• 완전히 투명한 attestation에는 배포 코드, 독점 라이브러리, 모델의 공개가 필요할 수 있다. 이는 논문이 설명한 구현상의 한계이며, 배포된 TCME에서 측정한 결과는 아니다.

3.2. Limitations

핵심 한계는 TCME의 프라이버시와 정확성 보장이 휴리스틱에 기반하며, 형식적인 암호학적 보장보다 약하다는 점이다. 불명확한 자연어 작업은 수학적 함수로 명확하게 대응시키기 어려울 수 있다. 이 때문에 올바른 결과를 수락하는 완전성과 잘못된 결과를 거부하는 건전성을 증명하는 데 한계가 있다.

• 모델의 신뢰성은 여전히 가정이다. 편향, 의도하지 않은 동작, 취약점, 적대적 입력은 의도한 연산을 방해할 수 있다. 공개 모델은 검사할 수 있지만, 공격자도 오류를 유발하도록 설계한 적대적 예제를 오프라인에서 만들 수 있다.
• 여러 참여자와 다양한 데이터 유형으로 확장하려면 통신, 연산, 프라이버시 관련 오버헤드를 조사해야 한다.
• 실행 시간, 전력 소비, 전자기 신호를 통해 정보가 유출되는 부채널은 의도한 출력 제한을 우회할 수 있다. 논문은 이 위험을 지적하지만 방어책은 평가하지 않는다.

4. Examples

예시 4개는 민감한 프로젝트 설명, 코드, 데이터베이스, 카메라 녹화 자료를 대상으로 제약된 추론을 제안한다. 참여자, 입력, 허용 출력을 명시하지만, 응용 수준의 정확도, 정보 유출, 비용은 측정하지 않는다.

4.1. Practical Example 1: Multi-agent non-competition

연구 그룹들은 진행 중인 프로젝트의 기밀 설명을 제출하고, 참 또는 거짓을 나타내는 Boolean 출력 1개로 연구가 중복되는지 알 수 있다. 이 작업은 핵심 아이디어를 공개하지 않으면서 추상화 수준이 서로 다른 비정형 설명을 해석해야 한다.

• 암호화된 지식 베이스를 공유 환경 안에서 복호화한 뒤, 모델들이 공통된 답을 찾거나 합의에 이르지 못하면 통신을 종료하는 구상이다.
• 이 제안은 로컬에 호스팅한 제3자 모델과 출력 제약을 강제하는 별도 TEE를 사용한다.

4.2. Practical Example 2: Audit for confidentiality violations

규제 기관과 사업주는 시스템 코드와 데이터베이스 접근을 검사해 개인 식별 정보(PII)를 안전하지 않게 처리하는지 판단할 모델과 프롬프트에 합의할 수 있다. PII는 이 예시에서 다루는 비공개 사용자 데이터다. 입력 제약으로 상태를 변경하는 작업을 금지하고, 출력은 “YES”와 “NO”로 제한하며, 위반을 감지하면 당사자 2명 모두에게 알리는 구상이다.

• 예시 프롬프트는 침해 사고가 발생했을 때 고객을 위험에 빠뜨릴 수 있는 방식으로 비공개 사용자 데이터를 저장한 경우에만 “YES”를 출력하도록 요구한다. 공개하려는 정보는 감사 판단이며, 검사한 사업 자료는 기밀로 유지한다.

4.3. Practical Example 3: Damage to business property

임대인과 사업장 임차인은 하루가 끝날 때 카메라 녹화 자료를 검사하고 중대한 재산 피해가 발생했는지 보고하는 모델에 합의할 수 있다. 접근은 해당 녹화 자료로 한정하고, 출력은 “YES”와 “NO”로 제한하며, 출력이 “YES”일 때만 당사자 2명 모두에게 알리는 구상이다.

• Figure 1은 민감한 녹화 자료와 공개되는 피해 판단을 분리하려는 구상을 보여준다. 이 예시는 피해 탐지 정확도를 측정하거나 정보 유출 방지를 시험하지 않는다.

화살표는 임대인과 임차인이 추론 전에 프롬프트, 녹화 자료 접근, 허용 출력에 합의하는 과정을 보여준다. 공개하려는 정보는 피해 판단과 피해 감지 시의 알림이다. 이 도식은 탐지 신뢰성이나 정보 유출 방지를 검증하지 않는다.

4.4. Practical Example 4: Private Code Auditor in TEE Attestation

TCME 내부의 공개 모델로 TEE attestation에 사용되는 독점 코드와 모델을 외부에 공개하지 않고 감사하는 방안을 제안한다. 사용자와 제공자는 네트워킹 기능, 차별적인 조건 분기, 백도어의 부재 같은 검사 항목에 합의하고 감사 결과를 attestation의 일부로 사용하는 구상이다.

• Figure 2는 공개 배포 코드와 공개 모델이 있는 TCME를 비공개 배포 코드와 비공개 모델이 있는 검사 대상 TEE와 구분한다.
• 저자들은 여기서 얻는 보장을 약한 보장으로 설명한다. 나열한 위반 사항을 얼마나 신뢰성 있게 탐지하는지는 평가하지 않는다.

공개 모델과 공개 배포 코드로 구성된 감사용 TCME가 비공개 코드와 비공개 모델을 포함한 별도 TEE를 검사한다. 감사 출력은 합의된 검사 항목에 따라 attestation에 활용되며, 감사의 정확성은 여전히 모델에 의존한다.

5. Understanding the Trade-Off with Cryptography

절충 관계에 관한 논의는 고객 연령대의 중복 계산과 그래프 색칠 검증을 통해 기존 암호학이 여전히 적합한 영역을 살펴본다. 정성적인 비용 논의와 모델 역량 실험을 결합하지만, 완전한 비공개 연산 시스템을 벤치마크하지는 않는다.

5.1. Comparing with MPC

회사 2곳은 목표 연령대를 이진 벡터로 표현하고, 대응하는 AND 게이트로 양사가 선택한 연령대를 찾은 뒤 합산하여 공통 연령대 수를 셀 수 있다. 가능한 연령대가 5개일 때 18-24와 25-34를 대상으로 삼으면 [1,1,0,0,0]으로 표현한다.

• 암호학적 예시는 게이트 표와 입력을 암호화한 garbled circuits와, 수신자의 입력 벡터를 드러내지 않고 입력에 대응하는 키를 제공하는 oblivious transfer를 사용한다. 두 번째 회사는 회로를 평가하고 첫 번째 회사가 제공한 출력 키로 중복 개수를 복호화한다.
• TCME 대안은 모델과 프롬프트를 고정하고, 정수로 된 나이 목록을 입력받으며, 중복 정도를 나타내는 부동소수점 수인 float만 출력하도록 허용한다. 논문은 이 절차의 정확도나 실행 시간을 보고하지 않는다.
• 저자들은 garbled-circuit의 통신량과 연산량이 회로 및 입력 크기에 선형으로 비례한다고 설명하며, 작은 회로에서는 비용이 더 낮을 것으로 예상한다. 연령 구간을 더 세분화하거나 속성을 추가하면 TCME 방식이 유리할 수 있다고 주장하지만, 그 경계는 정량화하지 않는다.

5.2. Comparing with ZKPs

실험은 Gemini-1.5-Flash가 그래프 3-coloring을 직접 검증할 수 있는지 시험한다. 이는 3가지 색을 사용해 인접 노드에 서로 다른 색을 할당하는 문제다. 저자들은 노드가 5–25개이고 간선 확률이 0.1인 무작위 그래프 1,000개를 표본으로 추출했다고 보고한다. 어떤 노드들이 연결되어 있는지 표시한 인접 행렬과 후보 색 할당을 제공하고, 코드 없이 “YES” 또는 “NO”만 출력하도록 요구한다.

• Figure 3에는 진음성 246개, 위양성 20개, 위음성 616개, 진양성 99개가 표시되어 있다. 논문은 정확도 35%, 수락한 색칠 중 유효한 색칠의 비율인 정밀도 83%, 유효한 색칠 중 수락한 비율인 재현율 14%를 보고한다.
• 표시된 개수의 합은 981개로, 명시된 표본 그래프 1,000개와 다르다. 논문은 이 차이를 설명하지 않는다. 또한 프롬프트는 색을 1부터 3까지로 지정하지만 예시에는 색 0이 포함되어 있다.
• 저자들은 모델이 올바른 검증 코드를 생성하는 경우가 더 많았다고 관찰하고, 모델을 기존 연산 및 암호학과 결합하는 방안을 제안한다. 다만 코드 생성에 관한 정량 비교는 제시하지 않는다. 여기서 직접 검증은 역량을 측정하며, 영지식 프로토콜을 구현하거나 프라이버시를 평가하지 않는다.

혼동 행렬은 모델이 유효한 색칠 616개를 거부하고 99개를 수락했음을 보여준다. 이는 정밀도가 83%인데도 재현율이 14%에 그친 이유를 설명한다. 셀 4개의 합은 평가 981건이며, 본문에 기술된 표본 그래프 1,000개와의 차이는 설명되지 않는다.

부록

• 제공된 12페이지 논문 “Trusted Machine Learning Models Unlock Private Inference for Problems Currently Infeasible with Cryptography”(arXiv:2501.08970v1, 15 Jan 2025)에는 부록이 없다. 참고문헌은 11페이지에서 시작해 12페이지까지 이어진다.

짧은 생각

논문은 비공개 추론에 필요한 까다로운 조건을 명시한다. 합의된 연산, 검증 가능한 격리, 상태 삭제, 통제된 출력, 작업을 수행할 역량을 갖춘 모델이 필요하다. 응용 시나리오는 제안 단계에 머물며, 유일한 정량 실험은 상당한 검증 오류를 드러낸다. 안전하고 확장 가능한 구현은 입증하지 못한다. 모델과 기존 연산을 결합하자는 제안은 직접 검증에서 드러난 약점에 부합한다. 다만 생성된 검증 코드에 관한 관찰은 정량 평가가 필요하다. 이 실험은 모델이 비정형 비공개 연산을 더 잘 처리한다는 폭넓은 주장을 입증하지 않는다. 이를 평가하려면 제안한 응용을 프라이버시 제어 및 운영 비용과 함께 시험해야 한다.