Generating Physically Stable and Buildable Brick Structures from Text 요약 설명

이번 글에서는 Generating Physically Stable and Buildable Brick Structures from Text 논문의 핵심 포인트만 간단히 정리한다.

• 2025년 5월 8일(Arxiv)
• Pun, Ava, Deng, Kangle, Liu, Ruixuan, Ramanan, Deva, Liu, Changliu, Zhu, Jun-Yan.
• Carnegie Mellon University
• 논문 링크
• Github
• Project Page

영문판 보기

요약

• Generating Physically Stable and Buildable Brick Structures from Text는 글로 작성한 물체 설명을 바닥판 위에서 무너지지 않고 조립할 수 있는 결합형 장난감 브릭 설계로 변환하는 문제를 다룬다. 검증 프롬프트 250개에서 BRICKGPT는 허용된 부품을 사용하고, 배치 범위를 지키며, 충돌이 없는 유효한 설계를 100%, 안정적인 설계를 98.8% 생성한다. 비교 대상인 Hunyuan3D-2는 생성한 3D 표면을 브릭으로 변환한 뒤 최대 100개 배치안 중 안정성을 기준으로 선택하며, 유효성 100%, 안정성 88.4%를 기록한다.
• BRICKGPT는 텍스트 시퀀스를 예측하도록 학습한 대규모 언어 모델을 파인튜닝하여 브릭의 크기와 위치를 자기회귀적으로 생성한다. 즉, 앞서 생성한 브릭을 조건으로 다음 브릭을 1개씩 생성한다. StableText2Brick은 21개 범주에 속한 28,000개가 넘는 물체에서 얻은 안정적인 구조 47,000개 이상을 제공한다. 추론에서는 유효하지 않은 배치를 다시 샘플링하는 rejection sampling과, 불안정한 브릭부터 시퀀스 끝까지 제거한 뒤 생성을 재개하는 physics-aware rollback을 결합한다.
• 구성 요소 제거 실험은 기하학적 유효성과 물리적 안정성을 구분한다. 유효하지 않은 브릭을 거부하면 유효성이 37.2%에서 100%로 높아지고, rollback을 추가하면 안정성이 24.0%에서 98.8%로 높아진다. 수작업 조립과 로봇 조립은 선택한 설계를 실제로 구현할 수 있음을 보여주지만, 이 방법은 20 × 20 × 20 격자와 표준 브릭 유형 8개로 제한된다.

1. Introduction

논문은 물리적 안정성과 조립 가능성을 구분한다. 물리적 안정성은 바닥판 위 구조에 떠 있거나 무너지는 브릭이 없다는 뜻이며, 조립 가능성은 표준 부품과 호환되고 사람이나 로봇이 조립할 수 있다는 뜻이다. 글로 작성한 설명에서 3차원 물체를 생성하는 기존 text-to-3D 방법은 그럴듯한 형상을 만들어도 이 요건들을 충족하지 못할 수 있다. 기존 브릭 설계 방법은 대체로 이미 만들어진 3D 형상이 필요하거나 1개 범주만을 대상으로 한다.

• BRICKGPT는 각 브릭의 크기와 배치를 텍스트로 기록하고, 다음 브릭을 예측하는 문제로 설계를 표현한다.
• Figure 1은 생성한 설계를 수작업 및 로봇 조립과 연결하고, 브릭 형상을 유지한 채 외관을 별도로 생성하는 과정을 보여준다.

선박 예시는 텍스트 프롬프트를 순차적인 브릭 배치와 실제 조립으로 연결한다. 갤러리는 구조 생성과 이후의 외관 변경도 구분하여 시연된 출력의 범위를 보여주지만, 정량적인 성공률은 제시하지 않는다.

2. Related Work

관련 연구에서는 Text-to-3D Generation, Autoregressive 3D Modeling, Brick Assembly and Design Generation, Physics-Aware Generation을 다룬다. 이 분야들은 각각 형상 합성, 순차적 기하 예측, 부품 배치, 물리적 제약을 다룬다. BRICKGPT는 순차적 예측과 결합형 브릭 구조에 대한 검사를 결합한다.

• LLaMA-Mesh와 같은 메시 생성 방법은 정점과 면으로 표현한 표면을 생성한다. 이러한 방법은 일반 텍스트로 기하 정보를 표현하는 방식에 참고가 되지만, 브릭 호환성이나 안정성을 직접 강제하지는 않는다.
• 형상을 브릭으로 변환하는 최적화와 조립 계획은 대개 목표 형상에서 시작하지만, BRICKGPT는 텍스트에서 브릭 구조를 직접 생성한다.
• 논문은 충돌 회피와 같은 단순한 기하 검사와, 힘에 대한 추론이 필요한 구조적 안정성 분석을 구분한다.

3. Dataset

StableText2Brick에는 3D 물체 형상 데이터셋인 ShapeNetCore의 21개 범주에서 얻은 고유 물체 28,000+개를 표현하는 안정적인 브릭 구조 47,000+개가 포함된다. 구조는 브릭 시퀀스로 구성하며, 각 브릭은 수평 방향 크기 2개와 좌표 3개로 기술한다. 위치 기준점은 돌출된 연결 돌기인 스터드 중 원점에 가장 가까운 스터드다.

• 데이터셋을 구성할 때는 각 메시가 차지하는 부피를 20 × 20 × 20 이산 격자의 셀로 변환하는 복셀화를 수행한다. 이후 무작위 삭제 및 재구축 알고리즘으로 서로 다른 브릭 배치안을 만든다.
• 비선형 힘 분석으로 각 브릭에 0에서 1 사이의 안정성 점수를 부여한다. 모든 브릭의 점수가 0보다 큰 구조만 데이터셋에 포함한다. 예시로 제시한 브릭 200개 미만의 구조에서는 분석에 평균 약 0.35초가 걸린다.
• GPT-4o는 24개 시점의 렌더링을 입력받아 상세 수준이 다른 형상 중심 캡션 5개를 생성한다. 캡션에는 색상과 질감을 포함하지 않는다.

파이프라인은 형상 변환, 무작위 배치안 생성, 명시적인 안정성 필터링을 거쳐 안정적인 학습 예시를 만드는 과정을 보여준다. 캡션은 완성된 브릭 구조의 다중 시점 렌더링을 설명하므로, 언어 감독 신호가 이산화된 설계에 대응한다.

4. Method

이 방법은 요청과 목표 응답을 짝지어 학습하는 instruction fine-tuning과 추론 시점에 제약을 적용하는 생성을 결합한다. Figure 3은 브릭 시퀀스 표현, 학습 구성, 계산 비용이 적은 배치 검사, 최종 안정성 검증과 필요할 때 수행하는 rollback을 보여준다.

도식은 브릭 예측 중 수행하는 국소 검사와 설계를 완성한 뒤 수행하는 물리 검증을 구분한다. 충돌하거나 사용할 수 없는 부품 유형을 생성하면 다시 샘플링하고, 물리적으로 불안정하면 불안정한 브릭부터 시퀀스 끝까지 제거한 뒤 생성을 재개한다.

4.1. Model Fine-tuning

BRICKGPT는 LLaMA-3.2-1B-Instruct를 파인튜닝하여 “{h}×{w} ({x},{y},{z})” 형식으로 한 줄에 브릭 1개씩 출력한다. 모든 브릭은 높이가 1단위인 축 정렬 직육면체다. 수평 방향 크기를 서로 바꾸어 방향을 표현하며, 학습 시퀀스는 공간을 체계적으로 순회하는 래스터 스캔 순서에 따라 아래에서 위로 구성한다.

• 자체 표현에는 배치 검증에 필요한 크기 정보를 포함하되, 기존 브릭 모델 형식인 LDraw에 들어 있는 임의의 방향과 스케일 정보는 생략한다.
• 학습 예시는 물체 캡션과 전체 브릭 시퀀스를 짝지어 구성한다. 이를 통해 텍스트를 모델 입력 단위로 변환하는 언어 모델의 토크나이저를 그대로 활용한다.
• 사전학습 모델도 프롬프트에 예시를 제공하는 in-context learning으로 일부 구조화된 출력을 만들 수 있다. 그러나 충돌, 분리된 구성 요소, 낮은 프롬프트 준수도가 나타나므로 작업에 맞춘 파인튜닝을 적용한다.

4.2. Integrating Physical Stability

물리적 안정성은 모든 브릭에 작용하는 알짜힘과 토크가 균형을 이루는 정적 평형으로 평가한다. 힘 모델에는 중력, 수직 연결력, 스터드 연결부의 수평력, 인접 브릭과의 접촉을 포함한다. 최적화 솔버인 Gurobi는 힘의 크기가 음수가 아니어야 한다는 조건, 양립할 수 없는 힘을 배제하는 조건, 상호작용하는 힘의 크기가 같고 방향이 반대라는 뉴턴 제3법칙을 제약으로 두고 힘의 분포를 구한다.

• 평형을 이룰 수 없거나 필요한 연결 마찰력이 측정된 한계를 넘으면 브릭의 점수는 0이다. 그 외에는 남아 있는 마찰력 여유를 점수로 나타낸다. 모든 브릭의 점수가 0보다 클 때만 전체 구조를 안정적이라고 판정한다.
• 브릭별 rejection sampling은 형식, 허용 부품 목록, 공간 경계, 충돌을 검사한 뒤 검사를 통과하지 못한 배치를 다시 샘플링한다.
• Physics-aware rollback은 완성된 설계를 검사하고, 가장 먼저 나타나는 불안정한 브릭부터 이후의 모든 브릭을 제거한다. 안정적인 앞부분만 남을 때까지 제거를 반복한 뒤 생성을 재개한다. 브릭을 추가할 때마다 전체 안정성을 검사하면 속도가 느려지고, 나중에 브릭을 추가해야 안정화되는 구조를 배제할 수 있다. 구현된 rollback 횟수 제한으로 인해 불안정한 출력을 남긴 채 종료할 수도 있다.

그림에 표시한 힘들은 충돌 없는 배치만으로 안정성을 확보할 수 없는 이유를 보여준다. 솔버는 여러 브릭에 걸쳐 중력과 연결력이 균형을 이루도록 하면서 각 연결부의 한계를 지켜야 한다.

4.3. Brick Texturing and Coloring

외관은 구조 생성 이후에 만든다. 2D 텍스처를 메시 표면에 대응시키는 UV 텍스처링이나 브릭별 단일 색상 지정 방식을 사용한다. 텍스트 조건부 메시 텍스처링 방법인 FlashTex가 추가 프롬프트를 바탕으로 외관을 생성한다.

• 세밀한 텍스처를 만들 때는 완전히 가려진 브릭을 제거하고, LDraw 모델 가져오기 도구인 ImportLDraw로 보이는 브릭들을 병합한다. 이후 큐브 투영으로 표면 텍스처 좌표를 만든다. 논문은 이러한 텍스처를 실제 부품에 적용하는 방법으로 UV 인쇄나 스티커를 제안한다.
• 표준 색상 브릭을 사용할 때는 보이는 복셀 면의 텍스처 색상을 평균한 뒤, 각 브릭을 구성하는 복셀들의 색상을 다시 평균한다. 표준 라이브러리에서 이 평균값과 가장 가까운 색상을 선택한다.
• Figure 7은 동일한 형상에 여러 외관을 적용한 예시를 보여준다.

5. Experiments

실험은 생성한 구조가 허용된 배치를 사용하고 충돌이 없는지, 물리적으로 안정적인지, 요청한 물체와 일치하는지를 평가한다. 비교 대상에는 사전학습 언어 모델에 대한 프롬프팅, text-to-3D 생성 후 브릭 변환, BRICKGPT의 추론 제약을 제거한 실험이 포함된다.

5.1. Implementation Details

파인튜닝에는 서로 다른 프롬프트 240k개와 서로 다른 구조 47k+개를 사용한다. 데이터의 10%를 평가용으로 남겨두고, 학습 예시의 길이는 최대 4096토큰으로 제한한다. 평가에서는 무작위로 선택한 검증 프롬프트 250개에 대해 각각 구조 1개를 생성한다.

• 안정성 솔버는 연결부 마찰력 한계를 0.98 N으로 설정하며, 최적화 가중치는 α = 10⁻³과 β = 10⁻⁶을 사용한다.
• 생성 과정에서는 physics-aware rollback을 최대 100회 수행한 뒤 구조를 받아들인다. 필요한 rollback 횟수의 중앙값은 2회이며, 구조당 생성 시간의 중앙값은 40.8초다.
• 부록에 따르면 생성한 설계의 1.2%는 rollback 한도를 초과하여 안정적인 최종 구조를 만들지 못한다.

5.2. Brick Structure Generation Results

Table 1에서 BRICKGPT는 유효성 100%, 안정성 98.8%, 브릭 안정성 평균 0.996, 최소 브릭 안정성 0.915를 기록한다. 렌더링 이미지와 텍스트의 정합도를 측정하는 CLIP 점수는 0.324다. 대응하는 기준 구조와 시각 특징의 유사도를 측정하는 DINOv2 점수는 0.880이다.

• 안정성이 가장 높은 베이스라인은 Hunyuan3D-2에 안정성 분석을 결합한 구성으로, 안정성 88.4%, CLIP 0.324, DINOv2 0.868을 기록한다. 베이스라인은 먼저 메시를 생성한 뒤 브릭으로 변환한다. 안정성 기반 선택에서는 메시당 LLaMA-Mesh와 LGM은 최대 10개 배치안을, XCube와 Hunyuan3D-2는 최대 100개 배치안을 검사하고, 처음 발견한 안정적인 배치안을 채택한다.
• Rejection sampling과 rollback을 모두 제거한 BRICKGPT는 유효성 37.2%, 안정성 12.8%를 기록한다. Rejection sampling만 적용하고 rollback을 제거하면 유효성 100%, 안정성 24.0%를 기록한다. Figures 5와 6은 충돌과 구조적 실패를 보여준다.
• 5.2절은 유효성과 안정성을 생성한 설계 중 비율로 설명하지만, Table 1 캡션은 안정성, CLIP, DINO를 유효한 구조만 대상으로 계산한다고 명시한다. 안정성 비율의 분모에 대한 설명이 서로 달라, 여기서는 이 차이를 해소하지 않고 보고된 수치를 그대로 제시한다. Table 1은 LLaMA-Mesh에 한해 올바른 형식의 OBJ 표면 메시 파일이라는 별도의 유효성 기준을 적용한다. 제약을 제거한 모델은 CLIP 0.329, DINO 0.888로 더 높은 점수를 기록한다. 따라서 전체 방법의 주된 개선점은 유사도를 비슷하게 유지하면서 물리적 실현 가능성을 높인다는 데 있다.
• 사전학습 언어 모델 베이스라인은 예시 0개에서 유효성 0.0%, 예시 5개에서 2.4%를 기록한다. 저자들은 거부가 과도하게 발생하고 생성 시간이 크게 늘어난다고 보고하여, 이 프롬프팅 베이스라인에는 rejection sampling과 rollback을 적용하지 않는다.

BRICKGPT는 안정성 기반 선택을 적용한 최상위 베이스라인의 88.4%보다 높은 안정성 98.8%를 기록한다. Rollback을 제거하면 유효성 100%를 유지해도 안정성은 24.0%로 낮아진다. 제약을 제거한 모델의 유사도 점수가 더 높다는 결과는 물리적 실현 가능성과 시각적 정합도가 별개의 평가 항목임을 보여준다.

동일한 프롬프트로 비교하면 서로 다른 실패 양상이 드러난다. 사전학습 모델 프롬프팅에서는 충돌이 자주 발생하고, 메시 변환 파이프라인에서는 알아볼 수 있지만 불안정한 물체가 나올 수 있다. 선택한 BRICKGPT 예시들은 안정적이며 전체 통계 결과를 보완하지만, 모든 평가 출력을 대표하지는 않는다.

의자와 차량 예시는 추론 메커니즘 2개의 서로 다른 역할을 보여준다. Rejection sampling은 충돌을 제거하며, rollback을 추가하면 마지막 열에 제시된 안정적인 구조를 생성한다.

5.3. Extensions and Applications

논문은 수작업 조립, 양팔 로봇 조립, 텍스트를 통한 외관 변경을 시연한다. 이 예시들은 선택한 디지털 설계를 실제 브릭으로 구현할 수 있고, 생성한 형상을 유지하면서 외관을 바꿀 수 있음을 보여준다.

• 로봇 실행에는 별도의 조작 정책과 비동기 플래너를 사용하며, 플래너가 로봇 팔 2개의 작업과 동작을 조율한다.
• 별도의 조립 플래너는 중간 구조가 안정성을 유지하고, 로봇 작동을 견디며, 각 배치를 실행할 수 있도록 브릭 순서를 재배열한다. 최종 설계의 안정성만으로는 이러한 속성을 입증할 수 없다.
• 제시된 조립 근거는 시연 사례이며, 프롬프트 250개를 대상으로 한 평가 전체의 조립 성공률은 아니다.

책장과 소파는 세부 외관 프롬프트를 바꾸어도 형상을 유지하며, 기타에는 서로 다른 브릭별 단일 색상을 적용한다. 세밀한 표면 텍스처는 인쇄나 스티커 같은 추가적인 물리 처리가 필요하지만, 단일 색상 지정은 표준 색상 부품에 대응한다.

6. Conclusion

논문은 다음 브릭 생성, 안정적인 학습 데이터, 명시적인 추론 시점 검증을 함께 사용하면 텍스트로 생성한 브릭 구조의 물리적 실현 가능성이 높아진다고 결론짓는다. 보충 자료에는 few-shot 생성 실패, 가장 가까운 학습 설계와의 비교, 로봇 및 수작업 조립 예시가 포함된다. 데이터셋, 코드, 모델은 https://avalovelace1.github.io/BrickGPT/ 에서 제공한다.

Few-shot 예시에서는 알아볼 수 있는 부분적인 배치가 생성되지만 충돌과 분리된 부품이 포함된다. 예시 구조를 조건으로 제공하는 것만으로는 물리적으로 유효한 설계가 만들어지지 않는 사례를 보여준다.

생성한 설계는 복셀 공간의 Chamfer distance를 기준으로 가장 가까운 학습 예시와도 눈에 띄는 차이를 보인다. 선택된 비교 사례에서는 형상을 그대로 복사하지 않았다는 근거를 제공하지만, 전체 평가 집합의 신규성을 정량화하지는 않는다.

선박과 기타 조립 시퀀스는 로봇 팔 2개로 실제 조립을 완료한 사례를 보여준다. 실행에는 생성된 최종 형상 외에도 별도의 조립 계획과 힘 제어 기반 조작이 필요하다.

렌더링과 실제 조립물을 짝지어 제시하여 여러 범주에서 선택한 설계를 실제 브릭으로 조립할 수 있음을 보여준다. 갤러리는 더 폭넓은 정성적 조립 근거를 제공하지만, 조립 성공률이나 조립 시간 분포는 보고하지 않는다.

부록

• A. BRICKGPT Implementation Details: 데이터셋 구축 과정에서 ShapeNetCore 물체 31,218개마다 배치안 2개를 생성하여 총 62,000+개 배치안을 만든다. 약 92%에 해당하는 물체 28,822개에는 안정적인 배치안이 적어도 1개 있다. 지원하는 브릭 유형 8개는 1 × 1, 1 × 2, 1 × 4, 1 × 6, 1 × 8, 2 × 2, 2 × 4, 2 × 6이다. 학습에는 작은 저랭크 매개변수 갱신분을 학습하는 low-rank adaptation(LoRA)을 사용한다. 모델의 attention 층에 있는 query와 value 행렬에 적용하며, rank 32, alpha 16, dropout 0.05로 설정한다. 학습 가능한 매개변수는 3.4M이다. 전체 학습 데이터를 순회하는 단위인 epoch를 기준으로 3 epoch 동안 학습하며, NVIDIA RTX A6000 GPU 8개에서 12시간이 걸린다. 가중치 감쇠를 분리한 옵티마이저인 AdamW를 사용하며, 학습률 0.002, 코사인 학습률 스케줄, 워밍업 100스텝, 전역 배치 크기 64로 설정한다. 추론은 샘플링의 무작위성을 조절하는 temperature 0.6에서 시작하며, 이미 거부한 브릭이 다시 나타나면 0.01씩 높인다. 토큰 제한으로 출력 문법을 강제한다. Figure 8은 few-shot 생성에서 발생한 충돌을 보여준다. Figure 9는 최근접 이웃을 기준으로 계산하는 기하학적 거리인 Chamfer distance를 복셀 공간에서 계산하여, 생성한 형상과 가장 가까운 학습 형상을 비교한다.
• B. Robotic Assembly: ATI 힘-토크 센서를 각각 장착한 Yaskawa GP4 로봇 2대가 보정된 바닥판 위에서 브릭을 조립한다. 부적절한 조립 행동을 제외하는 action masking과, 분해 탐색에서 조립 순서를 도출하는 assembly-by-disassembly search로 실행 가능한 시퀀스를 만든다. 시퀀스는 중간 단계의 안정성을 유지하고, 로봇 작동을 견디며, 시스템의 조작 능력 범위를 지켜야 한다. 이후 비동기 플래너와 조작 중 측정한 힘을 사용하는 폐루프 힘 제어가 실행을 조율한다.
• C. Manual Assembly: Figure 11은 가구, 기타, 선박, 차량, 용기 범주에서 생성한 렌더링과 실제 조립물을 짝지어 보여준다. 생성된 시퀀스는 중간 단계를 제공하므로 수작업 조립 안내로 활용할 수 있다.
• D. Limitations: 모델은 20 × 20 × 20 격자, 물체 범주 21개, 일반적인 직육면체 브릭으로 구성된 고정 라이브러리로 제한된다. 저자들은 더 크고 다양한 학습 데이터셋, 더 높은 격자 해상도, 경사 브릭과 타일 같은 추가 부품을 제안한다. 그러나 논문은 이러한 확장이나 낯선 프롬프트에 대한 효과를 실험으로 입증하지 않는다.

짧은 생각

가장 뚜렷한 기여는 허용된 배치와 구조적 안정성의 차이를 측정했다는 점이다. Rollback 없이 유효성 100%를 달성해도 안정적인 설계는 24.0%에 그친다. 안정성이 98.8%로 개선된 결과는 이 설정에서 학습 기반 생성과 물리 검증기를 함께 사용할 근거를 제공한다. 남아 있는 실패는 횟수가 제한된 추론 절차가 모든 출력의 안정성을 보장하지는 않음을 보여준다. 결과는 검증 프롬프트 250개, 고정 격자, 표준 직육면체 부품, 정적 바닥판 힘 모델이라는 명시된 벤치마크 조건 안에서 해석해야 한다. 최근접 이웃 예시는 학습 형상과의 기하학적 차이를 보여주지만, 전체 결과의 신규성을 요약한 통계는 보고하지 않는다. 또한 10%의 평가용 분할이 원본 물체 단위로 분리되었는지 명시하지 않아, 보지 못한 물체에 대한 일반화 성능을 평가하는 데 한계가 있다. 베이스라인의 추론 조건에는 상당한 차이가 있다. 메시 기반 방법은 배치안을 반복해서 선택하지만, 사전학습 모델 프롬프팅에는 rejection sampling과 rollback이 없다. Table 1은 이러한 전체 구성을 측정하므로 모델 아키텍처의 효과만 분리하지는 않는다.