Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University...

36
1 Shape Descriptors I Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations Intuitive specification Yes No No No Guaranteed continuity Yes No No No Guaranteed validity Yes No No No Efficient boolean operations Yes No No No Efficient rendering Yes Yes No No Accurate Yes Yes ? ? Concise ? ? ? Yes Structure Yes Yes Yes Yes Editing Display Analysis Retrieval Property

Transcript of Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University...

Page 1: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

11

Shape Descriptors IShape Descriptors I

Thomas Funkhouser

CS597D, Fall 2003Princeton University

Thomas Funkhouser

CS597D, Fall 2003Princeton University

3D Representations

������������������ ��������������������������

Intuitive specification Yes No No NoGuaranteed continuity Yes No No NoGuaranteed validity Yes No No NoEfficient boolean operations Yes No No NoEfficient rendering Yes Yes No NoAccurate Yes Yes ? ?Concise ? ? ? YesStructure Yes Yes Yes Yes

Edi

ting

Dis

play

Ana

lysi

s

Ret

riev

al

Property

Page 2: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

22

Shape Analysis Problems

��������

� ��� ��������

� ���������

� ������

� ��������

� !������

Ø �����

� �������

� "����������

� "� �����

“How can we find 3D models best matching a query?”“How can we find 3D models best matching a query?”

1)

2)

3)

4)

Query

Ranked Matches

Shape

#�����������!����$�����%��#��������

� � � ����������& ������������������������ ����������&������������ �������������������� ��

Page 3: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

33

Shape

����������������������������������������'�������(�����(�����������(������)

=

Shape Similarity

*����������������� �������'+(,)������

� ������ � ���� ������������������������

� ���������� ������ ����������������

-�����( ������������� ����� ��� ������������

� *��$������ �'+(,)�≥ .���������+�����,

� /������ �'+(,)�0�.��������������+0,

� ��������� �'+(,)�0��',(+)���������+�����,

� 1�������� ������ �'+(,)�2��',(")�≥ �'+(")

Page 4: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

44

Example Distance Functions

�� �����

3� ������ �������

4�����'��5���(���6)

( ) pp

ii baBAd1

),( � −=

( )),(~

),,(~

max),(

minmax),(~

ABdBAdBAd

baBAd iiBbAa

=

−=∈∈

Shape Matching

"��� ��������������� �����������������7#������

� "������������8� ��9���

� "������ �������������9�������������������

Are these the same chair?

Page 5: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

55

Shape Retrieval

����7#�������8����������������������� ��

� ������� �������������� �����&��������� 4'�)�

Is this blue chair in the database?

Shape Retrieval

, ���������������������

ShapeRetrieval

SimilarObjects

ShapeIndex

ShapeDescriptor

ShapeAnalysis

ShapeAnalysis

Databaseof

3D Models

GeometricQuery

Page 6: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

66

Shape Retrieval

����7#�������8������������������ ��

3D Query

3D Database

Best Matches

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

3D Query ShapeDescriptor

3D Database

BestMatches

Page 7: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

77

Challenge

*�����������������������

Ø "������������

� : �&�������� �

� ���������������

� #���������

3D Database

3D Query ShapeDescriptor

BestMatches

Challenge

*�����������������������

� "������������

Ø : �&�������� �

� ���������������

� #���������

3D Database

3D Query ShapeDescriptor

BestMatches

Page 8: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

88

Challenge

*�����������������������

� "������������

� : �&�������� �

Ø ���������������

� #���������

3D Database

3D Query ShapeDescriptor

BestMatches

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

Ø #���������

3D Database

3D Query ShapeDescriptor

BestMatches

Page 9: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

99

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

Ø /�������������������������

� /�������������

� /������������������

� �� ����� �������

Different Transformations(translation, scale, rotation, mirror)

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

� /�������������������������

Ø /�������������

� /������������������

� �� �������������

Scanned Surface

Image courtesy ofRamamoorthi et al.

Page 10: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1010

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

� /�������������������������

� /�������������

Ø /������������������

� �� �������������

Images courtesy of Viewpoint & Stanford

Different Tessellations

Different Genus

Challenge

*�����������������������

� "������������

� : �&�������� �

� ���������������

� #���������

� /�������������������������

� /�������������

� /������������������

Ø �� �������������

Images courtesy of Utah & De Espona

No Bottom!

&*Q?@#A%!

Page 11: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1111

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

Images courtesy of Amenta & Osada

Page 12: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1212

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

Image courtesy of De Espona

?

Taxonomy of Shape Descriptors

��� �� ���������������

� �&�����

� -���$�����������

� ��� �$�����������

���������������������

� ;����(�������(�8�����(�<

� +���� ��(����������(�666

� -�������������

?

Page 13: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1313

Statistical Shape Descriptors

+������$������

� ;����

� ������

� !�����

� �������=� �����/���

� ��������������� �����

� ��������+���� ��/���

+������$�������

� ��������������

� 3���������������

� ���������� ����

Feature Vectors

!�� ���������������� � ��$�������������

� ������� ��� ���������������� ������

Feature 2

Feat

ure

1

File cabinets

Tables

Desks

Image courtesy ofMao Chen

Page 14: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1414

Feature Vectors

"� ���(��������(������>(������������������ ��������� �������������������

Feature 2

Feat

ure

1

File cabinets

Tables

Desks

Image courtesy ofMao Chen

What feature vectors?

Voxels

?���������� �������� ��������'�������������)

� ��� �����������*7 ��������'����������������������)

� �'+(,)�0�@@+$,@@*

�������

( )d =,

NA B A-B

Page 15: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1515

Voxels

"�������������������������'#1)��������

� @@+$DT',)@@A ��������� ������������������������������� ��������+�������������������� ��������,

Distance TransformSurface

Image courtesy ofMisha Kazhdan

Voxels

"�������������������������'#1)��������

� @@+$DT',)@@A ��������� ������������������������������� ��������+�������������������� ��������,

Distance TransformSurface

Image courtesy ofMisha Kazhdan

Page 16: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1616

Voxels

"���� ���������������������� �� �

� 6�6(�����������������!/;�����!�;

Image courtesy ofDaniel Keim, SIGMOD 1999

Voxel Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Page 17: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1717

Evaluation Metric

-�����$������� ���

� -������0������E�E������F������E�����

� �����0������E�E������F������E�E�����

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Evaluation Metric

-�����$������� ���

� -������0�.�F�.

� �����0�.�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Page 18: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1818

Evaluation Metric

-�����$������� ���

� -������0�A�F�A

� �����0�A�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Evaluation Metric

-�����$������� ���

� -������0�G�F�7

� �����0�G�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Page 19: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

1919

Evaluation Metric

-�����$������� ���

� -������0�7�F�D

� �����0�7�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Evaluation Metric

-�����$������� ���

� -������0�H�F�I

� �����0�H�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Page 20: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2020

Evaluation Metric

-�����$������� ���

� -������0�D�F�C

� �����0�D�F�D

44 55 66

77

0 0.2 0.4 0.6 0.80

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

11 22 33

9988

Ranked Matches

Query

Voxel Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Page 21: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2121

Voxel Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Random

Voxels

-������

ü #���������

ü /�������������

ü /������������������

ü �� �������������

ü : �&�������� �

� ����������������

J "������������

J /���������������������

Page 22: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2222

Wavelets

#��������8���8�������������

16,000 coefficients 400 coefficients 100 coefficients 20 coefficients

Image courtesy ofJacobs, Finkelstein, & Salesin

Wavelets

#��������A�

� =������*�*�*����(����������*�*�*�������������8������������������������������3���������� ������

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Page 23: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2323

Wavelets

#��������A�

� =������*�*�*����(����������*�*�*�������������8������������������������������3���������� ������

#��������G�

� 1� ����� ������������������������������������������� ������>��

� : ���>� ���������$>���������������2A����KA������������������

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Jackie Chan Example

4������/����'GDL�GDL)

Page 24: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2424

Truncated And Quantized to 5000

Truncated And Quantized to 1000

Page 25: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2525

Truncated And Quantized to 500

Truncated 100

Page 26: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2626

Truncated 50

Truncated 10

Page 27: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2727

Torus Example

Torus Truncated to 5000

Page 28: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2828

Torus Truncated to 1000

Torus Truncated to 500

Page 29: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

2929

Torus Truncated to 100

Torus Truncated to 50

Page 30: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3030

Wavelets

#������� ������A�

� 1��� ������������������

8���+M(9(&N�����,M(9(&N��������� ����������� ���>���������������8(9(& ���8����(����� ����������������6

[ ] [ ]� −=kji

kji kjiBkjiAwBAd,,

,, ,,,,),(

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Wavelets

#������� ������G�

� 1��� ����������������������������

�����������������������������6

[ ] [ ]�≠

≠=0),,(:,,

,, ),,,,(),(kjiAkji

kji kjiBkjiAwBAd

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Page 31: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3131

Wavelets

-������

ü /�������������

ü /������������������

ü �� �������������

ü : �&�������� �

ü ���������������

ü "������������

� #����������

J /���������������������

Jacobs, Finkelstein, & SalesinSIGGRAPH 95

Moments

#��������������������������

�=surface

rqppqr dxdydzzyxm

Page 32: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3232

Moments Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Moments Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Moments [Elad et al.]

Random

Page 33: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3333

Moments Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Moments [Elad et al.]

Random

Moments

-������

ü /������������������

ü �� �������������

ü : �&�������� �

ü ���������������

ü "������������

J /�������������

J /���������������������

J #���������

Page 34: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3434

Extended Gaussian Image

#��������8�����������������������������

� /�������������������9���

� ��������� �����

3D Model EGI

EGI Retrieval Experiment

1�������������;8������� ��������������A(BC.������(�BD�������

153 dining chairs 25 livingroom chairs 16 beds 12 dining tables

8 chests 28 bottles 39 vases 36 end tables

Page 35: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3535

EGI Retrieval Results

0 0.2 0.4 0.6 0.8

0

0.2

0.4

0.6

0.8

1

Recall

Pre

cisi

on

1

Voxels

Moments [Elad et al.]

EGI [Horn 84]

Random

Extended Gaussian Images

-������

ü /������������������

ü : �&�������� �

ü ���������������

ü "������������

J /�������������

J �� �������������

J /���������������������

J #���������

Page 36: Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University Thomas Funkhouser CS597D, Fall 2003 Princeton University 3D Representations5 Shape

3636

Other Rotation-Dependent Descriptors

Spherical Extent Functions(Vranic & Saupe, 2000)

Shape Histograms (sectors)(Ankherst, 1999)