Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University...
Transcript of Shape Descriptors I1 Shape Descriptors I Thomas Funkhouser CS597D, Fall 2003 Princeton University...
11
Shape Descriptors IShape Descriptors I
Thomas Funkhouser
CS597D, Fall 2003Princeton University
Thomas Funkhouser
CS597D, Fall 2003Princeton University
3D Representations
������������������ ��������������������������
Intuitive specification Yes No No NoGuaranteed continuity Yes No No NoGuaranteed validity Yes No No NoEfficient boolean operations Yes No No NoEfficient rendering Yes Yes No NoAccurate Yes Yes ? ?Concise ? ? ? YesStructure Yes Yes Yes Yes
Edi
ting
Dis
play
Ana
lysi
s
Ret
riev
al
Property
22
Shape Analysis Problems
��������
� ��� ��������
� ���������
� ������
� ��������
� !������
Ø �����
� �������
� "����������
� "� �����
“How can we find 3D models best matching a query?”“How can we find 3D models best matching a query?”
1)
2)
3)
4)
Query
Ranked Matches
Shape
#�����������!����$�����%��#��������
� � � ����������& ������������������������ ����������&������������ �������������������� ��
33
Shape
����������������������������������������'�������(�����(�����������(������)
=
Shape Similarity
*����������������� �������'+(,)������
� ������ � ���� ������������������������
� ���������� ������ ����������������
-�����( ������������� ����� ��� ������������
� *��$������ �'+(,)�≥ .���������+�����,
� /������ �'+(,)�0�.��������������+0,
� ��������� �'+(,)�0��',(+)���������+�����,
� 1�������� ������ �'+(,)�2��',(")�≥ �'+(")
44
Example Distance Functions
�� �����
3� ������ �������
4�����'��5���(���6)
( ) pp
ii baBAd1
),( � −=
( )),(~
),,(~
max),(
minmax),(~
ABdBAdBAd
baBAd iiBbAa
=
−=∈∈
Shape Matching
"��� ��������������� �����������������7#������
� "������������8� ��9���
� "������ �������������9�������������������
Are these the same chair?
55
Shape Retrieval
����7#�������8����������������������� ��
� ������� �������������� �����&��������� 4'�)�
Is this blue chair in the database?
Shape Retrieval
, ���������������������
ShapeRetrieval
SimilarObjects
ShapeIndex
ShapeDescriptor
ShapeAnalysis
ShapeAnalysis
Databaseof
3D Models
GeometricQuery
66
Shape Retrieval
����7#�������8������������������ ��
3D Query
3D Database
Best Matches
Challenge
*�����������������������
� "������������
� : �&�������� �
� ���������������
� #���������
3D Query ShapeDescriptor
3D Database
BestMatches
77
Challenge
*�����������������������
Ø "������������
� : �&�������� �
� ���������������
� #���������
3D Database
3D Query ShapeDescriptor
BestMatches
Challenge
*�����������������������
� "������������
Ø : �&�������� �
� ���������������
� #���������
3D Database
3D Query ShapeDescriptor
BestMatches
88
Challenge
*�����������������������
� "������������
� : �&�������� �
Ø ���������������
� #���������
3D Database
3D Query ShapeDescriptor
BestMatches
Challenge
*�����������������������
� "������������
� : �&�������� �
� ���������������
Ø #���������
3D Database
3D Query ShapeDescriptor
BestMatches
99
Challenge
*�����������������������
� "������������
� : �&�������� �
� ���������������
� #���������
Ø /�������������������������
� /�������������
� /������������������
� �� ����� �������
Different Transformations(translation, scale, rotation, mirror)
Challenge
*�����������������������
� "������������
� : �&�������� �
� ���������������
� #���������
� /�������������������������
Ø /�������������
� /������������������
� �� �������������
Scanned Surface
Image courtesy ofRamamoorthi et al.
1010
Challenge
*�����������������������
� "������������
� : �&�������� �
� ���������������
� #���������
� /�������������������������
� /�������������
Ø /������������������
� �� �������������
Images courtesy of Viewpoint & Stanford
Different Tessellations
Different Genus
Challenge
*�����������������������
� "������������
� : �&�������� �
� ���������������
� #���������
� /�������������������������
� /�������������
� /������������������
Ø �� �������������
Images courtesy of Utah & De Espona
No Bottom!
&*Q?@#A%!
1111
Taxonomy of Shape Descriptors
��� �� ���������������
� �&�����
� -���$�����������
� ��� �$�����������
���������������������
� ;����(�������(�8�����(�<
� +���� ��(����������(�666
� -�������������
Taxonomy of Shape Descriptors
��� �� ���������������
� �&�����
� -���$�����������
� ��� �$�����������
���������������������
� ;����(�������(�8�����(�<
� +���� ��(����������(�666
� -�������������
Images courtesy of Amenta & Osada
1212
Taxonomy of Shape Descriptors
��� �� ���������������
� �&�����
� -���$�����������
� ��� �$�����������
���������������������
� ;����(�������(�8�����(�<
� +���� ��(����������(�666
� -�������������
Image courtesy of De Espona
?
Taxonomy of Shape Descriptors
��� �� ���������������
� �&�����
� -���$�����������
� ��� �$�����������
���������������������
� ;����(�������(�8�����(�<
� +���� ��(����������(�666
� -�������������
?
1313
Statistical Shape Descriptors
+������$������
� ;����
� ������
� !�����
� �������=� �����/���
� ��������������� �����
� ��������+���� ��/���
+������$�������
� ��������������
� 3���������������
� ���������� ����
Feature Vectors
!�� ���������������� � ��$�������������
� ������� ��� ���������������� ������
Feature 2
Feat
ure
1
File cabinets
Tables
Desks
Image courtesy ofMao Chen
1414
Feature Vectors
"� ���(��������(������>(������������������ ��������� �������������������
Feature 2
Feat
ure
1
File cabinets
Tables
Desks
Image courtesy ofMao Chen
What feature vectors?
Voxels
?���������� �������� ��������'�������������)
� ��� �����������*7 ��������'����������������������)
� �'+(,)�0�@@+$,@@*
�������
( )d =,
NA B A-B
1515
Voxels
"�������������������������'#1)��������
� @@+$DT',)@@A ��������� ������������������������������� ��������+�������������������� ��������,
Distance TransformSurface
Image courtesy ofMisha Kazhdan
Voxels
"�������������������������'#1)��������
� @@+$DT',)@@A ��������� ������������������������������� ��������+�������������������� ��������,
Distance TransformSurface
Image courtesy ofMisha Kazhdan
1616
Voxels
"���� ���������������������� �� �
� 6�6(�����������������!/;�����!�;
Image courtesy ofDaniel Keim, SIGMOD 1999
Voxel Retrieval Experiment
1�������������;8������� ��������������A(BC.������(�BD�������
153 dining chairs 25 livingroom chairs 16 beds 12 dining tables
8 chests 28 bottles 39 vases 36 end tables
1717
Evaluation Metric
-�����$������� ���
� -������0������E�E������F������E�����
� �����0������E�E������F������E�E�����
0 0.2 0.4 0.6 0.80
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
Evaluation Metric
-�����$������� ���
� -������0�.�F�.
� �����0�.�F�D
44 55 66
77
0 0.2 0.4 0.6 0.80
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
11 22 33
9988
Ranked Matches
Query
1818
Evaluation Metric
-�����$������� ���
� -������0�A�F�A
� �����0�A�F�D
44 55 66
77
0 0.2 0.4 0.6 0.80
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
11 22 33
9988
Ranked Matches
Query
Evaluation Metric
-�����$������� ���
� -������0�G�F�7
� �����0�G�F�D
44 55 66
77
0 0.2 0.4 0.6 0.80
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
11 22 33
9988
Ranked Matches
Query
1919
Evaluation Metric
-�����$������� ���
� -������0�7�F�D
� �����0�7�F�D
44 55 66
77
0 0.2 0.4 0.6 0.80
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
11 22 33
9988
Ranked Matches
Query
Evaluation Metric
-�����$������� ���
� -������0�H�F�I
� �����0�H�F�D
44 55 66
77
0 0.2 0.4 0.6 0.80
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
11 22 33
9988
Ranked Matches
Query
2020
Evaluation Metric
-�����$������� ���
� -������0�D�F�C
� �����0�D�F�D
44 55 66
77
0 0.2 0.4 0.6 0.80
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
11 22 33
9988
Ranked Matches
Query
Voxel Retrieval Experiment
1�������������;8������� ��������������A(BC.������(�BD�������
153 dining chairs 25 livingroom chairs 16 beds 12 dining tables
8 chests 28 bottles 39 vases 36 end tables
2121
Voxel Retrieval Results
0 0.2 0.4 0.6 0.8
0
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
Voxels
Random
Voxels
-������
ü #���������
ü /�������������
ü /������������������
ü �� �������������
ü : �&�������� �
� ����������������
J "������������
J /���������������������
2222
Wavelets
#��������8���8�������������
16,000 coefficients 400 coefficients 100 coefficients 20 coefficients
Image courtesy ofJacobs, Finkelstein, & Salesin
Wavelets
#��������A�
� =������*�*�*����(����������*�*�*�������������8������������������������������3���������� ������
Jacobs, Finkelstein, & SalesinSIGGRAPH 95
2323
Wavelets
#��������A�
� =������*�*�*����(����������*�*�*�������������8������������������������������3���������� ������
#��������G�
� 1� ����� ������������������������������������������� ������>��
� : ���>� ���������$>���������������2A����KA������������������
Jacobs, Finkelstein, & SalesinSIGGRAPH 95
Jackie Chan Example
4������/����'GDL�GDL)
2424
Truncated And Quantized to 5000
Truncated And Quantized to 1000
2525
Truncated And Quantized to 500
Truncated 100
2626
Truncated 50
Truncated 10
2727
Torus Example
Torus Truncated to 5000
2828
Torus Truncated to 1000
Torus Truncated to 500
2929
Torus Truncated to 100
Torus Truncated to 50
3030
Wavelets
#������� ������A�
� 1��� ������������������
8���+M(9(&N�����,M(9(&N��������� ����������� ���>���������������8(9(& ���8����(����� ����������������6
[ ] [ ]� −=kji
kji kjiBkjiAwBAd,,
,, ,,,,),(
Jacobs, Finkelstein, & SalesinSIGGRAPH 95
Wavelets
#������� ������G�
� 1��� ����������������������������
�����������������������������6
[ ] [ ]�≠
≠=0),,(:,,
,, ),,,,(),(kjiAkji
kji kjiBkjiAwBAd
Jacobs, Finkelstein, & SalesinSIGGRAPH 95
3131
Wavelets
-������
ü /�������������
ü /������������������
ü �� �������������
ü : �&�������� �
ü ���������������
ü "������������
� #����������
J /���������������������
Jacobs, Finkelstein, & SalesinSIGGRAPH 95
Moments
#��������������������������
�=surface
rqppqr dxdydzzyxm
3232
Moments Retrieval Experiment
1�������������;8������� ��������������A(BC.������(�BD�������
153 dining chairs 25 livingroom chairs 16 beds 12 dining tables
8 chests 28 bottles 39 vases 36 end tables
Moments Retrieval Results
0 0.2 0.4 0.6 0.8
0
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
Voxels
Moments [Elad et al.]
Random
3333
Moments Retrieval Results
0 0.2 0.4 0.6 0.8
0
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
Voxels
Moments [Elad et al.]
Random
Moments
-������
ü /������������������
ü �� �������������
ü : �&�������� �
ü ���������������
ü "������������
J /�������������
J /���������������������
J #���������
3434
Extended Gaussian Image
#��������8�����������������������������
� /�������������������9���
� ��������� �����
3D Model EGI
EGI Retrieval Experiment
1�������������;8������� ��������������A(BC.������(�BD�������
153 dining chairs 25 livingroom chairs 16 beds 12 dining tables
8 chests 28 bottles 39 vases 36 end tables
3535
EGI Retrieval Results
0 0.2 0.4 0.6 0.8
0
0.2
0.4
0.6
0.8
1
Recall
Pre
cisi
on
1
Voxels
Moments [Elad et al.]
EGI [Horn 84]
Random
Extended Gaussian Images
-������
ü /������������������
ü : �&�������� �
ü ���������������
ü "������������
J /�������������
J �� �������������
J /���������������������
J #���������
3636
Other Rotation-Dependent Descriptors
Spherical Extent Functions(Vranic & Saupe, 2000)
Shape Histograms (sectors)(Ankherst, 1999)