Colorful Image Colorization

@tereka114

自己紹介1. 山本　大輝2. Acroquest Technology株式会社3. Software Engineer4. Twitter:@tereka1145. Blog：のんびりしているエンジニアの日記1. 「 http://nonbiri-tereka.hatenablog.com/」

年末といえば・・・

そう

Advent Calendarですね

Advent Calendar

今日は何の日でしょう？

今日は何の日でしょう？Today!!

目次1. はじめに2. 論文概要3. 論文の提案4. 実験5. 実験結果6. まとめ

1Pでわかる論文概要1. 白黒画像を Deep Learning（ CNN）で彩色する論文2. Lを入力とし、 ab空間を求めて再構築。3. Class Rebalanceを考慮した誤差関数を使う。

どんな論文か？

どんな論文か？

どんな論文か？

従来までの Colorizationとの違い1. 従来と異なるところ1. シーケンシャルなモデル（ Single Streamと表現）

1. Dilated convolutionを使った。2. 誤差関数を改良した。1. クラスリバランスな誤差関数を使った

論文の提案1. 色推定部はクラス分類を実施した。1. 従来手法は回帰式や通常の分類2. レア度を考慮した式を構築

2. 頻出度合いに応じた重み付けを実施した。1. クラスリバランスな式を構築、検証

ネットワーク構成

L空間 ab空間

Conv + ReLU + BatchNorm

問題1. ネットワークの入力と教師は次の通り1. 入力画像は L Channelの画像2. 教師は ab空間の画像

2. L空間の画像を与えた時に ab空間はどのようになっているかを答えるネットワーク

CIE Lab空間1. CIE Lab色空間は人間の視覚を近似するよう設計されている。1. 人間の知覚に最も合う空間2. L:明度、 a,b：カラー軸

引用「 http://www.adobe.com/jp/support/techguides/color/colormodels/cielab.html」

これを推定する。

誤差関数の発展1. 連続値を使用した誤差関数

1. L2誤差関数

2. 多クラス分類を使った誤差関数3. Class Rebalancingを利用した誤差関数（提案）

1. 2に ClassRebalancing項を加えた。

L2 誤差関数1. 色空間を連続値として扱い、誤差を計算した。

2. L2 誤差関数は曖昧さに対して、ロバストではない。

クラス分類の誤差関数1. 多クラス分類の誤差関数を使い計算を試みた。

1. Lab空間のグリッドをサイズ 10ずつで分割した。2. 分割結果は Q=313となり、この空間を推定する。

Qの分布

Why class rebalance

1. 自然画像は abの値が偏る。1. 自然画像は壁や背景、塗装が多い。1. 一色でカラーリングされている箇所が該当しそう。

2. Pixelの出現頻度に応じて重みを付ける。1. リバランスする為の重みをつける。

Class rebalancing

1. 提案手法である Class reblancingは次式

通常のクラス分類と同様クラスリバランシング

これを求める。

Class rebalancing

通常のクラス分類と同様クラスリバランシング

L値によって分布が異なる。

Class rebalancing

1. 提案手法である Class reblancingは次式

通常のクラス分類と同様クラスリバランシング

これを求める。

Rebalancing rebalancingで使うWeight

3130.5

求めるべき Yを推定1. 分布（ Z）を求めたので最後は Yを推定する。

2. Tの変化により、分布が変化する。1. T=1の場合：変化なし2. T=0に近い場合：ピークが強調される。3. T=0の場合： 1hotになる。 これをどうするか

Tの値による推移

Tの値による推移大体このあたりが違う。

彩色成功例 提案手法

彩色失敗例

実験内容1. 実験データは ImageNetを利用し、 trainと

validationはそのデータを使っている。2. 評価手法は AMT、 VGG top1、 AuCのスコアを使い、評価している。

評価手法1. AMT（ Amazon Mechanical Turk）

1. AMTを使って生成と Ground Truth画像を 2枚見せ、どちらがよりリアルかを判定する。2. VGG Top11. クラス分類の正答率を計算

3. AuC1. ab空間のエラー閾値が一定以下かを計算する。

結果

最も良い

GTと生成手法で並べた

昔からある白黒画像を入力した

まとめ1. グレー画像からカラー画像へ変換するタスクを解いた。2. クラスリバランスを行った。3. よりリアルな彩色が可能となった。