Semantic Image Synthesis with SPADE

GauGAN demo

project pagepaperGTC 2019 demoYoutube

We will provide our PyTorch implementation and pretrained models for our paper very soon.

Semantic Image Synthesis with Spatially-Adaptive Normalization.
Taesung ParkMing-Yu LiuTing-Chun Wang, and Jun-Yan Zhu.
In CVPR 2019 (Oral).

In the meantime, please visit our project webpage for more information.

Overview

In many common normalization techniques such as Batch Normalization (Ioffe et al., 2015), there are learned affine layers (as in PyTorch and TensorFlow) that are applied after the actual normalization step. In SPADE, the affine layer is learned from semantic segmentation map. This is similar to Conditional Normalization (De Vries et al., 2017 and Dumoulin et al., 2016), except that the learned affine parameters now need to be spatially-adaptive, which means we will use different scaling and bias for each semantic label. Using this simple method, semantic signal can act on all layer outputs, unaffected by the normalization process which may lose such information. Moreover, because the semantic information is provided via SPADE layers, random latent vector may be used as input to the network, which can be used to manipulate the style of the generated images.

Comparison to Existing Methods

comparison to existing methodsSPADE outperforms existing methods on the COCO-Stuff dataset, which is more challenging than the Cityscapes dataset due to more diverse scenes and labels.

More Results on Flickr Images

Since SPADE works on diverse labels, it can be trained with an existing semantic segmentation network to learn the reverse mapping from semantic maps to photos. These images were generated from SPADE trained on 40k images scraped from Flickr.

Citation

If you use this code for your research, please cite our papers.

@inproceedings{park2019SPADE,  title={Semantic Image Synthesis with Spatially-Adaptive Normalization},  author={Park, Taesung and Ming-Yu Liu and Ting-Chun Wang and Jun-Yan Zhu},  booktitle={Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition},  year={2019} }
공지사항 자동생성 자막

2018-10-22 16:06:41 자막 닫기
전체 관련글 전체관련글
  • **순 기자의 온라인저널리즘의 산실
    뉴스 유료화는 구체적인 독자의 데이터를 정리할 수 있는 인프라를 스스로 확보할 때 의미가 있다.... 하나의 물리적인 뉴스 뷰 페이지로 갇힌 형태가 아니라 인터넷의 많은 관련 정보와 연결해야 한다. 하지만...
    20190512신고
  • **대로, 느낀 대로
    압축 파일을 다운로드받을 수 있다는 점도 이 책의 장점이었다. 본격적인 내용에 들어가기 앞서 이 책에는 2019년 1월 버전으로 제작된 예제들에 대해서도 향후 유니티 버전과 관련해 깃허브에 해결...
    20190512신고
  • **ice_k106님의 블로그
    발표 도중 직접 데모로 보여주셨는데, 대략적인 기능은 소개하자면 아래와 같다. - YAML 파일의... 테스트할 수 있다. 직접 CD를 Trigger할 수도 있고, 소스코드가 변경되고 저장되면 즉시 자동으로...
    20190503신고
  • **phisticated but Simple
    글로벌 브랜드 컨설팅사 인터브랜드(Interbrand)는 2018년 10월 베스트 글로벌 브랜드 TOP 100 순위를 발표... Show) 2019’만 살펴봐도 쉽게 확인할 수 있다. 모빌리티(Mobility)라는 주제로 메르세데스-벤츠(Mercedes...
    20190426신고
  • ** 전설
    끝까지 읽어주세요.먼저 이번에 나온 채용공고를 확인해보았는데요 아래와 같았습니다. 2019년 2차... 경험소스가 있지않는한 면제자의 경우 극복하기가 어려웠습니다 ) ●기타 해외여행의 결격 사유가...
    20190313신고
  • ** 교수의 컬러 매니지먼트 Howard's colormgmt.com
    오픈소스 디스플레이 캘리브레이션 및 프로파일링 소프트웨어인 DisplayCAL 이... 분들은 아래 링크를 통해 3.8 버전을 다운로드 받으실 수 있습니다. DisplayCAL 3.8...
    20190429신고
  • **를 심는 프로그래머
    https://github.com/salvadordf/CEF4Delphi CEF4Delphi를 사용하려면 컴포넌트 설치 후 실행(및 배포) 시 크로미움 관련 라이브러리들을 함께 배포해야 합니다. CEF4Delphi 다운로드...
    20190517신고
  • **를 심는 프로그래머
    Java2OP는 JAR 파일 또는 Java 소스파일을 호출할 수 있는 델파이 코드를 생성합니다.(참고: 파이어몽키에서 외부 라이브러리 연동하기(jar. so, a) ) 아래 커맨드를 이용...
    20190517신고
  • **순 기자의 온라인저널리즘의 산실
    하나의 물리적인 뉴스 뷰 페이지로 갇힌 형태가 아니라 인터넷의 많은 관련 정보와 연결해야 한다.... 광범위한 데이터를 작성하고 예측보도를 할 때 '센서'를 활용하는 언론사도 있다. 수 년 전 부상한 (드론의)...
    20181213신고
  • **dy Lab
    헤더는 NVIDIA가 GitHub에서 공개 소스 로 사용하는 3D 인쇄 가능한 심층 학습 JetBot 과 같이 널리 사용되는 다양한 주변 장치, 센서 및 즉시 사용할 수있는 프로젝트와 함께 즉시 사용할 수...
    20190319신고
  • 83%남자
    17%여자
    1%10대
    12%20대
    29%30대
    32%40대
    20%50대
    6%60대
    통계정보는 댓글이 100개 이상 게시중일때 제공됩니다.
댓글 0