photo: Tomomi Takano

[レポート]日本庭園を3D映像化する──立本寺の風景と音声の3次元レコーディングReport: 3D Visualization of Japanese Garden: 3D Recording of Sound and Landscape in Ryuhon-ji Temple

KYOTO Design Labはこれまで、スイス連邦工科大学チューリッヒ校[ETH Zürich]とともに京都の庭園を計測する共同研究を実施してきた。3年目の協働となった2017年、立本寺を対象にしてひきつづきおこなった3Dレコーディングは、ETHZからの技術の継承を企図しての実施でもあった。レコーディングワークショップに加え、クリストフ・ジロー教授によるパブリックレクチャーも開催。デジタルデザインの潮流の只中で、私たちは3次元の物体をどのように計測し、建築・都市の設計へと役立てることができるのだろうか。ワークショップとレクチャーに参加した、京都工芸繊維大学学部生のレナードによるレポートをお届けする。


Text: Leonard
Photo: Tomomi Takano

立本寺室内から建具越しに庭園を望む。右側に見える橋は本堂への渡り廊下。View of the Ryuhon-ji temple garden from in room through the window. The bridge visible on the right is a passageway to the main hall.

2017年10月25日〜11月2日の7日間、さまざまなランドスケープの3次元データを記録、分析しているスイス連邦工科大学チューリッヒ校(ETHZ)ランドスケープ研究室との共同研究(ワークショップ)が実施されました。

クリストフ・ジロー教授が主宰するETHZランドスケープ研究室との共同研究は今年で3年目をむかえ、今回は江戸時代を代表する庭である京都・立本寺の庭園を対象に、音と映像の3Dレコーディングによる点群データを解析し、庭園を映像として再現するワークショップがおこなわれました。

記録する前に環境をよく聞く

今回のワークショップは、上京区にある立本寺の庭のなかでもっとも歴史的な禅庭のひとつである庭園でおこなわれました。ワークショップ初日、参加した8人の学生は、4つのグループに分けられ、主に音のレコーディングを担当しました。ETHZの研究員(ナディーン・シュッツ氏、マティアス・ヴォルマー氏、ルードヴィヒ・ベルガー氏)の指導のもと、様々なレコーディング方法で庭園の隅々まで音を記録する作業をおこないました。

右からナディーン・シュッツ氏、ルードヴィヒ・ベルガー氏From right to left, Nadine Schütz and Ludwig Berger

作業の前に、アイスブレイクとして目隠しをしたまま庭園内やお寺の周辺を歩いてまわったのですが、これがとても印象的でした。目隠しして歩くと聴覚が研ぎ澄まされ、視覚以外の体全体で、身の回りのものや雰囲気などをより深く感じることができる体験でした。この体験を通して、普段あまり耳に入らない足音や鳥の鳴き声といった些細な音が聞こえるようになった気がします。こうした鋭敏な聴覚は、より細かい音を記録するレコーディングの作業に活かされました。

ペアを組み、1人が先導するかたちでお寺の周辺を目隠しして歩いた。We paired and walked by covering our eyes around the temple while one guided.

同様に庭園内も歩く。石を踏む音が立体的に聞こえてきた。We also walk in the garden. The sound of footsteps on the stone was heard in three-dimensionally.

午後は、各グループごとにレコーディングをおこない、ベーシックな音、足音や風に舞う葉っぱといった細かい音をレコーディングしていきました。同時に、事前に決められた庭園内の数カ所に三脚を設置し、同じタイミングでCollective Recording(音の共同記録)もおこないました。Collective Recordingは、朝と夕方に20分程度実施することで、時間とともに変化する庭園の様子を音で理解できるようになります。

音を計測する様子。Collective Recordingは、異なる位置の同じ時刻における環境音を記録することで、実際には体験できない環境の状況をデータとして正確に再現することが可能になる。By recording environmental sounds at the same time in different positions, Collective Recording makes it possible to accurately reproduce the situation of the environment which can not actually be experienced as data.

事前にどのような音をどこで計測するかをメモしてレコーディングをおこなった。We noted in advance as to where and how to measure.

風景をデジタルデータとしてスキャンする

音の記録と並行して、3Dスキャンが専門のヴォルマー氏が庭園のスキャニングをおこないました。学生も、各日1グループごとにヴォルマー氏から3Dスキャンの技術についてレクチャーを受け、作業をサポートしました。3Dスキャナーは、離れた場所から3次元座標を点群として取得できる装置です。庭園全体の風景をアーカイヴするためには、複数の場所からスキャンしなければなりません。1回の採取では全ての表面の点群データを得ることができず、Black Dotsとなる(採取した点群データの情報が不足していると黒く表示される)部分が発生することが多くなるためです。

また、ヴォルマー氏がPhotogrammetry(写真測量法=写真画像から対象物の幾何学特性を得る方法)も紹介してくれました。対象物をいろいろな方向からデジタルカメラで撮影し、撮った写真をPhoto Scan Proというソフトウェアに取り込み、画像処理技術によって対象物の重心位置や立体的な座標情報まで算出してくれます。この方法で、デジタルカメラを使って手軽に精密な三次元測定が可能になります。

3Dスキャナーを指差して説明するマティアス・ヴォルマー氏。3Dスキャナーは360度回転しながら周囲の情報を計測する。Matthias Wolmer explained the 3D scanner. The 3D scanner measures the surrounding information while rotating 360 degrees.

計測から制作へ

はじめの3日間は庭園でのレコーディング作業を繰り返しました。庭園で採取した音と点群データは、2分間の映像を制作するために使われます。残りの4日間はD-labのデジタルファブリケーションルームに作業を移し、レコーダーで記録した音のデータをパソコンに書き出し、REAPERという音編集ソフトで編集しました。

さらに、さまざまな位置から3Dスキャナーで取得した点群データをAutodesk Recap 360というクラウドサービスに取り込み、ひとつの3Dデータとして合成しました。各点群データに存在する特徴点と共通の面を利用することによって、自動的に3次元画像として合成します。完成した3次元画像は、次にポイントツールやAdobe Premiereなどで編集し、記録された音と統合して映像化しました。


それぞれ担当を振り分けて編集作業をおこなう。Editing work. photo: Naoko Minami

現在、ランドスケープの映像化だけに留まらず、3Dスキャナーは計測作業にもよく使用され、3次元計測を採用することによって現場作業の時間短縮が可能になっています。たとえば、建物をリノベーションする時にプランや見積もりなどの階段で平面図や断面図などが必要となる場合が多くあります。その際、3Dスキャンにより取得した3次元データから、柱や壁の位置などを計測し、平面図、躯体図、断面図などを作成することができるようになっています。

デジタル時代におけるデザイン・トポロジー

2017年11月2日に京都文化博物館でクリストフ・ジロー教授のパブリックレクチャー「デジタル時代におけるデザイン・トポロジー」が開催されました。レクチャーはまず「トポロジー」の定義の話からはじまりました。トポロジーとは、空間や形の表面が連続していればその形が変化しても保たれている性質を指します。建築は構造や物理的に目に見えるものを重視するイメージがある一方で、トポロジーは景観の中に含まれている生命・精神を表現しているのだとジロー教授は主張していました。

クリストフ・ジロー教授Professor Christophe Girot

さらに、ジロー教授はこれまでのD-labとの共同研究で作成された映像を見せながら、その作成過程や作り方などを簡潔に説明されました。そのあと、3次元スキャニングシステムについても解説されました。

3Dスキャナーは数億点の3次元座標点からなる「点群」データを取得することができる装置です。この点群データの中に色や位置などの情報を組み込んでいるので、物体の360度の3Dモデルを作成することが可能になっています。空や水をスキャンするとそうした情報が不足し、Black Dotsになってしまうという欠点があるそうです。加えて、3Dモデルは点の集合として表現されるため、建物又は景観の任意断面での形状算出も可能になっているとジロー教授は話ました。

また、これまでのワークショップで採取された点群モデルから算出した水平断面図や、ヨルダン・パレスチナ・イスラエルの国境にある水力発電所で取得された点群モデルの画像を紹介しつつ、点群データとCADモデリングの組み合わせによって作成された断面図について説明されました。こうした組み合わせによって、地形や景観、建物の内部形態の必要な詳細寸法を正確に取得できるそうです。

参加者が作成した立本寺の点群モデルも早速披露された。A point cloud model of Ryuhon-ji Temple created by the participants was also shown.

3Dスキャナーはいま、地形や景観、建築などのちがいにかかわらず、さまざまな影響をもたらしていて、2次元のシステムは徐々に3次元システムに切り替わりつつあります。2次元計測と比較すると、3次元での計測は精度や情報量、計測スピードといった点で優れていると私は思います。建築業界では、増築や改築でのプランニングの段階で、既存建物の内部形態や空間などを3D画像としてプロットしてくれるこうした技術は、今後はより重用されていくのではないでしょうか。


ライター紹介: Leonard
京都工芸繊維大学 デザイン・建築学課程 木下昌大研究室 B3


Edited, caption text by Kouhei Haruguchi

KYOTO Design Lab × ETH Zürich
「音と映像の3Dレコーディング ワークショップ」

日程|2017年10月24日[火]〜11月2日[木]
場所|京都工芸繊維大学KYOTO Design Lab、立本寺

ワークショップリーダー
ETH Zürich

クリストフ・ジロー教授
ナディーン・シュルツ
マティアス・フォルマー
ルードヴィヒ・ベルガー

KYOTO Design Lab
矢ケ崎善太郎准教授
木下昌大助教
三宅拓也助教




KYOTO Design Lab × ETH Zürich
パブリックレクチャー
「デジタル時代におけるデザイン・トポロジー」

日時|2017年11月2日[木] 18:00-20:00
会場|京都文化博物館 別館ホール
講師|クリストフ・ジロー教授[ETH Zürich]
主催|京都工芸繊維大学 KYOTO Design Lab
後援|在日スイス大使館

» 詳細リンク


隔週月曜日発行のメールマガジン、D-labの活動をまとめてお届けします。


KYOTO Design Lab has conducted a collaborative research to measure the gardens in Kyoto with ETH Zürich. In the 3rd collaboration in 2017, the 3D recording of Ryuhon-ji Temple was initiated with the intention of inheriting the skills of 3D recording from ETHZ. In addition to the recording workshop, the public lecture by Professor Christoph Girot was also held. In the midst of digital design trends, how can we measure 3D objects in a way that it becomes useful for architectural and urban design? Here, we introduce a report written by Leonard, an undergraduate student of KIT, as well as a participant of this workshop and lecture.


Text: Leonard
Photo: Tomomi Takano

立本寺室内から建具越しに庭園を望む。右側に見える橋は本堂への渡り廊下。View of Ryuhonji-temple’s garden from the room through the window. The bridge on the right is a passageway to the main hall.

This collaborative research is a collaboration between KYOTO Design Lab and the Institute of Landscape Architecture ETH Zürich led by Professor Christophe Girot. The research is about collecting and analyzing data from the recorder and 3D scanner, and then, unifying them using some specific software to create a short animation that can represent the real atmosphere of a landscape. This workshop marks the 3rd year of collaboration between KYOTO Design Lab and ETHZ.

Listening attentively to the Environment Before Recording the Gardens

The site that had been chosen for this year’s research is Ryuhon-ji Temple, located in Kyoto City. It is a good example of a temple that was not made for tourists. Ryuhon-ji is also famous for its Zen garden, one of the great historical gardens. Fortunately, we were allowed to use the garden for three consecutive days to collect the data that will be used for research. We recorded under the guidance of Nadine Schütz, Matthias Vollmer and Ludwig Berger, the researchers at ETHZ.

右からナディーン・シュッツ氏、ルードヴィヒ・ベルガー氏From right to left, Nadine Schütz and Ludwig Berger

On the first day of this workshop, we did the blind-walking exercise by covering our eyes while walking with no clear sense of direction, only depending on the sense of hearing. With this exercise, the sensibility of hearing became sharper and we could feel and dive deep into the surrounding atmosphere. Using this sensitivity of our ears, we recorded the detailed sounds that happen near us such as sounds of footsteps, wind, and birds.

ペアを組み、1人が先導するかたちでお寺の周辺を目隠しして歩いた。We paired up and walked around the temple while one person guides the other whose eyes are covered.

同様に庭園内も歩く。石を踏む音が立体的に聞こえてきた。We also walked in the garden. The sound of footsteps on the stone was heard three-dimensionally.

We also started collective recording, in which we placed tripods in some specifics areas in the garden and began recording at the same time. We conducted collective recording twice a day, in the morning and in the evening, in order to observe the changes that happen to the garden and the surrounding areas during those times.

音を計測する様子。Collective Recordingは、異なる位置の同じ時刻における環境音を記録することで、実際には体験できない環境の状況をデータとして正確に再現することが可能になる。By recording environmental sounds at the same time in different positions, Collective Recording makes it possible to accurately reproduce the situation of the environment which can not actually be experienced as data.

事前にどのような音をどこで計測するかをメモしてレコーディングをおこなった。We took a note in advance on where and how to measure.

Scan the Landscape as Digital Data

Meanwhile, Matthias Vollmer brought out a 3D scanner and placed it on appointed-area in the garden and started to scan the physical shape of the garden. 3D scanner has to be fixed in more than one location to be able to obtain the whole image of a garden.

Moreover, we also conducted individual recording that later will be used in our animation and also the photogrammetry, a technique of mapping measurements utilizing a series of overlapping or superimposed photographs.

3Dスキャナーを指差して説明するマティアス・ヴォルマー氏。3Dスキャナーは360度回転しながら周囲の情報を計測する。Matthias Vollmer explained how 3D scanner works. It measures surrounding information while rotating 360 degrees.

From Measurement To Creation

We went through these process in the first three days and the data that had been collected were later used to create a 2-minute-animation. The raw data recorded on the 3D scanner from numerous spots had to be merged together in order to compose the whole 3D animation of the garden. Combining each raw data from the 3D scanner and editing the recording sounds were done during the next four consecutive days.


それぞれ担当を振り分けて編集作業をおこなう。Editing work. photo: Naoko Minami

By merging each image piece by piece using point cloud technology that can capture million points of data per second, we can see almost all the details that had been taken through the lens of 3D scanners. Through this extremely advanced and precise tools and methods, we could explore the new boundaries of knowledge and illustration of the landscape, as well as the relationship between the garden and the temple. It is also possible to create ghostly, uncanny digital replicas of real-world environments, using millions of small dots that are precise to within a millimeter.

Furthermore, 3D scanning can also be an effective way to examine and archive physical spaces that are unnoticeable and inaccessible, such as a scratch on the wood or even a hollow space within a tree.

Design Topology in the Digital Age

D-lab held the public lecture “Design Topology in the Digital Age” by Professor Christophe Girot. At the beginning of the talk, he explained the definition of Topology. According to him, topology is an abstract term for a continuity of a surface. It is understood as a property that is retained even if the form of an object changes, as long as the surface of the space or shape is continuous. He also emphasized that, while architecture tends to seem as if it focuses on tangible objects such as structure, topology focuses on the spirit of the landscape, for it speaks to the logic and intelligence of a landscape. Furthermore, Design topology represents a new approach to the terrain, a new way to enhance a deeper sense of the physical world.

クリストフ・ジロー教授Professor Christophe Girot

After finishing the introduction about topology, he showed us the animation that had been created in previous workshop and gave a brief explanation about the method and the process in which it was made. The previous workshop took place in several gardens in Kyoto. While showing us the short-animation that was made by the students from the previous workshop, he explained about the basic concept of 3D scanning system.

He stated that the 3D scanner has the ability to capture millions of dots and plot them with a very precise calculation, even more accurate than Google Earth images. The resulting “point cloud” data consists of millions or more of geo-referenced points over which a 360-degree photo of the site can be enclosed. This means that limitless detail about a site can be captured using the 3D scanning system. However, an object that does not have information in terms of color or location, such as sky and water, can only be shown as black dots.

He also added that it is possible to generate cross-section and longitudinal sections of a terrain and build from the point cloud data. For example, horizontal section view, which he implied as Tatami view, of traditional Japanese house can be extracted from the point cloud data, producing a clear image of the building that can help us to observe and analyze more easily, with precision down to plus or minus a millimeter.

He also showed us the point cloud model of the hydroelectric power station on the border of Jordan, Palestine and Israel, which until that time the site had never been documented. The animation is the example of combination between point cloud data and the cross-section data that had been previously made using CAD. The combination of CAD and point cloud that was extracted from the 3D scanner can produce such a precise yet more solid visualization.

参加者が作成した立本寺の点群モデルも早速披露された。A point cloud model of Ryuhon-ji Temple created by the participants was also shown.

Nowadays, 3D scanning is rapidly replacing the two-dimensional scanning because it is more precise, faster, and consists large amount of information and details about the site. Moreover, 3D scanning has become not too expensive and easy to navigate, and therefore architects and engineers use it to help them plot the image of existing object or building when designing additions or renovation of a building that has historical values.


Author: Leonard
Kyoto Institute of Technology, Design and Architecture, Masahiro Kinoshita Laboratory B3


Edited, caption text by Kouhei Haruguchi

KYOTO Design Lab × ETH Zürich
“3D Scanning and Sound Recording Workshop”

Date: Tuesday 24 October – Thursday 2 November, 2017
Venue: KYOTO Design Lab, Kyoto Institute of Technology, Ryuhonji-Temple

Workshop Leaders
ETH Zürich

Professor Christophe Girot
Nadine Schütz
Matthias Vollmer
Ludwig Berger

KYOTO Design Lab
Associate Professor Zentaro Yagasaki
Assistant Professor Masahiro Kinoshita
Assistant Professor Takuya Miyake




KYOTO Design Lab × ETH Zürich
Public Lecture
“Design Topology in the Digital Age”

Date: 18:00-20:00, Thursday 2 November, 2017
Venue: Annex Hall, The Museum of Kyoto
Lecturer: Professor Christophe Girot [ETH Zürich]
Organized by KYOTO Design Lab, Kyoto Institute of Technology
Supported by the Embassy of Switzerland in Japan

» details

D-lab send news summary every other Monday.


Related Links
Related Links
Related Posts
Share