在整個電腦的發展歷程中 我們不斷地嘗試縮短 我們與數位資訊之間的距離 也就是實體世界
但我在想 有沒有可能 我們跟電腦之間變成完全零距離 我開始想像那會是什麼樣子 首先 我做出了這個工具 它可以穿入到數位空間裡 所以當你用力地壓螢幕時 這個工具可以把你的身體 轉換成為螢幕上的像素 做設計的人可以 把他們的想法直接3D實體化 外科醫生也可以在 螢幕中的虛擬器官上做練習 我們跟電腦之間的距離 便隨著這個工具的發明而被打破了
即使如此 我們的手還是停留在螢幕外 有沒有可能直接把手伸進電腦 透過我們靈巧的雙手 直接使用這些數位資訊呢？ 我在微軟的應用科學部門裡 和著我的指導教授 Cati Boulanger 重新設計出這台電腦 把鍵盤上面這個小小的空間 轉變成為一個數位化工作區 是透過一個透明顯示器 跟3D距離相機的組合 去感應你的手指跟臉 於是你就可以將你的手 從鍵盤上抬起來 並且就此進入3D的空間 並且可以直接用你的手 來抓住像素
因為視窗跟檔案 都在真實地存在這個空間裡 選取它們就好像 從書架上拿一本書一樣容易 你也可以這樣翻閱這本書 當要在某句話 或某些字上畫重點的時候 就螢幕下方的觸控板上劃過去即可 建築師可以直接用他們的雙手 來伸展或把模型轉過來 所以在這些例子裡面 我們是真的進入了數位的世界
還有沒有可能是相反過來 讓數位資訊直接跑到我們面前呢 我相信我們當中許多人 都有過在網上購物或退貨的經驗 現在你不需要再擔心了 你所看到的是一個網路實境試衣間 當系統辨識出你的身型之後 這個影像就會 透過頭戴式或透明顯示器穿戴在你身上
延伸這個想法，我開始想 有沒有可能不光是 在三度空間裡用肉眼看到像素 而是讓像素具體化 讓我們可以摸得到 跟感覺得到它呢 這樣的未來會是什麼樣子? 在麻省理工學院的媒體實驗室裡 我跟我的指導教授 Hiroshi Ishii 以及我的合作夥伴 Rehmi Post 一起研發出這一個具像化的畫素 這組模組中的球狀磁鐵 就好像是現實生活中的3D像素 也就是說無論是 使用電腦或人用手 都可以在這個小小的三度空間裡 自由且同步地移動它 基本上我們所做的 就是拿掉重力這個因素 透過結合磁浮 及力學效應 再加上感應技術 來讓它動起來 並透過程式來將物件數位化 就讓它脫離了時間空間的限制 也就是說現在 人的動作可以被紀錄並重新播放 並且在現實生活中被永久保存下來 所以現在芭蕾舞 也可以進行遠距教學 麥可喬丹的傳奇飛人之姿 也可以真實地一再重現 學生也可以使用它 來學習像行星運動或物理學 這類比較複雜的概念 相較於一般的電腦螢幕或教科書 這是個有形有體的真實經驗 你可以觸摸跟實際感受 這會令人印象深刻 更令人興奮的是 不是只是將電腦裡的東西實體化 而是當我們生活週遭 很多東西開始被程式化之後 我們的日常生活也將會隨之改變
就如各位所看到的 數位資訊將不只提供知識或想法 而是直接在我們面前活生生地呈現出來 就好像是我們生活週遭的一部份 我們不再需要將自己 從這個世界中抽離出來
我們今天是從這層隔閡開始講起 但如果這層隔閡不再復存 那唯一會限制我們的 就只剩下自己的想像力了
謝謝
Jeff Han: The radical promise of the multi-touch interface
現在，這邊有一個背投影式繪圖桌。它大概有 36 吋寬， 而且它配備有多點觸控感應器。平日所見的一般觸控感應器， 像是自動櫃台，或是互動式白板， 在同一時間，只能辨識一個接觸點。 而這東西，能允許你同時間，具有多點控制。 這些觸控點，可以是從我的雙手而來，我可以單手使用多指， 或者，如果我想要，我可以一次使用全部十根手指。 你知道的，就像這樣。
雖然多點觸控不是全然嶄新的概念。 我是說，像是著名的 Bill Buxton 早在 80 年代就已經開始嘗試這個概念。 然而，我在這裡所建造的這個方法，是具有高解析度、 低價，並且也許最重要的是，其硬體可以非常簡單的調整尺寸。 因此，這個技術，如我所言，並不是現在你所見到，最令人興奮的東西， 可能除了它與眾不同的低價位以外。 這邊真正令人感興趣的是，你能夠用它來做什麼事？ 以及你將能夠利用它，所創造出來的介面。現在讓我們來看看。
 |
| Tablet shipment continue to grow |
舉例來說，這邊我們有一個岩漿燈軟體。你可以看到， 我可以使用我的雙手，將這些斑點經由擠壓，而使它們變成一團。 我可以像這樣將系統加熱， 或者我可以用我的兩跟手指，將它們分開。 這是完全直覺性的操作，你將不會需要使用手冊。 操控介面似乎就這樣憑空消失了。 這一開始，是我們實驗室的一個博士班學生，所創造的一個類似螢幕保護程式的軟體 他的名字叫做 Ilya Rosenberg. 但是我認為，這個軟體真正的價值，在這邊顯現了。
 |
| Wearable shipment forecast |
我將要向你們展示某樣東西，一個比較實際的應用範例，等它載入完成。 這是一個攝影師的燈箱工具應用程式。 再一次地，我可以使用我的兩隻手，來與這些照片互動並移動它們。 但是更酷的是，如果我用兩跟手指， 事實上我可以抓取一張照片，並且非常簡單的將之放大，就像這樣。 我可以任意地拖移、縮放並旋轉這張照片。 我可以使用我的雙手掌來這樣做， 或者，我可以只用我任何一隻手的兩隻手指一起來完成。 如果我抓住整個畫板，我可以做同樣的事，將之放大。 我可以同時操作，現在我一邊抓住這個不放， 然後握住另外一張，把它像這樣放大。
同樣的，在這裡我們也看不到操控介面。 不需要說明書。它的操作結果完全如你所預期， 特別是如果你以前沒有接觸過電腦的話。 現在，如果你想創造一個事業，像是一百美元的筆電， 其實，我對於我們將要向一個全新世代的族群介紹 傳統電腦的視窗滑鼠點擊介面這個想法，有所保留。 多點觸控才是我認為從今爾後，我們所應該與機器互動的真正方法。（掌聲） 多點觸控才是我認為從今爾後，我們所應該與機器互動的真正方法。（掌聲） 當然，我可以在這邊叫出鍵盤。 我可以將我打的字帶出來，將之放在這邊。 很明顯的，這與一般標準鍵盤並無不同， 但是當然，我可以重新縮放這個鍵盤的大小，讓它適合我的雙手使用。 這是非常重要的，因為在今日的科技下，沒有理由 我們應該去適應物理性的裝置。 那將會導致不好的後果，例如：重複性勞損。 今日我們有許多這麼好的科技， 這些操控介面應該開始來適應我們。 直到今日，真正改善我們與介面互動的應用還太少。 直到今日，真正改善我們與介面互動的應用還太少。 這個虛擬鍵盤，事實上可能是一個錯誤的發展方向。 你可以想像，在未來，當我們開始發展這種技術之後， 一個鍵盤，當你移開手的時候，也會自動漂移開來， 而且會非常聰明地預測，你將要用你的手打擊那一顆按鍵。 因此～ 再問一次，很棒吧？
聽眾：你的實驗室在哪裡？
韓傑夫：我是紐約市紐約大學的研究科學家。
這是另一種應用程式的範例。我可以創造出這些小毛球。 它會記憶我所做過的點擊。當然，我可以使用兩手操作。 你會注意到，它具有壓感功能。 但是，真正棒的在這邊，我已經向你們示範過兩指操控手勢， 它能夠讓你很快的放大。因為你不需要事先切換到手掌工具 或者放大鏡工具; 你可以連續地在多個不同的比例上，即時的創造東西，一次完成。 我可以在這邊建造大東西，我也可以回去，非常迅速的回去 回到我一開始的地方，然後甚至在這邊建造更小的東西。
這將會變得非常重要，當我們一旦開始從事像是 資料視覺化的工作。舉例來說，我想我們都非常喜歡 Hans Rosling 的演說， 而且他真正的，著重在強調一個我也已經思考許久的事實， 我們都擁有這些了不起的資料，但是，基於某些原因，它們只是被擺在那邊。 我們並沒有真正的去使用它。我認為其中一個原因就是， 藉由圖像、視覺化和參考工具，可以幫助我們處理這些資料。 但是，很大的一部分，我也著重在開始能夠創建更好的使用者介面， 能夠鑽研深入像這樣的資料，但同時仍能保持對整體的宏觀性。
現在，讓我向你們展示另一個應用程式。這個程式叫做「世界風」。 是太空總署 (NASA) 所研發的。它就像我們都見過的谷歌地球 (Google Earth); 這就好像是它的開源碼版本。有附加檔能夠載入 太空總署經年蒐集的各種資料集。 但是，如你所見，我可以使用同樣的兩指手勢 非常迅速的下潛、進入地球。又一次的，我們看不到操控介面的存在。 這真的能讓所有人，感覺非常地融入那個環境，而且操作就如同你所預期一般， 你能體會嗎？再一次，在這邊你看不到操作介面。介面就這樣消失了。 我可以切換到不同的資料瀏覽。這就是這個應用程式厲害的地方。 就像這樣。太空總署非常的酷。它們有這些超光譜影像 這些影像是人工成色的，對於決定植物的繁茂程度非常有幫助。讓我們回到剛剛那裡。
地圖軟體的偉大之處在於， 它不只是 2D 平面，它也可以是 3D 立體影像。所以再一次，應用多點觸控介面， 你可以使用像這樣的手勢，所以你可以使畫面像這樣傾斜， 你知道。不只是受限於簡單的 2D 平面攀移與移動。 我們已經研發出了這些手勢，像這樣，只要放入你的兩跟手指， 它界定了傾斜的軸線，如此這般我就可以向上或向下任意傾斜。 這是我們在這邊，剛剛想出來的點子， 你知道嗎？也許這不是這樣做最好的方法， 但是使用這種介面，你可以做許多很有趣的事情。 就算你什麼都不做，只是玩玩，也會感覺愉快。（笑聲）
所以，最後一件我想要向你們展示的東西是， 你知道，我確信我們都可以想到很多，你可以利用這個東西所做的 娛樂方面的應用。 我對於我們可以利用這東西，所做的創意性應用更感興趣。 現在，這邊有一個簡單的程式，我可以畫曲線。 當我將曲線封閉起來的時候，它就變成一個人偶。 但是有趣的事情是，我可以增加控制點。 然後我可以用我雙手的手指同時操控它們。 你會注意到它是怎麼做的。 這就像是操控木偶一般，這邊我可以使用 我的十跟手指去畫出並做出玩偶。
事實上，在這表象之下需要很多數學運算， 然後它才能控制這些圖案，並正確的反應。 我的意思是，在這邊這個能夠操控圖案的技術， 並使用多個操控點，事實上是屬於一種尖端科技。 這個技術去年才在計算機圖形學會議上公開， 但這是我真正喜好研究領域的良好範例。 所有這些需要使事情做「對」，背後的電腦運算。 直覺性的事情。做如你所預期一模一樣的事。
多點觸控互動研究，現在在人機介面領域非常地活躍。 我不是唯一一個在做這方面研究的，還有很多其他的人也在這領域。 而這種技術，將會讓更多人加入這個領域的研究， 我真的非常期待，跟在場各位接下來幾天的互動 看看這技術，將能如何應用在你們所處的領域。 謝謝大家。
評論
- 從 Jinha Lee 及 Jeff Han 在人機介面給我們的啟示： 平板電腦、穿載電腦在人機介面仍需要更多創新，台灣應加強平板電腦、穿載電腦人機介面研發，讓創新之附加價值能增加；
- 從TSMC 產業升級半導體技術大幅領先之例子，產業升級、技術升級策略遠比服貿重要，產業升級才能帶來營收大成長，連帶加速產業競爭力，GDP及稅收才會大成長；
