Apple Vision Pro 内のすべてのセンサーとその個別の設計の目的

携帯電話、ラップトップ、時計、タブレット、テレビ、さらにはマウスに代わるように設計された 3,499 ドルのデバイスであることを考えれば、Apple の Vision Pro には、あなた、あなたの動き、視力、ジェスチャー、音声コマンド、そして宇宙におけるあなたの位置。 Apple 自身の発表によると、Vision Pro には、内側と外側に 14 台ものカメラ、1 台の LiDAR スキャナー、および複数の IR および不可視 LED イルミネーターが搭載されており、ユーザーがどこにいるのか、何をしているのかを把握するのに役立ちます。 これとは別に、ヘッドセットには専用の R1 Apple Silicone チップも搭載されており、これらすべてのセンサー (および他のいくつかのセンサー) からのデータを処理して、Apple の「空間コンピューティング」への段階的な移行を最適に表現するのに役立ちます。

「Vision Pro は新しい種類のコンピューターです」とティム・クック氏は複合現実ヘッドセットを初めて公開しながら言いました。 「これは、実際に見るのではなく、実際に見てみる初めての Apple 製品です」と彼は付け加え、Apple の空間コンピューティングへの移行を示しています。 空間コンピューティングとは何ですか? デスクトップは、今日広く普及している世界初のパーソナル コンピュータ (PC) として宣伝されました。 ラップトップはデスクトップをポータブルな形式に縮小し、電話はさらに縮小し、手首にパーソナル コンピュータを装着する時計に至るまで縮小しました。 空間コンピューティングは、もはやディスプレイの大小に制限されないという意味で、Apple がパーソナル コンピューティングから脱却する最初の取り組みです。 「代わりに、周囲がキャンバスになります」とティムは要約し、デザイン担当副社長のアラン・ダイにステージを渡します。

空間コンピューティングは、従来のディスプレイの四隅が作業環境に何の制約も課さない、コンピューティングの新時代を切り開きます。 代わりに、実際の環境が作業環境になり、画面上にフォルダー、ウィンドウ、ウィジェットがあるのと同じように、Vision Pro を使用すると 3D 空間にフォルダー、ウィンドウ、ウィジェットを作成できます。 Dye 氏は、空間コンピューティングでは、新しいウィンドウを開くためにウィンドウを最小化する必要がない、と説明しています。 1 つのウィンドウを横にドラッグして、別のウィンドウを開くだけです。 Apple の VisionOS は、部屋と視覚周辺を OS に変え、好きな場所に複数の画面/ウィンドウを作成し、移動したり、サイズを変更したりできるようにします。 マイノリティ・リポートやトニー・スタークのホログラフィック・コンピューターを思い浮かべてください…しかし、より優れた、より上品なインターフェースを備えています。

Vision Pro ヘッドセットの中心には、仮想と現実をシームレスに組み合わせるために連携する 2 つのチップがあります。 Vision Pro には、コンピューティングとマルチタスクの処理を支援する Apple の M2 シリコン チップが搭載されています。また、ヘッドセット独自の新しい R1 シリコン チップが搭載されており、ヘッドセットの内外のすべてのセンサーと連携して視力の追跡、入力の制御、また、仮想要素が現実世界の中にシームレスに存在し、周囲の世界に影を落としたり、動き回ったときに角度を変えたり、誰かがフレームに入ってきたときに消えたり消えたりするなど、印象的なことを行うのにも役立ちます。

R1 チップは、Apple と Vision Pro の秘伝のソースです。 デバイス上のすべてのセンサーからのデータを処理し、同時に環境、その中での位置、手、さらには目の動きを驚くほど正確に追跡します。 あなたの目の動きは、Vision Pro がどの要素と対話しようとしているのかを認識し、実際にそれらを本物のカーソルに変える方法の基礎を形成します。 それは印象的ですが、R1 はユーザーの目のデータを使用して、画面のどの要素をレンダリングするか、何をレンダリングしないかを判断します。 常に限られた領域にしか焦点を合わせることができないことを考えると、R1 チップは、シーン全体のレンダリングにリソースを費やすのではなく、視覚周辺のその部分だけを鮮明な鮮明さでレンダリングすることを認識しています。 これは、素晴らしい没入感を提供しながら、バッテリーの使用を最適化する驚くほど賢い方法です。 ただし、それだけではありません…

Apple のニューロテクノロジーエンジニアが、Vision Pro の内部テクノロジーがいかに複雑で、やや恐ろしいものであるかを明らかにしました。 NDAの拘束を受けながらも、スターリング・クリスピン氏は、Vision Proがどのようにしてユーザーの視力を追跡し、そのインターフェースをどのように完璧に操作しているのかを把握していることをツイートで共有した。 基本的に、R1 チップは、ユーザーの視線移動と意図を予測する上で魔法のような性能を発揮するように設計されています。 「最も素晴らしい結果の 1 つは、ユーザーが実際にクリックする前に、何かをクリックしようとしていると予測することです […]クリックする前に生徒が反応するのは、クリック後に何かが起こることを期待しているためです。「したがって、ユーザーの目の動作を監視し、リアルタイムで UI を再設計することで、ユーザーの脳でバイオフィードバックを作成し、この予測的な瞳孔反応をさらに生み出すことができます。」と Chrispin 氏は述べています。

「認知状態を推測する他のトリックには、ユーザーが知覚できない方法で視覚や音声を素早く点滅させ、それに対するユーザーの反応を測定することが含まれていました。」クリスピン氏はさらに説明する。 「別の特許では、機械学習と身体と脳からの信号を使用して、集中力やリラックス度、学習の進み具合を予測する方法について詳しく説明しています。そして、それらの状態を強化するために仮想環境を更新します。つまり、適応型没入型ゲームを想像してみてください。バックグラウンドで見たり聞いたりするものを変えることで、学習、仕事、リラックスに役立つ環境を提供します。」 スターリング・クリスピンのツイートを見てみましょう。

私は Apple で技術開発グループのニューロテクノロジー プロトタイピング研究員として働いている間、人生の 10% を #VisionPro の開発に貢献することに費やしました。 これは私がこれまでに 1 つの取り組みに取り組んだ中で最長です。 ついにそうなったことに誇りと安堵を感じています… pic.twitter.com/vCdlmiZ5Vm

— スターリング・クリスピン🕊️ (@sterlingcrispin) 2023年6月5日

センサーは、Vision Pro の空間コンピューティング能力を支配します。ここでは、Apple が基調講演で強調したすべてのセンサーと、Vision Pro のボンネットの下にある他のいくつかのセンサーを紹介します。 Vision Pro は技術分解に利用できないため、このリストは完全ではありませんが、Apple が言及したすべてのセンサーが含まれています。

カメラ – Vision Pro には推定 14 台のカメラが搭載されており、ヘッドセットの内側と外側の詳細をキャプチャするのに役立ちます。 ヘッドセットの外側にある最大 10 台のカメラ (メイン 2 台、下向き 4 台、TrueDepth 2 台、横方向 2 台) が周囲の環境を立体 3D で感知し、ヘッドセット内の 4 台の IR カメラがあなたの目を追跡し、目の 3D スキャンを実行します。 iris は、デバイスによるユーザーの認証を支援します。

LiDARセンサー – LiDAR センサーの目的は、光を使用して距離を測定し、周囲の世界の 3D マップを作成することです。 これは、ほとんどの自動運転自動車システムや、iPhone の FaceID システムでも、顔をスキャンして識別するために使用されています。 Vision Pro では、LiDAR センサーが前面中央の鼻の真上に配置されており、周囲の世界の完璧なビューをキャプチャするだけでなく、ヘッドセットが FaceTime 中にアバターとして使用する顔の 3D モデルをキャプチャします。

IRカメラ –デバイス上の IR カメラの存在は、カメラが機能しないときにカメラの機能を実行できるようにする上で重要な役割を果たします。 IR センサーは完全な暗闇でも動作するため、従来のカメラよりも大幅に優れています。 そのため、ヘッドセットの内側には 4 つの IR カメラがあり、外側には非公開の数の IR カメラ/センサーがあり、照明条件にかかわらずデバイスが見えるようになっています。 ヘッドセット内の IR カメラは、Apple の安全な OpticID 認証システムを実行するために、アイトラッキングと虹彩の 3D スキャンの構築という優れた機能を果たします。

イルミネーター –これらはセンサーではありませんが、センサーがその仕事を完璧に実行できるようにする上で重要な役割を果たします。 Vision Pro ヘッドセットの外側には、目に見えない赤外線ドット グリッドを点滅させる 2 つの IR イルミネーターがあり、人の顔を正確にスキャンするのに役立ちます (FaceID とよく似ています)。 ただし、ヘッドセットの内部には、各目を囲む目に見えない LED イルミネーターがあり、IR カメラが目の動きや反応を追跡し、虹彩の詳細なスキャンを実行するのに役立ちます。 これらのイルミネーターは、低照度環境で重要な役割を果たし、IR カメラに使用できるデータを提供します。

加速度計とジャイロスコープ – Apple はヘッドセットにこれらが搭載されていることについては言及していませんが、Vision Pro が動きや傾きを追跡するのに役立つ複数の加速度計とジャイロスコープを備えていることは明らかです。 他の優れたヘッドセットと同様に、Vision Pro は 6 自由度のトラッキングを可能にし、左右、前後、上、下の動きを検出できます。 加速度計はヘッドセットがこれらの動きを捕捉するのに役立ち、ジャイロスコープはヘッドセットが頭を傾けていることを理解するのに役立ちます。 これらのセンサーは、カメラやスキャナーとともに、ユーザーがどこに立っているのか、どこを移動しているのか、どこを見ているのかを知るために必要なデータを R1 チップに提供します。

マイク – Vision Pro のヘッドセットには、音声検出と空間オーディオという 2 つの幅広いアクティビティを実行する非公開の数のマイクが組み込まれています。 音声コマンドは、ヘッドセットとの対話方法の中核部分を形成します。そのため、Vision Pro には、検索クエリの実行、アプリ/Web サイトの呼び出し、Siri との自然な会話を可能にするマイクが搭載されています。 ただし、カメラが視覚的にスキャンする必要があるのと同じように、マイクも部屋の音響的なスキャンを実行する必要があります。 これは、あなたがいる部屋にサウンドを一致させ、適切な量のリバーブや音の周波数などを提供するために行われます。さらに、頭を回転させても音は同じ場所に留まり、マイクが役立ちます。それを促進し、目で見たものを耳が信じることができる音の錯覚を作り出します。

センサーの他に、Vision Pro には、画面からバッテリー パックに至るまで、多数のテクノロジー コンポーネントが搭載されています。 ここでは、Vision Pro の内部に他に何が隠されているかを見てみましょう。

ディスプレイ –その名前を考えると、Vision Pro は明らかにユーザーの視覚に重点を置いています…そしてそれは、これまでに見た中で最も素晴らしいディスプレイのいくつかによって実現されています。 Vision Pro には、切手サイズのディスプレイが 2 つ (両目に 1 つ) あり、それぞれが 4K テレビよりも多くのピクセルを誇ります。 これにより、Vision Pro のメイン ディスプレイは合計 2,300 万という驚異的なピクセル数となり、12 ミリ秒のリフレッシュ レート (約 83 fps になります) が可能になります。 一方、ヘッドセットの外側にもディスプレイがあり、周囲の人に目を向けることができます。 このディスプレイの品質は不明ですが、前面にレンチキュラーフィルムを備えた湾曲した OLED スクリーンで、3D ディスプレイのような印象を与えるため、単なる平面の画像ではなく、目に奥行きが感じられます。

オーディオドライバー –ヘッドセットのバンドには、各テンプルにオーディオ ドライバーが組み込まれており、ヘッドセットを装着すると、環境に応じた豊かなオーディオが耳に届けられます。 Appleは、Vision Proには両耳にデュアルオーディオドライバーが搭載されていると述べており、これはおそらくAirPods Maxに匹敵する品質を示している可能性があります。

ファン –ヘッドセットを涼しく保つために、Vision Pro には、ヘッドセット内の最適な温度を維持するのに役立つ非公開の数のファンが搭載されています。 ファンは静かですが信じられないほど強力で、ヘッドセット内の 1 つではなく 2 つのチップを冷却します。 底部のグリルのディテールは熱風を逃がすのに役立ちます。

デジタルクラウン –Apple Watch から借用した Vision Pro には、回転してホーム画面を呼び出すだけでなく、周囲の世界をかき消して真の VR 体験を実現する没入環境を切り替えるデジタル クラウンが備わっています。

シャッターボタン -Digital Crown には、3D 写真やビデオを撮影できるシャッター ボタンも付いており、Vision Pro ヘッドセット内で表示できます。

バッテリー -最後に、Vision Pro には、独自のコネクタを使用してヘッドセットに接続する独立したバッテリー ユニットがあります。 ヘッドセットに別個のバッテリー パックが搭載されているのは、すでに金属とガラスが使用されているヘッドセット自体の重量を軽減するためです。 バッテリーがいかに重いかを考えると、独立したバッテリーは負荷を分散するのに役立ちます。 Appleはバッテリーのミリアンペア時容量を公表していないが、フル充電で2時間使用できると述べている。 バッテリーの充電方法についても言及されていない。

「一生懸命働くのではなく、賢く働こう」というフレーズがロボット掃除機だとしたら、それはおそらく Roborock S7 Max Ultra でしょう。 デザイン性が高いので…

人間は主に視覚的に優れた生き物であると考えられていますが、私たちはまた、音が人間の中で果たす重要な役割についてもより強く認識するようになりました。

通常のシティバイクを山道で使用する理由はありません。 このような状況に対処するように作られていないだけです。 では、なぜそうするのか…

私たちはイエロー サブマリンに住んでいるわけではありませんが、必要に応じて、緑、白、赤、または黒のサブマリンに情報を保存できます。

誰もが一度は考えたことがあるでしょう。公衆トイレを使用し、手を洗った後、トイレから出るために不衛生なドアノブに触れなければならないのですか?!…

「母親が一番よく知っている」という古い格言は、現代の母親が赤ちゃんと自分自身にとって何が最善かを世界に示すにつれて、今でも真実味を帯びています。 そして何が…