1台のカメラと1組のイヤホンがあれば、画面が言葉に変換され、シーン描写とリスク注意に変わり、視覚障がい者がより安全に移動でき、より便利に生活できるようになる……。復旦大学自然言語処理実験室（FudanNLP）の教員と学生の努力により、マルチモーダル大規模AIモデル「復旦 眸思（MouSi）」に基づき視覚障がい者向けに作った「聴見世界」アプリがリリースされた。中国新聞網が伝えた。
「聴見世界」は「眸思」に基づき、視覚障がい者の日常生活の需要に合わせて街道歩行モード、フリーQ&Aモード、探しものモードを構築した。街道歩行モードでは、「眸思」は忠実なガイド役のようになる。信号、交差点、障がい物などの道路状況を詳細にスキャンし、潜在的なリスクを注意喚起し、視覚障がい者を目に見えなない道路における安全な通行を確保してくれる。
「眸思」はフリーQ&Aモードでは気心が知れた友人のようになり、博物館、芸術館、公園などに足を踏み入れる。周囲のシーンのすべての細部をキャッチし、音声により豊富な生活シーンを構築し、各所の日常の美しさを伝えてくれる。探しものモードでは信頼できる執事になる。場所を変えられた杖や好きな味のミルクなど、視覚障がい者の日常的な探しものを楽にしてくれる。
復旦大学自然言語処理実験室の張奇教授は、「人工知能（AI）の発展は日進月歩で、科学技術はより多くの人の暮らしを変えるべきだ。眸思が視覚障がい者の外出を支え、より多くの作業を試し、その人生により多くの可能性を与えてもらいたい」と述べた。このプロジェクトを主導するのは「駆け出し」の学生たちで、チーム内のブレーンストーミングで独創的なアイデアを打ち出し、斬新な解決策を見つけることができる。
チームは今年上半期に拡張現実（AR）を導入することで、アプリ内の測位の精度を準メートル級にアップグレードするのに対し、下半期には「眸思」の動画に基づく判断のアップグレードを目指す。現在は閲覧モードや解説モードなど、より多くのモードが開発中だという。（編集YF）
「人民網日本語版」2024年3月5日
