【海外の反応】インド人学生が手話をリアルタイム翻訳するAIを開発「素直にすごい」「たった数語でもスタート地点として最高」

※動画：学生がカメラの前で手話を実演していて、画面には認識された単語と信頼度が表示されていく。手を広げて「hello: 97%」、人差し指と小指を立てて「iloveyou: 99%」、握った手を上下して「yes: 97%」、つまむような動きで「no: 97%」、顎の前から両手を広げて「thanks: 90%」といった具合に、ほぼ一瞬で英単語に変換されていく

残念なことに手話って世界共通じゃなくて、300以上もあるんだよな。開発者がインド人だから、これは南アジアで主流のインド・パキスタン手話かイギリス手話のどっちかだと思う

でもこういうソフトが助けになるんだよ。入力側の手話の種類さえ切り替えれば、あとはコンピュータが目的の言語に翻訳してくれるわけで

話される言語だって数千あるわけだし、手話が300種類あるのは別に不思議でもなんでもないだろ

ソースね。普通にGitHubで公開されてる → https://github.com/priiyaanjaalii0611/ASL_to_English

リポジトリ見てきたけど、認識できるのは全部で6サイン……それだけか？

厳密に言うと彼女が作ったのは「アルゴリズム」じゃなくて、TensorFlowで学習させたニューラルネットな。アルゴリズムってのは有限ステップで必ず正解が出る明確なレシピのことで、ニューラルネットはそれとは別物……ってCS科の先輩に言われたことある

CSペダントがさっそく湧いてきて笑った。まあでもこの手の話では必ず現れるよね

この手のやつ昔からみんな作ってて毎回過剰に持ち上げられるんだよ。カメラの正面でバッチリ決めた数個のサインを認識するのと、本当の意味で手話を理解して翻訳するのとは月とスッポンくらい違う

元ASLの通訳者だけど、これは言わせてほしい。ASLはものすごくニュアンスの多い複雑な言語で、例えば過去・現在・未来の時制マーカーは利き手側の肩をほんのわずかに前後させるだけで表現される。表情や体の向きも文法の一部。「単語を認識できた」はスタート地点ですらないくらいなんだよ

例えるなら、誰かが英語の単語12個だけを、しかもエリザベス女王の発音でしか認識できないアプリを作って「英語を別の言語に翻訳できます」って言ってるようなもん

まあまあ、これはまだ学生のプロジェクトであって完成品じゃないからさ。TensorFlowを2〜3週間触ればできる範囲の内容だよ。本当にすごいことが起きるのは、同じテーマに何百人という研究者と研究予算を投入した時なんだ

俺もニューラルネットの授業を3週間くらい受けてるけど、これなら自分でも数週間で作れそうだなって思った。学習素材としてはすごく良い題材

技術的に初歩的とか、認識できる語彙が少ないって指摘は分かる。でも「誰もやってない最高峰の研究」だけが称賛されるなら、世の中のほとんどの学生プロジェクトは価値ゼロになっちゃうよ。ちゃんと動くものを作って公開したこと自体は普通に偉いだろ

細かい議論はさておき、こういうのを若い学生が作ってGitHubで共有してくれるのが一番いいんだよ。完璧じゃないけど、次の誰かが forkしてもっと良くしていく。テクノロジーってそうやって進むものだし