iOS13で発表された画像・音声・機械学習系で注目の新機能
先日発表されましたiOS13ですが、今回も面白そうな機能盛りだくさんという感じでしたね！
仕事ではiOS / Android両対応するアプリの開発が多いので面白い機能をあまり試せる機会が少ないのですが、自分のアプリ開発で利用するために注目技術をまとめていきます。
- AVSemanticSegmentationMatte | 画像から髪・肌・歯をセグメンテーションする
- AVCaptureMultiCamSession | 表と裏のカメラで同時撮影
- SoundAnalysis | 音の分類
- VisionKit | iOS12のメモ帳にあったような書類スキャン機能
- VNRecognizeTextRequest | テキストの解析
- ARBody2D | 人の骨格を追跡する(Motion Capture)
- Core ML | iOSで簡単に使える学習済みモデルの種類が増えた
- まとめ
AVSemanticSegmentationMatte | 画像から髪・肌・歯をセグメンテーションする
こちらの機能を説明する前にiOS12で登場した「AVPortraitEffectsMatte」という機能について紹介いたします。
端的にいうと「写真に映っている人間をセグメンテーションし背景と分離できる機能」です。ちょうど先日こちらの機能を利用した機能を私も試してみました。
iOS12のPortraitEffectsMatteという機能を使って道路標識になれるアプリを作ってます😃結構めんどう😂 #iOS12 pic.twitter.com/bnZ64OPFmw
— omuriceman (@iijima_wataru) June 3, 2019
画像から人間の範囲のみセグメンテーションできるので、他の画像との合成などに利用できます。
今回iOS13で登場したAVSemanticSegmentationMatteはさらに進化しています。
このURLの内容はそのうち変更されるかもしれないのですが、わかりやすい説明がありましたので引用いたします。
Capture hair, skin, and teeth segmentation mattes in photos using AVSemanticSegmentationMatte.
人間の全体像だけではなく、髪・肌・歯などのセグメンテーションもできるようです。
こんなことに使えそう
- 撮った写真から髪の毛の色を変更する
- 歯をピカピカの金色にする
髪の毛の色を変えるものはこちらが有名です。AVSemanticSegmentationMatteはAVPortraitEffectsMatteと同様に動画に対応していないようなのですが静止画でも簡単に実装できるなら楽しみです。
AVCaptureMultiCamSession | 表と裏のカメラで同時撮影
リアカメラとフロントカメラ同時に撮影できる機能が実装されるようです。この機能、いままでなかったんですね。
こんなことに使えそう
- 可愛い子どもを撮影している親も撮影
- 車載カメラの代わりにつかう
こんなドライブレコーダー代わりに、余ってるiPhoneを使えるようになるといいですね！
SoundAnalysis | 音の分類
次は音の解析です。画像分類の要領で音の分類ができるようになりそうですね。
Use the SoundAnalysis framework to analyze audio and recognize it as a particular type, such as laughter or applause.
Core MLを使って学習したモデルを用いて笑い声や拍手など音声から分類をできるらしいです。
こんなことに使えそう
- 動物や鳥の鳴き声を分類する
- 楽器のいい音と悪い音を学習して演奏の練習
VisionKit | iOS12のメモ帳にあったような書類スキャン機能
iOSに以前から存在していたVisionとは異なる機能です。iOS12のメモ帳アプリで書類をスキャンして保存してくれる機能があったことをご存知でしょうか？
これを独自のアプリに組み込むことができるようです。
VNRecognizeTextRequest | テキストの解析
次はテキストの認識です。今まではテキストの位置の矩形しか取得できませんでしたが、iOS13からテキスト情報も取得できるようです。
こちらにサンプルコードがありました。
サイトにも記載がありますがVIsionKitと併用し、紙の枠を自動でトリミングしたらそのあとにテキストを読み取って保存するという流れができるようになりそうですね。日本語の対応は未確認です。
こんなことに使えそう
- 名刺/レシートの管理
- 取扱説明書/冊子などの保存してメモ書きする
ARBody2D | 人の骨格を追跡する(Motion Capture)
次はARKit3の新機能です。こちらは有名な情報ですね。PoseNetと同じような人間の骨格を取得できるようになると思われます。
サンプルコードはこちらからダウンロードが可能です。 developer.apple.com
こんなことに使えそう
- 似たポーズをしている写真を探してくる
- バーチャルYouTuber for AR
前者はGoogleのMove Mirrorが有名です。 面白いので是非試してみてください！
Core ML | iOSで簡単に使える学習済みモデルの種類が増えた
Core MLで使えるサンプルの学習済みモデルが増えました。
物体検出のモデルでYOLOv3やYOLOv3-Tinyが使えるらしいので簡単に組み込めるようになりそうですね！ 私の記事になりますがFirebaseのML Kitを用いた物体検出の記事を載せておきます。
認識精度も含めて今後色々と比較できたらいいなと思っております！
まとめ
あと先日iPadを購入したのでiPadOSは興味があるのですが、ユーザーとしては嬉しいけど開発者的には辛いことになりそうですね。。。
