iOS开发：iPhone设备图片、音乐、视频获取实践

背景介绍

出于项目需求，需要基于iphone设备内图片及音乐、视频资源完成一些功能。功能包括以几点：1.需要在APP内获得并处理iphone设备内的图片、音频和视频；2.在APP内嵌入拍照入口，可以拍照并展示图片。
开发过程是学习的过程也是解决问题的过程，因此笔者对开发过程中涉及到的iphone设备内图片、音视频获取以及拍照过程中遇到的图片方向问题进行了整理和分析。

开发环境：Xcode10

一、获取本地图片、音乐、视频

iphone设备内相册存储了所有的图片和通过相机拍摄的视频，itunes的资料库存储了所有的音乐和部分视频。
头文件引用：

#import <Photos/Photos.h>

遍历相册，获取相册内的图片和视频

app若想要访问相册，需要获得用户的授权。开发时，要在info.plist文件内添加以下内容，这样在app启动后，系统会提示用户是否授权访问相关资源：

        <key>NSPhotoLibraryAddUsageDescription</key><string>需要访问相册，用于保存图片</string><key>NSPhotoLibraryUsageDescription</key><string>如果不允许，您将无法在XXX中使用系统相册</string>

访问相册前，需要判断APP是否具有访问相册权限的权限：

[PHPhotoLibrary requestAuthorization:^(PHAuthorizationStatus status) {//status == PHAuthorizationStatusDenied 用户已经明确否认了权限的访问//status == PHAuthorizationStatusRestricted 此应用程序没有被授权访问的照片数据//status == PHAuthorizationStatusNotDetermined 用户尚未做出选择这个应用程序的问候//status == PHAuthorizationStatusAuthorized 用户已经授权应用访问照片数据}];

获取权限后，便可以访问相册内所有系统相册及用户自定义相册，photos提供的相册种类很多，如下所示：

typedef NS_ENUM(NSInteger, PHAssetCollectionType) {PHAssetCollectionTypeAlbum      = 1,PHAssetCollectionTypeSmartAlbum = 2,PHAssetCollectionTypeMoment     = 3,
} PHOTOS_ENUM_AVAILABLE_IOS_TVOS(8_0, 10_0);typedef NS_ENUM(NSInteger, PHAssetCollectionSubtype) {// PHAssetCollectionTypeAlbum regular subtypesPHAssetCollectionSubtypeAlbumRegular         = 2,PHAssetCollectionSubtypeAlbumSyncedEvent     = 3,PHAssetCollectionSubtypeAlbumSyncedFaces     = 4,PHAssetCollectionSubtypeAlbumSyncedAlbum     = 5,PHAssetCollectionSubtypeAlbumImported        = 6,// PHAssetCollectionTypeAlbum shared subtypesPHAssetCollectionSubtypeAlbumMyPhotoStream   = 100,PHAssetCollectionSubtypeAlbumCloudShared     = 101,// PHAssetCollectionTypeSmartAlbum subtypesPHAssetCollectionSubtypeSmartAlbumGeneric    = 200,PHAssetCollectionSubtypeSmartAlbumPanoramas  = 201,PHAssetCollectionSubtypeSmartAlbumVideos     = 202,PHAssetCollectionSubtypeSmartAlbumFavorites  = 203,PHAssetCollectionSubtypeSmartAlbumTimelapses = 204,PHAssetCollectionSubtypeSmartAlbumAllHidden  = 205,PHAssetCollectionSubtypeSmartAlbumRecentlyAdded = 206,PHAssetCollectionSubtypeSmartAlbumBursts     = 207,PHAssetCollectionSubtypeSmartAlbumSlomoVideos = 208,PHAssetCollectionSubtypeSmartAlbumUserLibrary = 209,PHAssetCollectionSubtypeSmartAlbumSelfPortraits PHOTOS_AVAILABLE_IOS_TVOS(9_0, 10_0) = 210,PHAssetCollectionSubtypeSmartAlbumScreenshots PHOTOS_AVAILABLE_IOS_TVOS(9_0, 10_0) = 211,PHAssetCollectionSubtypeSmartAlbumDepthEffect PHOTOS_AVAILABLE_IOS_TVOS(10_2, 10_1) = 212,PHAssetCollectionSubtypeSmartAlbumLivePhotos PHOTOS_AVAILABLE_IOS_TVOS(10_3, 10_2) = 213,PHAssetCollectionSubtypeSmartAlbumAnimated PHOTOS_AVAILABLE_IOS_TVOS(11_0, 11_0) = 214,PHAssetCollectionSubtypeSmartAlbumLongExposures PHOTOS_AVAILABLE_IOS_TVOS(11_0, 11_0) = 215,// Used for fetching, if you don't care about the exact subtypePHAssetCollectionSubtypeAny = NSIntegerMax
} PHOTOS_ENUM_AVAILABLE_IOS_TVOS(8_0, 10_0);

如果想获取系统创建的相册：

PHFetchResult *smartAlbums = [PHAssetCollection fetchAssetCollectionsWithType:PHAssetCollectionTypeSmartAlbum subtype:PHAssetCollectionSubtypeAlbumRegular options:nil];

如果想获取用户自定义的相册：

PHFetchResult *albums = [PHAssetCollection fetchAssetCollectionsWithType:PHAssetCollectionTypeAlbum subtype:PHAssetCollectionSubtypeAlbumRegular options:nil];

这里PHFetchResult存储的是相册集合，若要获取每个相册里的每个PHAsset（图片或视频），则要一一遍历每个相册。以下代码实现了遍历相册里的资源，即图片或视频：

    NSMutableArray *picturesInCollection = [NSMutableArray array];NSMutableArray *videosInCollection = [NSMutableArray array];PHFetchOptions *options = [[PHFetchOptions alloc] init];options.sortDescriptors = @[[NSSortDescriptor sortDescriptorWithKey:@"creationDate" ascending:NO]];//按日期降序PHFetchResult *assetsFetchResult = [PHAsset fetchAssetsInAssetCollection:assetCollection options:options];[assetsFetchResult enumerateObjectsUsingBlock:^(id  _Nonnull obj, NSUInteger idx, BOOL * _Nonnull stop) {if ([obj isKindOfClass:[PHAsset class]]) {PHAsset *asset = (PHAsset *)obj;switch (asset.mediaType) {case PHAssetMediaTypeImage://得到一个图片类型资源break;case PHAssetMediaTypeVideo://得到一个视频类型资源break;default:break;}}}];

遍历iTunes资料库中的视频和音乐

app若想要访问iTunes资料库，同样需要获得用户的授权。开发时，要在info.plist文件内添加以下内容：

<key>NSAppleMusicUsageDescription</key><string>如果不允许，您将无法在XXX中访问媒体资料库</string>

遍历媒体资料库中的音乐，可以获取专辑列表，也可以获取音乐列表，下面获取的是音乐列表，

- (void)browseMPMediaAudio
{NSArray *collections = [[MPMediaQuery songsQuery] collections];NSMutableArray *musics = [NSMutableArray array];for (MPMediaItemCollection *collection in collections){//每个collection是一个专辑，专辑里包含若干个音频for (MPMediaItem *item in [collection items]){//每个item就是一个音频}}
}

媒体资料库也可能存储一些视频，获取方法如下：

- (void)browseMPMediaVideo:(void(^)(NSArray <HLLocalInfo *> *))videoBlock
{MPMediaPropertyPredicate *filterPre = [MPMediaPropertyPredicate predicateWithValue:[NSNumber    numberWithInt:MPMediaTypeAnyVideo] forProperty:MPMediaItemPropertyMediaType];MPMediaQuery *query = [[MPMediaQuery alloc] init];[query addFilterPredicate:filterPre];NSMutableArray *temp = [NSMutableArray arrayWithCapacity:0];for (MPMediaItem *item in [query items]){//每个item就是一个视频}
}

通过以上的方法，便可以获取到iOS设备内存储的图片、音乐、视频。在获取成功之后，便需要展示这些资源了。

展示图片，播放音频和视频

展示相册里的图片、视频的封面图，需要通过Photos库提供的方法[PHImageManager defaultManager] 获取，不能根据PHAsset中的URL直接访问。可以用下面的方法：

 PHImageRequestOptions *opt = [[PHImageRequestOptions alloc]init];opt.networkAccessAllowed = YES;opt.resizeMode = PHImageRequestOptionsResizeModeExact;//targetSize可以设置为你想要的大小[[PHImageManager defaultManager] requestImageForAsset:asset targetSize:imageSize contentMode:PHImageContentModeDefault options:opt resultHandler:^(UIImage * _Nullable result, NSDictionary * _Nullable info) {//如果没写opt.networkAccessAllowed = YES;，而相册又备份到iCloud上了，这里得到的result可能为nil}];

注意：有些iPhone用户会将相册里的文件备份到iCloud上（可以在“设置”里查看“使用iCloud的应用“，”照片“开关是否打开），这时要想获取图片文件原始数据或播放视频，就需要通过网络从iCloud上拉取，代码里的networkAccessAllowed一定要设置为YES，

若要播放相册里的视频，使用AVPlayer即可，播放之前要先获取视频，networkAccessAllowed 也要设置为YES

 PHVideoRequestOptions *option = [[PHVideoRequestOptions alloc] init];option.networkAccessAllowed = YES;option.progressHandler = ^(double progress, NSError *error, BOOL *stop, NSDictionary *info) {dispatch_async(dispatch_get_main_queue(), ^{if (progressHandler) {progressHandler(progress, error, stop, info);}});};[[PHImageManager defaultManager] requestPlayerItemForVideo:asset options:option resultHandler:^(AVPlayerItem *playerItem, NSDictionary *info) {//获取到的可以用于播放的视频playerItem}];

2.播放媒体库里的视频和音频
播放媒体库的视频和视频，可以通过获取MPMediaItem对象的地址，再用AVPlayer播放

 NSString* filePath = [[mediaItem valueForProperty:MPMediaItemPropertyAssetURL] absoluteString];

注意：以上获取资源的过程都应放在子线程操作

二、处理相机拍照所得图片

APP内使用相机，有两种方式，一种时直接调用系统相机视图UIImagePickerController，优点是使用简单，不用关心图片处理细节，直接在回调方法内取照片即可，缺点是界面单调，图片显示方式单一，通常不能满足项目需求了；第二种是自定义相机，缺点是从界面到获取图片数据都需要自己处理，细节多且复杂，优点是可以最大程度的满足项目的需求，用户体验也比较好。如何实现自定义相机先不说，在这里总结一下遇到的问题：
1.拍照后获取的图片保存后推送到其他设备上被展示时（APP的其中一个功能，可以理解为其他设备用过http请求获取本设备的图片数据并展示），图片被旋转了一定角度；
2.自定义相机拍照，在iOS手机竖向锁定开启和关闭方向下，拍照后在手机上的图片方向显示不一致。

拍照后，可以通过以下方法获取NSData类型的图片数据(imageData)：

[self.ImageOutPut captureStillImageAsynchronouslyFromConnection:videoConnection             completionHandler:^(CMSampleBufferRef imageDataSampleBuffer, NSError *error) {dispatch_sync(dispatch_get_global_queue(DISPATCH_QUEUE_PRIORITY_DEFAULT, 0), ^{if (imageDataSampleBuffer == nil) {return;}NSData *imageData =  [AVCaptureStillImageOutput jpegStillImageNSDataRepresentation:imageDataSampleBuffer];});}];

如果此时立即将imageData利用方法imageWithData转成UIImage保存到系统相册里，并推送到其他设备上，图片会发生旋转，这时因为：
针对问题1，因在于：相机处于不同方向下，拍摄的图片其方向信息不同，当推送到其他设备时，其他设备按照图片的方向信息，会对图片做出旋转将其方向旋转至0度，这样显示出来的图片就跟拍出来的图片在视觉上不一致。iOS设备拍照后的图片方向(UIImageOrientation)与设备实际方向的关系如下所示，分竖向锁定开启和关闭两种情况。

也就是说，用手机拍照后，我们看到的图片带有一个角度参数，我们要做的是把图片的角度校正至0度，并且校正之后图片在视觉上的方向与拍摄时的看到的图片方向一致。解决了问题1之后，图片的角度被成功的校正至0度了。
但是，这时仍存在一个现象，当竖向锁定开启时，如果当home键在右侧时（即手机屏幕横过来拍），此时拍完照，将home 键旋转至下方的位置，图片没有随着Home键的旋转而旋转，依然保持占满整个屏幕的状态，这不是我们想要的，我们想要看到的是图片随之旋转，手机屏幕上下方留出黑色空白。当竖向锁定关闭时，并没有这个问题。这便是问题2的现象。为了解决这个问题，需要根据拍照时Home键的位置，将图片（此时角度已经是0度）进行旋转。如何判断拍照时Home键的位置。判断出Home键的位置后，图片应旋转的角度请参考上面的表格。
这样拍照图片方向发生旋转的两个问题得以解决了。

以上便是开发过程中的一些总结，可能存在问题，还望批评指正，共同学习～