iOS 不同尺寸、比例、方向的视频拼接播放

需求是不同尺寸、比例、方向的视频拼接成一个固定尺寸的视频播放不是导出后播放是直接播放(composition）。这个需求也是让我填坑填了几天，下面先说说碰到的问题。
在这之前呢如果你知道AVMutableComposition AVMutableVideoComposition AVMutableVideoCompositionInstruction AVMutableVideoCompositionLayerInstruction 就继续往下看，不然看不懂不要怪我。

问题

  • 不同视频拼接到一个视频轨道(videoTrack)上面播放，默认会使用第一个视频的尺寸后面的视频就会去填满这个尺寸就会出现各种问题。比如说第一个视频尺寸特别小。
  • 如果自定义了尺寸(videoComposition.renderSize)那视频就不会去填满
  • 解决以上的问题后填满视频后发现在同一个轨道里如果有大的视频尺寸也会出现错乱的情况
  • 出现了第二个解决方案在拼接之前，先把每一个视频生成一个理想的尺寸(这也许是最笨的办法了)，但是这个办法在拼接后添加过渡动画的时候也会出现错乱的情况
    于是研究了其它视频编辑类的APP也有些没有处理不同比例的情况，但是有完美处理的就是说肯定是有办法的，于是又看了一遍官方的demo发现了官方是用两个视频轨道来交替添加视频上去的，这个就解决了我们的第三个问题了，我们要做的就是处理视频的方向、比例等问题就行了。下面就上代码吧
        var comVideoTracks = [AVMutableCompositionTrack]()
        for _ in 0...1 {
            comVideoTracks.append(muComposition.addMutableTrack(withMediaType: .video, preferredTrackID: kCMPersistentTrackID_Invalid)!)
        }
        
        var passThroughTimeRanges: [CMTimeRange] = [CMTimeRange]()
        var transitionTimeRanges: [CMTimeRange] = [CMTimeRange]()
        
        var startTime = kCMTimeZero
        for (index,asset) in clips.enumerated() {
            let oriVideoTrack = (asset.tracks(withMediaType: .video).first)
            if oriVideoTrack == nil{
                continue
            }
            let comVideoTrack = comVideoTracks[index % 2]
            let clipRange = clipRanges[index]
            try! comVideoTrack.insertTimeRange(clipRange, of: oriVideoTrack!, at: startTime)
            
            passThroughTimeRanges.append(CMTimeRangeMake(startTime, clipRange.duration))
            if index > 0 {
                passThroughTimeRanges[index].start = CMTimeAdd(passThroughTimeRanges[index].start, trasitionTime)
                passThroughTimeRanges[index].duration = CMTimeSubtract(passThroughTimeRanges[index].duration, trasitionTime);
            }
            
            if (index+1 < clips.count) {
                passThroughTimeRanges[index].duration = CMTimeSubtract(passThroughTimeRanges[index].duration, trasitionTime);
            }
            
            startTime = CMTimeAdd(startTime, clipRange.duration)
            startTime = CMTimeSubtract(startTime, trasitionTime)
            
            if index + 1 < clips.count{
                transitionTimeRanges.append(CMTimeRangeMake(startTime, trasitionTime))
            }
        }

我们把所有的视频交替添加到composition的两个轨道上面，passThroughTimeRanges transitionTimeRanges这两个数组里放的就是计算出来的视频过渡的时间，视频如果要加过渡动画就必须是要有重合，所以可以看到我们计算的时间是有一段重合的。我们对视频方向，比例的处理都是在AVMutableVideoCompositionLayerInstruction进行处理的

        var instructions = [Any]()
        
        for (index,asset) in clips.enumerated() {
            let comVideoTrack = comVideoTracks[index % 2]

            let passThroughInstruction = AVMutableVideoCompositionInstruction()
            passThroughInstruction.timeRange = passThroughTimeRanges[index]

            let passThroughLayer = AVMutableVideoCompositionLayerInstruction(assetTrack: comVideoTrack)
            changeVideoSize(asset: asset,passThroughLayer: passThroughLayer)

            passThroughInstruction.layerInstructions = [passThroughLayer]
            instructions.append(passThroughInstruction)
            
            if index + 1 < clips.count{
                let transitionInstruction = AVMutableVideoCompositionInstruction()
                transitionInstruction.timeRange = transitionTimeRanges[index]
                let fromLayer =
                    AVMutableVideoCompositionLayerInstruction(assetTrack: comVideoTrack)
                let toLayer =
                    AVMutableVideoCompositionLayerInstruction(assetTrack:comVideoTracks[1 - index % 2])
              
                changeVideoSize(asset: asset,passThroughLayer: fromLayer)
                changeVideoSize(asset: clips[index + 1],passThroughLayer: toLayer)
                
                videoTransition(fromLayer: fromLayer,toLayer: toLayer,asset: asset, timeRange: transitionTimeRanges[index])
                
                transitionInstruction.layerInstructions = [fromLayer, toLayer]
                instructions.append(transitionInstruction)
            }
        }
        muVideoComposition.instructions = instructions as! [AVVideoCompositionInstructionProtocol]

上面代码我们调用了changeVideoSize和videoTransition它们分别处理了视频比例方向和过渡动画

func videoTransition(fromLayer:AVMutableVideoCompositionLayerInstruction,toLayer:AVMutableVideoCompositionLayerInstruction,asset:AVAsset,timeRange:CMTimeRange) {
        let oriVideoTrack = asset.tracks(withMediaType: .video).first
        let natureSize = (oriVideoTrack?.naturalSize)!
        switch transitionType {
        case .Opacity:
            fromLayer.setOpacityRamp(fromStartOpacity: 1.0, toEndOpacity: 0.0, timeRange: timeRange)
            toLayer.setOpacityRamp(fromStartOpacity: 0.0, toEndOpacity: 1.0, timeRange: timeRange)
        case .SwipeLeft:
            fromLayer.setCropRectangleRamp(fromStartCropRectangle: CGRect.init(origin: .zero, size: videoSize), toEndCropRectangle: CGRect.init(origin: .zero, size: CGSize.init(width: 0, height: videoSize.height)), timeRange: timeRange)
        default:
            if degressFromVideo(asset: asset) == 90{
                fromLayer.setCropRectangleRamp(fromStartCropRectangle: CGRect.init(origin: .zero, size: videoSize), toEndCropRectangle: CGRect.init(origin: .zero, size: CGSize.init(width: 0, height: videoSize.height)), timeRange: timeRange)
            }else{
                let width = natureSize.width > videoSize.width ? natureSize.width : videoSize.width
                fromLayer.setCropRectangleRamp(fromStartCropRectangle: CGRect.init(origin: .zero, size:CGSize.init(width: width, height: videoSize.height)), toEndCropRectangle: CGRect.init(origin: .zero, size:  CGSize.init(width: width, height: 0)), timeRange: timeRange)
            }
        }
    }

暂时就做了三个过渡的动画，淡入，左扫，上扫。下面就是视频的比例问题了代码有点多

   func changeVideoSize(asset:AVAsset,passThroughLayer:AVMutableVideoCompositionLayerInstruction)  {
        
        let oriVideoTrack = asset.tracks(withMediaType: .video).first
        var natureSize = (oriVideoTrack?.naturalSize)!
        if degressFromVideo(asset: asset) == 90 {
            natureSize = CGSize.init(width: natureSize.height, height: natureSize.width)
        }
        
        //处理 livePhoto的视频
//        if natureSize.width == 1440 && natureSize.height == 1080 {
//            if videoRatio == .Ratio9_16{
//                natureSize.width = 1308
//            }else{
//                natureSize.height = 980
//            }
//        }
//
//        if natureSize.width == 1080 && natureSize.height == 1440 {
//            if videoRatio == .Ratio9_16 {
//                natureSize.width = 980
//            }else{
//                natureSize.height = 1308
//            }
//        }
        
        if (Int)(natureSize.width) % 2 != 0 {
            natureSize.width += 1.0
        }

        if videoRatio == .Ratio9_16{
            if degressFromVideo(asset: asset) == 90{
                let height = videoSize.width * natureSize.height / natureSize.width
                let translateToCenter = CGAffineTransform.init(translationX: videoSize.width, y: videoSize.height/2 - natureSize.height/2)
                
                let t = translateToCenter.scaledBy(x:videoSize.width/natureSize.width, y: height/natureSize.height)
                
                let mixedTransform = t.rotated(by: .pi/2)
                passThroughLayer.setTransform(mixedTransform, at: kCMTimeZero)
                
            }else{
                let height = videoSize.width * natureSize.height / natureSize.width
                let translateToCenter = CGAffineTransform.init(translationX: 0, y: videoSize.height/2 - height/2)
                let t = translateToCenter.scaledBy(x:videoSize.width/natureSize.width, y: height/natureSize.height)
                passThroughLayer.setTransform(t, at: kCMTimeZero)
            }
        }else{
            if degressFromVideo(asset: asset) == 90{
                let width = videoSize.height * natureSize.width/natureSize.height
                let translateToCenter = CGAffineTransform.init(translationX: videoSize.width/2 + width/2, y: 0)
                let t = translateToCenter.scaledBy(x:width/natureSize.width, y: videoSize.height/natureSize.height)
                
                let mixedTransform = t.rotated(by: .pi/2)
                passThroughLayer.setTransform(mixedTransform, at: kCMTimeZero)
                
            }else{
                let width = videoSize.height * natureSize.width/natureSize.height
                let translateToCenter = CGAffineTransform.init(translationX: videoSize.width/2 - width/2, y: 0)
                let t = translateToCenter.scaledBy(x:width/natureSize.width, y: videoSize.height/natureSize.height)
                passThroughLayer.setTransform(t, at: kCMTimeZero)
            }
        }
    }

我根据了16:9和9:16两种比例来判断，其它比例可按照这种方法来判断。我注释掉的是livephoto里的视频处理，这个也是比较坑的地方，也许只有碰到的人才能体会到了。碰到这种问题的人应该也都是做视频编辑类项目的人。最后就是播放

let playItem = AVPlayerItem.init(asset: editor.compostion)
    playItem.videoComposition = editor.videoComposition
    player = AVPlayer.init(playerItem: playItem)

就到这了，大家碰到了什么稀奇古怪的问题可以来交流交流。代码地址

最后编辑于 ：
©著作权归作者所有,转载或内容合作请联系作者
  • 人面猴
    序言：七十年代末，一起剥皮案震惊了整个滨河市，随后出现的几起案子，更是在滨河造成了极大的恐慌，老刑警刘岩，带你破解...
    沈念sama阅读 203,937评论 6赞 478
  • 死咒
    序言：滨河连续发生了三起死亡事件，死亡现场离奇诡异，居然都是意外死亡，警方通过查阅死者的电脑和手机，发现死者居然都...
    沈念sama阅读 85,503评论 2赞 381
  • 救了他两次的神仙让他今天三更去死
    文/潘晓璐 我一进店门，熙熙楼的掌柜王于贵愁眉苦脸地迎上来，“玉大人，你说我怎么就摊上这事。” “怎么了？”我有些...
    开封第一讲书人阅读 150,712评论 0赞 337
  • 道士缉凶录：失踪的卖姜人
    文/不坏的土叔 我叫张陵，是天一观的道长。 经常有香客问我，道长，这世上最难降的妖魔是什么？ 我笑而不...
    开封第一讲书人阅读 54,668评论 1赞 276
  • 港岛之恋（遗憾婚礼）
    正文 为了忘掉前任，我火速办了婚礼，结果婚礼上，老公的妹妹穿的比我还像新娘。我一直安慰自己，他们只是感情好，可当我...
    茶点故事阅读 63,677评论 5赞 366
  • 恶毒庶女顶嫁案：这布局不是一般人想出来的
    文/花漫 我一把揭开白布。 她就那样静静地躺着，像睡着了一般。 火红的嫁衣衬着肌肤如雪。 梳的纹丝不乱的头发上，一...
    开封第一讲书人阅读 48,601评论 1赞 281
  • 城市分裂传说
    那天，我揣着相机与录音，去河边找鬼。 笑死，一个胖子当着我的面吹牛，可吹牛的内容都是我干的。 我是一名探鬼主播，决...
    沈念sama阅读 37,975评论 3赞 396
  • 双鸳鸯连环套：你想象不到人心有多黑
    文/苍兰香墨 我猛地睁开眼，长吁一口气：“原来是场噩梦啊……” “哼！你这毒妇竟也来了？” 一声冷哼从身侧响起，我...
    开封第一讲书人阅读 36,637评论 0赞 258
  • 万荣杀人案实录
    序言：老挝万荣一对情侣失踪，失踪者是张志新（化名）和其女友刘颖，没想到半个月后，有当地人在树林里发现了一具尸体，经...
    沈念sama阅读 40,881评论 1赞 298
  • 护林员之死
    正文 独居荒郊野岭守林人离奇死亡，尸身上长有42处带血的脓包…… 初始之章·张勋 以下内容为张勋视角 年9月15日...
    茶点故事阅读 35,621评论 2赞 321
  • 白月光启示录
    正文 我和宋清朗相恋三年，在试婚纱的时候发现自己被绿了。 大学时的朋友给我发了我未婚夫和他白月光在一起吃饭的照片。...
    茶点故事阅读 37,710评论 1赞 329
  • 活死人
    序言：一个原本活蹦乱跳的男人离奇死亡，死状恐怖，灵堂内的尸体忽然破棺而出，到底是诈尸还是另有隐情，我是刑警宁泽，带...
    沈念sama阅读 33,387评论 4赞 319
  • 日本核电站爆炸内幕
    正文 年R本政府宣布，位于F岛的核电站，受9级特大地震影响，放射性物质发生泄漏。R本人自食恶果不足惜，却给世界环境...
    茶点故事阅读 38,971评论 3赞 307
  • 男人毒药：我在死后第九天来索命
    文/蒙蒙 一、第九天 我趴在偏房一处隐蔽的房顶上张望。 院中可真热闹，春花似锦、人声如沸。这庄子的主人今日做“春日...
    开封第一讲书人阅读 29,947评论 0赞 19
  • 一桩弑父案，背后竟有这般阴谋
    文/苍兰香墨 我抬头看了看天上的太阳。三九已至，却和暖如春，着一层夹袄步出监牢的瞬间，已是汗流浃背。 一阵脚步声响...
    开封第一讲书人阅读 31,189评论 1赞 260
  • 情欲美人皮
    我被黑心中介骗来泰国打工， 没想到刚下飞机就差点儿被人妖公主榨干…… 1. 我叫王不留，地道东北人。 一个月前我还...
    沈念sama阅读 44,805评论 2赞 349
  • 代替公主和亲
    正文 我出身青楼，却偏偏与公主长得像，于是被迫代替她去往敌国和亲。 传闻我的和亲对象是个残疾皇子，可洞房花烛夜当晚...
    茶点故事阅读 42,449评论 2赞 342