Major changes to support interlaced/progressive content
[videoscripts/.git] / merge_videos_by_day
index a6b509bfbfbf6d3547ba1a29d3d503a0c8424748..9b8e2d74241fd36bb59f7685ba4cdd001d1d09cf 100755 (executable)
@@ -9,7 +9,7 @@ use File::stat;
 use Time::localtime;
 
 # Early command line options processing
-getopts("rh:tvs:");
+getopts("qrh:tvs:");
 my $srcpathname = $opt_s;
 
 ####################################################################################################
@@ -17,12 +17,16 @@ my $srcpathname = $opt_s;
 my $compute_host = "pippin.pippins.net"; # I need this since this script is run from a virtual machine 
 my $use_compute_host = 1; # Set to 1 to use a remote compute host to run the mkvmerge command. Set to 0 to use the local host to run it.
 my $make_mkv = "/naspool/videos/bin/make_mkv"; # Update this to be the path to the make_mkv script
+my $requantize_input_video=1; # This will dramatically decrease the size of the video with minimal compute processing requirements.
 my $owner = "ajp"; # The owner of the files after they are moved
 my $group = "pip"; # The group of the files after they are moved
 my $mode = "664"; # The mode to set on each file after they are moved
 my $video_suffix = "000"; # What number to start with when adding an incrementing suffix to the end of the video clip to avoid name collisons
 my $video_title_prefix = "HomeVideos:"; # What text to put on the front of the title for the merged video being created
 my $find_cmd = "find \"$srcpathname/\" -iregex \".*\.mov\" -o -iregex \".*\.3gp\" -o -iregex \".*\.mp4\" -o -iregex \".*\.mts\"";
+my $handbrake='HandBrakeCLI';
+my $interlaced_requantize_quality=0.85;
+my $progressive_requantize_quality=0.7;
 ####################################################################################################
 
 sub usage {
@@ -32,12 +36,13 @@ sub usage {
     print "   -v                    verbose mode; print extra information about what is being found/merged\n";
     print "   -t                    test mode; print what will happen, but don't do anything\n";
     print "   -r                    remove merged video clips; after a merge, remove the individual video files that were merged\n";
+    print "   -q                    Requantize MTS input videos to decrease output video size (requires HandBrakeCLI)\n";
     return 1;
 }
 if(defined $opt_h) { usage(); exit 1; }
 
 # Sanity checks
-if(! -x $make_mkv) { die "-E- Unable to find required script: make_mkv\n"; }
+if(defined $opt_q && !$use_compute_host) { die "-E- Unable to find required program: handbrake\n"; }
 if(! -d $srcpathname) { &usage; print "-E- Can't find srcpath: $srcpathname\n"; exit 1; }
 if(defined $opt_h) { $compute_host = $opt_h; }
 
@@ -135,20 +140,27 @@ foreach $file (sort `$find_cmd`) {
     push(@{$videos{"$srcext"}{"$dstfile"}}, "\"$srcdir/$srcfile\"");
 }
 
-# Only merge the videos if there is more than 1 video to merge on a given day for a given ext
+# For single videos, with the re-quantize option given, rename the destination file to mp4
 foreach $ext (sort keys %videos) {
-    foreach $video (sort keys %{$videos{$ext}}) {
+    foreach $video (sort keys %{$videos{$ext}}) {      
+       # Get a count of the number of videos for this date
+       # If we only have a single video, its extension will actually be mp4 if opt_q is specified
        my $num_videos = $#{$videos{$ext}{$video}} + 1;
-       if($num_videos <= 1) {
-           delete $videos{$ext}{$video};
-           next;
+       if((defined $opt_q) && ($num_videos <= 1)) {
+           if($video =~ /(.*?)\.(\d+)\.(\w+)$/) {
+               $dstfile = $1;
+               $dstnum = $2;
+               $new_dstvideo = "$1.$2.mp4";
+               $videos{$ext}{$new_dstvideo} = $videos{$ext}{$video}; # make a new dst video entry with the src video being the same
+               delete $videos{$ext}{$video}; # delete the old destination video from the hash
+           }
        }
     }
 }
-    
+
 # Check for duplicate filenames in the dstfiles being created for other exts
 foreach $ext (sort keys %videos) {
-    foreach $video (sort keys %{$videos{$ext}}) {
+    foreach $video (sort keys %{$videos{$ext}}) {      
        # Make sure this video name is not in use as a destination for any other ext
        foreach $checkext (sort keys %videos) {
            if($checkext eq $ext) { next; }
@@ -171,6 +183,71 @@ foreach $ext (sort keys %videos) {
     }
 }
 
+# Only merge the videos if there is more than 1 video to merge on a given day for a given ext
+# If there is only 1 video for a given day for a given ext, re-quantize it here if that option was given
+foreach $ext (sort keys %videos) {
+    foreach $video (sort keys %{$videos{$ext}}) {
+       
+       # Get a count of the number of videos for this date
+       my $num_videos = $#{$videos{$ext}{$video}} + 1;
+
+       # Process any single videos now
+       if($num_videos <= 1) {
+
+           # Store the srcvideo name
+           my $srcvideo = $videos{$ext}{$video}[0];
+           my $pwd = `pwd`; chomp($pwd);
+
+           # Make a note if this video is interlaced or not
+           my $ffmpeg_cmd = "";
+           if($use_compute_host) { $ffmpeg_cmd .= "ssh $compute_host 'cd \"$pwd\";"; }
+           $ffmpeg_cmd .= "$ffmpeg -i $srcvideo 2>&1 | grep -q \"frame rate differs\"";
+           if($use_compute_host) { $ffmpeg_cmd .= "'"; }
+           my $progressive = system('$ffmpeg_cmd');
+           if(!$progressive) { print "   Detected interlaced video content: $srcvideo\n"; }
+           
+           # Re-quantize the input video to reduce the resulting output filesize
+           # This also gives us a chance to deinterlace the video as well
+           # Only do this for .MTS videos
+           if((defined $opt_q) && ($ext =~ /mts/i)) {
+               
+               # Set our requantize factor accordingly
+               my $requantize_option = "";
+               if(!$progressive) { $requantize_option = "-q $interlaced_requantize_quality"; }
+               else { $requantize_option = "-q $progressive_requantize_quality"; }
+               
+               # Set our de-interlace option accordingly
+               my $deinterlace_option = "";
+               if(!$progressive) { $deinterlace_option = "-d"; }
+               
+               # Use HandBrake to requantize/deinterlace the input video
+               print "   Re-quantizing input video content: $video\n";
+               my $handbrake_cmd = "";
+               if($use_compute_host) { $handbrake_cmd .= "ssh $compute_host 'cd \"$pwd\";"; }
+               $handbrake_cmd .= "$handbrake $deinterlace_option $requantize_option -E ac3 -i $srcvideo -o \"$video\" > /dev/null 2>&1";
+               if($use_compute_host) { $handbrake_cmd .= "'"; }
+               if(! defined $opt_t) { 
+                   my $errno = system("$handbrake_cmd");
+                   $errno = $errno >> 8;
+                   if($errno > 1) {
+                       unlink "$video";
+                       die "-E- handbrake encountered some errors with exit code $errno\n";
+                   } else {
+                       # Remove the original srcvideo since we created a new version of it that we are going to keep instead
+                       if(defined $opt_r) { 
+                           system("rm -f $srcvideo\n");
+                       }
+                   }
+               }
+           }
+
+           # Remove the video from the array since we already processed it above
+           delete $videos{$ext}{$video};
+           next;
+       }
+    }
+}
+
 # Tell the user which videos we are going to merge
 foreach $ext (sort keys %videos) {
     foreach $video (sort keys %{$videos{$ext}}) {
@@ -187,10 +264,6 @@ foreach $ext (sort keys %videos) {
 
        my $videos = join(',', @{$videos{$ext}{$video}});
        
-       # Only merge the videos if there is more than 1
-       #my $num_videos = $#{$videos{$ext}{$video}} + 1;
-       #if($num_videos <= 1) { next; }
-       
        if($video =~ /(\d+)-(\d+)-(\d+)/) {
            $year = $1;
            $month = $2;
@@ -201,6 +274,7 @@ foreach $ext (sort keys %videos) {
        my $cmd = "";
        if($use_compute_host) { $cmd .= "ssh $compute_host 'cd \"$pwd\";"; }
        $cmd .= "$make_mkv -t \"$video_title_prefix $year-$month-$day\" -o \"$video\" -i $videos";
+       if($requantize_input_video) { $cmd .= ' -q'; }
        if($use_compute_host) { $cmd .= "'"; }
        if(defined $opt_t) {
            print "\n-> Creating \"$video\"\n";