Added some new video helper scripts
[videoscripts/.git] / merge_videos_by_day
index 4d96b93be7438260d6106c056831a9f01b247d4f..27f2e2bbd7fed6673ae9f2e441ac85f9fe79eca6 100755 (executable)
@@ -9,41 +9,34 @@ use File::stat;
 use Time::localtime;
 
 # Early command line options processing
-getopts("qkh:tvs:");
+getopts("qzkh:tvs:");
 my $srcpathname = $opt_s;
 
 ####################################################################################################
-# Configuration parameters - CHANGE THESE TO SUITE YOUR NEEDS
-my $compute_host = "pippin.pippins.net"; # I need this since this script is run from a virtual machine 
-my $use_compute_host = 1; # Set to 1 to use a remote compute host to run the mkvmerge command. Set to 0 to use the local host to run it.
-my $make_mkv = "/naspool/videos/bin/make_mkv"; # Update this to be the path to the make_mkv script
-my $requantize_input_video=1; # This will dramatically decrease the size of the video with minimal compute processing requirements.
-my $owner = "ajp"; # The owner of the files after they are moved
-my $group = "pip"; # The group of the files after they are moved
-my $mode = "664"; # The mode to set on each file after they are moved
-my $video_suffix = "000"; # What number to start with when adding an incrementing suffix to the end of the video clip to avoid name collisons
-my $video_title_prefix = "HomeVideos:"; # What text to put on the front of the title for the merged video being created
-my $find_cmd = "find \"$srcpathname/\" -iregex \".*\.mov\" -o -iregex \".*\.3gp\" -o -iregex \".*\.mp4\" -o -iregex \".*\.mts\"";
-my $handbrake='HandBrakeCLI';
-my $handbrake_options='--strict-anamorphic --crop 0:0:0:0 -E ac3';
-my $interlaced_requantize_quality=0.85;
-my $progressive_requantize_quality=0.7;
+# Configuration parameters
+$mydir = `cd \$(dirname $0) 2>/dev/null; pwd`; chomp($mydir); unshift @INC,("$mydir");
+# Default configuration values
+require "organize_videos.conf";
+# Override defaults with local customizations
+if( -f "$mydir/organize_videos.conf.local") { require "organize_videos.conf.local"; }
+
 ####################################################################################################
 
 sub usage {
-    print "usage: $0 [-tvrh] -s <srcpath>\n";
+    print "usage: $0 [-tvrhz] -s <srcpath>\n";
     print "   -s <srcpath>          specify the path to search for videos to merge under\n";
     print "   -h <compute host>     specify the remote compute host to submit the mkvmerge job to\n";
     print "   -v                    verbose mode; print extra information about what is being found/merged\n";
     print "   -t                    test mode; print what will happen, but don't do anything\n";
     print "   -k                    keep the individual video files that are merged. By default, after a merge, individual video files that were merged are removed\n";
-    print "   -q                    Requantize MTS input videos to decrease output video size (requires HandBrakeCLI)\n";
+    print "   -q                    Requantize input videos to decrease output video size (requires HandBrakeCLI)\n";
+    print "   -z                    Recompress input videos to decrease output video size (requires HandBrakeCLI)\n";
     return 1;
 }
 if(defined $opt_h) { usage(); exit 1; }
 
 # Sanity checks
-if(defined $opt_q && !$use_compute_host) { die "-E- Unable to find required program: handbrake\n"; }
+if((defined $opt_q || defined $opt_z) && !$use_compute_host && ! -x "$handbrake") { die "-E- Unable to find required program: handbrake\n"; }
 if(! -d $srcpathname) { &usage; print "-E- Can't find srcpath: $srcpathname\n"; exit 1; }
 if(defined $opt_h) { $compute_host = $opt_h; }
 
@@ -101,7 +94,7 @@ foreach $file (sort `$find_cmd`) {
     $date_taken = ctime(stat("$srcdir/$srcfile")->mtime);
 
     # Get the date taken from the filename
-    if($srcfile =~ /^(\d+)-(\d+)-(\d+)/) {
+    if(!$merge_by_modification_date && $srcfile =~ /^(\d+)-(\d+)-(\d+)/) {
        $year = $1;
        $month = $2;
        $day = sprintf("%02d",$3);
@@ -141,24 +134,6 @@ foreach $file (sort `$find_cmd`) {
     push(@{$videos{"$srcext"}{"$dstfile"}}, "\"$srcdir/$srcfile\"");
 }
 
-# For single videos, with the re-quantize option given, rename the destination file to mp4
-foreach $ext (sort keys %videos) {
-    foreach $video (sort keys %{$videos{$ext}}) {      
-       # Get a count of the number of videos for this date
-       # If we only have a single video, its extension will actually be mp4 if opt_q is specified
-       my $num_videos = $#{$videos{$ext}{$video}} + 1;
-       if((defined $opt_q) && ($num_videos <= 1)) {
-           if($video =~ /(.*?)\.(\d+)\.(\w+)$/) {
-               $dstfile = $1;
-               $dstnum = $2;
-               $new_dstvideo = "$1.$2.mp4";
-               $videos{$ext}{$new_dstvideo} = $videos{$ext}{$video}; # make a new dst video entry with the src video being the same
-               delete $videos{$ext}{$video}; # delete the old destination video from the hash
-           }
-       }
-    }
-}
-
 # Check for duplicate filenames in the dstfiles being created for other exts
 foreach $ext (sort keys %videos) {
     foreach $video (sort keys %{$videos{$ext}}) {      
@@ -184,76 +159,11 @@ foreach $ext (sort keys %videos) {
     }
 }
 
-# Only merge the videos if there is more than 1 video to merge on a given day for a given ext
-# If there is only 1 video for a given day for a given ext, re-quantize it here if that option was given
-foreach $ext (sort keys %videos) {
-    foreach $video (sort keys %{$videos{$ext}}) {
-       
-       # Get a count of the number of videos for this date
-       my $num_videos = $#{$videos{$ext}{$video}} + 1;
-
-       # Process any single videos now
-       if($num_videos <= 1) {
-
-           # Store the srcvideo name
-           my $srcvideo = $videos{$ext}{$video}[0];
-           my $pwd = `pwd`; chomp($pwd);
-
-           # Make a note if this video is interlaced or not
-           my $ffmpeg_cmd = "";
-           if($use_compute_host) { $ffmpeg_cmd .= "ssh $compute_host 'cd \"$pwd\";"; }
-           $ffmpeg_cmd .= "$ffmpeg -i $srcvideo 2>&1 | grep -q \"frame rate differs\"";
-           if($use_compute_host) { $ffmpeg_cmd .= "'"; }
-           my $progressive = system('$ffmpeg_cmd');
-           if(!$progressive) { print "   Detected interlaced video content: $srcvideo\n"; }
-           
-           # Re-quantize the input video to reduce the resulting output filesize
-           # This also gives us a chance to deinterlace the video as well
-           # Only do this for .MTS videos
-           if((defined $opt_q) && ($ext =~ /mts/i)) {
-               
-               # Set our requantize factor accordingly
-               my $requantize_option = "";
-               if(!$progressive) { $requantize_option = "-q $interlaced_requantize_quality"; }
-               else { $requantize_option = "-q $progressive_requantize_quality"; }
-               
-               # Set our de-interlace option accordingly
-               my $deinterlace_option = "";
-               if(!$progressive) { $deinterlace_option = "-d"; }
-               
-               # Use HandBrake to requantize/deinterlace the input video
-               print "   Re-quantizing input video content: $video\n";
-               my $handbrake_cmd = "";
-               if($use_compute_host) { $handbrake_cmd .= "ssh $compute_host 'cd \"$pwd\";"; }
-               $handbrake_cmd .= "$handbrake $deinterlace_option $requantize_option $handbrake_options -i $srcvideo -o \"$video\" > /dev/null 2>&1";
-               if($use_compute_host) { $handbrake_cmd .= "'"; }
-               if(! defined $opt_t) { 
-                   my $errno = system("$handbrake_cmd");
-                   $errno = $errno >> 8;
-                   if($errno > 1) {
-                       unlink "$video";
-                       die "-E- handbrake encountered some errors with exit code $errno\n";
-                   } else {
-                       # Remove the original srcvideo since we created a new version of it that we are going to keep instead
-                       if(!defined $opt_k) { 
-                           system("rm -f $srcvideo\n");
-                       }
-                   }
-               }
-           }
-
-           # Remove the video from the array since we already processed it above
-           delete $videos{$ext}{$video};
-           next;
-       }
-    }
-}
-
 # Tell the user which videos we are going to merge
 foreach $ext (sort keys %videos) {
     foreach $video (sort keys %{$videos{$ext}}) {
        foreach $srcfile (@{$videos{$ext}{$video}}) { 
-           print "   merging \"$srcfile\" into \"$video\"\n";
+           print "   merging $srcfile into \"$video\"\n";
        }
     }
 }
@@ -276,13 +186,21 @@ foreach $ext (sort keys %videos) {
        if($use_compute_host) { $cmd .= "ssh $compute_host 'cd \"$pwd\";"; }
        $cmd .= "$make_mkv -t \"$video_title_prefix $year-$month-$day\" -o \"$video\" -i $videos";
        if($requantize_input_video) { $cmd .= ' -q'; }
+       if($recompress_input_video) { $cmd .= ' -z'; }
        if($use_compute_host) { $cmd .= "'"; }
        if(defined $opt_t) {
+           # Print what will be done, but don't actually do it
            print "\n-> Creating \"$video\"\n";
            print "$cmd\n";
            if(!defined $opt_k) { 
                foreach $video (@{$videos{$ext}{$video}}) {
-                   print("rm -f $video\n");
+                   if(($save_originals) && ($video =~ /\.$originals_file_ext/)) {
+                       print "-> Saving the original video $video\n";
+                       print("mv $video \"$origpathname/".basename(dirname($video))."_".basename($video)."\n");
+                   } else {
+                       print "-> Removing the original video $video\n";
+                       print("/bin/bash -c '[[ -e $video ]] && rm -f $video'\n");
+                   }
                }
            }
        } else {
@@ -290,14 +208,21 @@ foreach $ext (sort keys %videos) {
            my $errno = system("$cmd");
            $errno = $errno >> 8;
            if($errno) { die "-E- make_mkv encountered some errors with exit code $errno\n"; }
+           system("ls -l \"$srcpathname/\" > /dev/null"); # Make sure the video file is there
            # Fix the permissions
            system("chown $owner \"$video\"");
            system("chgrp $group \"$video\"");
            system("chmod $mode \"$video\"");
            # Remove the individual video files
            if(!defined $opt_k) { 
-               foreach $video (@{$videos{$ext}{$video}}) {
-                   system("rm -f $video");
+               foreach $srcvideo (@{$videos{$ext}{$video}}) {
+                   if(($save_originals) && ($srcvideo =~ /\.$originals_file_ext/)) {
+                       print "-> Saving the original video $srcvideo to $origpathname\n";
+                       system("mv $srcvideo \"$origpathname/".basename(dirname($srcvideo))."_".basename($srcvideo));
+                   } else {
+                       print "-> Removing the original video $srcvideo\n";
+                       system("/bin/bash -c '[[ -e $srcvideo ]] && rm -f $srcvideo'");
+                   }
                }
            }
        }