Updated for Ubuntu 22.04. Also fixed merge videos cmin check
[videoscripts/.git] / organize_videos
index d0c74586769bab09fd28677dd4187048db80d51d..a037d75abb7888e3b3345fb936372a3e64110867 100755 (executable)
@@ -10,17 +10,13 @@ use Time::localtime;
 use File::Pid;
 
 ####################################################################################################
-# Configuration parameters - CHANGE THESE TO SUITE YOUR NEEDS
-my $srcpathname = "/naspool/pictures/New Photos"; # Path to look for videos to move from
-my $dstpathname = "/naspool/videos/HomeVideos"; # Path to move the videos to
-my $merge_videos_by_day = "/naspool/videos/bin/merge_videos_by_day";
-my $minage = "+10"; # File creation dates must be older than X minutes to move
-my $owner = "ajp"; # The owner of the files after they are moved
-my $group = "pip"; # The group of the files after they are moved
-my $mode = "664"; # The mode to set on each file after they are moved
-my $playlist_extension = "pls"; # The extension to use when creating playlist files
-my $video_suffix = "000"; # What number to start with when adding an incrementing suffix to the end of the final video clip to avoid name collisions
-my $find_cmd = "find \"$srcpathname/\" -cmin $minage -a \\( -iregex \".*\.mov\" -o -iregex \".*\.3gp\" -o -iregex \".*\.mp4\" -o -iregex \".*\.mts\" -o -iregex \".*\.mkv\" \\)";
+# Configuration parameters
+$mydir = `cd \$(dirname $0) 2>/dev/null; pwd`; chomp($mydir); unshift @INC,("$mydir");
+# Default configuration values
+require "organize_videos.conf";
+# Override defaults with local customizations
+if( -f "$mydir/organize_videos.conf.local") { require "organize_videos.conf.local"; }
+
 ####################################################################################################
 
 # Sanity check
@@ -58,17 +54,20 @@ my %month2monthname = (
                       "12" => "Dec"
                       );
 
-getopts("htvrpd:");
+getopts("htvnkpfd:");
 
 sub usage {
-    print "usage: $0 [-v] [-t] [-r] [-p] [-d <dir>]\n";
-    print "   -v = verbose; print file being moved (to).\n";
-    print "   -t = test; print what will happen, but don't do anything\n";
-    print "   -r = remove merged video clips; after a merge, remove the individual video files that were merged\n";
-    print "   -p = Only recreate video playlists. Do this for each year & month of video clips in the directory specified by -d <dir>.\n";
-    print "   -d <dir> = Directory to recreate the playlists in. Only needed if -p option is given\n";
+    print "usage: $0 [-v] [-t] [-r] [-p] [-f] [-d <dir>]\n";
+    print "   -v        verbose; print file being moved (to).\n";
+    print "   -t        test; print what will happen, but don't do anything\n";
+    print "   -f        force it to run by ignoring the \$minage setting in organize_videos.conf\n";
+    print "   -n        do not copy to dest; do not copy the resultant video files to the destination dir\n";
+    print "   -k        keep the individual video files that are merged. By default, after a merge, individual video files that were merged are removed\n";
+    print "   -p        only recreate video playlists, do not process any video files. Do this for each year & month of video clips in the directory specified by -d <dir>.\n";
+    print "   -d <dir>  directory to recreate the playlists in. Only needed if -p option is given\n";
     return 1;
 }
+$SIG{'INT'} = sub {die "-E- Killed by CTRL-C\n"};
 
 sub is_folder_empty {
     my $dirname = shift;
@@ -79,7 +78,7 @@ sub is_folder_empty {
 sub create_playlists {
     my ($dstdirs) = @_;
     
-    foreach $dstdir (@{$dstdirs}) {
+    foreach $dstdir (keys %{$dstdirs}) {
        print "-> Recreating playlists in: $dstdir\n";
        print "-> Creating playlists for each month & year of clips from this directory: $video_directory\n";
        opendir(VIDEODIR, "$dstdir") or die "-E- could not open: $dstdir\n";
@@ -104,15 +103,20 @@ sub create_playlists {
                print "   Skipping $file since we can't extract the year and month from it\n"; 
            }
        }
-    }
+
+        # Fix the permissions
+        system("chown $owner \"$dstdir/\"*.$playlist_extension");
+        system("chgrp $group \"$dstdir/\"*.$playlist_extension");
+        system("chmod $mode \"$dstdir/\"*.$playlist_extension");
+   } 
 }
 
 # Sanity checks / Option processing
 if(defined $opt_h) { usage(); exit 1; }
 if(defined $opt_p) {
     if(defined $opt_d) {
-       my @dstdirs = ("$opt_d"); 
-       create_playlists(\@dstdirs);
+       my %dstdirs = ("$opt_d",1); 
+       create_playlists(\%dstdirs);
     } else {
        die "-E- You must specify the -d <dir> option when using the -p option\n"; 
     }
@@ -120,11 +124,16 @@ if(defined $opt_p) {
 }
 
 # Only proceed if there are video files to organize
-$video_files_found=`$find_cmd`;
+$video_files_found=`$find_cmd_with_mkv`;
 if(!$video_files_found) { exit 0; }
 
+# Only proceed if we are skipping this check or if the $srcpathname dir hasn't been modified in the last $minage minutes
+if(! $opt_f && ((time - (stat("$srcpathname"))->mtime) < ($minage * 60))) {
+  exit 0;
+}
+
 # Only one instance of this script running at a time
-my $pidfile = File::Pid->new({file => "/tmp/organize_videos.pid"});
+my $pidfile = File::Pid->new({file => "$pid_file", pid => "$$"});
 exit if $pidfile->running();
 $pidfile->write();
 
@@ -135,16 +144,26 @@ system("date");
 my $errno = 0;
 my $merge_opts = "";
 if(defined $opt_t) { $merge_opts .= "-t "; }
-if(defined $opt_r) { $merge_opts .= "-r "; }
+if(defined $opt_k) { $merge_opts .= "-k "; }
+if(defined $opt_v) { $merge_opts .= "-v "; }
+if($requantize_input_video) { $merge_opts .= ' -q'; }
+if($recompress_input_video) { $merge_opts .= ' -z'; }
 $errno=system("$merge_videos_by_day -s \"$srcpathname\" $merge_opts");
-if($errno > 0) { $errno = $errno - 255; }
+$errno = $errno >> 8;
 if($errno) { die "-E- $merge_videos_by_day encountered some errors with exit code $errno\n"; }
 
+# Exit now if we are not supposed to copy the resultant video files to the destination path
+if(defined $opt_n) {
+    $pidfile->remove();
+    print "\n\n";
+    exit 0;
+}
+
 # Copy the videos over to the destination path
-my @dstdirs;
+my %dstdirs;
 chdir "$srcpathname";
-print "$find_cmd\n" if($opt_v);
-foreach $file (`$find_cmd`) {
+print "$find_mkv\n" if($opt_v);
+foreach $file (`$find_mkv`) {
 
     chomp($file);
     $srcdir = dirname($file);
@@ -152,13 +171,20 @@ foreach $file (`$find_cmd`) {
     $srcfile = $file;
     $ext = $file; $ext =~ s/.*\.(\S+)$/$1/; $ext = lc($ext);
     
-    print "Found movie: srcdir: $srcdir srcfile: $srcfile ext: $ext\n" if($opt_v);
-
     # Throw out files not in the current srcpath
     if((! -f "$srcfile") && (! -f "$srcdir/$srcfile")) { next; }
-        
-    # Make a note of the month, year, and day this video was taken (from the modification time of the file)
-    $date_taken = ctime(stat("$srcdir/$srcfile")->mtime);
+
+    # Throw out encoded files left over from a previous run
+    print "srcfile: $srcfile\n";
+    if($srcfile =~ /.hb.mp4/) { next; }
+    
+    print "Found video: srcdir: $srcdir srcfile: $srcfile ext: $ext\n" if($opt_v);
+
+    # From the modification time of the file since we couldn't find it in the filename
+    $date_modified = ctime(stat("$srcdir/$srcfile")->mtime);
+
+    # NOTE: This file matching algorithm only applies to videos produced by merge_videos_by_day called by this script earlier
+    # We just need to take those merged videos, and extract what date to call the video by under HomeVideos
 
     # Get the date taken from the filename
     if($srcfile =~ /^(\d+)-(\d+)-(\d+)/) {
@@ -168,21 +194,36 @@ foreach $file (`$find_cmd`) {
        $monthnum = $month;
        $monthname = lc($month2monthname{$month});
     }
+    elsif($srcfile =~ /^(\d\d\d\d)(\d\d)(\d\d)/) {
+        $year = $1;
+        $month = $2;
+        $day = sprintf("%02d",$3);
+        $monthnum = $month;
+        $monthname = lc($month2monthname{$month});
+    }
+    # Get the date taken from the source directory
+    elsif($srcdir =~ /(\d+)-(\d+)-(\d+)/) {
+       $year = $1;
+       $month = $2;
+       $day = sprintf("%02d",$3);
+       $monthnum = $month;
+       $monthname = lc($month2monthname{$month});
+    }
     # Get the date taken from the modification time
-    elsif($date_taken =~ /\S+\s+(\S+)\s+(\d+)\s+\S+\s+(\d+)/) {
+    elsif($date_modified =~ /\S+\s+(\S+)\s+(\d+)\s+\S+\s+(\d+)/) {
        $year = $3;
        $month = $1;
        $day = sprintf("%02d",$2);
        $monthnum = $monthname2month{$month};
-       $monthname = lc($month2monthname{$month});
+       $monthname = lc($month);
     } else {
        print "-E- Unable to parse year and month from this file: $srcdir/$srcfile\n";
        next;
     }
 
-    # We are ready to pick a destination folder to put the picture in
+    # We are ready to pick a destination folder to put the video in
     $dstdir = $dstpathname . "/" . $year;
-    push(@dstdirs,$dstdir);
+    $dstdirs{$dstdir} = 1;
     $dstfile = $dstdir . "/" . $year . "-" . $monthnum . "-" . $day;
 
     # Check for duplicate filenames at the destination
@@ -200,7 +241,7 @@ foreach $file (`$find_cmd`) {
        print "-> Moving \"$srcdir/$srcfile\" to \"$dstfile\"\n";
     } else {
        # Make sure the destination directories exist
-       $errno=system("mkdir -p \"$dstdir\"");
+       $errno=system("mkdir -p -m $dirmode \"$dstdir\"");
        if($errno) { print "-E- Error creating dstdir: $dstdir\n"; next; }
        # Perform the move operation from $srcdir/$srcfile -> $dstfile
        print "-> Moving \"$srcdir/$srcfile\" to \"$dstfile\"\n";
@@ -216,23 +257,24 @@ foreach $file (`$find_cmd`) {
        system("chgrp $group \"$dstfile\"");
        system("chmod $mode \"$dstfile\"");
     }
-
+    
     # Check to see if there is an empty sub directory to remove
     if(($srcdir ne $srcpathname) && ($srcpathname ne ".")) { 
-      if(is_folder_empty($srcdir)) { 
-         print "-> Subdir detected for videos ($srcdir != $srcpathname)\n" if($opt_v);
-         if(! defined $opt_t) { 
-             $tmpdir=`tempfile`;
-             system("rm $tmpdir");
-             system("mv \"$srcdir\" $tmpdir > /dev/null 2>/dev/null");
-             print "-> Moved empty subdir $srcdir to $tmpdir\n" if($opt_v);
-         }
-      }
+       if(is_folder_empty($srcdir)) { 
+           print "-> Subdir detected for videos ($srcdir != $srcpathname)\n" if($opt_v);
+           if(! defined $opt_t) { 
+               $tmpdir=`mktemp`;
+               system("rm $tmpdir");
+               system("cp -R \"$srcdir\" $tmpdir > /dev/null 2>/dev/null");
+               system("rm -rf \"$srcdir\"");
+               print "-> Moved empty subdir $srcdir to $tmpdir\n" if($opt_v);
+           }
+       }
     }
 }
 
 # For each destination dir we copied new content into, recreate the playlists
-create_playlists(\@dstdirs);
+create_playlists(\%dstdirs);
 
 $pidfile->remove();