Tweaked replicate script to show open file handles when it can't export backup pool
[zfs-ubuntu/.git] / zfs-replicate-all
1 #!/bin/bash
2
3 # Author: Alan J. Pippin
4 # Description: This script calls zfs-replicate for each filesystem needing
5 #              to be backed up, or replicated, to another ZFS pool.
6
7 # source our configuration 
8 config="${0%/*}/zfs-scripts.conf"
9 [ -e "${config}.dist" ] && . ${config}.dist
10 [ -e "${config}" ] && . ${config}
11
12 # Setup some default values
13 logfile="$logdir/zfs-replicate.log"
14 mylogfile="$logdir/zfs-replicate-all.log"
15 date=`date`
16 starttime=`date +%s`
17
18 # Make sure we aren't already running
19 SCRIPT_NAME=${0##*/}
20 PROCESS_LIST=`tempfile`
21 ps -ef | grep -e "$SCRIPT_NAME" | grep -v grep | grep -v $$ | grep -v $PPID >> $PROCESS_LIST
22 if [[ $? == 0 ]]; then
23    echo "$date Another $SCRIPT_NAME process is already running" >> $mylogfile
24    cat $PROCESS_LIST >> $mylogfile
25    exit 1
26 fi
27 [[ -e "$PROCESS_LIST" ]] && rm -f $PROCESS_LIST
28
29 # This function checks to see if our runtime has exceeded our stoptime
30 timeexceeded() { 
31   if [[ $maxruntime == 0 ]]; then
32     return 0
33   fi
34   currenttime=`date +%s`  
35   elapsedtime=$(($currenttime - $starttime))
36   stoptime=$(($maxruntime*60))
37   if [[ $elapsedtime -gt $stoptime ]]; then
38     #echo "$elapsedtime > $stoptime"
39     return 1
40   fi
41   #echo "$elapsedtime < $stoptime"
42   return 0
43 }
44
45 # This function cleanup and exit trap
46 cleanup_and_exit() { 
47   #echo "cleanup and exit"
48   rm -rf "$lockdir"
49   exit 0
50 }
51 trap cleanup_and_exit INT
52
53 fatal() {
54   # echo message to terminal
55   echo -e 2>&1 "$1"
56   # send email notification
57   echo -e "$1" | $mailx -s "zfs-replicate-all on $hostname failed" "$mailto"
58 }
59
60 fatal_and_exit() {
61   fatal $*
62   exit 1
63 }
64
65 # This function executes the replicate command and checks the stoptime
66 replicate() { 
67   zfs-replicate $*  >> $logfile 2>&1
68   timeexceeded
69   if [ $? == 1 ]; then
70     cleanup_and_exit
71   fi
72 }
73
74 # This function obtains the date a given snapshot was created in epoch seconds
75 snapshot_age() {
76   snapshot=${backup_pool}/${1}${previous_backup_marker}
77   $zfs list -t snapshot ${snapshot} > /dev/null 2>&1
78   if [ $? == 0 ]; then
79     $zfs get creation ${snapshot} > /dev/null 2>&1
80     if [ $? == 0 ]; then
81       snap_creation=`$zfs get creation ${snapshot} | grep $1 | awk '{ print $3" "$4" "$5" "$6" "$7 }'`
82       snap_age=`date -d "$snap_creation" +%s` 
83       echo "$snap_age"
84     else
85       echo "0"
86     fi
87   else
88     echo "0"
89   fi
90 }
91
92 # Import the local backup pool if needed and the option is given to do so, else error out
93 zpool list -H "$backup_pool" >/dev/null 2>&1
94 if [ $? != 0 ]; then
95   if [[ $import_export_backup_pool == 1 ]]; then
96     zpool import $backup_pool
97     if [ $? != 0 ]; then
98       fatal_and_exit "-E- unable to import the backup pool $backup_pool on $hostname" "$mailto"
99     fi
100   else 
101     fatal_and_exit "-E- The local backup pool on $hostname, '$backup_pool' doesn't seem to exist." "$mailto"
102   fi
103 fi
104
105 # Obtain the zpool guid for the local backup pool
106 backup_pool_guid=`zpool get guid $backup_pool 2>&1 | grep $backup_pool | awk '{ print $3 }'`
107 zpool get guid $backup_pool > /dev/null 2>&1
108 if [ $? != 0 ]; then
109   fatal_and_exit "-E- Unable to extract the guid for the local backup pool on $hostname: $backup_pool" "$mailto"
110 fi
111
112 # Setup our backup marker names
113 current_backup_marker=@current-backup-${backup_pool_guid}
114 previous_backup_marker=@previous-backup-${backup_pool_guid}
115
116 # Auto snapshot every zfs filesystem on the system specified below
117 echo "$date ZFS replicate started" >> $logfile
118 echo "$date ZFS replicate started" | tee -a $mylogfile
119
120 # Sort the filesystems to replicate by the oldest backup first
121 tmpfile=`tempfile`
122 for filesystem in $filesystems_to_replicate; do
123   age=`snapshot_age $filesystem`
124   echo $filesystem $age >> $tmpfile
125 done
126 sorted_filesystems=`cat $tmpfile | sort -n -k 2 | awk '{ print $1 }'`
127 rm -f $tmpfile
128
129 # Replicate the sorted filesystems
130 for filesystem in $sorted_filesystems; do
131   echo "-> Replicating $remote:$filesystem to ${backup_pool}/${filesystem}" | tee -a $mylogfile
132   replicate $remote $filesystem
133 done
134
135 # Export the local pool if told to do so
136 if [[ $import_export_backup_pool == 1 ]]; then
137   # Don't export the pool if there is a currently running zfs-scrub operation
138   ps -ef | grep "zfs-scrub" | grep -q "${backup_pool}" | grep -v grep
139   if [ $? != 0 ]; then
140     zpool export $backup_pool
141     if [ $? != 0 ]; then
142       lsof /$backup_pool/*
143       fatal("-E- unable to export the local backup pool $backup_pool on $hostname")
144     fi
145   fi
146 fi
147
148 # All done
149 echo `date` ZFS replicate complete >> $logfile
150 echo `date` ZFS replicate complete | tee -a $mylogfile
151
152 # Parse the log file and extract our backup stats
153 zfs-log-parser "$logfile" "$date" >> $logfile
154 zfs-log-parser "$logfile" "$date" | tee -a $mylogfile
155