363b52e56547140ce5822fad956f5eedb6dce998
[rip_dvd/.git] / rip_dvd
1 #!/bin/bash
2 #
3 # Author: Alan J. Pippin (apippin@pippins.net)
4 # Date: 05/17/2009
5 #
6   REV=1.0
7 #
8 # Description: This script wraps a number of linux utilities to
9 # create a recipe for ripping protected DVDs, circumventing 
10 # ARcoSS and CRC checksum error protection schemes used on many
11 # newer DVDs. Edit as appropriate for your needs. I use this to
12 # backup DVDs I own, and do not condone any other activity it
13 # may be used for.
14 #
15 # Known Issues/Limitations:
16 # - Mirror mode is always done in ISO mode
17 #
18 # Package Dependencies:
19 # lsdvd dvdauthor gddrescue dvdbackup makexml tovid mencoder vlc mplayer genisoimage
20 #
21 # Optional Dependencies:
22 # lookup imdb info/posters for mythvideo: http://www.mythtv.org/wiki/Fill_mythvideo_metadata.pl
23 #
24
25 ###############################################
26 # Local Machine Settings - EDIT THIS SECTION
27
28 # Specify the device path to the DVD drive
29 dev=/dev/dvd2
30
31 # Specify the path to the log directory 
32 logdir=/var/log/ripdvd
33
34 # Specify the path to the tmp rip directory
35 tmpdir=/myth/video/DVDs/.ripdvd
36
37 # Specify the email address to send job notifications to
38 mailto=ajp@pippins.net
39
40 # Setup the path to the tools needed by this ripper
41 PATH=/etc/mythtv/bin:/usr/local/bin:/usr/sbin:/sbin:/usr/bin:.:$PATH
42
43 # Use mplayer dumpstream to create the main VOB file
44 # If set to 0, cat and other utils will be used to make it instead.
45 # Using mplayer dumpstream is by far the best way to create the main VOB file
46 # The only thing this doesn't work for are DVDs with the 99 title copy protection.
47 # The script will autodetect these types of disks, and change this to 0 if necessary.
48 # If this is set to 0, other methods will be employed to get the DVD VOB dump.
49 use_mplayer_dumpstream=1
50
51 # 2-channel AVI encoding audio bit rate
52 audio_bitrate=224
53
54 # If set to 1, this script will call another script to fill in the mythvideo metadata
55 # If you don't use mythtv, set this option to 0. If you use mythtv, and have downloaded
56 # the fill_mythvideo_metadata.pl script shown above, you can leave this option set to 1.
57 fill_mythvideo_metadata=1
58
59 # If the 99 titleset copy protection scheme is detected, trust the autodetection or abort.
60 # The autodetection may work, but it probably won't in this case. Set to 0 by default. 
61 # Override to 1 if you want the script to wing it, and hope it picks the right feature title.
62 trust_feature_title_autodetect_when_uncertain=0
63
64 ###############################################
65 # Command line processing
66 typeset dvdname=""
67 typeset debug=""
68 typeset dest=""
69 typeset isofile=""
70 typeset -i keep_intermediate_files=0
71 typeset -i make_final_dest_vob=0
72 typeset -i make_final_dest_iso=0
73 typeset -i make_final_dest_folder=0
74 typeset -i make_final_dest_avi=0
75 typeset -i errors=0
76 typeset -i show_usage=0
77 typeset -i mirror_mode=0
78 typeset -i target_bitrate=0
79 typeset -i target_size=0
80 typeset -i audio_2ch=0
81 typeset -i invalid_feature_title=0
82 typeset -i feature_title_override=0
83 typeset -i mplayer_dumpstream_incompatibility=0
84
85 while (($#)) && getopts 2mvifkxht:n:d:b:s:t: opt "$@"
86 do
87     case $opt in
88         (n)     dvdname=$OPTARG;;
89         (d)     dest=$OPTARG;;
90         (b)     target_bitrate=$OPTARG;;
91         (s)     target_size=$OPTARG;;
92         (2)     audio_2ch=1;;
93         (v)     make_final_dest_vob=1;;
94         (i)     make_final_dest_iso=1;;
95         (f)     make_final_dest_folder=1;; 
96         (x)     make_final_dest_avi=1;;
97         (m)     mirror_mode=1;;
98         (k)     keep_intermediate_files=1;;
99         (t)     feature_title_override=$OPTARG;;
100         (w)     set -$opt;;
101         (h)     show_usage=1;;
102         (:)     echo >&2 "$0: $OPTARG requires a value"; errors=errors+1;;
103         (\?)    echo >&2 "$0: invalid option '$OPTARG'"; errors=errors+1;;
104     esac
105 done
106
107 shift $((OPTIND-1))
108
109 function usage() {
110     echo >&2 "Usage: ${0##*/} -d <destdir> [ <options> ]"
111     echo >&2 "Revision $REV"
112     echo >&2 "Options:"
113     echo >&2 "   -d <destdir>  Specify the destination directory to store the ripped DVD to"
114     echo >&2 "   -n <dvdname>  Specify what the name of the DVD is to process from $tmpdir"
115     echo >&2 "                 This is optional. If not specified, the dvd will be pulled from $dev"
116     echo >&2 "   -m            Make a mirror image of the DVD and save it as a DVD ISO file"
117     echo >&2 "                 The default operation is non-mirror mode where only the main"
118     echo >&2 "                 feature title will be ripped."
119     echo >&2 "   -v            Make the final image a DVD VOB file"
120     echo >&2 "   -i            Make the final image a DVD ISO file"
121     echo >&2 "   -f            Make the final image a DVD folder"
122     echo >&2 "   -x            Make the final image an AVI (XVID) file"
123     echo >&2 "                 You must also specify the target size or bitrate using the '-s' or '-b' options"
124     echo >&2 "   -s <size>     Set the target size of the AVI file in MB (ex: 700, 1000, etc)"
125     echo >&2 "   -b <bitrate>  Set the bitrate desired in the AVI file in kbits/sec (ex: 1500, 2000 (default), etc)"    
126     echo >&2 "   -2            Use 2 channel MP3 audio encoding when making an AVI file (default is 6 channel AC3)"
127     echo >&2 "   -k            Keep the intermediate files (good for debugging)"
128     echo >&2 "                 In -x mode, run with this option to keep the original .VOB file"
129     echo >&2 "                 By default, all intermediary files are deleted. Only the final image is kept"
130     echo >&2 "   -t <title>    Specify the main feature title to pull from the DVD (only required if this script can't figure it out)"
131     echo >&2 "   -w            Set the sh Execute/Verbose flag"
132     echo >&2 ""
133     exit 2
134 }
135
136 if (($errors)) || (($show_usage))
137 then
138   usage
139 fi
140
141 # Sanity Check - Command Line Options 
142 if [ "$dest" == "" ]; then
143   echo "-E- You must specify a destination directory with '-d'" | tee -a $logfile
144   usage
145 fi
146
147 if ([ $target_bitrate -ne 0 ] || [ $target_size -ne 0 ]) && [ $make_final_dest_avi -ne 1 ]; then
148   echo "-E- You can't specify a bitrate in non AVI file mode. You must specify '-x' when using '-b' or '-s'" | tee -a $logfile
149   usage
150 fi
151
152 if [ $target_bitrate -eq 0 ] && [ $target_size -eq 0 ] && [ $make_final_dest_avi -eq 1 ]; then
153   echo "-E- You must specify a bitrate in AVI file mode. You must specify '-b' or '-s' when using '-x'" | tee -a $logfile
154   usage
155 fi
156
157 if [ $make_final_dest_vob -eq 0 ] && [ $make_final_dest_iso -eq 0 ] && 
158    [ $make_final_dest_folder -eq 0 ] && [ $make_final_dest_avi -eq 0 ] && [ $mirror_mode -eq 0 ]; then
159   echo "-E- You must specify what type of final destination you want: '-m' or '-v' or '-i' or '-f' or '-x'" | tee -a $logfile
160   usage
161 fi
162
163 if [ $mirror_mode -eq 1 ]; then
164   if [ $make_final_dest_vob -eq 1 ] || [ $make_final_dest_iso -eq 1 ] || 
165      [ $make_final_dest_folder -eq 1 ] || [ $make_final_dest_avi -eq 1 ]; then
166     echo "-E- You can't specify '-v' or '-i' or '-f' or '-x' when operating in mirror mode with '-m'" | tee -a $logfile
167     usage
168   fi
169 fi
170
171 # Sanity Check - Key executables
172 [[ ! -x `which lsdvd` ]] && echo "-E- missing dependency: lsdvd" && exit
173 [[ ! -x `which volname` ]] && echo "-E- missing dependency: volname" && exit
174 [[ ! -x `which ddrescue` ]] && echo "-E- missing dependency: ddrescue" && exit
175 [[ ! -x `which dvdbackup` ]] && echo "-E- missing dependency: dvdbackup" && exit
176 [[ ! -x `which mencoder` ]] && echo "-E- missing dependency: mencoder" && exit
177 [[ ! -x `which makexml` ]] && echo "-E- missing dependency: makexml" && exit
178 [[ ! -x `which dvdauthor` ]] && echo "-E- missing dependency: dvdauthor" && exit
179 [[ ! -x `which mkisofs` ]] && echo "-E- missing dependency: mkisofs" && exit
180
181 ###############################################
182
183 typeset -i ripdvd
184 if [ -z "$dvdname" ]; then
185   # make sure the DVD device is accessible
186   volname $dev > /dev/null 2>&1
187   if [ $? != 0 ]; then
188     echo "-E- Can't access the DVD device $dev"
189     exit 1
190   fi
191   # now capture the volume name from the device
192   dvdname=`volname $dev | awk '{ print $1 }'`
193   ripdvd=1
194 else 
195   ripdvd=0
196 fi
197
198 # Make sure we have a non-empty dvdname
199 if [ -z "$dvdname" ]; then
200   echo "-E- unable to determine dvdname"
201   exit 1
202 fi
203
204 # set up some variables to hold various logfiles
205 logfile="$logdir/$dvdname.log"
206 passlogfile="$tmpdir/divx2pass.log"
207 ddrescuelog=`tempfile`
208 dvdauthorlog=`tempfile`
209 encodelog=`tempfile`
210 dumplog=`tempfile`
211
212 # create the tmpdir if it doesn't already exist
213 if [ ! -d "$tmpdir" ]; then
214   mkdir -p "$tmpdir"
215   if [ $? != 0 ]; then
216     echo "-E- Unable to create the tmpdir: $tmpdir"
217     exit 1
218   fi
219 fi
220
221 # create the logdir if it doesn't already exist
222 if [ ! -d "$logdir" ]; then
223   mkdir -p "$logdir"
224   if [ $? != 0 ]; then
225     echo "-E- Unable to create the logdir: $logdir"
226     exit 1
227   fi
228 fi
229
230 ###############################################
231 # cleanup functions
232 cleanup() { 
233   if [ $keep_intermediate_files -eq 0 ]; then
234     [[ -e "$dvdauthorlog" ]] && rm -f "$dvdauthorlog"
235     [[ -e "$ddrescuelog" ]] && rm -f "$ddrescuelog"
236     [[ -e "$encodelog" ]] && rm -f "$encodelog"
237     [[ -e "$dumplog" ]] && rm -f "$dumplog"
238   else
239     [[ -e "$dvdauthorlog" ]] && echo "-> Keeping dvdauthor log: $dvdauthorlog" | tee -a $logfile
240     [[ -e "$ddrescuelog" ]] && echo "-> Keeping ddrescue log: $ddrescuelog" | tee -a $logfile
241     [[ -e "$encodelog" ]] && echo "-> Keeping encode log: $encodelog" | tee -a $logfile
242     [[ -e "$dumplog" ]] && echo "-> Keeping dump log: $dumplog" | tee -a $logfile
243   fi
244   echo ""
245 }
246
247 fatal_and_exit() {
248   if [[ -z "$1" ]]; then
249     msg="-E- control-c killed us"
250   else
251     msg=$1
252   fi
253   echo -e 2>&1 "$msg" | tee -a $logfile
254   if [[ -n "$mailto" ]]; then
255     echo -e "$msg" | mailx -s "dvd rip of $dvdname FAILED" "$mailto"
256   fi
257   exit 1
258 }
259
260 # Call our cleanup functions on INT and EXIT signals
261 trap fatal_and_exit INT
262 trap cleanup EXIT
263
264 ###############################################
265 # processing functions
266 function make_dvd_iso_image {
267   # load the CSS codes in the DVD drive 
268   lsdvd $dev >> "$logfile"
269   if [ $? != 0 ]; then
270     fatal_and_exit "-E- lsdvd $dev failed" 
271   fi
272
273   # read the DVD, ignoring/skipping CRC errors
274   isofile="$1"
275   ddrescue -n -b 2048 $dev "$isofile" "$ddrescuelog"
276   if [ $? != 0 ]; then
277     fatal_and_exit "-E- ddrescue -n -b 2048 $dev \"$isofile\" failed"
278   fi
279   cat "$ddrescuelog" >> "$logfile"
280 }
281
282 function make_dvdbackup_folder_image {
283   # extract the feature title from the DVD image
284   echo "-> Extracting feature title using dvdbackup" | tee -a $logfile
285   [[ -d "$tmpdir/$dvdname" ]] && rm -rf "$tmpdir/$dvdname"
286   dvdbackup -F -i "$isofile" -o "$tmpdir" >> "$logfile"
287   if [ $? != 0 ]; then
288     fatal_and_exit '-E- dvdbackup -F -i "$isofile" -o "$tmpdir" failed'
289   fi
290 }
291
292 function make_dvdauthor_folder_image {
293   # create a new DVD video of the feature title
294   echo "-> Creating DVD video $dest/$dvdname" | tee -a $logfile
295   [[ -d "$dest/$dvdname" ]] && rm -rf "$dest/$dvdname"
296   dvdauthor -o "$dest/$dvdname" -x dvd.xml > $dvdauthorlog 2>&1
297   cat $dvdauthorlog | grep -v "VOBU" >> $logfile
298
299   # There is a chance that dvdauthor won't like some of the VOBs.
300   # We can't tell ahead of time which ones it will choke on. 
301   # So, we need to run it over and over again until it can process
302   # all the VOBs. If it can't handle one of them, run it through
303   # mencoder to fix it and try again. These errors are typically
304   # present due to the copy protection that ddrescue removed.
305   grep -q "SCR moves" $dvdauthorlog
306   while [ $? == 0 ]; do
307     # fix bad vobs that get the "SCR moves backwards" error:
308     #  STAT: Processing VTS_01_0.VOB...
309     #  ERR:  SCR moves backwards, remultiplex input.
310     badvob=`grep -v "^WARN:" $dvdauthorlog | grep -B 1 "SCR moves" | grep "Processing" | awk '{ print $3 }' | sed -e 's/\.\.\.//'`
311     if [[ ! -f "$badvob" ]]; then
312       fatal_and_exit "-E- Found a bad VOB, but could not extract it's name properly: $badvob"
313     fi
314     echo "-> Fixing SCR errors in DVD video file $badvob" | tee -a $logfile
315     cat $badvob | mencoder $lang_opts -quiet -of mpeg -mpegopts format=dvd -oac copy -ovc copy - -o $badvob.fixed >> $logfile 2>&1
316     mv -f $badvob.fixed $badvob
317     echo "-> Creating DVD video $dest/$dvdname"
318     dvdauthor -o "$dest/$dvdname" -x dvd.xml > $dvdauthorlog 2>&1
319     cat $dvdauthorlog | grep -v "VOBU" >> $logfile
320     grep -q "SCR moves" $dvdauthorlog
321   done
322 }
323
324 function get_feature_title {
325   # if a feature title was given on the command line, use it
326   if [ $feature_title_override -ne 0 ]; then
327     feature_title=$feature_title_override
328     return 0
329   fi
330   # otherwise, use lsdvd to figure it out
331   if [ $ripdvd -eq 1 ]; then
332     feature_title=`lsdvd $dev | awk '/Longest/ { print $NF }'`
333   else 
334     feature_title=`lsdvd "$isofile" | awk '/Longest/ { print $NF }'`
335   fi
336 }
337
338 function create_main_vob_with_cat {
339   # cd to the feature title DVD folder
340   pushd "$tmpdir/$dvdname/VIDEO_TS" > /dev/null 2>&1
341   if [ $? != 0 ]; then
342     fatal_and_exit "-E- Unable to cd to $tmpdir/$dvdname/VIDEO_TS"
343   fi
344
345   # concatenate all the VOBs together into 1 giant VOB
346   vobs=`/bin/ls -1 VTS*.VOB | grep -v "0.VOB" | tr '\n' ' '`
347   cat $vobs > "$tmpdir/$dvdname.VOB"
348
349   # cd back to the dir we started from
350   popd > /dev/null 2>&1
351 }
352
353 function create_main_vob_with_mplayer {
354   # make sure we have a valid feature title
355   if [ $invalid_feature_title -eq 1 ] && [ $feature_title_override -eq 0 ]; then
356     fatal_and_exit "-E- You must have a valid feature title to get the VOB via mplayer dumpstream. We can't determine the feature title for this DVD."
357   fi
358
359   # check to make sure we didn't detect an mplayer dumpstream incompatibility earlier
360   if [ $mplayer_dumpstream_incompatibility -eq 1 ]; then
361     msg="-E- We detected an mplayer dumpstream incompatibility earlier."
362     msg="$msg We also detected another condition that requires us to use dumpstream. "
363     msg="$msg\n    Unable to rip this DVD in the mode you requested."
364     fatal_and_exit "$msg"
365   fi
366
367   # use mplayer to create the main VOB file
368   remove_dumplog=$1
369   echo "-> Using mplayer to dump the DVD feature title $feature_title to a VOB file directly: $dest/$dvdname.VOB" | tee -a $logfile
370   echo "   mplayer $lang_opts -dumpstream -dumpfile \"$dest/$dvdname.VOB\" -dvd-device \"$isofile\" dvd://$feature_title > $dumplog 2>&1" >> $logfile
371   mplayer $lang_opts -dumpstream -dumpfile "$dest/$dvdname.VOB" -dvd-device "$isofile" dvd://$feature_title > $dumplog 2>&1
372   if [ $? != 0 ]; then
373     cat $dumplog | grep -v "^A:" >> $logfile
374     fatal_and_exit "-E- Mplayer Failed"
375   fi
376   cat $dumplog | grep -v "^A:" >> $logfile
377   [[ -e "$dumplog" ]] && [[ $remove_dumplog -eq 1 ]] && rm -f $dumplog
378 }
379
380 function get_audio_id_from_iso {
381   # Adjust our audio ID to find the english audio stream
382   # This should be 128. However, if 128 is not there, pick the next one that incrementally is.
383   aidcheck=`tempfile`
384   aid=128
385   mplayer -v -endpos 0 -dvd-device "$isofile" dvd://$feature_title > $aidcheck 2>&1
386   grep -q "aid: $aid" $aidcheck
387   while [ $? == 1 ] && [ $aid -lt 159 ]; do
388     (( aid = aid + 1 ))
389     grep -q "aid: $aid" $aidcheck
390   done
391   [[ -e "$aidcheck" ]] && rm -f "$aidcheck"
392   echo "-> Setting the audio stream ID to $aid" | tee -a $logfile
393   # mencoder default DVD audio track language selection (english)
394   lang_opts="-aid $aid -alang en"
395 }
396
397 function get_crop_from_iso { 
398   FRAMES=10000
399   echo "-> Detecting black frame border crop value from ISO file"
400   echo "   mplayer -vf cropdetect -frames $FRAMES -nosound -vo md5sum -benchmark -dvd-device \"$isofile\" dvd://$feature_title > $dumplog 2>&1" >> $logfile
401   mplayer -vf cropdetect -frames $FRAMES -nosound -vo md5sum -benchmark -dvd-device "$isofile" dvd://$feature_title > $dumplog 2>&1
402   [[ -e "md5sums" ]] && rm -f "md5sums"
403   CROP=`cat $dumplog | grep CROP | tail -1`
404   echo "   Found crop value of $CROP" >> $logfile
405   CROP=${CROP#* crop=}
406   CROP=${CROP%%\).*}
407   typeset -i CROPCHECK
408   CROPCHECK=`echo "$CROP" | awk -F ':' '{ print $1 }'`
409   echo "   Final crop value of $CROP with cropcheck value of $CROPCHECK" >> $logfile
410   if [ -z "$CROP" ]; then
411     fatal_and_exit "-E- Unable to extract CROP value from iso: $isofile"
412   fi
413   if [ $CROPCHECK -lt 0 ]; then 
414     CROP=""
415   else 
416     CROP=",crop=$CROP"
417   fi
418   echo "   Setting mencoder crop filter to: $CROP"
419 }
420
421 function get_audio_id_from_vob {
422   # Adjust our audio ID to find the english audio stream
423   # This should be 128. However, if 128 is not there, pick the next one that incrementally is.
424   aidcheck=`tempfile`
425   aid=128
426   mplayer -v -endpos 0 "$tmpdir/$dvdname.VOB" > $aidcheck 2>&1
427   grep -q "Found audio stream: $aid" $aidcheck
428   while [ $? == 1 ] && [ $aid -lt 159 ]; do
429     (( aid = aid + 1 ))
430     grep -q "Found audio stream: $aid" $aidcheck
431   done
432   [[ -e "$aidcheck" ]] && rm -f "$aidcheck"
433   echo "-> Setting the audio stream ID to $aid" | tee -a $logfile
434   # mencoder default DVD audio track language selection (english)
435   lang_opts="-aid $aid -alang en"
436 }
437
438 function check_vob_for_corrupted_start {
439   # check to see if the beginning of the DVD has a form of copy protection
440   # where they have deliberately broken the first X number of frames of the DVD.
441   # If we don't skip these, our resulting VOB file will not play.
442   badvobcheck=`tempfile`
443   endpos=360
444   skip=0
445   mencoder -ss $skip -endpos $endpos $lang_opts -of mpeg -mpegopts format=dvd:tsaf -oac copy -ovc copy "$tmpdir/$dvdname.VOB" -o /dev/null > $badvobcheck 2>&1
446   if [ $? != 0 ]; then
447     fatal_and_exit "-E- Mencoder Failed"
448   fi
449   grep "Writing header" -A `wc $badvobcheck | awk '{ print $1 }'` $badvobcheck | grep -q "Too many video packets in the buffer"
450   while [ $? == 0 ] && [ $skip -lt $endpos ]; do
451     (( skip = skip + 5 ))
452     echo "-> Bad VOB copy protection detected. Trying new skip value of $skip" | tee -a $logfile
453     mencoder -ss $skip -endpos $endpos $lang_opts -of mpeg -mpegopts format=dvd:tsaf -oac copy -ovc copy "$tmpdir/$dvdname.VOB" -o /dev/null > $badvobcheck 2>&1
454     if [ $? != 0 ]; then
455       fatal_and_exit "-E- Mencoder Failed"
456     fi
457     grep "Writing header" -A `wc $badvobcheck | awk '{ print $1 }'` $badvobcheck | grep -q "Too many video packets in the buffer"
458   done
459   [[ -e "$badvobcheck" ]] && rm -f "$badvobcheck";
460
461   # cat the giant VOB into mencoder to create a playable VOB file
462   cat "$tmpdir/$dvdname.VOB" | mencoder -ss $skip -quiet $lang_opts -of mpeg -mpegopts format=dvd:tsaf -oac copy -ovc copy - -o "$dest/$dvdname.VOB" >> $logfile 2>&1
463   if [ $? != 0 ]; then
464     fatal_and_exit "-E- Mencoder Failed"
465   fi
466 }
467
468 function check_vob_for_completeness {
469   # check to make sure we got out a complete VOB.
470   # there is another kind of copy protection where the VOB's may
471   # have "MPG EOF" frames in the middle of the stream. 
472   # this causes mencoder to not process the entire VOB, and exit without any errors.
473   # detect this by seeing how much smaller the dst vob is from the src vob.
474   MAX_FILESIZE_DELTA_PERCENT=70
475   SRC_VOB_FILESIZE=$(stat -c%s "$tmpdir/$dvdname.VOB")
476   DST_VOB_FILESIZE=$(stat -c%s "$dest/$dvdname.VOB")
477   FILESIZE_DELTA=`echo "scale=2; $DST_VOB_FILESIZE / $SRC_VOB_FILESIZE * 100" | bc | awk -F '.' '{ print $1 }'`
478   if [ $FILESIZE_DELTA -lt $MAX_FILESIZE_DELTA_PERCENT ]; then
479     # Try one other way to get the VOB using mplayer directly to rip the feature titleset.
480     echo "-> Detected bad VOB size copy protection after processing concatenated VOB file." | tee -a $logfile
481     create_main_vob_with_mplayer
482     [[ -e "$dumplog" ]] && rm -f $dumplog
483     DST_VOB_FILESIZE=$(stat -c%s "$dest/$dvdname.VOB")
484     FILESIZE_DELTA=`echo "scale=2; $DST_VOB_FILESIZE / $SRC_VOB_FILESIZE * 100" | bc | awk -F '.' '{ print $1 }'`
485     if [ $FILESIZE_DELTA -lt $MAX_FILESIZE_DELTA_PERCENT ]; then
486       fatal_and_exit "-E- This DVD has a copy protection scheme we can't work around. Sorry.\n    I recommend using another ripping mode like '-m' or '-i'"
487     fi
488   fi
489 }
490
491 function check_vob_for_too_many_video_packets {
492   # If our earlier algorithm to work around this failed, throw an error.
493   # check to see if this DVD has a protection scheme we don't know how to work around
494   # when I tried to burn the CARS DVD for example, you can't play the resulting VOB file.
495   # for some reason, the video is black, while the audio rolls, then the video finally comes
496   # in, but it is WAY off the audio. This appears to be due to some bad frames at the beginning of 
497   # the 1st VOB. Until I figure out how to work around this, detect it, and error out.
498   # instead of pulling the image from the disk again, you can pull it directly from the iso: -dvd-device $iso_path
499   grep -q "Too many video packets in the buffer:" $logfile
500   if [ $? == 0 ]; then
501     # Try one other way to get the VOB using mplayer directly to rip the feature titleset.
502     echo "-> Detected corrupt audio stream copy protection after processing concatenated VOB file." | tee -a $logfile
503     create_main_vob_with_mplayer
504     grep -q "Too many video packets in the buffer:" $dumplog
505     if [ $? == 0 ]; then
506       [[ -e "$dumplog" ]] && rm -f $dumplog
507       fatal_and_exit "-E- This DVD has a copy protection scheme we can't work around. Sorry.\n   I recommend using another ripping mode like '-m' or '-i'"
508     fi
509     [[ -e "$dumplog" ]] && rm -f $dumplog
510   fi
511 }
512
513 function check_vob_for_a52_crc_errors {
514   # Let's see if we can playback our newly created VOB file without any errors.
515   # if there are issues, let's detect them now, and try to recreate the VOB
516   # there are some forms of copy protection that have missed above, that evidence
517   # themselves when we try to playback the VOB file. This was added to deal with
518   # the "a52: CRC check failed" copy protection scheme.
519   MAX_ERRORS=10
520   ENDPOS=120
521   echo "-> Checking for a52 audio stream CRC errors" | tee -a $logfile
522   mplayer -endpos $ENDPOS -ao null -vo null "$dest/$dvdname.VOB" > $dumplog 2>&1
523   cat $dumplog | grep -v "^A:" >> $logfile
524   errors=`grep "a52: CRC check failed" $dumplog | wc | awk '{ print $1 }'`
525   if [ $errors -gt $MAX_ERRORS ]; then
526     echo "-> Detected a52 audio stream CRC errors copy protection after processing concatenated VOB file." | tee -a $logfile
527     create_main_vob_with_mplayer
528     echo "-> Checking for a52 audio stream CRC errors" | tee -a $logfile
529     mplayer -endpos $ENDPOS -ao null -vo null "$dest/$dvdname.VOB" > $dumplog 2>&1
530     if [ $? != 0 ]; then
531       cat $dumplog | grep -v "^A:" >> $logfile
532       fatal_and_exit "-E- Mplayer Failed"
533     fi
534     cat $dumplog | grep -v "^A:" >> $logfile
535     errors=`grep "a52: CRC check failed" $dumplog | wc | awk '{ print $1 }'`
536     if [ $errors -gt $MAX_ERRORS ]; then
537       fatal_and_exit "-E- This DVD has a copy protection scheme we can't work around. Sorry.\n   I recommend using another ripping mode like '-m' or '-i'"
538     fi
539   fi
540   [[ -e "$dumplog" ]] && rm -f $dumplog
541 }
542
543 function calculate_bitrate_from_target_size {
544   # determine what our bitrate needs to be if a target size was specified instead
545   if [ $target_size -ne 0 ]; then
546     vob_length=`mplayer -identify -v "$dest/$dvdname.VOB" -endpos 0 2>&1 | grep ID_LENGTH | awk -F '=' '{ print $2 }' | awk -F '.' '{ print $1 }'`
547     ((target_bitrate = (target_size * 1024 * 8) / vob_length ))
548     echo "   With a given target size of $target_size MB, the estimated bit rate will need to be $target_bitrate kbits/sec"
549   fi
550 }
551
552 function create_dvdauthor_dvd_xml_file {
553   # make a dvdauthor xml menu file to create a valid DVD video from 
554   # this script does a good job, but we'll still need to clean it up a bit after it runs
555   echo "-> Creating dvdauthor XML menu file" | tee -a $logfile
556   makexml -overwrite -dvd *.VOB -out dvd >> $logfile 2>&1
557   if [ $? != 0 ]; then
558     fatal_and_exit '-E- makexml -dvd *.VOB -out dvd failed'
559   fi
560
561   # replace the first line of the xml file to remove the bad dest path
562   awk -v line=1 -v new_content="<dvdauthor>" '{
563     if (NR == line) {
564       print new_content;
565     } else {
566       print $0;
567     }
568   }' dvd.xml > dvd.xml.new
569   mv -f dvd.xml.new dvd.xml
570   if [ $? != 0 ]; then
571     fatal_and_exit '-E- mv dvd.xml.new dvd.xml failed'
572   fi
573
574   # remove the "<video " property line from the xml file
575   cat dvd.xml | grep -v "<video" > dvd.xml.new
576   mv -f dvd.xml.new dvd.xml
577   if [ $? != 0 ]; then
578     fatal_and_exit '-E- mv dvd.xml.new dvd.xml failed'
579   fi
580   
581   # remove the extra <pgc>..</pgc> pairs
582   cat dvd.xml | awk 'BEGIN {x=1}
583   {
584     if ($0~"</pgc>") {x=0}
585     if (x==1) {print $0}
586     if ($0~"<pgc>") {x=1}
587   }' > dvd.xml.new
588   echo -e "</pgc>\n</titles>\n</titleset>\n</dvdauthor>" >> dvd.xml.new
589   mv -f dvd.xml.new dvd.xml
590   if [ $? != 0 ]; then
591     fatal_and_exit '-E- mv dvd.xml.new dvd.xml failed'
592   fi
593
594   # remove the VTS_*_0.VOB file as this is just the main menu video clip
595   cat dvd.xml | grep -v "VTS_.*_0.VOB" > dvd.xml.new
596   mv -f dvd.xml.new dvd.xml
597   if [ $? != 0 ]; then
598     fatal_and_exit '-E- mv dvd.xml.new dvd.xml failed'
599   fi
600 }
601
602 function check_for_mplayer_dumpstream_incompatibility {
603
604   echo "-> Checking for mplayer dumpstream incompatibilities" | tee -a $logfile
605
606   if [ ! -e "$dest/$dvdname.VOB" ]; then
607     # mplayer dumpstream does not work on DVDs that obscure the feature title.
608     # A DVD that has 99 titles, where the longest title isn't the main feature
609     # breaks mplayer dumpstream. We have to fallback to using dvdbackup to figure
610     # out what the feature title is. This script will run through that flow if we
611     # set use_mplayer_dumpstream to 0. Check for this here.
612     if [ $ripdvd -eq 1 ]; then
613       lsdvd $dev | grep -q "Title: 99"
614     else
615       lsdvd "$isofile" | grep -q "Title: 99"
616     fi
617     # If we have 99 titles and a feature title wasn't given on the command line, switch modes.
618     if [ $? == 0 ] && [ $feature_title_override -eq 0 ]; then
619       if [ $trust_feature_title_autodetect_when_uncertain -eq 0 ]; then
620         echo "-E- Unable to determine the feature title due to the 99 title copy protection scheme" | tee -a $logfile
621         echo "    You will need to determine this yourself and rerun the script with the -t option" | tee -a $logfile
622         invalid_feature_title=1
623       else 
624         echo "    Falling back to non mplayer dumpstream methods to copy the DVD" | tee -a $logfile
625         echo "-W- We still may not be able to autodetect the right feature title" | tee -a $logfile
626         echo "    You may need to determine this yourself and rerun the script with the -t option" | tee -a $logfile
627         use_mplayer_dumpstream=0
628         invalid_feature_title=1
629       fi
630       return
631     fi
632   fi
633
634   # There is another form of protection that causes the mplayer dumpstream to fail. 
635   # This can be detected by telling mplayer to parse the VOB file by copying its audio
636   # video streams to a dummy output file (/dev/null). Do that here to check for that 
637   # problem before continuing.
638   if [ -e "$dest/$dvdname.VOB" ]; then
639     mplayer_opts="-quiet -ofps 30000/1001 -ffourcc DIVX -oac copy -ovc copy"
640     mencoder $mplayer_opts "$dest/$dvdname.VOB" -o "/dev/null" > $dumplog 2>&1
641     grep -q "Too many audio packets in the buffer" $dumplog
642     if [ $? == 0 ]; then
643       echo "-> The VOB dumped by mplayer is invalid. Falling back to non mplayer dumpstream to copy the DVD" | tee -a $logfile
644       use_mplayer_dumpstream=0
645       mplayer_dumpstream_incompatibility=1
646     fi
647     [[ -e "$dumplog" ]] && rm -f $dumplog
648   fi
649 }
650
651 function fill_mythvideo_metadata {
652
653   # This function must be passed the filename as an argument
654   # The filename must be a full path to the file
655   filename="$1"
656
657   # Make sure the fill mythvideo metadata option has been set to 1
658   if [ $fill_mythvideo_metadata -eq 0 ]; then
659     echo "-> fill_mythvideo_metadata=0 therefore not updating mythvideo metadata for this rip" | tee -a $logfile
660     return 0
661   fi
662
663   # If the fill mythvideo metadata script is present, run it
664   # fill_mythvideo_metadata.plThis will download the metadata for the DVD we ripped.
665   if [[ -x `which fill_mythvideo_metadata.pl` ]]; then
666     echo "-> Running fill_mythvideo_metadata.pl to lookup/add/update the metadata for this DVD: $filename" | tee -a $logfile
667     fill_mythvideo_metadata.pl -N 0 -F "$filename" >> $logfile 2>&1
668   else
669     echo "-W- Unable to find the fill_mythvideo_metadata.pl script in your PATH. Unable to autofill the mythvideo DB for this rip." | tee -a $logfile
670     echo "    Set the fill_mythvideo_metadata variable to 0 in the script to avoid running this step." | tee -a $logfile
671   fi
672 }
673
674 function remove_intermediate_vob_file {
675   # remove the intermediate VOB file
676   if [ $keep_intermediate_files -eq 0 ]; then
677     [[ -e "$tmpdir/$dvdname.VOB" ]] && rm -f "$tmpdir/$dvdname.VOB"
678   else
679     echo "-> Keeping intermediate concatenated VOB file: $tmpdir/$dvdname.VOB" | tee -a $logfile
680   fi
681 }
682
683 function remove_intermediate_iso_file {
684   # remove the original DVD image 
685   if [ $keep_intermediate_files -eq 0 ]; then
686     [[ -e "$isofile" ]] && rm "$isofile"
687   else
688     echo "-> Keeping ddrescue intermediate iso file: $isofile" | tee -a $logfile
689   fi
690 }
691
692 function remove_intermediate_dvdbackup_folder {
693   if [ $keep_intermediate_files -eq 0 ]; then
694     [[ -d "$tmpdir/$dvdname" ]] && rm -rf "$tmpdir/$dvdname"
695   else
696     echo "-> Keeping intermediate dvdbackup folder: $tmpdir/$dvdname" | tee -a $logfile
697   fi
698 }
699
700 ###############################################
701 # MAIN
702
703 # Make a note of when this DVD rip started
704 date=`date`
705 echo -e "\n$date DVD rip started" >> "$logfile"
706
707 # Rip the DVD - Mirror Mode
708 if [ $mirror_mode -eq 1 ]; then
709   echo "-> Ripping DVD $dvdname to $dest"
710
711   # use ddrescue to make an ISO image of the disk
712   make_dvd_iso_image "$dest/$dvdname.iso"
713
714   # add this video data to the mythtv DB
715   fill_mythvideo_metadata "$dest/$dvdname.iso" 
716
717   # eject the disk upon completion
718   eject -T $dev
719
720   date=`date`
721   echo "$date DVD rip completed" | tee -a $logfile
722
723   if [[ -n "$mailto" ]]; then
724     cat "$logfile" | mailx -s "dvd rip of $dvdname DONE" "$mailto"
725   fi
726
727 fi
728
729 # Rip the DVD - Main Title Feature Only
730 if [ $mirror_mode -eq 0 ]; then
731
732   if [ $ripdvd -eq 1 ]; then
733     echo "-> Ripping DVD $dvdname to $dest" | tee -a $logfile
734
735     # use ddrescue to make an ISO image of the disk
736     make_dvd_iso_image "$tmpdir/$dvdname.iso"
737     
738   fi
739
740   # make sure our isofile value is set
741   if [ -z "$isofile" ]; then
742     isofile="$tmpdir/$dvdname.iso"
743   fi
744    
745   if [ $make_final_dest_vob -eq 1 ] || [ $make_final_dest_avi -eq 1 ]; then
746
747     if [ ! -e "$dest/$dvdname.VOB" ]; then
748       echo "-> Creating DVD video $dest/$dvdname.VOB" | tee -a $logfile
749       
750       # get the feature title from the ISO
751       get_feature_title
752  
753       # get the crop value from the ISO
754       get_crop_from_iso
755
756       # check for mplayer dumpstream incompatibilities
757       # if they exist, this method will set this mode to 0.
758       check_for_mplayer_dumpstream_incompatibility
759
760       if [ $use_mplayer_dumpstream -eq 1 ]; then 
761
762         # get our audio id from the ISO file
763         get_audio_id_from_iso
764
765         # create our main VOB file from the ISO
766         create_main_vob_with_mplayer        
767      
768         # remove the intermediate VOB file
769         remove_intermediate_vob_file
770
771         # it's possible that our VOB is still corrupted in some manner
772         # check to make sure it is still a good VOB before continuing.
773         check_for_mplayer_dumpstream_incompatibility
774
775       fi
776  
777       if [ $use_mplayer_dumpstream -eq 0 ]; then 
778
779         # use dvdbackup to make a DVD folder of the feature title
780         make_dvdbackup_folder_image
781   
782         # create our main VOB file
783         create_main_vob_with_cat
784
785         # get our audio id from the VOB file
786         get_audio_id_from_vob
787   
788         # check for corrupted VOB start
789         check_vob_for_corrupted_start
790  
791         # check to make sure our VOB is complete
792         check_vob_for_completeness
793
794         # check to make sure our VOB doesn't have too many video packets
795         check_vob_for_too_many_video_packets
796
797         # check to make sure our VOB doesn't have a52 crc errors
798         check_vob_for_a52_crc_errors
799
800         # remove the intermediate VOB file
801         remove_intermediate_vob_file
802
803       fi
804
805       # remove the intermediate ISO file
806       remove_intermediate_iso_file
807
808     else
809       echo "-> Skipping VOB creation. VOB DVD video already exists: $dest/$dvdname.VOB" | tee -a $logfile
810     fi
811
812     # transcode the DVD
813     if [ $make_final_dest_avi -eq 1 ]; then
814       echo "-> Encoding the DVD video to an AVI file" | tee -a $logfile
815
816       # determine what our bitrate needs to be if a target size was specified instead
817       calculate_bitrate_from_target_size        
818       
819       # There was a lot of experimentation to arrive at these values
820       # These seem to work OK for me. If they don't work for you, feel
821       # free to adjust/change as needed.
822
823       # Edit these as needed to suite your needs
824       mencoder_general_opts="-quiet $lang_opts -passlogfile $passlogfile"
825       mencoder_output_opts="-ofps 30000/1001 -ffourcc DIVX"
826       mencoder_video_filter_opts="-vf pullup,softskip,hqdn3d=2:1:2$CROP"
827       mencoder_video_encoder_opts="-ovc xvid -xvidencopts pass=%PASS:chroma_opt:vhq=4:bvhq=1:quant_type=mpeg:bitrate=$target_bitrate:autoaspect:threads=2"
828
829       # There are a number of different ways to encode 6 channel audio.
830       # I've loaded 3 different ways into the mencoder_audioch_opts.
831       # It will cycle through them until it finds one that works. 
832       # You can change the order to suit your needs.
833       if [ $audio_2ch -eq 0 ]; then
834
835         # These options produce good 6 channel audio for the internal mythvideo player, but they can't play in Windows.
836         #mencoder_audio_opts="-oac lavc -lavcopts acodec=ac3"
837         #mencoder_audioch_opts[0]="-channels 6 -af channels=6:6:0:5:1:4:2:3:3:2:4:1:5:0"
838
839         # These options produce good 6 channel audio for linux and windows (except the internal mythvideo player)
840         # This option requires playback under linux with mplayer to be done with options: -channels 6 -ac hwac3,hwdts,mad 
841         mencoder_audio_opts="-oac copy"
842
843         # There are 3 different ways to specify 6 channel encoding. We'll try the other ones in order if one of them fails.
844         mencoder_audioch_opts[0]="-channels 6 -af channels=6"
845         mencoder_audioch_opts[1]="-af channels=6"
846         mencoder_audioch_opts[2]=""
847
848      else 
849         # These options produce good 2 channel audio for linux and windows (including the internal mythvideo player)
850         mencoder_audio_opts="-oac mp3lame -lameopts cbr:br=$audio_bitrate"
851         mencoder_audioch_opts[0]=""
852      fi
853
854       # Do not edit this line. $mencoder_video_encoder_opts must be last
855       mencoder_opts="$mencoder_general_opts $mencoder_output_opts $mencoder_audio_opts $mencoder_video_filter_opts $mencoder_video_encoder_opts"
856       mencoder_retval=0
857
858       for PASS in 1 2 
859       do 
860         # Set some options based on which pass we are in
861         mencoder_opts_for_pass=$(echo "$mencoder_opts" | sed "s,%PASS,$PASS,g")
862         [ $PASS -eq 1 ] && mencoder_opts_for_pass="$mencoder_opts_for_pass:turbo"
863         [ $PASS -eq 1 ] && output_file="/dev/null"
864         [ $PASS -eq 2 ] && output_file="$dest/$dvdname.avi"
865   
866         # It's possible that the audio channel encoding may not work. Cycle through all our different audioch_opts until we find one that works.
867         for CH_OPTS in "${mencoder_audioch_opts[@]}"; 
868         do
869           echo -e "   Encoding pass $PASS"
870           echo -e "\n   Encoding pass $PASS: mencoder $CH_OPTS $mencoder_opts_for_pass \"$dest/$dvdname.VOB\" -o \"$output_file\" >> $encodelog 2>&1" >> $logfile
871           mencoder $CH_OPTS $mencoder_opts_for_pass "$dest/$dvdname.VOB" -o "$output_file" > $encodelog 2>&1
872           mencoder_retval=$? 
873           grep -q "\[channels\] Invalid" $encodelog
874           if [ $? != 0 ]; then      
875             break;
876           else
877             echo -e "\n-W- Audio channel encoding error. Falling back to next audio channel encoding scheme." >> $logfile
878           fi
879         done
880         if [ $mencoder_retval != 0 ]; then
881           fatal_and_exit "-E- Unhandled mencoder error"
882         fi
883         # Concatenate the encode log to our main log file, greping out unwanted lines
884         cat $encodelog | grep -v "Pos:" >> $logfile
885       done
886
887       if [ $keep_intermediate_files -eq 0 ] && [ $make_final_dest_vob -eq 0 ]; then
888         [[ -e "$dest/$dvdname.VOB" ]] && rm -f "$dest/$dvdname.VOB";
889         [[ -e "$passlogfile" ]] && rm -f "$passlogfile";
890       else
891         echo "-> Keeping VOB file: $dest/$dvdname.VOB" | tee -a $logfile
892         echo "-> Keeping mencoder 2pass logfile: $passlogfile"
893       fi
894     fi
895
896   # add this video data to the mythtv DB
897   [ $make_final_dest_avi -eq 1 ] && fill_mythvideo_metadata "$dest/$dvdname.avi" 
898   [ $make_final_dest_vob -eq 1 ] && fill_mythvideo_metadata "$dest/$dvdname.VOB" 
899     
900   else
901
902   # use dvdbackup to make a DVD folder of the feature title
903   make_dvdbackup_folder_image
904
905   # cd to the feature title DVD folder
906   pushd "$tmpdir/$dvdname/VIDEO_TS" > /dev/null 2>&1
907   if [ $? != 0 ]; then
908     fatal_and_exit "-E- Unable to cd to $tmpdir/$dvdname/VIDEO_TS"
909   fi
910   
911   # create the dvd.xml file for dvdauthor
912   create_dvdauthor_dvd_xml_file  
913
914   # make the final DVD folder image
915   make_dvdauthor_folder_image
916
917   # add this video data to the mythtv DB
918   fill_mythvideo_metadata "$dest/$dvdname/VIDEO_TS" 
919  
920   # cd back to the dir we started from
921   popd > /dev/null 2>&1
922
923   if [ $make_final_dest_iso -eq 1 ]; then
924     echo "-> Creating ISO image of DVD video: $dest/$dvdname -> $dest/$dvdname.iso" | tee -a $logfile
925
926     # make an iso image out of our directory
927     mkisofs -dvd-video "$dest/$dvdname" 2>> $logfile | dd of="$dest/$dvdname.iso" obs=32k seek=0 > /dev/null
928     if [ $? != 0 ]; then
929       fatal_and_exit '-E- mkisofs -dvd-video "$dest/$dvdname" | dd of="$dest/$dvdname.iso" obs=32k seek=0 failed'
930     fi
931    
932     # If the mkisofs was unable to make a .iso file for us, don't remove the DVD directory 
933     if [ -s "$dest/$dvdname.iso" ]; then
934       if [ $make_final_dest_folder -eq 0 ]; then
935         echo "-> Removing DVD folder since ISO was created: $dest/$dvdname" | tee -a $logfile
936         # remove the folder of the DVD image now that we have a .iso version of it
937         [[ -d "$dest/$dvdname" ]] && rm -rf "$dest/$dvdname"
938       fi
939     else
940       # we created an empty iso file, remove it
941       echo "-> Removing empty ISO image: $dest/$dvdname.iso" | tee -a $logfile
942       echo "-> Keeping the DVD folder since the ISO image couldn't be created properly: $dest/$dvdname"
943       [[ -e "$dest/$dvdname.iso" ]] && rm "$dest/$dvdname.iso"
944     fi
945  
946     # add this video data to the mythtv DB
947     fill_mythvideo_metadata "$dest/$dvdname.iso" 
948
949   fi
950
951   fi
952
953   # remove the ddrescue DVD ISO image
954   remove_intermediate_iso_file
955
956   # remove the tmp dvdbackup folder of the DVD image
957   remove_intermediate_dvdbackup_folder
958
959   # eject the DVD disk upon completion
960   [ $ripdvd -eq 1 ] && eject -T $dev
961
962   date=`date`
963   echo "$date DVD rip completed" | tee -a $logfile
964
965   if [[ -n "$mailto" ]]; then
966     cat "$logfile" | mailx -s "dvd rip of $dvdname DONE" "$mailto"
967   fi
968
969 fi
970