SAS Batch : Utilisation du mode Checkpoint/Restart

Grâce à ce mode, SAS enregistre des points de repère à chaque étape du programme dans le journal et dans un catalogue nommé CHECKPNT.SAS7BCAT qui contient les informations sur les étapes DATA et les PROC uniquement.

Un certain nombre de précautions doivent être prises en compte avec ce mode pour que tout fonctionne correctement.

Tout d'abord, le programme qui s'exécute doit accéder aux tables intermédiaires du traitement (notamment celles avant l'erreur) sinon il sera en incapacité de reprendre là où il en était. Par conséquent, si la WORK était utilisée, elle ne doit pas être supprimée en fin de session ou recréée à la prochaine. Pour cela, il faut utiliser les options NOWORKTERM et NOWORKINIT (si toutes les données sont enregistrées dans des bibliothèques dites permanentes, ces options ne sont pas utiles).

Ensuite, il est préférable de forcer SAS à s'arrêter dès la première erreur. Ceci est possible avec l'option ERRORCHECK STRICT.

Dans le cadre de l'utilisation de ce mode, voici la liste des options importantes :

• SYSIN : permet l'appel d'un programme SAS ;
• STEPCHKPT : active le mode CheckPoint ;
• STEPCHKPTLIB : permet d'indiquer le LIBREF dans lequel SAS doit sauver le catalogue. Il faut spécifier la commande LIBNAME en amont du programme pour que SAS puisse l'affecter ;
• NOWORKTERM : permet de conserver la WORK à la fin de la session ;
• NOWORKINIT : évite d'initialiser une nouvelle WORK au démarrage de la session ;
• ERRORCHECK STRICT : force l'analyse syntaxique des étapes LIBNAME, FILENAME, %INCLUDE et LOCK ;
• ERRORABEND : force l'arrêt sur n'importe quelle erreur.

II-A-1. Illustration de la mise en place du mode checkpoint▲

Sas -sysin "c:\projet_alpha\production.sas" 
-stepchkpt -stepchkptlib savCheck -errorcheck strict -errorabbend

sas -sysin "c:\projet_alpha\production.sas" 
-stepchkpt -noworkterm -noworkinit -errorcheck strict -errorabbend

Il faut exécuter le programme avec l'option STEPRESTART pour que le programme puisse être relancé à partir de la dernière erreur après que le catalogue CHECKPNT.SAS7BCAT ait été analysé. Dans ce cas, SAS relit le catalogue afin d'isoler les étapes s'étant correctement terminées et reprendre à celle qui était tombée en erreur.

Ce mode exécute tout d'abord les étapes générales telles que les LIBNAME, FILENAME et les compilations de macros car le catalogue contient uniquement les informations sur les étapes en erreur ou en succès. De cette façon, les éléments cruciaux ne sont pas omis.

Afin de contrôler un peu plus le mode Restart, il est possible d'ajouter une option forçant SAS à exécuter une étape importante. Ce peut être une étape DATA ou la définition de macro-variables par exemple. Ceci se fait avec l'option CHECKPOINT EXECUTE_ALWAYS qui se place immédiatement avant l'étape considérée.

Enfin, le lancement du mode Restart peut également s'accompagner du lancement du mode Checkpoint. Comme le programme peut encore tomber en erreur, il sera possible de corriger et de relancer.

Ainsi nous aurons la ligne suivante qui cumule les deux modes :

sas -sysin "c:\projet_alpha\production.sas" 
-stepchkpt -stepRestart -stepchkptlib savCheck -errorcheck strict -errorabbend

Nous créons un fichier .bat permettant d'appeler le programme datametric.sas grâce à la commande SYSIN. Nous employons les options permettant de conserver la LOG et la WORK en plus du mode CheckPoint.

Le programme contient trois étapes simples : une étape DATA, une proc SORT et une étape DATA qui conclut le programme.

libname libtest "C:\Data\test";
%let choix=1;
data premiere;
  length rowid 8; * unique id;
  do level_1 = 0 to 2;
    do level_2 = 0 to 2;
      do x = 1 to 6+10*ranuni(1234);
        rowid + 1;
        y = sin(rowid/2);
        output;
      end;
    end;
  end;
run;
proc sort data=premiere;
by level_1;
run;
data second;
set premiere;
where level_1=&choix;
run;

Voici le contenu du fichier .bat qui appelle ce programme :

"C:\Program Files\SASHome\SASFoundation\9.3\sas.exe" 
-CONFIG "C:\Program Files\SASHome\SASFoundation\9.3\nls\en\sasv9.cfg" 
-LOG "C:\Data\test\monfichier.log" 
-sysin "C:\Data\test\Datametric.sas" 
-stepchkpt -noworkterm -noworkinit -errorcheck strict -errorabend

Le journal du traitement qui suit montre clairement que le mode Checkpoint est activé avec l'insertion des balises CHECKPOINT avant chaque étape.

Pour constater l'arrêt sur une erreur, nous insérons une maladresse typographique dans le programme.

Le code suivant :

proc sort data=premiere;
by level_1;
run;

Devient :

proc sort data=premire;
by level_1;
run;

Lorsque le programme tombe en erreur, la WORK est conservée avec le catalogue permettant à SAS de savoir où repartir ainsi que la première table générée (elle n'avait pas d'erreurs).

Nous relançons le programme corrigé avec l'option -STEPRESTART cette fois. Par précaution, nous laissons le mode Checkpoint afin de pouvoir stopper sur une prochaine erreur.

Contenu du fichier .bat :

"C:\Program Files\SASHome\SASFoundation\9.3\sas.exe" 
-CONFIG "C:\Program Files\SASHome\SASFoundation\9.3\nls\en\sasv9.cfg" 
-LOG "C:\Data\test\monfichier.log" 
-sysin "C:\Data\test\Datametric.sas" 
-stepchkpt -stepRestart  -noworkterm -noworkinit -errorcheck strict -errorabend

Cette fois, la première étape est reconnue comme étant sans erreur et donc est ignorée.

Dans le journal, les étapes sont encore marquées en mode Checkpoint car l'option STEPCHKPT est utilisée par crainte d'une nouvelle erreur.

Cet exemple prouve que même si le catalogue est sauvegardé dans un répertoire permanent alors que les données sont stockées dans une véritable WORK, alors le mode RESTART se trouve dans l'incapacité de rejouer le traitement.

Voici le contenu du nouveau .bat où les options de conservation de la WORK sont supprimées.

"C:\Program Files\SASHome\SASFoundation\9.3\sas.exe" 
-CONFIG "C:\Program Files\SASHome\SASFoundation\9.3\nls\en\sasv9.cfg" 
-LOG "C:\Data\test\monfichier.log" 
-sysin "C:\Data\test\Datametric.sas" 
-stepchkpt -STEPCHKPTLIB libtest -errorcheck strict -errorabend

Si l'on indique l'option -STEPCHKPTLIB libtest dans la ligne de commande, le catalogue est conservé dans le répertoire lié au LIBREF libtest défini dans le programme (ici C:\Data\test).

Nous obtenons dans le journal les informations suivantes, puis la même erreur un peu plus bas.

NOTE: Begin CHECKPOINT execution mode.
NOTE: Checkpoint library: C:\Data\test.
NOTE: WORK library: C:\sasfiles\saswork\datametric\_TD4132_WIN-EH2M0MSIPC9_.

Après correction, nous relançons.

Puisque la WORK n'était pas conservée et que les données n'étaient pas enregistrées dans un répertoire permanent, le programme tombe de nouveau en erreur car la première étape créant la table PREMIERE, n'a pas été rejouée : la table source de la seconde étape n'existe pas et retourne une erreur. C'est un cercle vicieux qui s'amorce car le programme sait d'où repartir mais n'a plus les données pour le faire.

Par conséquent, il faut conserver le catalogue et les données dans un répertoire qui n'est pas temporaire.

On teste si le mode de marquage SAS rentre dans une boucle macro.

Ici le programme crée dix tables à partir d'une seule. Nous introduisons une erreur de syntaxe (un point-virgule manquant) qui créera une erreur uniquement sur l'étape n° 5.

%macro loop;
%do i= 1 %to 10;
	data test&i;
	set sashelp.class;
		%if &i=5 %then %do;
			i=2					
		%end;
	run;
%end;
%mend;
%loop;

Comme dans le premier exemple, la ligne de commande exécutant ce programme va permettre de conserver la WORK et le catalogue qui sera dedans.

Le mode Checkpoint reconnaît parfaitement chaque étape DATA et stoppe sur l'erreur.

Après correction, nous lançons la ligne de commande avec l'option STEPRESTART et nous constatons que le programme reprend à la cinquième étape et poursuit son travail.