minor optimizations
[util-vserver.git] / util-vserver / src / vunify.c
index d0bc7c0..4dd8edf 100644 (file)
 #endif
 
 #include "vunify.h"
-#include "wrappers-dirent.h"
-#include "vunify-operations.h"
 #include "util.h"
 
+#include "lib_internal/unify.h"
+#include "lib_internal/matchlist.h"
+#include "lib_internal/util-dotfile.h"
+#include "lib_internal/util-safechdir.h"
 #include <lib/vserver.h>
 
 #include <getopt.h>
 #include <sys/stat.h>
 #include <unistd.h>
 #include <stdbool.h>
+#include <errno.h>
+#include <wait.h>
+#include <fcntl.h>
+#include <assert.h>
+
+#define ENSC_WRAPPERS_IO       1
+#define ENSC_WRAPPERS_FCNTL    1
+#define ENSC_WRAPPERS_DIRENT   1
+#define ENSC_WRAPPERS_UNISTD   1
+#define ENSC_WRAPPERS_STDLIB   1
+#include <wrappers.h>
 
 int    wrapper_exit_code = 1;
 
 
-static struct WalkdownInfo     global_info;
-static struct Operations       operations;
-
-
 #define CMD_HELP               0x8000
 #define CMD_VERSION            0x8001
 #define CMD_MANUALLY           0x8002
@@ -53,16 +62,17 @@ CMDLINE_OPTIONS[] = {
   { 0,0,0,0 }
 };
 
-struct Arguments {
-    enum {mdMANUALLY, mdVSERVER}       mode;
-    bool                               do_revert;
-    bool                               do_dry_run;
-    unsigned int                       verbosity;
-    bool                               local_fs;
-    bool                               do_renew;
-};
+static struct WalkdownInfo             global_info;
+static struct SkipReason               skip_reason;
+static struct Arguments const *                global_args;
 
-struct Arguments const *               global_args;
+int Global_getVerbosity() {
+  return global_args->verbosity;
+}
+
+bool Global_doRenew() {
+  return global_args->do_renew;
+}
 
 static void
 showHelp(int fd, char const *cmd, int res)
@@ -81,7 +91,7 @@ showHelp(int fd, char const *cmd, int res)
            "                       done (in combination with '-v')\n"
            "  -v              ...  verbose mode\n"
            "  -x              ...  do not cross filesystems; this is valid in manual\n"
-           "                       mode only and will be ignored for vserver unification\n"
+           "                       mode only and will be ignored for vserver unification\n\n"
            "Please report bugs to " PACKAGE_BUGREPORT "\n");
 #if 0      
            "  -C              ...  use cached excludelists; usually they will be\n"
@@ -102,40 +112,44 @@ showVersion()
   exit(0);
 }
 
-
 // Returns 'false' iff one of the files is not existing, or of the files are different/not unifyable
 static bool
 checkFstat(struct MatchList const * const mlist,
           PathInfo const * const  basename,
           PathInfo const * const  path,
-          struct stat const ** const result, struct stat * const result_buf)
+          struct stat const ** const dst_fstat, struct stat * const dst_fstat_buf,
+          struct stat * const src_fstat)
 {
   assert(basename->d[0] != '/');
 
-  if (*result==0) {
+  if (*dst_fstat==0) {
     // local file does not exist... strange
     // TODO: message
-    if (lstat(basename->d, result_buf)==-1) return false;
-    *result = result_buf;
+    skip_reason.r = rsFSTAT;
+    if (lstat(basename->d, dst_fstat_buf)==-1) return false;
+    *dst_fstat = dst_fstat_buf;
   }
 
-  assert(*result!=0);
+  assert(*dst_fstat!=0);
   
   {
-    struct stat                src_fstat;
     PathInfo           src_path = mlist->root;
     char               src_path_buf[ENSC_PI_APPSZ(src_path, *path)];
 
     PathInfo_append(&src_path, path, src_path_buf);
 
     // source file does not exist
-    if (lstat(src_path.d, &src_fstat)==-1) return false;
+    skip_reason.r = rsNOEXISTS;
+    if (lstat(src_path.d, src_fstat)==-1) return false;
 
-    // these are directories
-    if (S_ISDIR((*result)->st_mode) && S_ISDIR(src_fstat.st_mode)) return true;
+    // these are directories; this succeeds everytime
+    if (S_ISDIR((*dst_fstat)->st_mode) && S_ISDIR(src_fstat->st_mode)) return true;
 
     // both files are different, so return false
-    if (!(operations.compare)(*result, &src_fstat)) return false;
+    skip_reason.r = rsDIFFERENT;
+    if ((!global_args->do_revert && !Unify_isUnifyable(*dst_fstat, src_fstat)) ||
+       ( global_args->do_revert && !Unify_isUnified  (*dst_fstat, src_fstat)))
+      return false;
   }
 
   // these are the same files
@@ -144,28 +158,48 @@ checkFstat(struct MatchList const * const mlist,
 
 static struct MatchList const *
 checkDirEntry(PathInfo const *path,
-             PathInfo const *d_path, bool *is_dir, struct stat *f_stat)
+             PathInfo const *d_path, bool *is_dir,
+             struct stat *src_stat, struct stat *dst_stat)
 {
   struct WalkdownInfo const * const    info     = &global_info;
   struct MatchList const *             mlist;
-  struct stat const *                  cache_stat = 0;
+  struct stat const *                  cache_stat;
 
   // Check if it is in the exclude/include list of the destination vserver and
   // abort when it is not matching an allowed entry
-  if (!MatchList_compare(&info->dst_list, path->d)) return 0;
+  skip_reason.r      = rsEXCL_DST;
+  skip_reason.d.list = &info->dst_list;
+  if (MatchList_compare(&info->dst_list, path->d)!=stINCLUDE) return 0;
 
   // Now, go through the reference vservers and do the lightweigt list-check
   // first and compare then the fstat's.
   for (mlist=info->src_lists.v; mlist<info->src_lists.v+info->src_lists.l; ++mlist) {
-    if (MatchList_compare(mlist, path->d) &&
-       checkFstat(mlist, d_path, path, &cache_stat, f_stat)) {
+    cache_stat = 0;
+    skip_reason.r      = rsEXCL_SRC;
+    skip_reason.d.list = mlist;
+    if (MatchList_compare(mlist, path->d)==stINCLUDE &&
+       checkFstat(mlist, d_path, path, &cache_stat, dst_stat, src_stat)) {
 
       // Failed the check or is it a symlink which can not be handled
-      if (cache_stat==0 || S_ISLNK(f_stat->st_mode)) return 0;
+      if (cache_stat==0) return 0;
+
+      skip_reason.r = rsSYMLINK;
+      if (S_ISLNK(dst_stat->st_mode)) return 0;
+
+      skip_reason.r = rsSPECIAL;
+      if (!S_ISREG(dst_stat->st_mode) &&
+         !S_ISDIR(dst_stat->st_mode)) return 0;
       
-      *is_dir = S_ISDIR(f_stat->st_mode);
+      *is_dir = S_ISDIR(dst_stat->st_mode);
       return mlist;
     }
+    else if (cache_stat!=0 && !global_args->do_revert &&
+            skip_reason.r == rsDIFFERENT &&
+            Unify_isUnified(cache_stat, src_stat)) {
+      skip_reason.r      = rsUNIFIED;
+      skip_reason.d.list = mlist;
+      return 0;
+    }
   }
 
   // No luck...
@@ -206,29 +240,24 @@ updateSkipDepth(PathInfo const *path, bool walk_down)
   return result;
 }
 
-inline static void
-EsafeChdir(char const *path, struct stat const *exp_stat)
-{
-  FatalErrnoError(safeChdir(path, exp_stat)==-1, "safeChdir()");
-}
-
 static bool
-doit(struct MatchList const *mlist, PathInfo const *src_path,
-     char const *dst_path)
+doit(struct MatchList const *mlist,
+     PathInfo const *src_path, struct stat const *src_stat,
+     char const *dst_path,     struct stat const UNUSED *dst_stat)
 {
   PathInfo     path = mlist->root;
   char         path_buf[ENSC_PI_APPSZ(path, *src_path)];
 
-  if (global_args->do_dry_run || global_args->verbosity>0) {
+  if (global_args->do_dry_run || Global_getVerbosity()>=2) {
     if (global_args->do_revert) WRITE_MSG(1, "deunifying '");
     else                        WRITE_MSG(1, "unifying   '");
 
     write(1, src_path->d, src_path->l);
     WRITE_MSG(1, "'");
 
-    if (global_args->verbosity>2) {
+    if (Global_getVerbosity()>=4) {
       WRITE_MSG(1, " (from ");
-      if (global_args->verbosity==2 && mlist->id.d)
+      if (Global_getVerbosity()==4 && mlist->id.d)
        write(1, mlist->id.d, mlist->id.l);
       else
        write(1, mlist->root.d, mlist->root.l);
@@ -238,91 +267,94 @@ doit(struct MatchList const *mlist, PathInfo const *src_path,
   }
   
   PathInfo_append(&path, src_path, path_buf);
-  return (operations.doit)(path.d, dst_path);
+  return (global_args->do_dry_run ||
+         (!global_args->do_revert && Unify_unify  (path.d, src_stat, dst_path)) ||
+         ( global_args->do_revert && Unify_deUnify(dst_path)));
 }
 
 
 static void
+printSkipReason()
+{
+  WRITE_MSG(1, " (");
+  switch (skip_reason.r) {
+    case rsDOTFILE     :  WRITE_MSG(1, "dotfile"); break;
+    case rsEXCL_DST    :
+    case rsEXCL_SRC    :
+      WRITE_MSG(1, "excluded by ");
+      MatchList_printId(skip_reason.d.list, 1);
+      break;
+    case rsFSTAT       :  WRITE_MSG(1, "fstat error"); break;
+    case rsNOEXISTS    :  WRITE_MSG(1, "does not exists in refserver(s)"); break;
+    case rsSYMLINK     :  WRITE_MSG(1, "symlink"); break;
+    case rsSPECIAL     :  WRITE_MSG(1, "non regular file"); break;
+    case rsUNIFIED     :  WRITE_MSG(1, "already unified"); break;
+    case rsDIFFERENT   :  WRITE_MSG(1, "different"); break;
+    default            :  assert(false); abort();
+  }
+  WRITE_MSG(1, ")");
+}
+
+#include "vserver-visitdir.hc"
+
+static uint64_t
 visitDirEntry(struct dirent const *ent)
 {
   bool                         is_dir;
   struct MatchList const *     match;
-  struct stat                  f_stat;
+  struct stat                  f_stat = { .st_dev = 0 };
   char const *                 dirname  = ent->d_name;
   PathInfo                     path     = global_info.state;
   PathInfo                     d_path = {
     .d = dirname,
-    .l = strlen(ent->d_name)
+    .l = strlen(dirname)
   };
   char                         path_buf[ENSC_PI_APPSZ(path, d_path)];
   bool                         is_dotfile;
+  struct stat                  src_stat;
+  uint64_t                     res = 1;
 
   PathInfo_append(&path, &d_path, path_buf);
 
-  is_dotfile = (dirname[0]=='.' &&
-               (dirname[1]=='\0' || (dirname[1]=='.' && dirname[2]=='\0')));
-  memset(&f_stat, 0, sizeof f_stat);
+  is_dotfile    = isDotfile(dirname);
+  skip_reason.r = rsDOTFILE;
+
   if (is_dotfile ||
-      (match=checkDirEntry(&path, &d_path, &is_dir, &f_stat))==0) {
+      (match=checkDirEntry(&path, &d_path, &is_dir, &src_stat, &f_stat))==0) {
     bool       is_link = is_dotfile ? false : S_ISLNK(f_stat.st_mode);
     
-    if (global_args->verbosity>1 &&
+    if (Global_getVerbosity()>=1 &&
+       (Global_getVerbosity()>=3 || skip_reason.r!=rsUNIFIED) &&
        ((!is_dotfile && !is_link) ||
-        (global_args->verbosity>4 && is_dotfile) ||
-        (global_args->verbosity>4 && is_link)) ) {
+        (Global_getVerbosity()>=6 && is_dotfile) ||
+        (Global_getVerbosity()>=6 && is_link)) ) {
       WRITE_MSG(1, "  skipping '");
       write(1, path.d, path.l);
-      WRITE_MSG(1, "'\n");
+      WRITE_MSG(1, "'");
+      if (Global_getVerbosity()>=2) printSkipReason();
+      WRITE_MSG(1, "\n");
     }
-    return;
+    return 0;
   }
 
   if (is_dir) {
     if (updateSkipDepth(&path, true)) {
-      visitDir(dirname, &f_stat);
+      res = visitDir(dirname, &f_stat);
       updateSkipDepth(&path, false);
     }
+    else
+      res = 0;
   }
-  else if (!doit(match, &path, dirname)) {
+  else if (!doit(match, &path, &src_stat, dirname, &f_stat)) {
       // TODO: message
   }
-}
-
-static void
-visitDir(char const *name, struct stat const *expected_stat)
-{
-  int          fd = Eopen(".", O_RDONLY, 0);
-  PathInfo     old_state = global_info.state;
-  PathInfo     rhs_path = {
-    .d = name,
-    .l = strlen(name)
-  };
-  char         new_path[ENSC_PI_APPSZ(global_info.state, rhs_path)];
-  DIR *                dir;
-
-  PathInfo_append(&global_info.state, &rhs_path, new_path);
-
-  if (expected_stat!=0)
-    EsafeChdir(name, expected_stat);
-  
-  dir = Eopendir(".");
-
-  for (;;) {
-    struct dirent              *ent = Ereaddir(dir);
-    if (ent==0) break;
-
-    visitDirEntry(ent);
-  }
-
-  Eclosedir(dir);
+  else
+    res = 0;
 
-  Efchdir(fd);
-  Eclose(fd);
-
-  global_info.state = old_state;
+  return res;
 }
 
-#include "vunify-init.ic"
+#include "vunify-init.hc"
 
 int main(int argc, char *argv[])
 {
@@ -364,13 +396,9 @@ int main(int argc, char *argv[])
     return EXIT_FAILURE;
   }
 
-  Operations_init(&operations,
-                 args.do_revert ? opDEUNIFY : opUNIFY,
-                 args.do_dry_run);
-
   switch (args.mode) {
     case mdMANUALLY    :  initModeManually(&args, argc-optind, argv+optind); break;
-    case mdVSERVER     :  initModeVserver(&args,  argc-optind, argv+optind); break;
+    case mdVSERVER     :  initModeVserver (&args, argc-optind, argv+optind); break;
     default            :  assert(false); return EXIT_FAILURE;
   }
     
@@ -378,6 +406,7 @@ int main(int argc, char *argv[])
   global_info.state.l = 0;
 
 
+  if (Global_getVerbosity()>=1) WRITE_MSG(1, "Starting to traverse directories...\n");
   Echdir(global_info.dst_list.root.d);
   visitDir("/", 0);