translate: seh removal
[ia32rtools.git] / tools / translate.c
index d51d64c..12f01f9 100644 (file)
@@ -69,6 +69,7 @@ enum op_flags {
   OPF_FPUSH  = (1 << 22), /* pushes x87 stack */
   OPF_FPOP   = (1 << 23), /* pops x87 stack */
   OPF_FSHIFT = (1 << 24), /* x87 stack shift is actually needed */
+  OPF_FINT   = (1 << 25), /* integer float op arg */
 };
 
 enum op_op {
@@ -204,7 +205,7 @@ struct parsed_opr {
   unsigned int type_from_var:1; // .. in header, sometimes wrong
   unsigned int size_mismatch:1; // type override differs from C
   unsigned int size_lt:1;  // type override is larger than C
-  unsigned int had_ds:1;   // had ds: prefix
+  unsigned int segment:7;  // had segment override (enum segment)
   const struct parsed_proto *pp; // for OPT_LABEL
   unsigned int val;
   char name[NAMELEN];
@@ -290,6 +291,15 @@ enum x87_const {
   X87_CONST_Z,
 };
 
+enum segment {
+  SEG_CS = 1,
+  SEG_DS,
+  SEG_SS,
+  SEG_ES,
+  SEG_FS,
+  SEG_GS,
+};
+
 // note: limited to 32k due to p_argnext
 #define MAX_OPS     4096
 #define MAX_ARG_GRP 2
@@ -309,6 +319,8 @@ static int g_bp_frame;
 static int g_sp_frame;
 static int g_stack_frame_used;
 static int g_stack_fsz;
+static int g_seh_found;
+static int g_seh_size;
 static int g_ida_func_attr;
 static int g_sct_func_attr;
 static int g_stack_clear_start; // in dwords
@@ -409,12 +421,12 @@ static int check_segment_prefix(const char *s)
     return 0;
 
   switch (s[0]) {
-  case 'c': return 1;
-  case 'd': return 2;
-  case 's': return 3;
-  case 'e': return 4;
-  case 'f': return 5;
-  case 'g': return 6;
+  case 'c': return SEG_CS;
+  case 'd': return SEG_DS;
+  case 's': return SEG_SS;
+  case 'e': return SEG_ES;
+  case 'f': return SEG_FS;
+  case 'g': return SEG_GS;
   default:  return 0;
   }
 }
@@ -782,9 +794,7 @@ static int parse_operand(struct parsed_opr *opr,
       opr->type = OPT_LABEL;
       ret = check_segment_prefix(label);
       if (ret != 0) {
-        if (ret >= 5)
-          aerr("fs/gs used\n");
-        opr->had_ds = 1;
+        opr->segment = ret;
         label += 3;
       }
       strcpy(opr->name, label);
@@ -833,10 +843,10 @@ static int parse_operand(struct parsed_opr *opr,
 
   ret = check_segment_prefix(words[w]);
   if (ret != 0) {
-    if (ret >= 5)
-      aerr("fs/gs used\n");
-    opr->had_ds = 1;
+    opr->segment = ret;
     memmove(words[w], words[w] + 3, strlen(words[w]) - 2);
+    if (ret == SEG_FS && IS(words[w], "0"))
+      g_seh_found = 1;
   }
   strcpy(opr->name, words[w]);
 
@@ -1071,14 +1081,14 @@ static const struct {
   { "setnle", OP_SCC,  1, 1, OPF_DATA|OPF_CC, PFO_LE, 1 },
   // x87
   { "fld",    OP_FLD,    1, 1, OPF_FPUSH },
-  { "fild",   OP_FILD,   1, 1, OPF_FPUSH },
+  { "fild",   OP_FILD,   1, 1, OPF_FPUSH|OPF_FINT },
   { "fld1",   OP_FLDc,   0, 0, OPF_FPUSH },
   { "fldln2", OP_FLDc,   0, 0, OPF_FPUSH },
   { "fldz",   OP_FLDc,   0, 0, OPF_FPUSH },
   { "fst",    OP_FST,    1, 1, 0 },
   { "fstp",   OP_FST,    1, 1, OPF_FPOP },
-  { "fist",   OP_FIST,   1, 1, 0 },
-  { "fistp",  OP_FIST,   1, 1, OPF_FPOP },
+  { "fist",   OP_FIST,   1, 1, OPF_FINT },
+  { "fistp",  OP_FIST,   1, 1, OPF_FPOP|OPF_FINT },
   { "fadd",   OP_FADD,   0, 2, 0 },
   { "faddp",  OP_FADD,   0, 2, OPF_FPOP },
   { "fdiv",   OP_FDIV,   0, 2, 0 },
@@ -1091,12 +1101,12 @@ static const struct {
   { "fdivrp", OP_FDIVR,  0, 2, OPF_FPOP },
   { "fsubr",  OP_FSUBR,  0, 2, 0 },
   { "fsubrp", OP_FSUBR,  0, 2, OPF_FPOP },
-  { "fiadd",  OP_FIADD,  1, 1, 0 },
-  { "fidiv",  OP_FIDIV,  1, 1, 0 },
-  { "fimul",  OP_FIMUL,  1, 1, 0 },
-  { "fisub",  OP_FISUB,  1, 1, 0 },
-  { "fidivr", OP_FIDIVR, 1, 1, 0 },
-  { "fisubr", OP_FISUBR, 1, 1, 0 },
+  { "fiadd",  OP_FIADD,  1, 1, OPF_FINT },
+  { "fidiv",  OP_FIDIV,  1, 1, OPF_FINT },
+  { "fimul",  OP_FIMUL,  1, 1, OPF_FINT },
+  { "fisub",  OP_FISUB,  1, 1, OPF_FINT },
+  { "fidivr", OP_FIDIVR, 1, 1, OPF_FINT },
+  { "fisubr", OP_FISUBR, 1, 1, OPF_FINT },
   { "fcom",   OP_FCOM,   0, 1, 0 },
   { "fcomp",  OP_FCOM,   0, 1, OPF_FPOP },
   { "fnstsw", OP_FNSTSW, 1, 1, OPF_DATA },
@@ -1116,6 +1126,7 @@ static const struct {
   { "_allshr",OPP_ALLSHR },
   { "_ftol",  OPP_FTOL },
   { "_CIpow", OPP_CIPOW },
+  { "abort",  OPP_ABORT },
   // must be last
   { "ud2",    OP_UD2 },
 };
@@ -1981,6 +1992,14 @@ static int stack_frame_access(struct parsed_op *po,
       }
       break;
 
+    case OPLM_QWORD:
+      ferr_assert(po, !(offset & 7));
+      if (cast[0])
+        prefix = cast;
+      snprintf(buf, buf_size, "%s%sa%d",
+        prefix, is_lea ? "&" : "", i + 1);
+      break;
+
     default:
       ferr(po, "bp_arg bad lmod: %d\n", popr->lmod);
     }
@@ -2054,10 +2073,9 @@ static int stack_frame_access(struct parsed_op *po,
       ferr_assert(po, !(sf_ofs & 7));
       ferr_assert(po, ofs_reg[0] == 0);
       // only used for x87 int64/float, float sets is_lea
-      if (is_lea)
-        snprintf(buf, buf_size, "%ssf.q[%d]", prefix, sf_ofs / 8);
-      else
-        snprintf(buf, buf_size, "*(s64 *)&sf.q[%d]", sf_ofs / 8);
+      if (!is_lea && (po->flags & OPF_FINT))
+        prefix = "*(s64 *)&";
+      snprintf(buf, buf_size, "%ssf.q[%d]", prefix, sf_ofs / 8);
       break;
 
     default:
@@ -2113,6 +2131,14 @@ static const char *check_label_read_ref(struct parsed_op *po,
   return pp->name;
 }
 
+static void check_opr(struct parsed_op *po, struct parsed_opr *popr)
+{
+  if (popr->segment == SEG_FS)
+    ferr(po, "fs: used\n");
+  if (popr->segment == SEG_GS)
+    ferr(po, "gs: used\n");
+}
+
 static char *out_src_opr(char *buf, size_t buf_size,
   struct parsed_op *po, struct parsed_opr *popr, const char *cast,
   int is_lea)
@@ -2123,6 +2149,8 @@ static char *out_src_opr(char *buf, size_t buf_size,
   char *p;
   int ret;
 
+  check_opr(po, popr);
+
   if (cast == NULL)
     cast = "";
 
@@ -2237,6 +2265,8 @@ static char *out_src_opr(char *buf, size_t buf_size,
 static char *out_dst_opr(char *buf, size_t buf_size,
        struct parsed_op *po, struct parsed_opr *popr)
 {
+  check_opr(po, popr);
+
   switch (popr->type) {
   case OPT_REG:
     switch (popr->lmod) {
@@ -2294,8 +2324,9 @@ static char *out_src_opr_u32(char *buf, size_t buf_size,
   return out_src_opr(buf, buf_size, po, popr, NULL, 0);
 }
 
-static char *out_src_opr_float(char *buf, size_t buf_size,
-  struct parsed_op *po, struct parsed_opr *popr, int need_float_stack)
+static char *out_opr_float(char *buf, size_t buf_size,
+  struct parsed_op *po, struct parsed_opr *popr, int is_src,
+  int need_float_stack)
 {
   const char *cast = NULL;
   char tmp[256];
@@ -2317,6 +2348,12 @@ static char *out_src_opr_float(char *buf, size_t buf_size,
     break;
 
   case OPT_REGMEM:
+    if (popr->lmod == OPLM_QWORD && is_stack_access(po, popr)) {
+      stack_frame_access(po, popr, buf, buf_size,
+        popr->name, "", is_src, 0);
+      break;
+    }
+    // fallthrough
   case OPT_LABEL:
   case OPT_OFFSET:
     switch (popr->lmod) {
@@ -2341,11 +2378,16 @@ static char *out_src_opr_float(char *buf, size_t buf_size,
   return buf;
 }
 
+static char *out_src_opr_float(char *buf, size_t buf_size,
+  struct parsed_op *po, struct parsed_opr *popr, int need_float_stack)
+{
+  return out_opr_float(buf, buf_size, po, popr, 1, need_float_stack);
+}
+
 static char *out_dst_opr_float(char *buf, size_t buf_size,
   struct parsed_op *po, struct parsed_opr *popr, int need_float_stack)
 {
-  // same?
-  return out_src_opr_float(buf, buf_size, po, popr, need_float_stack);
+  return out_opr_float(buf, buf_size, po, popr, 0, need_float_stack);
 }
 
 static void out_test_for_cc(char *buf, size_t buf_size,
@@ -2380,6 +2422,11 @@ static void out_test_for_cc(char *buf, size_t buf_size,
     snprintf(buf, buf_size, "(%d)", !!is_inv);
     break;
 
+  case PFO_P: // PF==1
+    snprintf(buf, buf_size, "(%sdo_parity(%s))",
+      is_inv ? "!" : "", expr);
+    break;
+
   default:
     ferr(po, "%s: unhandled parsed_flag_op: %d\n", __func__, pfo);
   }
@@ -3822,6 +3869,72 @@ tailcall:
   }
 }
 
+static int resolve_origin(int i, const struct parsed_opr *opr,
+  int magic, int *op_i, int *is_caller);
+
+static void eliminate_seh(int opcnt)
+{
+  int i, j, k, ret;
+
+  for (i = 0; i < opcnt; i++) {
+    if (ops[i].op != OP_MOV)
+      continue;
+    if (ops[i].operand[0].segment != SEG_FS)
+      continue;
+    if (!IS(opr_name(&ops[i], 0), "0"))
+      continue;
+
+    ops[i].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
+    if (ops[i].operand[1].reg == xSP) {
+      for (j = i - 1; j >= 0; j--) {
+        if (ops[j].op != OP_PUSH)
+          continue;
+        ops[j].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
+        g_seh_size += 4;
+        if (ops[j].operand[0].val == ~0)
+          break;
+        if (ops[j].operand[0].type == OPT_REG) {
+          k = -1;
+          ret = resolve_origin(j, &ops[j].operand[0],
+                  j + opcnt * 22, &k, NULL);
+          if (ret == 1)
+            ops[k].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
+        }
+      }
+      if (j < 0)
+        ferr(ops, "missing seh terminator\n");
+    }
+    else {
+      k = -1;
+      ret = resolve_origin(i, &ops[i].operand[1],
+              i + opcnt * 23, &k, NULL);
+      if (ret == 1)
+        ops[k].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
+    }
+  }
+
+  // assume all sf writes above g_seh_size to be seh related
+  // (probably unsafe but oh well)
+  for (i = 0; i < opcnt; i++) {
+    const struct parsed_opr *opr;
+    char ofs_reg[16];
+    int offset = 0;
+
+    if (ops[i].op != OP_MOV)
+      continue;
+    opr = &ops[i].operand[0];
+    if (opr->type != OPT_REGMEM)
+      continue;
+    if (!is_stack_access(&ops[i], opr))
+      continue;
+
+    parse_stack_access(&ops[i], opr->name, ofs_reg, &offset,
+      NULL, NULL, 0);
+    if (offset < 0 && offset >= -g_seh_size)
+      ops[i].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
+  }
+}
+
 static void scan_prologue_epilogue(int opcnt, int *stack_align)
 {
   int ecx_push = 0, esp_sub = 0, pusha = 0;
@@ -3829,6 +3942,13 @@ static void scan_prologue_epilogue(int opcnt, int *stack_align)
   int found;
   int i, j, l;
 
+  if (g_seh_found) {
+    eliminate_seh(opcnt);
+    // ida treats seh as part of sf
+    g_stack_fsz = g_seh_size;
+    esp_sub = 1;
+  }
+
   if (ops[0].op == OP_PUSH && IS(opr_name(&ops[0], 0), "ebp")
       && ops[1].op == OP_MOV
       && IS(opr_name(&ops[1], 0), "ebp")
@@ -3837,7 +3957,10 @@ static void scan_prologue_epilogue(int opcnt, int *stack_align)
     g_bp_frame = 1;
     ops[0].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
     ops[1].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
-    i = 2;
+
+    for (i = 2; i < opcnt; i++)
+      if (!(ops[i].flags & OPF_DONE))
+        break;
 
     if (ops[i].op == OP_PUSHA) {
       ops[i].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
@@ -3859,7 +3982,7 @@ static void scan_prologue_epilogue(int opcnt, int *stack_align)
     }
 
     if (ops[i].op == OP_SUB && IS(opr_name(&ops[i], 0), "esp")) {
-      g_stack_fsz = opr_const(&ops[i], 1);
+      g_stack_fsz += opr_const(&ops[i], 1);
       ops[i].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
       i++;
     }
@@ -3872,7 +3995,7 @@ static void scan_prologue_epilogue(int opcnt, int *stack_align)
         i++;
       }
       // and another way..
-      if (i == 2 && ops[i].op == OP_MOV && ops[i].operand[0].reg == xAX
+      if (ops[i].op == OP_MOV && ops[i].operand[0].reg == xAX
           && ops[i].operand[1].type == OPT_CONST
           && ops[i + 1].op == OP_CALL
           && IS(opr_name(&ops[i + 1], 0), "__alloca_probe"))
@@ -3961,7 +4084,10 @@ static void scan_prologue_epilogue(int opcnt, int *stack_align)
   }
 
   // non-bp frame
-  i = 0;
+  for (i = 0; i < opcnt; i++)
+    if (!(ops[i].flags & OPF_DONE))
+      break;
+
   while (ops[i].op == OP_PUSH && IS(opr_name(&ops[i], 0), "ecx")) {
     ops[i].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
     g_stack_fsz += 4;
@@ -3975,7 +4101,7 @@ static void scan_prologue_epilogue(int opcnt, int *stack_align)
     if (ops[i].op == OP_SUB && ops[i].operand[0].reg == xSP
       && ops[i].operand[1].type == OPT_CONST)
     {
-      g_stack_fsz = ops[i].operand[1].val;
+      g_stack_fsz += ops[i].operand[1].val;
       ops[i].flags |= OPF_RMD | OPF_DONE | OPF_NOREGS;
       i++;
       esp_sub = 1;
@@ -4017,7 +4143,8 @@ static void scan_prologue_epilogue(int opcnt, int *stack_align)
         ferr(&ops[i], "unhandled prologue\n");
 
       // recheck
-      i = g_stack_fsz = ecx_push = 0;
+      i = ecx_push = 0;
+      g_stack_fsz = g_seh_size;
       while (ops[i].op == OP_PUSH && IS(opr_name(&ops[i], 0), "ecx")) {
         if (!(ops[i].flags & OPF_RMD))
           break;
@@ -4046,7 +4173,7 @@ static void scan_prologue_epilogue(int opcnt, int *stack_align)
         j--;
       }
 
-      if (ecx_push > 0) {
+      if (ecx_push > 0 && !esp_sub) {
         for (l = 0; l < ecx_push; l++) {
           if (ops[j].op == OP_POP && IS(opr_name(&ops[j], 0), "ecx"))
             /* pop ecx */;
@@ -5455,6 +5582,9 @@ static void output_pp(FILE *fout, const struct parsed_proto *pp,
       if (!pp->is_fptr)
         fprintf(fout, " a%d", i + 1);
     }
+
+    if (pp->arg[i].type.is_64bit)
+      i++;
   }
   if (pp->is_vararg) {
     if (i > 0)
@@ -5499,6 +5629,7 @@ static void gen_func(FILE *fout, FILE *fhdr, const char *funcn, int opcnt)
   int label_pending = 0;
   int need_double = 0;
   int stack_align = 0;
+  int stack_fsz_adj = 0;
   int regmask_save = 0; // used regs saved/restored in this func
   int regmask_arg;      // regs from this function args (fastcall, etc)
   int regmask_ret;      // regs needed on ret
@@ -5518,6 +5649,7 @@ static void gen_func(FILE *fout, FILE *fhdr, const char *funcn, int opcnt)
 
   g_bp_frame = g_sp_frame = g_stack_fsz = 0;
   g_stack_frame_used = 0;
+  g_seh_size = 0;
   if (g_sct_func_attr & SCTFA_CLEAR_REGS)
     regmask_init = g_regmask_init;
 
@@ -5537,6 +5669,20 @@ static void gen_func(FILE *fout, FILE *fhdr, const char *funcn, int opcnt)
   // - handle ebp/esp frame, remove ops related to it
   scan_prologue_epilogue(opcnt, &stack_align);
 
+  // handle a case where sf size is unalignment, but is
+  // placed in a way that elements are still aligned
+  if (g_stack_fsz & 4) {
+    for (i = 0; i < g_eqcnt; i++) {
+      if (g_eqs[i].lmod != OPLM_QWORD)
+        continue;
+      if (!(g_eqs[i].offset & 4)) {
+        g_stack_fsz += 4;
+        stack_fsz_adj = 4;
+      }
+      break;
+    }
+  }
+
   // pass3:
   // - remove dead labels
   // - set regs needed at ret
@@ -5897,6 +6043,9 @@ static void gen_func(FILE *fout, FILE *fhdr, const char *funcn, int opcnt)
 
   // output starts here
 
+  if (g_seh_found)
+    fprintf(fout, "// had SEH\n");
+
   // define userstack size
   if (g_func_pp->is_userstack) {
     fprintf(fout, "#ifndef US_SZ_%s\n", g_func_pp->name);
@@ -5978,6 +6127,9 @@ static void gen_func(FILE *fout, FILE *fhdr, const char *funcn, int opcnt)
 
   // declare stack frame, va_arg
   if (g_stack_fsz) {
+    if (stack_fsz_adj)
+      fprintf(fout, "  // stack_fsz_adj %d\n", stack_fsz_adj);
+
     fprintf(fout, "  union { u32 d[%d];", (g_stack_fsz + 3) / 4);
     if (g_func_lmods & (1 << OPLM_WORD))
       fprintf(fout, " u16 w[%d];", (g_stack_fsz + 1) / 2);
@@ -5985,6 +6137,7 @@ static void gen_func(FILE *fout, FILE *fhdr, const char *funcn, int opcnt)
       fprintf(fout, " u8 b[%d];", g_stack_fsz);
     if (g_func_lmods & (1 << OPLM_QWORD))
       fprintf(fout, " double q[%d];", (g_stack_fsz + 7) / 8);
+
     if (stack_align > 8)
       ferr(ops, "unhandled stack align of %d\n", stack_align);
     else if (stack_align == 8)
@@ -7435,7 +7588,7 @@ static void gen_func(FILE *fout, FILE *fhdr, const char *funcn, int opcnt)
         z_check = ((long)po->datap >> 16) & 1;
         out_src_opr_float(buf1, sizeof(buf1), po, &po->operand[0],
           need_float_stack);
-        if (mask == 0x0100) { // C0 -> <
+        if (mask == 0x0100 || mask == 0x0500) { // C0 -> <
           fprintf(fout, "  f_sw = %s < %s ? 0x0100 : 0;",
             float_st0, buf1);
         }
@@ -7608,7 +7761,8 @@ static void gen_func(FILE *fout, FILE *fhdr, const char *funcn, int opcnt)
         last_arith_dst = NULL;
     }
 
-    label_pending = 0;
+    if (!no_output)
+      label_pending = 0;
   }
 
   if (g_stack_fsz && !g_stack_frame_used)
@@ -7922,6 +8076,7 @@ static void gen_hdr(const char *funcn, int opcnt)
 
   g_bp_frame = g_sp_frame = g_stack_fsz = 0;
   g_stack_frame_used = 0;
+  g_seh_size = 0;
 
   // pass1:
   // - resolve all branches
@@ -9100,6 +9255,7 @@ do_pending_endp:
       skip_warned = 0;
       g_skip_func = 0;
       g_func[0] = 0;
+      g_seh_found = 0;
       func_chunks_used = 0;
       func_chunk_i = -1;
       if (pi != 0) {
@@ -9151,7 +9307,7 @@ do_pending_endp:
         aerr("endp '%s' while skipping code\n", words[0]);
 
       if ((g_ida_func_attr & IDAFA_THUNK) && pi == 1
-        && ops[0].op == OP_JMP && ops[0].operand[0].had_ds)
+        && ops[0].op == OP_JMP && ops[0].operand[0].segment)
       {
         // import jump
         g_skip_func = 1;