drc: split disassembly to separate pass
[picodrive.git] / cpu / drc / emit_x86.c
index 6ef8ede..f14430b 100644 (file)
@@ -1,7 +1,15 @@
 /*
+ * Basic macros to emit x86 instructions and some utils
+ * Copyright (C) 2008,2009,2010 notaz
+ *
+ * This work is licensed under the terms of MAME license.
+ * See COPYING file in the top-level directory.
+ *
+ * note:
+ *  temp registers must be eax-edx due to use of SETcc and r/w 8/16.
  * note about silly things like emith_eor_r_r_r:
- * these are here because the compiler was designed
- * for ARM as it's primary target.
+ *  these are here because the compiler was designed
+ *  for ARM as it's primary target.
  */
 #include <stdarg.h>
 
@@ -9,37 +17,38 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 
 #define CONTEXT_REG xBP
 
-#define IOP_JMP 0xeb
-#define IOP_JO  0x70
-#define IOP_JNO 0x71
-#define IOP_JB  0x72
-#define IOP_JAE 0x73
-#define IOP_JE  0x74
-#define IOP_JNE 0x75
-#define IOP_JBE 0x76
-#define IOP_JA  0x77
-#define IOP_JS  0x78
-#define IOP_JNS 0x79
-#define IOP_JL  0x7c
-#define IOP_JGE 0x7d
-#define IOP_JLE 0x7e
-#define IOP_JG  0x7f
+#define ICOND_JO  0x00
+#define ICOND_JNO 0x01
+#define ICOND_JB  0x02
+#define ICOND_JAE 0x03
+#define ICOND_JE  0x04
+#define ICOND_JNE 0x05
+#define ICOND_JBE 0x06
+#define ICOND_JA  0x07
+#define ICOND_JS  0x08
+#define ICOND_JNS 0x09
+#define ICOND_JL  0x0c
+#define ICOND_JGE 0x0d
+#define ICOND_JLE 0x0e
+#define ICOND_JG  0x0f
+
+#define IOP_JMP   0xeb
 
 // unified conditions (we just use rel8 jump instructions for x86)
-#define DCOND_EQ IOP_JE
-#define DCOND_NE IOP_JNE
-#define DCOND_MI IOP_JS      // MInus
-#define DCOND_PL IOP_JNS     // PLus or zero
-#define DCOND_HI IOP_JA      // higher (unsigned)
-#define DCOND_HS IOP_JAE     // higher || same (unsigned)
-#define DCOND_LO IOP_JB      // lower (unsigned)
-#define DCOND_LS IOP_JBE     // lower || same (unsigned)
-#define DCOND_GE IOP_JGE     // greater || equal (signed)
-#define DCOND_GT IOP_JG      // greater (signed)
-#define DCOND_LE IOP_JLE     // less || equal (signed)
-#define DCOND_LT IOP_JL      // less (signed)
-#define DCOND_VS IOP_JO      // oVerflow Set
-#define DCOND_VC IOP_JNO     // oVerflow Clear
+#define DCOND_EQ ICOND_JE
+#define DCOND_NE ICOND_JNE
+#define DCOND_MI ICOND_JS      // MInus
+#define DCOND_PL ICOND_JNS     // PLus or zero
+#define DCOND_HI ICOND_JA      // higher (unsigned)
+#define DCOND_HS ICOND_JAE     // higher || same (unsigned)
+#define DCOND_LO ICOND_JB      // lower (unsigned)
+#define DCOND_LS ICOND_JBE     // lower || same (unsigned)
+#define DCOND_GE ICOND_JGE     // greater || equal (signed)
+#define DCOND_GT ICOND_JG      // greater (signed)
+#define DCOND_LE ICOND_JLE     // less || equal (signed)
+#define DCOND_LT ICOND_JL      // less (signed)
+#define DCOND_VS ICOND_JO      // oVerflow Set
+#define DCOND_VC ICOND_JNO     // oVerflow Clear
 
 #define EMIT_PTR(ptr, val, type) \
        *(type *)(ptr) = val
@@ -60,17 +69,21 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 #define EMIT_SIB(scale,index,base) \
        EMIT(((scale)<<6) | ((index)<<3) | (base), u8)
 
-#define EMIT_OP_MODRM(op,mod,r,rm) { \
+#define EMIT_OP_MODRM(op,mod,r,rm) do { \
        EMIT_OP(op); \
        EMIT_MODRM(mod, r, rm); \
-}
+} while (0)
 
 #define JMP8_POS(ptr) \
        ptr = tcache_ptr; \
        tcache_ptr += 2
 
 #define JMP8_EMIT(op, ptr) \
-       EMIT_PTR(ptr, op, u8); \
+       EMIT_PTR(ptr, 0x70|(op), u8); \
+       EMIT_PTR(ptr + 1, (tcache_ptr - (ptr+2)), u8)
+
+#define JMP8_EMIT_NC(ptr) \
+       EMIT_PTR(ptr, IOP_JMP, u8); \
        EMIT_PTR(ptr + 1, (tcache_ptr - (ptr+2)), u8)
 
 // _r_r
@@ -132,6 +145,17 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 }
 
 // _r_r_r
+#define emith_add_r_r_r(d, s1, s2) { \
+       if (d == s1) { \
+               emith_add_r_r(d, s2); \
+       } else if (d == s2) { \
+               emith_add_r_r(d, s1); \
+       } else { \
+               emith_move_r_r(d, s1); \
+               emith_add_r_r(d, s2); \
+       } \
+}
+
 #define emith_eor_r_r_r(d, s1, s2) { \
        if (d == s1) { \
                emith_eor_r_r(d, s2); \
@@ -168,18 +192,23 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 #define emith_move_r_imm_s8(r, imm) \
        emith_move_r_imm(r, (u32)(signed int)(signed char)(imm))
 
-#define emith_arith_r_imm(op, r, imm) { \
+#define emith_arith_r_imm(op, r, imm) do { \
        EMIT_OP_MODRM(0x81, 3, op, r); \
        EMIT(imm, u32); \
-}
+} while (0)
 
-// 2 - adc, 3 - sbb
 #define emith_add_r_imm(r, imm) \
        emith_arith_r_imm(0, r, imm)
 
 #define emith_or_r_imm(r, imm) \
        emith_arith_r_imm(1, r, imm)
 
+#define emith_adc_r_imm(r, imm) \
+       emith_arith_r_imm(2, r, imm)
+
+#define emith_sbc_r_imm(r, imm) \
+       emith_arith_r_imm(3, r, imm) // sbb
+
 #define emith_and_r_imm(r, imm) \
        emith_arith_r_imm(4, r, imm)
 
@@ -192,29 +221,24 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 #define emith_cmp_r_imm(r, imm) \
        emith_arith_r_imm(7, r, imm)
 
-#define emith_tst_r_imm(r, imm) { \
+#define emith_tst_r_imm(r, imm) do { \
        EMIT_OP_MODRM(0xf7, 3, 0, r); \
        EMIT(imm, u32); \
-}
+} while (0)
 
 // fake
 #define emith_bic_r_imm(r, imm) \
        emith_arith_r_imm(4, r, ~(imm))
 
 // fake conditionals (using SJMP instead)
-#define emith_add_r_imm_c(cond, r, imm) { \
-       (void)(cond); \
-       emith_add_r_imm(r, imm); \
-}
-
-#define emith_or_r_imm_c(cond, r, imm) { \
+#define emith_move_r_imm_c(cond, r, imm) { \
        (void)(cond); \
-       emith_or_r_imm(r, imm); \
+       emith_move_r_imm(r, imm); \
 }
 
-#define emith_eor_r_imm_c(cond, r, imm) { \
+#define emith_add_r_imm_c(cond, r, imm) { \
        (void)(cond); \
-       emith_eor_r_imm(r, imm); \
+       emith_add_r_imm(r, imm); \
 }
 
 #define emith_sub_r_imm_c(cond, r, imm) { \
@@ -222,16 +246,45 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
        emith_sub_r_imm(r, imm); \
 }
 
-#define emith_bic_r_imm_c(cond, r, imm) { \
-       (void)(cond); \
-       emith_bic_r_imm(r, imm); \
-}
+#define emith_or_r_imm_c(cond, r, imm) \
+       emith_or_r_imm(r, imm)
+#define emith_eor_r_imm_c(cond, r, imm) \
+       emith_eor_r_imm(r, imm)
+#define emith_bic_r_imm_c(cond, r, imm) \
+       emith_bic_r_imm(r, imm)
+#define emith_ror_c(cond, d, s, cnt) \
+       emith_ror(d, s, cnt)
+
+#define emith_read_r_r_offs_c(cond, r, rs, offs) \
+       emith_read_r_r_offs(r, rs, offs)
+#define emith_write_r_r_offs_c(cond, r, rs, offs) \
+       emith_write_r_r_offs(r, rs, offs)
+#define emith_read8_r_r_offs_c(cond, r, rs, offs) \
+       emith_read8_r_r_offs(r, rs, offs)
+#define emith_write8_r_r_offs_c(cond, r, rs, offs) \
+       emith_write8_r_r_offs(r, rs, offs)
+#define emith_read16_r_r_offs_c(cond, r, rs, offs) \
+       emith_read16_r_r_offs(r, rs, offs)
+#define emith_write16_r_r_offs_c(cond, r, rs, offs) \
+       emith_write16_r_r_offs(r, rs, offs)
+#define emith_jump_reg_c(cond, r) \
+       emith_jump_reg(r)
+#define emith_jump_ctx_c(cond, offs) \
+       emith_jump_ctx(offs)
+#define emith_ret_c(cond) \
+       emith_ret()
 
 // _r_r_imm
+#define emith_add_r_r_imm(d, s, imm) { \
+       if (d != s) \
+               emith_move_r_r(d, s); \
+       emith_add_r_imm(d, imm); \
+}
+
 #define emith_and_r_r_imm(d, s, imm) { \
        if (d != s) \
                emith_move_r_r(d, s); \
-       emith_and_r_imm(d, imm) \
+       emith_and_r_imm(d, imm); \
 }
 
 // shift
@@ -267,6 +320,11 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 #define emith_push(r) \
        EMIT_OP(0x50 + (r))
 
+#define emith_push_imm(imm) { \
+       EMIT_OP(0x68); \
+       EMIT(imm, u32); \
+}
+
 #define emith_pop(r) \
        EMIT_OP(0x58 + (r))
 
@@ -293,21 +351,9 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 
 #define emith_setc(r) { \
        EMIT_OP(0x0f); \
-       EMIT(0x92, u8); \
-       EMIT_MODRM(3, 0, r); /* SETC r */ \
+       EMIT_OP_MODRM(0x92, 3, 0, r); /* SETC r */ \
 }
 
-// put bit0 of r0 to carry
-#define emith_set_carry(r0) { \
-       emith_tst_r_imm(r0, 1); /* clears C */ \
-       EMITH_SJMP_START(DCOND_EQ); \
-       EMIT_OP(0xf9); /* STC */ \
-       EMITH_SJMP_END(DCOND_EQ); \
-}
-
-// put bit0 of r0 to carry (for subtraction)
-#define emith_set_carry_sub emith_set_carry
-
 // XXX: stupid mess
 #define emith_mul_(op, dlo, dhi, s1, s2) { \
        int rmr; \
@@ -365,6 +411,7 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 #define emith_subf_r_r   emith_sub_r_r
 #define emith_adcf_r_r   emith_adc_r_r
 #define emith_sbcf_r_r   emith_sbc_r_r
+#define emith_eorf_r_r   emith_eor_r_r
 #define emith_negcf_r_r  emith_negc_r_r
 
 #define emith_lslf  emith_lsl
@@ -375,25 +422,115 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 #define emith_rolcf emith_rolc
 #define emith_rorcf emith_rorc
 
-// XXX: offs is 8bit only
-#define emith_ctx_read(r, offs) { \
-       EMIT_OP_MODRM(0x8b, 1, r, xBP); \
-       EMIT(offs, u8);         /* mov tmp, [ebp+#offs] */ \
+#define emith_deref_op(op, r, rs, offs) do { \
+       /* mov r <-> [ebp+#offs] */ \
+       if ((offs) >= 0x80) { \
+               EMIT_OP_MODRM(op, 2, r, rs); \
+               EMIT(offs, u32); \
+       } else { \
+               EMIT_OP_MODRM(op, 1, r, rs); \
+               EMIT(offs, u8); \
+       } \
+} while (0)
+
+#define is_abcdx(r) (xAX <= (r) && (r) <= xDX)
+
+#define emith_read_r_r_offs(r, rs, offs) \
+       emith_deref_op(0x8b, r, rs, offs)
+
+#define emith_write_r_r_offs(r, rs, offs) \
+       emith_deref_op(0x89, r, rs, offs)
+
+// note: don't use prefixes on this
+#define emith_read8_r_r_offs(r, rs, offs) do { \
+       int r_ = r; \
+       if (!is_abcdx(r)) \
+               r_ = rcache_get_tmp(); \
+       emith_deref_op(0x8a, r_, rs, offs); \
+       if ((r) != r_) { \
+               emith_move_r_r(r, r_); \
+               rcache_free_tmp(r_); \
+       } \
+} while (0)
+
+#define emith_write8_r_r_offs(r, rs, offs) do {\
+       int r_ = r; \
+       if (!is_abcdx(r)) { \
+               r_ = rcache_get_tmp(); \
+               emith_move_r_r(r_, r); \
+       } \
+       emith_deref_op(0x88, r_, rs, offs); \
+       if ((r) != r_) \
+               rcache_free_tmp(r_); \
+} while (0)
+
+#define emith_read16_r_r_offs(r, rs, offs) { \
+       EMIT(0x66, u8); /* operand override */ \
+       emith_read_r_r_offs(r, rs, offs); \
+}
+
+#define emith_write16_r_r_offs(r, rs, offs) { \
+       EMIT(0x66, u8); \
+       emith_write_r_r_offs(r, rs, offs); \
 }
 
-#define emith_ctx_write(r, offs) { \
-       EMIT_OP_MODRM(0x89, 1, r, xBP); \
-       EMIT(offs, u8);         /* mov [ebp+#offs], tmp */ \
+#define emith_ctx_read(r, offs) \
+       emith_read_r_r_offs(r, CONTEXT_REG, offs)
+
+#define emith_ctx_write(r, offs) \
+       emith_write_r_r_offs(r, CONTEXT_REG, offs)
+
+#define emith_ctx_read_multiple(r, offs, cnt, tmpr) do { \
+       int r_ = r, offs_ = offs, cnt_ = cnt;     \
+       for (; cnt_ > 0; r_++, offs_ += 4, cnt_--) \
+               emith_ctx_read(r_, offs_);        \
+} while (0)
+
+#define emith_ctx_write_multiple(r, offs, cnt, tmpr) do { \
+       int r_ = r, offs_ = offs, cnt_ = cnt;     \
+       for (; cnt_ > 0; r_++, offs_ += 4, cnt_--) \
+               emith_ctx_write(r_, offs_);       \
+} while (0)
+
+// assumes EBX is free
+#define emith_ret_to_ctx(offs) { \
+       emith_pop(xBX); \
+       emith_ctx_write(xBX, offs); \
 }
 
 #define emith_jump(ptr) { \
-       u32 disp = (u32)ptr - ((u32)tcache_ptr + 5); \
+       u32 disp = (u32)(ptr) - ((u32)tcache_ptr + 5); \
        EMIT_OP(0xe9); \
        EMIT(disp, u32); \
 }
 
+#define emith_jump_patchable(target) \
+       emith_jump(target)
+
+#define emith_jump_cond(cond, ptr) { \
+       u32 disp = (u32)(ptr) - ((u32)tcache_ptr + 6); \
+       EMIT(0x0f, u8); \
+       EMIT_OP(0x80 | (cond)); \
+       EMIT(disp, u32); \
+}
+
+#define emith_jump_cond_patchable(cond, target) \
+       emith_jump_cond(cond, target)
+
+#define emith_jump_patch(ptr, target) do { \
+       u32 disp_ = (u32)(target) - ((u32)(ptr) + 4); \
+       u32 offs_ = (*(u8 *)(ptr) == 0x0f) ? 2 : 1; \
+       EMIT_PTR((u8 *)(ptr) + offs_, disp_ - offs_, u32); \
+} while (0)
+
+#define emith_jump_at(ptr, target) { \
+       u32 disp_ = (u32)(target) - ((u32)(ptr) + 5); \
+       EMIT_PTR(ptr, 0xe9, u8); \
+       EMIT_PTR((u8 *)(ptr) + 1, disp_, u32); \
+}
+
 #define emith_call(ptr) { \
-       u32 disp = (u32)ptr - ((u32)tcache_ptr + 5); \
+       u32 disp = (u32)(ptr) - ((u32)tcache_ptr + 5); \
        EMIT_OP(0xe8); \
        EMIT(disp, u32); \
 }
@@ -401,21 +538,58 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 #define emith_call_cond(cond, ptr) \
        emith_call(ptr)
 
-// "simple" or "short" jump
-#define EMITH_SJMP_START(cond) { \
+#define emith_call_reg(r) \
+       EMIT_OP_MODRM(0xff, 3, 2, r)
+
+#define emith_call_ctx(offs) { \
+       EMIT_OP_MODRM(0xff, 2, 2, CONTEXT_REG); \
+       EMIT(offs, u32); \
+}
+
+#define emith_ret() \
+       EMIT_OP(0xc3)
+
+#define emith_jump_reg(r) \
+       EMIT_OP_MODRM(0xff, 3, 4, r)
+
+#define emith_jump_ctx(offs) { \
+       EMIT_OP_MODRM(0xff, 2, 4, CONTEXT_REG); \
+       EMIT(offs, u32); \
+}
+
+#define emith_push_ret()
+
+#define emith_pop_and_ret() \
+       emith_ret()
+
+#define EMITH_JMP_START(cond) { \
        u8 *cond_ptr; \
        JMP8_POS(cond_ptr)
 
-#define EMITH_SJMP_END(cond) \
+#define EMITH_JMP_END(cond) \
        JMP8_EMIT(cond, cond_ptr); \
 }
 
-#define host_arg2reg(rd, arg) \
-       switch (arg) { \
-       case 0: rd = xAX; break; \
-       case 1: rd = xDX; break; \
-       case 2: rd = xCX; break; \
-       }
+#define EMITH_JMP3_START(cond) { \
+       u8 *cond_ptr, *else_ptr; \
+       JMP8_POS(cond_ptr)
+
+#define EMITH_JMP3_MID(cond) \
+       JMP8_POS(else_ptr); \
+       JMP8_EMIT(cond, cond_ptr);
+
+#define EMITH_JMP3_END() \
+       JMP8_EMIT_NC(else_ptr); \
+}
+
+// "simple" jump (no more then a few insns)
+// ARM will use conditional instructions here
+#define EMITH_SJMP_START EMITH_JMP_START
+#define EMITH_SJMP_END EMITH_JMP_END
+
+#define EMITH_SJMP3_START EMITH_JMP3_START
+#define EMITH_SJMP3_MID EMITH_JMP3_MID
+#define EMITH_SJMP3_END EMITH_JMP3_END
 
 #define emith_pass_arg_r(arg, reg) { \
        int rd = 7; \
@@ -429,11 +603,40 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
        emith_move_r_imm(rd, imm); \
 }
 
+#define host_instructions_updated(base, end)
+
+#define host_arg2reg(rd, arg) \
+       switch (arg) { \
+       case 0: rd = xAX; break; \
+       case 1: rd = xDX; break; \
+       case 2: rd = xCX; break; \
+       }
+
 /* SH2 drc specific */
-#define emith_sh2_test_t() { \
-       int t = rcache_get_reg(SHR_SR, RC_GR_READ); \
-       EMIT_OP_MODRM(0xf6, 3, 0, t); \
-       EMIT(0x01, u8); /* test <reg>, byte 1 */ \
+#define emith_sh2_drc_entry() { \
+       emith_push(xBX);        \
+       emith_push(xBP);        \
+       emith_push(xSI);        \
+       emith_push(xDI);        \
+}
+
+#define emith_sh2_drc_exit() {  \
+       emith_pop(xDI);         \
+       emith_pop(xSI);         \
+       emith_pop(xBP);         \
+       emith_pop(xBX);         \
+       emith_ret();            \
+}
+
+// assumes EBX is free temporary
+#define emith_sh2_wcall(a, tab) { \
+       int arg2_; \
+       host_arg2reg(arg2_, 2); \
+       emith_lsr(xBX, a, SH2_WRITE_SHIFT); \
+       EMIT_OP_MODRM(0x8b, 0, xBX, 4); \
+       EMIT_SIB(2, xBX, tab); /* mov ebx, [tab + ebx * 4] */ \
+       emith_ctx_read(arg2_, offsetof(SH2, is_slave)); \
+       emith_jump_reg(xBX); \
 }
 
 #define emith_sh2_dtbf_loop() { \
@@ -449,7 +652,7 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
        emith_asr(tmp_, cr, 2+12);                       \
        JMP8_POS(jmp0); /* no negative cycles */         \
        emith_move_r_imm(tmp_, 0);                       \
-       JMP8_EMIT(IOP_JNS, jmp0);                        \
+       JMP8_EMIT(ICOND_JNS, jmp0);                      \
        emith_and_r_imm(cr, 0xffe);                      \
        emith_subf_r_r(rn, tmp_);                        \
        JMP8_POS(jmp1); /* no overflow */                \
@@ -458,26 +661,23 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
        emith_or_r_r(cr, rn);                            \
        emith_or_r_imm(cr, 1);                           \
        emith_move_r_imm(rn, 0);                         \
-       JMP8_EMIT(IOP_JA, jmp1);                         \
+       JMP8_EMIT(ICOND_JA, jmp1);                       \
        rcache_free_tmp(tmp_);                           \
 }
 
-#define emith_write_sr(srcr) { \
+#define emith_write_sr(sr, srcr) { \
        int tmp_ = rcache_get_tmp(); \
-       int srr = rcache_get_reg(SHR_SR, RC_GR_RMW); \
-       emith_clear_msb(tmp_, srcr, 20); \
-       emith_bic_r_imm(srr, 0xfff); \
-       emith_or_r_r(srr, tmp_); \
+       emith_clear_msb(tmp_, srcr, 22); \
+       emith_bic_r_imm(sr, 0x3ff); \
+       emith_or_r_r(sr, tmp_); \
        rcache_free_tmp(tmp_); \
 }
 
-#define emith_carry_to_t(srr, is_sub) { \
-       int tmp_ = rcache_get_tmp(); \
-       emith_setc(tmp_); \
-       emith_bic_r_imm(srr, 1); \
-       EMIT_OP_MODRM(0x08, 3, tmp_, srr); /* OR srrl, tmpl */ \
-       rcache_free_tmp(tmp_); \
-}
+#define emith_tpop_carry(sr, is_sub) \
+       emith_lsr(sr, sr, 1)
+
+#define emith_tpush_carry(sr, is_sub) \
+       emith_adc_r_r(sr, sr)
 
 /*
  * if Q
@@ -489,15 +689,16 @@ enum { xAX = 0, xCX, xDX, xBX, xSP, xBP, xSI, xDI };
 #define emith_sh2_div1_step(rn, rm, sr) {         \
        u8 *jmp0, *jmp1;                          \
        int tmp_ = rcache_get_tmp();              \
+       emith_eor_r_r(tmp_, tmp_);                \
        emith_tst_r_imm(sr, Q);  /* if (Q ^ M) */ \
        JMP8_POS(jmp0);          /* je do_sub */  \
        emith_add_r_r(rn, rm);                    \
        JMP8_POS(jmp1);          /* jmp done */   \
-       JMP8_EMIT(IOP_JE, jmp0); /* do_sub: */    \
+       JMP8_EMIT(ICOND_JE, jmp0); /* do_sub: */  \
        emith_sub_r_r(rn, rm);                    \
-       JMP8_EMIT(IOP_JMP, jmp1);/* done: */      \
+       JMP8_EMIT_NC(jmp1);      /* done: */      \
        emith_setc(tmp_);                         \
-       EMIT_OP_MODRM(0x30, 3, tmp_, sr); /* T = Q1 ^ Q2 (byte) */ \
+       EMIT_OP_MODRM(0x31, 3, tmp_, sr); /* T = Q1 ^ Q2 */ \
        rcache_free_tmp(tmp_);                    \
 }