deps/lightrec/lightrec-private.h

   1 /* SPDX-License-Identifier: LGPL-2.1-or-later */
   2 /*
   3  * Copyright (C) 2016-2021 Paul Cercueil <paul@crapouillou.net>
   4  */
   5
   6 #ifndef __LIGHTREC_PRIVATE_H__
   7 #define __LIGHTREC_PRIVATE_H__
   8
   9 #include "lightrec-config.h"
  10 #include "disassembler.h"
  11 #include "lightrec.h"
  12
  13 #if ENABLE_THREADED_COMPILER
  14 #include <stdatomic.h>
  15 #endif
  16
  17 #define ARRAY_SIZE(x) (sizeof(x) ? sizeof(x) / sizeof((x)[0]) : 0)
  18
  19 #ifdef __GNUC__
  20 #       define likely(x)       __builtin_expect(!!(x),1)
  21 #       define unlikely(x)     __builtin_expect(!!(x),0)
  22 #else
  23 #       define likely(x)       (x)
  24 #       define unlikely(x)     (x)
  25 #endif
  26
  27 #if __BYTE_ORDER__ == __ORDER_BIG_ENDIAN__
  28 #       define LE32TOH(x)       __builtin_bswap32(x)
  29 #       define HTOLE32(x)       __builtin_bswap32(x)
  30 #       define LE16TOH(x)       __builtin_bswap16(x)
  31 #       define HTOLE16(x)       __builtin_bswap16(x)
  32 #else
  33 #       define LE32TOH(x)       (x)
  34 #       define HTOLE32(x)       (x)
  35 #       define LE16TOH(x)       (x)
  36 #       define HTOLE16(x)       (x)
  37 #endif
  38
  39 #if HAS_DEFAULT_ELM
  40 #define SET_DEFAULT_ELM(table, value) [0 ... ARRAY_SIZE(table) - 1] = value
  41 #else
  42 #define SET_DEFAULT_ELM(table, value) [0] = NULL
  43 #endif
  44
  45 /* Flags for (struct block *)->flags */
  46 #define BLOCK_NEVER_COMPILE     BIT(0)
  47 #define BLOCK_SHOULD_RECOMPILE  BIT(1)
  48 #define BLOCK_FULLY_TAGGED      BIT(2)
  49 #define BLOCK_IS_DEAD           BIT(3)
  50 #define BLOCK_IS_MEMSET         BIT(4)
  51
  52 #define RAM_SIZE        0x200000
  53 #define BIOS_SIZE       0x80000
  54
  55 #define CODE_LUT_SIZE   ((RAM_SIZE + BIOS_SIZE) >> 2)
  56
  57 #define REG_LO 32
  58 #define REG_HI 33
  59
  60 /* Definition of jit_state_t (avoids inclusion of <lightning.h>) */
  61 struct jit_node;
  62 struct jit_state;
  63 typedef struct jit_state jit_state_t;
  64
  65 struct blockcache;
  66 struct recompiler;
  67 struct regcache;
  68 struct opcode;
  69 struct tinymm;
  70 struct reaper;
  71
  72 struct block {
  73         jit_state_t *_jit;
  74         struct opcode *opcode_list;
  75         void (*function)(void);
  76         const u32 *code;
  77         struct block *next;
  78         u32 pc;
  79         u32 hash;
  80         unsigned int code_size;
  81         u16 nb_ops;
  82         u8 flags;
  83 #if ENABLE_THREADED_COMPILER
  84         atomic_flag op_list_freed;
  85 #endif
  86 };
  87
  88 struct lightrec_branch {
  89         struct jit_node *branch;
  90         u32 target;
  91 };
  92
  93 struct lightrec_branch_target {
  94         struct jit_node *label;
  95         u32 offset;
  96 };
  97
  98 enum c_wrappers {
  99         C_WRAPPER_RW,
 100         C_WRAPPER_RW_GENERIC,
 101         C_WRAPPER_MTC,
 102         C_WRAPPER_CP,
 103         C_WRAPPER_SYSCALL,
 104         C_WRAPPER_BREAK,
 105         C_WRAPPERS_COUNT,
 106 };
 107
 108 struct lightrec_cstate {
 109         struct lightrec_state *state;
 110
 111         struct jit_node *branches[512];
 112         struct lightrec_branch local_branches[512];
 113         struct lightrec_branch_target targets[512];
 114         unsigned int nb_branches;
 115         unsigned int nb_local_branches;
 116         unsigned int nb_targets;
 117         unsigned int cycles;
 118
 119         struct regcache *reg_cache;
 120 };
 121
 122 struct lightrec_state {
 123         struct lightrec_registers regs;
 124         u32 next_pc;
 125         u32 current_cycle;
 126         u32 target_cycle;
 127         u32 exit_flags;
 128         u32 old_cycle_counter;
 129         u32 c_wrapper_arg;
 130         struct block *dispatcher, *c_wrapper_block;
 131         void *c_wrappers[C_WRAPPERS_COUNT];
 132         void *wrappers_eps[C_WRAPPERS_COUNT];
 133         struct tinymm *tinymm;
 134         struct blockcache *block_cache;
 135         struct recompiler *rec;
 136         struct lightrec_cstate *cstate;
 137         struct reaper *reaper;
 138         void (*eob_wrapper_func)(void);
 139         void (*memset_func)(void);
 140         void (*get_next_block)(void);
 141         struct lightrec_ops ops;
 142         unsigned int nb_precompile;
 143         unsigned int nb_maps;
 144         const struct lightrec_mem_map *maps;
 145         uintptr_t offset_ram, offset_bios, offset_scratch;
 146         _Bool mirrors_mapped;
 147         _Bool invalidate_from_dma_only;
 148         void *code_lut[];
 149 };
 150
 151 u32 lightrec_rw(struct lightrec_state *state, union code op,
 152                 u32 addr, u32 data, u16 *flags,
 153                 struct block *block);
 154
 155 void lightrec_free_block(struct lightrec_state *state, struct block *block);
 156
 157 void remove_from_code_lut(struct blockcache *cache, struct block *block);
 158
 159 const struct lightrec_mem_map *
 160 lightrec_get_map(struct lightrec_state *state, void **host, u32 kaddr);
 161
 162 static inline u32 kunseg(u32 addr)
 163 {
 164         if (unlikely(addr >= 0xa0000000))
 165                 return addr - 0xa0000000;
 166         else
 167                 return addr &~ 0x80000000;
 168 }
 169
 170 static inline u32 lut_offset(u32 pc)
 171 {
 172         if (pc & BIT(28))
 173                 return ((pc & (BIOS_SIZE - 1)) + RAM_SIZE) >> 2; // BIOS
 174         else
 175                 return (pc & (RAM_SIZE - 1)) >> 2; // RAM
 176 }
 177
 178 static inline u32 get_ds_pc(const struct block *block, u16 offset, s16 imm)
 179 {
 180         u16 flags = block->opcode_list[offset].flags;
 181
 182         offset += !!(OPT_SWITCH_DELAY_SLOTS && (flags & LIGHTREC_NO_DS));
 183
 184         return block->pc + (offset + imm << 2);
 185 }
 186
 187 static inline u32 get_branch_pc(const struct block *block, u16 offset, s16 imm)
 188 {
 189         u16 flags = block->opcode_list[offset].flags;
 190
 191         offset -= !!(OPT_SWITCH_DELAY_SLOTS && (flags & LIGHTREC_NO_DS));
 192
 193         return block->pc + (offset + imm << 2);
 194 }
 195
 196 void lightrec_mtc(struct lightrec_state *state, union code op, u32 data);
 197 u32 lightrec_mfc(struct lightrec_state *state, union code op);
 198 void lightrec_rfe(struct lightrec_state *state);
 199 void lightrec_cp(struct lightrec_state *state, union code op);
 200
 201 struct lightrec_cstate * lightrec_create_cstate(struct lightrec_state *state);
 202 void lightrec_free_cstate(struct lightrec_cstate *cstate);
 203
 204 union code lightrec_read_opcode(struct lightrec_state *state, u32 pc);
 205
 206 struct block * lightrec_get_block(struct lightrec_state *state, u32 pc);
 207 int lightrec_compile_block(struct lightrec_cstate *cstate, struct block *block);
 208 void lightrec_free_opcode_list(struct lightrec_state *state, struct block *block);
 209
 210 unsigned int lightrec_cycles_of_opcode(union code code);
 211
 212 static inline u8 get_mult_div_lo(union code c)
 213 {
 214         return (OPT_FLAG_MULT_DIV && c.r.rd) ? c.r.rd : REG_LO;
 215 }
 216
 217 static inline u8 get_mult_div_hi(union code c)
 218 {
 219         return (OPT_FLAG_MULT_DIV && c.r.imm) ? c.r.imm : REG_HI;
 220 }
 221
 222 #endif /* __LIGHTREC_PRIVATE_H__ */