Add 'ripped' to column info
[zzz-pokedex.git] / pokedex / db / tables.py
index 48fed81..7ed588f 100644 (file)
@@ -15,14 +15,11 @@ Columns have a info dictionary with these keys:
   - identifier: A fan-made identifier in the [-_a-z0-9]* format. Not intended
     for translation.
   - latex: A formula in LaTeX syntax.
+- ripped: True for text that has been ripped from the games, and can be ripped
+  again for new versions or languages
 
-A localizable text column is visible as two properties:
-The plural-name property (e.g. Pokemon.names) is a language-to-name dictionary:
-  bulbasaur.names['en'] == "Bulbasaur" and bulbasaur.names['de'] == "Bisasam".
-  You can use Pokemon.names['en'] to filter a query.
-The singular-name property returns the name in the default language, English.
-  For example bulbasaur.name == "Bulbasaur"
-  Setting pokedex.db.tables.default_lang changes the default language.
+See `pokedex.db.multilang` for how localizable text columns work.  The session
+classes in that module can be used to change the default language.
 """
 # XXX: Check if "gametext" is set correctly everywhere
 
@@ -30,22 +27,14 @@ import collections
 from functools import partial
 
 from sqlalchemy import Column, ForeignKey, MetaData, PrimaryKeyConstraint, Table, UniqueConstraint
-from sqlalchemy.ext.declarative import (
-        declarative_base, declared_attr, DeclarativeMeta,
-    )
+from sqlalchemy.ext.declarative import declarative_base, DeclarativeMeta
 from sqlalchemy.ext.associationproxy import association_proxy
-from sqlalchemy.orm import (
-        backref, compile_mappers, eagerload_all, relation, class_mapper, synonym, mapper,
-    )
-from sqlalchemy.orm.session import Session, object_session
+from sqlalchemy.orm import backref, relation
+from sqlalchemy.orm.session import Session
 from sqlalchemy.orm.interfaces import AttributeExtension
-from sqlalchemy.orm.collections import attribute_mapped_collection, MappedCollection, collection, collection_adapter
-from sqlalchemy.ext.associationproxy import _AssociationDict, association_proxy
 from sqlalchemy.sql import and_
-from sqlalchemy.sql.expression import ColumnOperators, bindparam
 from sqlalchemy.schema import ColumnDefault
 from sqlalchemy.types import *
-from inspect import isclass
 
 from pokedex.db import markdown, multilang
 
@@ -73,14 +62,22 @@ class TableSuperclass(object):
     def __str__(self):
         return unicode(self).encode('utf8')
 
+mapped_classes = []
+class TableMetaclass(DeclarativeMeta):
+    def __init__(cls, name, bases, attrs):
+        super(TableMetaclass, cls).__init__(name, bases, attrs)
+        if hasattr(cls, '__tablename__'):
+            mapped_classes.append(cls)
+            cls.translation_classes = []
+
 metadata = MetaData()
-TableBase = declarative_base(metadata=metadata, cls=TableSuperclass)
+TableBase = declarative_base(metadata=metadata, cls=TableSuperclass, metaclass=TableMetaclass)
 
 
 ### Need Language first, to create the partial() below
 
 class Language(TableBase):
-    u"""A language the Pokémon games have been transleted into
+    u"""A language the Pokémon games have been translated into
     """
     __tablename__ = 'languages'
     __singlename__ = 'language'
@@ -119,8 +116,9 @@ class Ability(TableBase):
         info=dict(description="The ID of the generation this ability was introduced in", detail=True))
 
 create_translation_table('ability_names', Ability, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(24), nullable=False, index=True,
-        info=dict(description="The name", format='plaintext', official=True)),
+        info=dict(description="The name", format='plaintext', official=True, ripped=True)),
 )
 create_translation_table('ability_prose', Ability, 'prose',
     effect = Column(markdown.MarkdownColumn(5120), nullable=False,
@@ -196,6 +194,7 @@ class BerryFirmness(TableBase):
         info=dict(description="An identifier", format='identifier'))
 
 create_translation_table('berry_firmness_names', BerryFirmness, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(10), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
@@ -250,6 +249,7 @@ class ContestType(TableBase):
         info=dict(description="An identifier", format='identifier'))
 
 create_translation_table('contest_type_names', ContestType, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(6), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
     flavor = Column(Unicode(6), nullable=False,
@@ -271,8 +271,9 @@ class EggGroup(TableBase):
         info=dict(description=u"An identifier.", format='identifier'))
 
 create_translation_table('egg_group_prose', EggGroup, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(16), nullable=False, index=True,
-        info=dict(description="The name", format='plaintext', official=False)),
+        info=dict(description="The name", format='plaintext', official=True)),
 )
 
 class Encounter(TableBase):
@@ -360,22 +361,6 @@ class EncounterConditionValueMap(TableBase):
     encounter_condition_value_id = Column(Integer, ForeignKey('encounter_condition_values.id'), primary_key=True, nullable=False, autoincrement=False,
         info=dict(description="The ID of the encounter condition value"))
 
-class EncounterTerrain(TableBase):
-    u"""A way the player can enter a wild encounter, e.g., surfing, fishing, or walking through tall grass.
-    """
-
-    __tablename__ = 'encounter_terrain'
-    __singlename__ = __tablename__
-    id = Column(Integer, primary_key=True, nullable=False,
-        info=dict(description="A unique ID for the terrain"))
-    identifier = Column(Unicode(64), nullable=False,
-        info=dict(description="An identifier", format='identifier'))
-
-create_translation_table('encounter_terrain_prose', EncounterTerrain, 'prose',
-    name = Column(Unicode(64), nullable=False, index=True,
-        info=dict(description="The name", format='plaintext', official=False)),
-)
-
 class EncounterSlot(TableBase):
     u"""An abstract "slot" within a terrain, associated with both some set of conditions and a rarity.
 
@@ -395,6 +380,22 @@ class EncounterSlot(TableBase):
     rarity = Column(Integer, nullable=False,
         info=dict(description="The chance of the encounter as a percentage"))
 
+class EncounterTerrain(TableBase):
+    u"""A way the player can enter a wild encounter, e.g., surfing, fishing, or walking through tall grass.
+    """
+
+    __tablename__ = 'encounter_terrain'
+    __singlename__ = __tablename__
+    id = Column(Integer, primary_key=True, nullable=False,
+        info=dict(description="A unique ID for the terrain"))
+    identifier = Column(Unicode(64), nullable=False,
+        info=dict(description="An identifier", format='identifier'))
+
+create_translation_table('encounter_terrain_prose', EncounterTerrain, 'prose',
+    name = Column(Unicode(64), nullable=False, index=True,
+        info=dict(description="The name", format='plaintext', official=False)),
+)
+
 class EvolutionChain(TableBase):
     u"""A family of Pokémon that are linked by evolution
     """
@@ -447,6 +448,7 @@ class Generation(TableBase):
         info=dict(description=u'An identifier', format='identifier'))
 
 create_translation_table('generation_names', Generation, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(16), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
@@ -493,8 +495,9 @@ class Item(TableBase):
         return any(flag.identifier == u'underground' for flag in self.flags)
 
 create_translation_table('item_names', Item, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(20), nullable=False, index=True,
-        info=dict(description="The name", format='plaintext', official=True)),
+        info=dict(description="The name", format='plaintext', official=True, ripped=True)),
 )
 create_translation_table('item_prose', Item, 'prose',
     short_effect = Column(Unicode(256), nullable=False,
@@ -502,6 +505,10 @@ create_translation_table('item_prose', Item, 'prose',
     effect = Column(markdown.MarkdownColumn(5120), nullable=False,
         info=dict(description=u"Detailed description of the item's effect.", format='markdown')),
 )
+create_translation_table('item_flavor_summaries', Item, 'flavor_summaries',
+    flavor_summary = Column(Unicode(512), nullable=True,
+        info=dict(description=u"Text containing facts from all flavor texts, for languages without official game translations", official=False, format='plaintext', ripped=True)),
+)
 
 class ItemCategory(TableBase):
     u"""An item category
@@ -517,6 +524,7 @@ class ItemCategory(TableBase):
         info=dict(description="An identifier", format='identifier'))
 
 create_translation_table('item_category_prose', ItemCategory, 'prose',
+    relation_lazy='joined',
     name = Column(Unicode(16), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=False)),
 )
@@ -552,6 +560,7 @@ class ItemFlavorText(TableBase):
     """
     __tablename__ = 'item_flavor_text'
     __singlename__ = 'item_flavor_text'
+    summary_column = Item.flavor_summaries_table, 'flavor_summary'
     item_id = Column(Integer, ForeignKey('items.id'), primary_key=True, autoincrement=False, nullable=False,
         info=dict(description="The ID of the item"))
     version_group_id = Column(Integer, ForeignKey('version_groups.id'), primary_key=True, autoincrement=False, nullable=False,
@@ -574,15 +583,15 @@ create_translation_table('item_fling_effect_prose', ItemFlingEffect, 'prose',
         info=dict(description="Description of the effect", format='plaintext')),
 )
 
-class ItemInternalID(TableBase):
+class ItemGameIndex(TableBase):
     u"""The internal ID number a game uses for an item
     """
-    __tablename__ = 'item_internal_ids'
+    __tablename__ = 'item_game_indices'
     item_id = Column(Integer, ForeignKey('items.id'), primary_key=True, autoincrement=False, nullable=False,
         info=dict(description="The database ID of the item"))
     generation_id = Column(Integer, ForeignKey('generations.id'), primary_key=True, autoincrement=False, nullable=False,
         info=dict(description="ID of the generation of games"))
-    internal_id = Column(Integer, nullable=False,
+    game_index = Column(Integer, nullable=False,
         info=dict(description="Internal ID of the item in the generation"))
 
 class ItemPocket(TableBase):
@@ -596,6 +605,7 @@ class ItemPocket(TableBase):
         info=dict(description="An identifier of this pocket", format='identifier'))
 
 create_translation_table('item_pocket_names', ItemPocket, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(16), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
@@ -613,6 +623,7 @@ class Location(TableBase):
         info=dict(description="An identifier", format='identifier'))
 
 create_translation_table('location_names', Location, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(64), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
@@ -626,12 +637,13 @@ class LocationArea(TableBase):
         info=dict(description="A numeric ID"))
     location_id = Column(Integer, ForeignKey('locations.id'), nullable=False,
         info=dict(description="ID of the location this area is part of"))
-    internal_id = Column(Integer, nullable=False,
+    game_index = Column(Integer, nullable=False,
         info=dict(description="ID the games ude for this area"))
     identifier = Column(Unicode(64), nullable=True,
         info=dict(description="An identifier", format='identifier'))
 
 create_translation_table('location_area_prose', LocationArea, 'prose',
+    relation_lazy='joined',
     name = Column(Unicode(64), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=False)),
 )
@@ -648,15 +660,15 @@ class LocationAreaEncounterRate(TableBase):
     rate = Column(Integer, nullable=True,
         info=dict(description="The encounter rate"))  # units?
 
-class LocationInternalID(TableBase):
+class LocationGameIndex(TableBase):
     u"""IDs the games use internally for locations
     """
-    __tablename__ = 'location_internal_ids'
+    __tablename__ = 'location_game_indices'
     location_id = Column(Integer, ForeignKey('locations.id'), nullable=False, primary_key=True,
         info=dict(description="Database ID of the locaion"))
     generation_id = Column(Integer, ForeignKey('generations.id'), nullable=False, primary_key=True,
         info=dict(description="ID of the generation this entry to"))
-    internal_id = Column(Integer, nullable=False,
+    game_index = Column(Integer, nullable=False,
         info=dict(description="Internal game ID of the location"))
 
 class Machine(TableBase):
@@ -678,6 +690,52 @@ class Machine(TableBase):
         """
         return self.machine_number >= 100
 
+class Move(TableBase):
+    u"""A Move: technique or attack a Pokémon can learn to use
+    """
+    __tablename__ = 'moves'
+    __singlename__ = 'move'
+    id = Column(Integer, primary_key=True, nullable=False,
+        info=dict(description="A numeric ID"))
+    identifier = Column(Unicode(24), nullable=False,
+        info=dict(description="An identifier", format='identifier'))
+    generation_id = Column(Integer, ForeignKey('generations.id'), nullable=False,
+        info=dict(description="ID of the generation this move first appeared in"))
+    type_id = Column(Integer, ForeignKey('types.id'), nullable=False,
+        info=dict(description="ID of the move's elemental type"))
+    power = Column(SmallInteger, nullable=False,
+        info=dict(description="Base power of the move"))
+    pp = Column(SmallInteger, nullable=True,
+        info=dict(description="Base PP (Power Points) of the move, nullable if not applicable (e.g. Struggle and Shadow moves)."))
+    accuracy = Column(SmallInteger, nullable=True,
+        info=dict(description="Accuracy of the move; NULL means it never misses"))
+    priority = Column(SmallInteger, nullable=False,
+        info=dict(description="The move's priority bracket"))
+    target_id = Column(Integer, ForeignKey('move_targets.id'), nullable=False,
+        info=dict(description="ID of the target (range) of the move"))
+    damage_class_id = Column(Integer, ForeignKey('move_damage_classes.id'), nullable=False,
+        info=dict(description="ID of the damage class (physical/special) of the move"))
+    effect_id = Column(Integer, ForeignKey('move_effects.id'), nullable=False,
+        info=dict(description="ID of the move's effect"))
+    effect_chance = Column(Integer, nullable=True,
+        info=dict(description="The chance for a secondary effect. What this is a chance of is specified by the move's effect."))
+    contest_type_id = Column(Integer, ForeignKey('contest_types.id'), nullable=True,
+        info=dict(description="ID of the move's Contest type (e.g. cool or smart)"))
+    contest_effect_id = Column(Integer, ForeignKey('contest_effects.id'), nullable=True,
+        info=dict(description="ID of the move's Contest effect"))
+    super_contest_effect_id = Column(Integer, ForeignKey('super_contest_effects.id'), nullable=True,
+        info=dict(description="ID of the move's Super Contest effect"))
+
+create_translation_table('move_names', Move, 'names',
+    relation_lazy='joined',
+    name = Column(Unicode(24), nullable=False, index=True,
+        info=dict(description="The name", format='plaintext', official=True, ripped=True))
+)
+create_translation_table('move_flavor_summaries', Move, 'flavor_summaries',
+    flavor_summary = Column(Unicode(512), nullable=True,
+        info=dict(description=u"Text containing facts from all flavor texts, for languages without official game translations", official=False, format='plaintext', ripped=True)),
+)
+
 class MoveBattleStyle(TableBase):
     u"""A battle style of a move"""  # XXX: Explain better
     __tablename__ = 'move_battle_styles'
@@ -688,37 +746,31 @@ class MoveBattleStyle(TableBase):
         info=dict(description="An identifier", format='identifier'))
 
 create_translation_table('move_battle_style_prose', MoveBattleStyle, 'prose',
+    relation_lazy='joined',
     name = Column(Unicode(8), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=False)),
 )
 
-class MoveEffectCategory(TableBase):
-    u"""Category of a move effect
-    """
-    __tablename__ = 'move_effect_categories'
-    __singlename__ = 'move_effect_category'
-    id = Column(Integer, primary_key=True, nullable=False,
-        info=dict(description="A numeric ID"))
-    identifier = Column(Unicode(64), nullable=False,
-        info=dict(description="An identifier", format='identifier'))
-    can_affect_user = Column(Boolean, nullable=False,
-        info=dict(description="Set if the user can be affected"))
-
-create_translation_table('move_effect_category_prose', MoveEffectCategory, 'prose',
-    name = Column(Unicode(64), nullable=False, index=True,
-        info=dict(description="The name", format='plaintext', official=False)),
-)
-
-class MoveEffectCategoryMap(TableBase):
-    u"""Maps a move effect category to a move effect
-    """
-    __tablename__ = 'move_effect_category_map'
-    move_effect_id = Column(Integer, ForeignKey('move_effects.id'), primary_key=True, nullable=False,
-        info=dict(description="ID of the move effect"))
-    move_effect_category_id = Column(Integer, ForeignKey('move_effect_categories.id'), primary_key=True, nullable=False,
-        info=dict(description="ID of the category"))
-    affects_user = Column(Boolean, primary_key=True, nullable=False,
-        info=dict(description="Set if the user is affected"))
+class MoveChangelog(TableBase):
+    """History of changes to moves across main game versions."""
+    __tablename__ = 'move_changelog'
+    __singlename__ = 'move_changelog'
+    move_id = Column(Integer, ForeignKey('moves.id'), primary_key=True, nullable=False,
+        info=dict(description="ID of the move that changed"))
+    changed_in_version_group_id = Column(Integer, ForeignKey('version_groups.id'), primary_key=True, nullable=False,
+        info=dict(description="ID of the version group in which the move changed"))
+    type_id = Column(Integer, ForeignKey('types.id'), nullable=True,
+        info=dict(description="Prior type of the move, or NULL if unchanged"))
+    power = Column(SmallInteger, nullable=True,
+        info=dict(description="Prior base power of the move, or NULL if unchanged"))
+    pp = Column(SmallInteger, nullable=True,
+        info=dict(description="Prior base PP of the move, or NULL if unchanged"))
+    accuracy = Column(SmallInteger, nullable=True,
+        info=dict(description="Prior accuracy of the move, or NULL if unchanged"))
+    effect_id = Column(Integer, ForeignKey('move_effects.id'), nullable=True,
+        info=dict(description="Prior ID of the effect, or NULL if unchanged"))
+    effect_chance = Column(Integer, nullable=True,
+        info=dict(description="Prior effect chance, or NULL if unchanged"))
 
 class MoveDamageClass(TableBase):
     u"""Any of the damage classes moves can have, i.e. physical, special, or non-damaging.
@@ -731,6 +783,7 @@ class MoveDamageClass(TableBase):
         info=dict(description="An identifier", format='identifier'))
 
 create_translation_table('move_damage_class_prose', MoveDamageClass, 'prose',
+    relation_lazy='joined',
     name = Column(Unicode(16), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=False)),
     description = Column(Unicode(64), nullable=False,
@@ -752,6 +805,34 @@ create_translation_table('move_effect_prose', MoveEffect, 'prose',
         info=dict(description="A detailed description of the effect", format='plaintext')),
 )
 
+class MoveEffectCategory(TableBase):
+    u"""Category of a move effect
+    """
+    __tablename__ = 'move_effect_categories'
+    __singlename__ = 'move_effect_category'
+    id = Column(Integer, primary_key=True, nullable=False,
+        info=dict(description="A numeric ID"))
+    identifier = Column(Unicode(64), nullable=False,
+        info=dict(description="An identifier", format='identifier'))
+    can_affect_user = Column(Boolean, nullable=False,
+        info=dict(description="Set if the user can be affected"))
+
+create_translation_table('move_effect_category_prose', MoveEffectCategory, 'prose',
+    name = Column(Unicode(64), nullable=False, index=True,
+        info=dict(description="The name", format='plaintext', official=False)),
+)
+
+class MoveEffectCategoryMap(TableBase):
+    u"""Maps a move effect category to a move effect
+    """
+    __tablename__ = 'move_effect_category_map'
+    move_effect_id = Column(Integer, ForeignKey('move_effects.id'), primary_key=True, nullable=False,
+        info=dict(description="ID of the move effect"))
+    move_effect_category_id = Column(Integer, ForeignKey('move_effect_categories.id'), primary_key=True, nullable=False,
+        info=dict(description="ID of the category"))
+    affects_user = Column(Boolean, primary_key=True, nullable=False,
+        info=dict(description="Set if the user is affected"))
+
 class MoveEffectChangelog(TableBase):
     """History of changes to move effects across main game versions."""
     __tablename__ = 'move_effect_changelog'
@@ -795,6 +876,7 @@ class MoveFlagType(TableBase):
         info=dict(description="A short identifier for the flag", format='identifier'))
 
 create_translation_table('move_flag_type_prose', MoveFlagType, 'prose',
+    relation_lazy='joined',
     name = Column(Unicode(32), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=False)),
     description = Column(markdown.MarkdownColumn(128), nullable=False,
@@ -805,6 +887,7 @@ class MoveFlavorText(TableBase):
     u"""In-game description of a move
     """
     __tablename__ = 'move_flavor_text'
+    summary_column = Move.flavor_summaries_table, 'flavor_summary'
     move_id = Column(Integer, ForeignKey('moves.id'), primary_key=True, nullable=False, autoincrement=False,
         info=dict(description="ID of the move"))
     version_group_id = Column(Integer, ForeignKey('version_groups.id'), primary_key=True, nullable=False, autoincrement=False,
@@ -850,12 +933,13 @@ class MoveMetaAilment(TableBase):
     """
     __tablename__ = 'move_meta_ailments'
     __singlename__ = 'move_meta_ailment'
-    id = Column(Integer, primary_key=True, nullable=False,
+    id = Column(Integer, primary_key=True, nullable=False, autoincrement=False,
         info=dict(description="A numeric ID"))
     identifier = Column(Unicode(24), nullable=False,
         info=dict(description="An identifier", format='identifier'))
 
 create_translation_table('move_meta_ailment_names', MoveMetaAilment, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(24), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
@@ -868,8 +952,9 @@ class MoveMetaCategory(TableBase):
         info=dict(description="A numeric ID"))
 
 create_translation_table('move_meta_category_prose', MoveMetaCategory, 'prose',
+    relation_lazy='joined',
     description = Column(Unicode(64), nullable=False,
-        info=dict(description="A description of the category")),
+        info=dict(description="A description of the category", format="plaintext", official=False)),
 )
 
 class MoveMetaStatChange(TableBase):
@@ -893,75 +978,13 @@ class MoveTarget(TableBase):
         info=dict(description="An identifier", format='identifier'))
 
 create_translation_table('move_target_prose', MoveTarget, 'prose',
+    relation_lazy='joined',
     name = Column(Unicode(32), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=False)),
     description = Column(Unicode(128), nullable=False,
         info=dict(description="A description", format='plaintext')),
 )
 
-class Move(TableBase):
-    u"""A Move: technique or attack a Pokémon can learn to use
-    """
-    __tablename__ = 'moves'
-    __singlename__ = 'move'
-    id = Column(Integer, primary_key=True, nullable=False,
-        info=dict(description="A numeric ID"))
-    identifier = Column(Unicode(24), nullable=False,
-        info=dict(description="An identifier", format='identifier'))
-    generation_id = Column(Integer, ForeignKey('generations.id'), nullable=False,
-        info=dict(description="ID of the generation this move first appeared in"))
-    type_id = Column(Integer, ForeignKey('types.id'), nullable=False,
-        info=dict(description="ID of the move's elemental type"))
-    power = Column(SmallInteger, nullable=False,
-        info=dict(description="Base power of the move"))
-    pp = Column(SmallInteger, nullable=True,
-        info=dict(description="Base PP (Power Points) of the move, nullable if not applicable (e.g. Struggle and Shadow moves)."))
-    accuracy = Column(SmallInteger, nullable=True,
-        info=dict(description="Accuracy of the move; NULL means it never misses"))
-    priority = Column(SmallInteger, nullable=False,
-        info=dict(description="The move's priority bracket"))
-    target_id = Column(Integer, ForeignKey('move_targets.id'), nullable=False,
-        info=dict(description="ID of the target (range) of the move"))
-    damage_class_id = Column(Integer, ForeignKey('move_damage_classes.id'), nullable=False,
-        info=dict(description="ID of the damage class (physical/special) of the move"))
-    effect_id = Column(Integer, ForeignKey('move_effects.id'), nullable=False,
-        info=dict(description="ID of the move's effect"))
-    effect_chance = Column(Integer, nullable=True,
-        info=dict(description="The chance for a secondary effect. What this is a chance of is specified by the move's effect."))
-    contest_type_id = Column(Integer, ForeignKey('contest_types.id'), nullable=True,
-        info=dict(description="ID of the move's Contest type (e.g. cool or smart)"))
-    contest_effect_id = Column(Integer, ForeignKey('contest_effects.id'), nullable=True,
-        info=dict(description="ID of the move's Contest effect"))
-    super_contest_effect_id = Column(Integer, ForeignKey('super_contest_effects.id'), nullable=True,
-        info=dict(description="ID of the move's Super Contest effect"))
-
-create_translation_table('move_names', Move, 'names',
-    name = Column(Unicode(24), nullable=False, index=True,
-        info=dict(description="The name", format='plaintext', official=True))
-)
-
-
-class MoveChangelog(TableBase):
-    """History of changes to moves across main game versions."""
-    __tablename__ = 'move_changelog'
-    __singlename__ = 'move_changelog'
-    move_id = Column(Integer, ForeignKey('moves.id'), primary_key=True, nullable=False,
-        info=dict(description="ID of the move that changed"))
-    changed_in_version_group_id = Column(Integer, ForeignKey('version_groups.id'), primary_key=True, nullable=False,
-        info=dict(description="ID of the version group in which the move changed"))
-    type_id = Column(Integer, ForeignKey('types.id'), nullable=True,
-        info=dict(description="Prior type of the move, or NULL if unchanged"))
-    power = Column(SmallInteger, nullable=True,
-        info=dict(description="Prior base power of the move, or NULL if unchanged"))
-    pp = Column(SmallInteger, nullable=True,
-        info=dict(description="Prior base PP of the move, or NULL if unchanged"))
-    accuracy = Column(SmallInteger, nullable=True,
-        info=dict(description="Prior accuracy of the move, or NULL if unchanged"))
-    effect_id = Column(Integer, ForeignKey('move_effects.id'), nullable=True,
-        info=dict(description="Prior ID of the effect, or NULL if unchanged"))
-    effect_chance = Column(Integer, nullable=True,
-        info=dict(description="Prior effect chance, or NULL if unchanged"))
-
 class Nature(TableBase):
     u"""A nature a Pokémon can have, such as Calm or Brave
     """
@@ -988,8 +1011,9 @@ class Nature(TableBase):
         return self.increased_stat_id == self.decreased_stat_id
 
 create_translation_table('nature_names', Nature, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(8), nullable=False, index=True,
-        info=dict(description="The name", format='plaintext', official=True)),
+        info=dict(description="The name", format='plaintext', official=True, ripped=True)),
 )
 
 class NatureBattleStylePreference(TableBase):
@@ -1047,6 +1071,7 @@ class Pokedex(TableBase):
         info=dict(description=u"An identifier", format='identifier'))
 
 create_translation_table('pokedex_prose', Pokedex, 'prose',
+    relation_lazy='joined',
     name = Column(Unicode(16), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=False)),
     description = Column(Unicode(512), nullable=False,
@@ -1072,7 +1097,7 @@ class Pokemon(TableBase):
         info=dict(description=u"The weight of the Pokémon, in tenths of a kilogram (decigrams)"))
     color_id = Column(Integer, ForeignKey('pokemon_colors.id'), nullable=False,
         info=dict(description=u"ID of this Pokémon's Pokédex color, as used for a gimmick search function in the games."))
-    pokemon_shape_id = Column(Integer, ForeignKey('pokemon_shapes.id'), nullable=True,
+    pokemon_shape_id = Column(Integer, ForeignKey('pokemon_shapes.id'), nullable=False,
         info=dict(description=u"ID of this Pokémon's body shape, as used for a gimmick search function in the games."))
     habitat_id = Column(Integer, ForeignKey('pokemon_habitats.id'), nullable=True,
         info=dict(description=u"ID of this Pokémon's habitat, as used for a gimmick search function in the games."))
@@ -1176,12 +1201,17 @@ class Pokemon(TableBase):
             return None
 
 create_translation_table('pokemon_names', Pokemon, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(20), nullable=False, index=True,
-        info=dict(description="The name", format='plaintext', official=True)),
+        info=dict(description="The name", format='plaintext', official=True, ripped=True)),
     species = Column(Unicode(16), nullable=False,
         info=dict(description=u'The short flavor text, such as "Seed" or "Lizard"; usually affixed with the word "Pokémon"',
         official=True, format='plaintext')),
 )
+create_translation_table('pokemon_flavor_summaries', Pokemon, 'flavor_summaries',
+    flavor_summary = Column(Unicode(512), nullable=True,
+        info=dict(description=u"Text containing facts from all flavor texts, for languages without official game translations", official=False, format='plaintext', ripped=True)),
+)
 
 class PokemonAbility(TableBase):
     u"""Maps an ability to a Pokémon that can have it
@@ -1210,6 +1240,7 @@ class PokemonColor(TableBase):
         info=dict(description=u"An identifier", format='identifier'))
 
 create_translation_table('pokemon_color_names', PokemonColor, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(6), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
@@ -1276,6 +1307,7 @@ class PokemonFlavorText(TableBase):
     u"""In-game Pokédex descrption of a Pokémon.
     """
     __tablename__ = 'pokemon_flavor_text'
+    summary_column = Pokemon.flavor_summaries_table, 'flavor_summary'
     pokemon_id = Column(Integer, ForeignKey('pokemon.id'), primary_key=True, nullable=False, autoincrement=False,
         info=dict(description=u"ID of the Pokémon"))
     version_id = Column(Integer, ForeignKey('versions.id'), primary_key=True, nullable=False, autoincrement=False,
@@ -1283,7 +1315,7 @@ class PokemonFlavorText(TableBase):
     language_id = Column(Integer, ForeignKey('languages.id'), primary_key=True, nullable=False,
         info=dict(description="The language"))
     flavor_text = Column(Unicode(255), nullable=False,
-        info=dict(description=u"ID of the version that has this flavor text", official=True, format='gametext'))
+        info=dict(description=u"The flavor text", official=True, format='gametext'))
 
 class PokemonForm(TableBase):
     u"""An individual form of a Pokémon.
@@ -1338,6 +1370,7 @@ class PokemonForm(TableBase):
             return self.form_base_pokemon.name
 
 create_translation_table('pokemon_form_names', PokemonForm, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(16), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
@@ -1374,6 +1407,17 @@ class PokemonFormPokeathlonStat(TableBase):
     maximum_stat = Column(Integer, nullable=False, autoincrement=False,
         info=dict(description=u'The maximum value for this stat for this Pokémon form.'))
 
+class PokemonGameIndex(TableBase):
+    u"""The number of a Pokémon a game uses internally
+    """
+    __tablename__ = 'pokemon_game_indices'
+    pokemon_id = Column(Integer, ForeignKey('pokemon.id'), primary_key=True, autoincrement=False, nullable=False,
+        info=dict(description=u"Database ID of the Pokémon"))
+    generation_id = Column(Integer, ForeignKey('generations.id'), primary_key=True, autoincrement=False, nullable=False,
+        info=dict(description=u"Database ID of the generation"))
+    game_index = Column(Integer, nullable=False,
+        info=dict(description=u"Internal ID the generation's games use for the Pokémon"))
+
 class PokemonHabitat(TableBase):
     u"""The habitat of a Pokémon, as given in the FireRed/LeafGreen version Pokédex
     """
@@ -1385,21 +1429,11 @@ class PokemonHabitat(TableBase):
         info=dict(description=u"An identifier", format='identifier'))
 
 create_translation_table('pokemon_habitat_names', PokemonHabitat, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(16), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
 
-class PokemonInternalID(TableBase):
-    u"""The number of a Pokémon a game uses internally
-    """
-    __tablename__ = 'pokemon_internal_ids'
-    pokemon_id = Column(Integer, ForeignKey('pokemon.id'), primary_key=True, autoincrement=False, nullable=False,
-        info=dict(description=u"Database ID of the Pokémon"))
-    generation_id = Column(Integer, ForeignKey('generations.id'), primary_key=True, autoincrement=False, nullable=False,
-        info=dict(description=u"Database ID of the generation"))
-    internal_id = Column(Integer, nullable=False,
-        info=dict(description=u"Internal ID the generation's games use for the Pokémon"))
-
 class PokemonItem(TableBase):
     u"""Record of an item a Pokémon can hold in the wild
     """
@@ -1446,13 +1480,13 @@ class PokemonMoveMethod(TableBase):
         info=dict(description=u"An identifier", format='identifier'))
 
 create_translation_table('pokemon_move_method_prose', PokemonMoveMethod, 'prose',
+    relation_lazy='joined',
     name = Column(Unicode(64), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=False)),
     description = Column(Unicode(255), nullable=False,
         info=dict(description=u"A detailed description of how the method works", format='plaintext')),
 )
 
-
 class PokemonShape(TableBase):
     u"""The shape of a Pokémon's body, as used in generation IV Pokédexes.
     """
@@ -1464,6 +1498,7 @@ class PokemonShape(TableBase):
         info=dict(description=u"An identifier", format='identifier'))
 
 create_translation_table('pokemon_shape_prose', PokemonShape, 'prose',
+    relation_lazy='joined',
     name = Column(Unicode(24), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=False)),
     awesome_name = Column(Unicode(16), nullable=False,
@@ -1505,6 +1540,7 @@ class Region(TableBase):
         info=dict(description=u"An identifier", format='identifier'))
 
 create_translation_table('region_names', Region, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(16), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
@@ -1520,8 +1556,11 @@ class Stat(TableBase):
         info=dict(description=u"For offensive and defensive stats, the damage this stat relates to; otherwise None (the NULL value)"))
     identifier = Column(Unicode(16), nullable=False,
         info=dict(description=u"An identifier", format='identifier'))
+    is_battle_only = Column(Boolean, nullable=False,
+        info=dict(description=u"Whether this stat only exists within a battle"))
 
 create_translation_table('stat_names', Stat, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(16), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
@@ -1540,6 +1579,7 @@ class StatHint(TableBase):
         info=dict(description=u"Value of the highest stat modulo 5"))
 
 create_translation_table('stat_hint_names', StatHint, 'names',
+    relation_lazy='joined',
     message = Column(Unicode(24), nullable=False, index=True,
         info=dict(description=u"The text displayed", official=True, format='plaintext')),
 )
@@ -1565,22 +1605,9 @@ class SuperContestEffect(TableBase):
 
 create_translation_table('super_contest_effect_prose', SuperContestEffect, 'prose',
     flavor_text = Column(Unicode(64), nullable=False,
-        info=dict(description=u"A description of the effect.", format='plaintext')),
+        info=dict(description=u"A description of the effect.", format='plaintext', official=True)),
 )
 
-
-class TypeEfficacy(TableBase):
-    u"""The damage multiplier used when a move of a particular type damages a
-    Pokémon of a particular other type.
-    """
-    __tablename__ = 'type_efficacy'
-    damage_type_id = Column(Integer, ForeignKey('types.id'), primary_key=True, nullable=False, autoincrement=False,
-        info=dict(description=u"The ID of the damaging type."))
-    target_type_id = Column(Integer, ForeignKey('types.id'), primary_key=True, nullable=False, autoincrement=False,
-        info=dict(description=u"The ID of the defending Pokémon's type."))
-    damage_factor = Column(Integer, nullable=False,
-        info=dict(description=u"The multiplier, as a percentage of damage inflicted."))
-
 class Type(TableBase):
     u"""Any of the elemental types Pokémon and moves can have."""
     __tablename__ = 'types'
@@ -1595,10 +1622,40 @@ class Type(TableBase):
         info=dict(description=u"The ID of the damage class this type's moves had before Generation IV, null if not applicable (e.g. ???)."))
 
 create_translation_table('type_names', Type, 'names',
+    relation_lazy='joined',
     name = Column(Unicode(12), nullable=False, index=True,
         info=dict(description="The name", format='plaintext', official=True)),
 )
 
+class TypeEfficacy(TableBase):
+    u"""The damage multiplier used when a move of a particular type damages a
+    Pokémon of a particular other type.
+    """
+    __tablename__ = 'type_efficacy'
+    damage_type_id = Column(Integer, ForeignKey('types.id'), primary_key=True, nullable=False, autoincrement=False,
+        info=dict(description=u"The ID of the damaging type."))
+    target_type_id = Column(Integer, ForeignKey('types.id'), primary_key=True, nullable=False, autoincrement=False,
+        info=dict(description=u"The ID of the defending Pokémon's type."))
+    damage_factor = Column(Integer, nullable=False,
+        info=dict(description=u"The multiplier, as a percentage of damage inflicted."))
+
+class Version(TableBase):
+    u"""An individual main-series Pokémon game."""
+    __tablename__ = 'versions'
+    __singlename__ = 'version'
+    id = Column(Integer, primary_key=True, nullable=False,
+        info=dict(description=u"A unique ID for this version."))
+    version_group_id = Column(Integer, ForeignKey('version_groups.id'), nullable=False,
+        info=dict(description=u"The ID of the version group this game belongs to."))
+    identifier = Column(Unicode(32), nullable=False,
+        info=dict(description=u'And identifier', format='identifier'))
+
+create_translation_table('version_names', Version, 'names',
+    relation_lazy='joined',
+    name = Column(Unicode(32), nullable=False, index=True,
+        info=dict(description="The name", format='plaintext', official=True)),
+)
+
 class VersionGroup(TableBase):
     u"""A group of versions, containing either two paired versions (such as Red
     and Blue) or a single game (such as Yellow.)
@@ -1619,23 +1676,6 @@ class VersionGroupRegion(TableBase):
     region_id = Column(Integer, ForeignKey('regions.id'), primary_key=True, nullable=False,
         info=dict(description=u"The ID of the region."))
 
-class Version(TableBase):
-    u"""An individual main-series Pokémon game."""
-    __tablename__ = 'versions'
-    __singlename__ = 'version'
-    id = Column(Integer, primary_key=True, nullable=False,
-        info=dict(description=u"A unique ID for this version."))
-    version_group_id = Column(Integer, ForeignKey('version_groups.id'), nullable=False,
-        info=dict(description=u"The ID of the version group this game belongs to."))
-    identifier = Column(Unicode(32), nullable=False,
-        info=dict(description=u'And identifier', format='identifier'))
-
-create_translation_table('version_names', Version, 'names',
-    name = Column(Unicode(32), nullable=False, index=True,
-        info=dict(description="The name", format='plaintext', official=True)),
-)
-
-
 ### Relations down here, to avoid ordering problems
 Ability.changelog = relation(AbilityChangelog,
     order_by=AbilityChangelog.changed_in_version_group_id.desc(),
@@ -1643,29 +1683,6 @@ Ability.changelog = relation(AbilityChangelog,
 )
 Ability.flavor_text = relation(AbilityFlavorText, order_by=AbilityFlavorText.version_group_id, backref='ability')
 Ability.generation = relation(Generation, backref='abilities')
-Ability.all_pokemon = relation(Pokemon,
-    secondary=PokemonAbility.__table__,
-    order_by=Pokemon.order,
-    #back_populates='all_abilities',
-)
-Ability.pokemon = relation(Pokemon,
-    secondary=PokemonAbility.__table__,
-    primaryjoin=and_(
-        PokemonAbility.ability_id == Ability.id,
-        PokemonAbility.is_dream == False
-    ),
-    order_by=Pokemon.order,
-    #back_populates='abilities',
-)
-Ability.dream_pokemon = relation(Pokemon,
-    secondary=PokemonAbility.__table__,
-    primaryjoin=and_(
-        PokemonAbility.ability_id == Ability.id,
-        PokemonAbility.is_dream == True
-    ),
-    order_by=Pokemon.order,
-    #back_populates='dream_ability',
-)
 
 AbilityChangelog.changed_in = relation(VersionGroup, backref='ability_changelog')
 
@@ -1701,7 +1718,6 @@ EncounterSlot.version_group = relation(VersionGroup)
 
 EvolutionChain.growth_rate = relation(GrowthRate, backref='evolution_chains')
 EvolutionChain.baby_trigger_item = relation(Item, backref='evolution_chains')
-EvolutionChain.pokemon = relation(Pokemon, order_by=Pokemon.order)#, back_populates='evolution_chain')
 
 Experience.growth_rate = relation(GrowthRate, backref='experience_table')
 
@@ -1726,8 +1742,8 @@ ItemCategory.pocket = relation(ItemPocket)
 ItemFlavorText.version_group = relation(VersionGroup)
 ItemFlavorText.language = relation(Language)
 
-ItemInternalID.item = relation(Item, backref='internal_ids')
-ItemInternalID.generation = relation(Generation)
+ItemGameIndex.item = relation(Item, backref='game_indices')
+ItemGameIndex.generation = relation(Generation)
 
 ItemPocket.categories = relation(ItemCategory, order_by=ItemCategory.identifier)
 
@@ -1735,8 +1751,8 @@ Location.region = relation(Region, backref='locations')
 
 LocationArea.location = relation(Location, backref='areas')
 
-LocationInternalID.location = relation(Location, backref='internal_ids')
-LocationInternalID.generation = relation(Generation)
+LocationGameIndex.location = relation(Location, backref='game_indices')
+LocationGameIndex.generation = relation(Generation)
 
 Machine.item = relation(Item)
 Machine.version_group = relation(VersionGroup)
@@ -1762,12 +1778,22 @@ Move.super_contest_effect = relation(SuperContestEffect, backref='moves')
 Move.super_contest_combo_next = association_proxy('super_contest_combo_first', 'second')
 Move.super_contest_combo_prev = association_proxy('super_contest_combo_second', 'first')
 Move.target = relation(MoveTarget, backref='moves')
-Move.type = relation(Type)#, back_populates='moves')
+Move.type = relation(Type, backref='moves')
+
+Move.effect = markdown.MoveEffectProperty('effect')
+Move.effect_map = markdown.MoveEffectProperty('effect_map')
+Move.short_effect = markdown.MoveEffectProperty('short_effect')
+Move.short_effect_map = markdown.MoveEffectProperty('short_effect_map')
 
 MoveChangelog.changed_in = relation(VersionGroup, backref='move_changelog')
 MoveChangelog.move_effect = relation(MoveEffect, backref='move_changelog')
 MoveChangelog.type = relation(Type, backref='move_changelog')
 
+MoveChangelog.effect = markdown.MoveEffectProperty('effect')
+MoveChangelog.effect_map = markdown.MoveEffectProperty('effect_map')
+MoveChangelog.short_effect = markdown.MoveEffectProperty('short_effect')
+MoveChangelog.short_effect_map = markdown.MoveEffectProperty('short_effect_map')
+
 MoveEffect.category_map = relation(MoveEffectCategoryMap)
 MoveEffect.categories = association_proxy('category_map', 'category')
 MoveEffect.changelog = relation(MoveEffectChangelog,
@@ -1806,11 +1832,14 @@ NatureBattleStylePreference.battle_style = relation(MoveBattleStyle, backref='na
 NaturePokeathlonStat.pokeathlon_stat = relation(PokeathlonStat, backref='nature_effects')
 
 Pokedex.region = relation(Region, backref='pokedexes')
-Pokedex.version_groups = relation(VersionGroup, order_by=VersionGroup.id)#, back_populates='pokedex')
+Pokedex.version_groups = relation(VersionGroup, order_by=VersionGroup.id, backref='pokedex')
 
 Pokemon.all_abilities = relation(Ability,
     secondary=PokemonAbility.__table__,
     order_by=PokemonAbility.slot,
+    backref=backref('all_pokemon',
+        order_by=Pokemon.order,
+    ),
 )
 Pokemon.abilities = relation(Ability,
     secondary=PokemonAbility.__table__,
@@ -1819,6 +1848,9 @@ Pokemon.abilities = relation(Ability,
         PokemonAbility.is_dream == False,
     ),
     order_by=PokemonAbility.slot,
+    backref=backref('pokemon',
+        order_by=Pokemon.order,
+    ),
 )
 Pokemon.dream_ability = relation(Ability,
     secondary=PokemonAbility.__table__,
@@ -1827,6 +1859,9 @@ Pokemon.dream_ability = relation(Ability,
         PokemonAbility.is_dream == True,
     ),
     uselist=False,
+    backref=backref('dream_pokemon',
+        order_by=Pokemon.order,
+    ),
 )
 Pokemon.pokemon_color = relation(PokemonColor, backref='pokemon')
 Pokemon.color = association_proxy('pokemon_color', 'name')
@@ -1834,7 +1869,7 @@ Pokemon.dex_numbers = relation(PokemonDexNumber, order_by=PokemonDexNumber.poked
 Pokemon.egg_groups = relation(EggGroup, secondary=PokemonEggGroup.__table__,
                                         order_by=PokemonEggGroup.egg_group_id,
                                         backref=backref('pokemon', order_by=Pokemon.order))
-Pokemon.evolution_chain = relation(EvolutionChain)#, back_populates='pokemon')
+Pokemon.evolution_chain = relation(EvolutionChain, backref=backref('pokemon', order_by=Pokemon.order))
 Pokemon.child_pokemon = relation(Pokemon,
     primaryjoin=Pokemon.id==PokemonEvolution.from_pokemon_id,
     secondary=PokemonEvolution.__table__,
@@ -1854,9 +1889,11 @@ Pokemon.items = relation(PokemonItem, backref='pokemon')
 Pokemon.generation = relation(Generation, backref='pokemon')
 Pokemon.shape = relation(PokemonShape, backref='pokemon')
 Pokemon.stats = relation(PokemonStat, backref='pokemon', order_by=PokemonStat.stat_id.asc())
-Pokemon.types = relation(Type, secondary=PokemonType.__table__,
-                               order_by=PokemonType.slot.asc(),
-                               )#back_populates='pokemon')
+Pokemon.types = relation(Type,
+    secondary=PokemonType.__table__,
+    order_by=PokemonType.slot.asc(),
+    backref=backref('pokemon', order_by=Pokemon.order),
+)
 
 PokemonDexNumber.pokedex = relation(Pokedex)
 
@@ -1953,26 +1990,10 @@ Type.target_efficacies = relation(TypeEfficacy,
 
 Type.generation = relation(Generation, backref='types')
 Type.damage_class = relation(MoveDamageClass, backref='types')
-Type.pokemon = relation(Pokemon, secondary=PokemonType.__table__,
-                                 order_by=Pokemon.order,
-                                 )#back_populates='types')
-Type.moves = relation(Move, back_populates='type', order_by=Move.id)
 
-Version.version_group = relation(VersionGroup)#, back_populates='versions')
 Version.generation = association_proxy('version_group', 'generation')
 
-VersionGroup.versions = relation(Version, order_by=Version.id, back_populates='version_group')
+VersionGroup.versions = relation(Version, order_by=Version.id, backref='version_group')
 VersionGroup.generation = relation(Generation, backref='version_groups')
 VersionGroup.version_group_regions = relation(VersionGroupRegion, backref='version_group')
 VersionGroup.regions = association_proxy('version_group_regions', 'region')
-VersionGroup.pokedex = relation(Pokedex, back_populates='version_groups')
-
-Move.effect = markdown.MoveEffectProperty('effect')
-Move.effect_map = markdown.MoveEffectProperty('effect_map')
-Move.short_effect = markdown.MoveEffectProperty('short_effect')
-Move.short_effect_map = markdown.MoveEffectProperty('short_effect_map')
-
-MoveChangelog.effect = markdown.MoveEffectProperty('effect')
-MoveChangelog.effect_map = markdown.MoveEffectProperty('effect_map')
-MoveChangelog.short_effect = markdown.MoveEffectProperty('short_effect')
-MoveChangelog.short_effect_map = markdown.MoveEffectProperty('short_effect_map')