Kay cursó el MIT, donde se graduó en ingeniería en 1940.
Comenzó su carrera con Bendix seguido de dos años en el Jet Propulsion Laboratory y más tarde fundó Non-Linear Systems, un fabricante de instrumentalización digital, en 1952.
NLS desarrolló una reputación para proporcionar durabilidad en aplicaciones críticas desde submarinos hasta naves espaciales - y continuó con el diseño y la fabricación de ordenadores.
En NLS, inventó el voltímetro digital.
Como miembro del Consejo de Administración del Johnson O'Connor Research Institute, siguió el avance de la educación, con especial atención al desarrollo de «un vocabulario per hacer pensar» como un componente básico para la creación de capacidades de liderazgp para los administradores de ciencia y tecnología.